Chapter 4: 접촉 모델링 — 제어와 전이의 기반

개요

접촉은 단순한 센서 사건이 아니다. 자유 공간에서는 몇 밀리미터의 궤적 오차가 거의 보이지 않을 수 있지만, 삽입·압입·닦기·체결·케이블 배선에서는 같은 오차가 걸림, 긁힘, 과도한 힘, 공구 미끄러짐으로 바뀐다. 대규모 데이터가 이 문제를 자동으로 없애는 것도 아니다. 모델이 보지 못한 재질, 공차, 마모, 제어 지연이 한 번의 접촉에서 결합되면 평균 성공률과 실제 불량의 꼬리가 갈라진다.

이 장의 논지는 분명하다. 접촉 모델과 시뮬레이터는 현실을 복제해서 실제 데이터를 없애는 장치가 아니다. 이들은 위험한 탐색을 줄이고, 실제 실패 주변을 반복 시험하며, 후보 정책을 싸게 탈락시키는 장치다. 그 역할이 유효하려면 실제 궤적·힘·시간·불량 순위를 보류된 재현 세트와 비교해야 한다. 따라서 “더 정교한 물리 엔진”보다 중요한 질문은 어떤 오차를 측정했고 어떤 오차를 배포 기준에 연결했는가이다.

이 장을 읽고 나면... - 임피던스 제어에서 접촉 최적화까지 이어지는 모델 기반 계보가 왜 데이터 효율과 안전 경계를 함께 제공하는지 설명할 수 있다. - 계통 식별, 영역 무작위화, 잔차 학습이 서로 대체 관계가 아니라 단계별 오차 축소 수단임을 구분할 수 있다. - OpenUSD·Omniverse, Isaac Sim, Isaac Lab, Newton, Cosmos의 책임 경계를 정확히 나눌 수 있다. - 시뮬레이션 상관과 물리 충실도, 공식 기능 공개와 독립 검증, 합성 경험과 실제 시연을 구별할 수 있다. - 실제 재현·품질 판정·안전 기록을 중심으로 접촉 작업의 배포 관문을 설계할 수 있다.

고전 계보: 강성을 명령하는 대신 상호작용을 설계하다

1980년대의 임피던스 제어(impedance control)는 로봇이 환경과 만날 때 원하는 위치만 명령해서는 충분하지 않다는 출발점을 세웠다. Hogan은 힘과 운동 사이의 동적 관계를 설계 대상으로 두었고 ^[25], Khatib은 작업 공간에서 운동과 힘의 관계를 다루는 틀을 정리했다 ^[26]. 이 관점에서 제어기는 정답 궤적을 그대로 실행하는 장치가 아니라, 오차가 생겼을 때 어느 방향으로 얼마나 양보하고 어느 힘에서 멈출지를 정하는 장치다.

접촉 계획은 이 제어 철학을 궤적 생성으로 확장했다. 접촉 불변 최적화는 접촉 순서를 미리 모두 지정하지 않고도 접촉을 포함한 동작을 찾는 방향을 제시했고 ^[27], Posa 등의 직접 궤적 최적화는 강체 접촉을 최적화 문제 안에 넣었다 ^[28]. MuJoCo는 모델 기반 제어를 위한 빠른 접촉 시뮬레이션을 제공해 반복 최적화와 학습 실험을 넓혔다 ^[29]. 그러나 비매끄러운 접촉, 마찰의 근사, 형상 오차, 최적화 초기값은 계속 어려움으로 남았다. 해석 모델은 탐색 공간을 줄였지만 모델의 빈틈까지 없애지는 못했다.

이 계보가 오늘날에도 중요한 이유는 정책의 성능을 낮은 수준의 안정성과 분리해 해석하게 만들기 때문이다. 접근은 시각 정책, 접촉 전환은 상태 추정기, 접촉 중 운동은 순응 제어기, 완료는 품질 검사기가 맡을 수 있다. 정책을 거대한 단일망으로 만들더라도 배포 책임은 다시 이 경계로 나뉜다. 접촉 모델은 과거 방식의 잔재가 아니라 학습 데이터의 행동 의미와 실패 원인을 고정하는 좌표계다.

접촉 모델은 데이터 절약 장치다

접촉 집약 작업은 실패 공간이 크다. 축 끼움, 개스킷 안착, 닦기, 압입, 나사 체결 시작처럼 접촉이 길게 이어지는 작업은 몇 밀리미터의 자세 오차나 작은 마찰 변화가 걸림, 긁힘, 과도한 힘으로 이어진다. 순수한 시행착오로 이 공간을 덮으려면 실제 셀에서 너무 많은 실패를 만들어야 한다. 접촉 모델과 제어기 제약은 탐색해야 할 공간을 줄이고 위험한 영역을 먼저 제외한다.

그림 4.1. MPC의 후퇴 지평선은 현재 상태에서 미래 비용을 계산하고 첫 제어만 실행한다. 제조 안전 경계로 쓰려면 접촉·힘·되돌리기 제약을 모델에 별도로 포함해야 한다. 출처: 저자 제작 일러스트(Gemini 보조).

이 관점은 데이터 규모의 중요성을 부정하지 않는다. QT-Opt와 대규모 파지 연구는 반복 수집이 시각 기반 조작에 강력함을 보여주고 ^{[5] [7]}, Diffusion Policy와 ACT 계열은 행동 분포와 시간 단위 묶음화가 복잡한 조작에 유용함을 보여준다 ^{[8] [9]}. 다만 제조 셀에서는 정책이 낸 행동을 물리 경계가 감싸야 한다. 힘 한계, 보호된 이동, 임피던스 설정, 충돌 구역, 고정구 상태가 없는 정책 실행은 벤치마크 점수가 좋아도 라인 정지를 일으킬 수 있다.

제어 경계를 먼저 표로 쓴다

제조 개념 검증(PoC)에서는 제어 설계를 코드보다 표로 먼저 검토할 수 있다. 아래 표는 학습된 정책이 책임질 부분과 결정론적 계층이 책임질 부분을 나눈다.

이 표가 없으면 데이터 순환도 흔들린다. 어떤 실패가 정책 오류인지, 제어기 보호 장치의 미비인지, 고정구 모델의 불일치인지 분리할 수 없기 때문이다. 오프라인 시연 연구가 시연 품질을 다루더라도 ^[10], 제조 배포에서는 시연 뒤의 제어 경계도 같은 비중으로 기록해야 한다.

현실 전이는 무작위화만으로 닫히지 않는다

영역 무작위화(domain randomization)는 하나의 정확한 시뮬레이터 대신 가능한 여러 세계에서 정책을 훈련한다. Tobin 등은 질감·조명·카메라를 바꿔 실제 영상을 훈련 분포의 한 변형으로 만드는 시각 전이를 보였고 ^[30], Peng 등은 질량·마찰·감쇠와 같은 동역학을 흔들어 제어 정책의 전이를 연구했다 ^[31]. 이 접근은 모든 값을 완벽히 식별하기 어려울 때 유용하며, 병렬 시뮬레이션과 결합하면 희귀 조건을 빠르게 표본화할 수 있다.

영역 무작위화는 보고된 장치와 작업에서 전이를 개선할 수 있지만, 넓은 범위를 무작정 흔드는 일은 계통 식별이나 실제 상관 시험을 대신하지 못한다 ^{[33] [31] [30]}. 시각 무작위화는 접촉력 전이를 입증하지 않으며, 물리 무작위화도 실제 오차가 훈련 범위 안에 있다는 보장이 없다.

영역 무작위화는 유용하지만 충분하지 않다. 무작위화 매개변수가 실제 불량 유형과 연결되어야 한다. 예를 들어 삽입 셀에서 마찰, 간극, 초기 자세를 흔드는 것은 좋다. 하지만 실제 라인의 걸림 코드, 긁힘 코드, 작업자 복구와 맞물리지 않으면 시뮬레이션은 많은 장면을 만들 뿐 배포 신뢰를 만들지 못한다.

그림 4.2. 도식은 중력·마찰·링크 질량의 무작위 표본 공간 안에 실제 매개변수 지점을 놓는다. 이 예시 공간의 포함만으로 실제 재현이나 품질 유효성이 입증되지는 않는다. 출처: 저자 제작 일러스트(Gemini 보조).

시뮬레이션 평가 연구는 실제 정책을 시뮬레이션에서 평가하는 방법을 제시하지만 ^[1], 제조사는 시뮬레이션 결과를 "배포 허가"로 바로 읽으면 안 된다. 시뮬레이션은 배포 후보를 탈락시키는 데 더 강하다. 알려진 실패를 재현하지 못하는 정책, 힘 한계를 자주 침범하는 정책, 고정구 변동에 불안정한 정책을 미리 제거한다. 통과한 정책도 실제 셀의 제한된 실행과 QA 관문을 거쳐야 한다.

무작위화가 지나치게 넓으면 정책은 모든 조건에서 느리고 보수적인 행동을 선택할 수 있다. 반대로 독립적으로 값을 뽑으면 현실에 존재하지 않는 조합을 대량 생성한다. 온도 상승과 마찰 변화, 공구 마모와 위치 편향, 카메라 노출과 반사율처럼 실제 변수에는 상관 구조가 있다. 제조 데이터의 역할은 범위의 중심과 폭만 정하는 것이 아니라 어떤 변수가 함께 움직이는지 알려주는 것이다.

Chebotar 등은 실제 궤적의 차이를 이용해 시뮬레이션 매개변수 분포를 갱신하는 폐루프를 제시했다 ^[32]. 이 접근은 고정된 무작위화보다 실제 자료를 더 직접적으로 사용하지만, 안전한 실제 노출이 필요하고 해석기가 표현하지 못하는 접촉 양상은 찾을 수 없다. 따라서 식별과 무작위화의 관계는 선택지가 아니라 순서다. 먼저 관측 가능한 값을 맞추고, 남은 불확실성을 구조적으로 흔들며, 보류된 실제 자료에서 후보 정책의 순위가 유지되는지 확인한다.

의사결정 검토: 압입 삽입

압입 삽입 셀을 생각해 보자. 정책은 카메라 영상과 지시를 보고 부품을 고정구 위로 가져갈 수 있다. 그러나 접촉이 시작되는 순간부터는 물리 경계가 더 중요해진다. 간극이 작고 표면 마찰이 변하며 부품이 약간 기울면 힘이 급증한다. 이때 정책이 계속 아래로 누르면 겉보기에는 그럴듯한 행동이 긁힘과 걸림을 만든다.

첫 번째 경계는 접근이다. 정책은 후보 자세를 제안할 수 있지만 금지 구역, 고정구 충돌, 사람 진입은 결정론적 감시기가 막아야 한다. 두 번째 경계는 접촉 시작이다. 힘·토크 기록이 예상 범위를 벗어나면 삽입을 중단하고 복구 자세로 이동한다. 세 번째 경계는 완료다. 정책이 성공을 예측해도 검사 결과나 힘의 특징이 맞지 않으면 완료로 처리하지 않는다. 이 세 경계가 있어야 Diffusion Policy나 ACT 계열의 행동 모델링 장점을 실제 셀에서 안전하게 활용할 수 있다 ^{[8] [9]}.

이 검토에서 시뮬레이션은 정책을 더 과감하게 만드는 도구가 아니다. 알려진 걸림, 고정구 편향, 마찰 변화를 미리 흔들어 불안전한 후보를 제거하는 도구다. QT-Opt나 대규모 파지 계열이 보여준 반복 학습의 힘은 중요하지만 ^{[5] [7]}, 압입처럼 불량 비용이 큰 작업에서는 반복 실패를 실제 라인에서 많이 만들 수 없다. 접촉 모델은 이 실패 예산을 아끼는 장치다.

경계 근거를 배포 관문으로 바꾸기

제어 경계는 문서에 쓰는 것만으로는 충분하지 않다. 각 경계가 어떤 근거로 검증되는지 배포 관문에 들어가야 한다. 아래 표는 접촉 집약 셀에서 정책 갱신을 허용하기 전에 확인할 수 있는 최소 관문이다.

이 표는 학습된 정책을 불신하자는 뜻이 아니다. 정책이 잘하는 영역과 결정적 시스템이 책임질 영역을 나누자는 뜻이다. 제조사는 모델 점수를 배포 관문으로 바로 쓰지 말고, 정책 출력이 물리 경계 안에서 어떤 근거를 남겼는지 보아야 한다.

Drake식 사고는 책임을 분리한다

Drake식 사고의 장점은 로봇을 하나의 학습된 블랙박스로 보지 않는 데 있다. 플랜트 모델, 접촉 모델, 최적화기, 제어기, 상태 추정기, 정책, 감시기는 서로 다른 책임을 갖는다. 제조 셀에서도 이 분리가 필요하다. 로봇 공급업체가 정책을 제공하더라도 제조사는 고정구 형상, 안전 범위, 품질 관문, 되돌리기 권한을 소유해야 한다.

이 분리는 공급업체와 협업할 때 특히 중요하다. Isaac Lab, GR00T, Gemini Robotics, pi0, Octo 같은 범용 정책 흐름은 넓은 사전지식을 제공한다 ^{[19] [18] [20] [21] [22]}. 그러나 공장 라인 책임자는 "정책이 무엇을 알고 있는가"보다 "정책이 모를 때 무엇이 막는가"를 물어야 한다. 미지의 접촉, 센서 누락, 모델에 반영되지 않은 고정구 변경, 사람 진입, 검사 불일치를 감지하는 감시기가 배포 관문의 일부가 된다.

계통 식별: 좋은 해석기보다 먼저 필요한 현실의 숫자

시뮬레이터에는 형상, 질량, 관성, 마찰, 탄성, 감쇠, 모터 응답, 센서 지연, 제어 주기 같은 값이 들어간다. 설계 도면은 그중 일부만 제공한다. 실제 부품의 공차, 표면 오염, 케이블의 이력 의존 굽힘, 감속기 마찰, 힘 센서의 영점 이동은 현장에서 달라진다. 계통 식별(system identification)은 이 값을 실제 입출력과 맞추는 과정이며, 단 한 번의 보정이 아니라 장치·부품·소프트웨어 판본에 종속된 실험 계약이다.

더 표현력이 높은 접촉·변형 해석기를 채택했다는 사실만으로 실제 거동의 정확성이 성립하지 않는다. 형상과 재질뿐 아니라 구동기, 센서, 제어기 매개변수까지 식별되어야 하며, 접촉 최적화가 비선형성과 초기값에 민감하다는 고전 결과도 이 경계를 뒷받침한다 ^{[28] [27]}. Newton의 공개 자료는 복잡한 접촉과 변형체를 위한 확장 능력을 설명하지만, 이는 식별되지 않은 현장 값을 자동으로 복원한다는 독립 증거가 아니다 ^[43].

식별은 모든 물리량을 정확히 알아내는 문제가 아니다. 실제로는 작업이 구분할 수 있는 유효 매개변수를 찾는다. 압입에서 마찰과 정렬 오차가 힘 곡선에 비슷한 영향을 주면 두 값을 한 번의 궤적으로 따로 식별하기 어렵다. 이때 추가 센서, 다른 가진 궤적, 여러 속도 조건이 필요하다. 반대로 배포 결정에 영향을 주지 않는 매개변수를 끝없이 맞추는 것은 비용 낭비다. 목표는 가상 복제의 외관 점수가 아니라 실패 순위와 안전 경계를 바르게 예측하는 최소 모델이다.

식별 자료는 학습 자료와 분리해 보존해야 한다. 모델을 맞추는 데 사용한 궤적만으로 모델을 평가하면 과적합을 숨기기 쉽다. 적어도 보정 세트, 정책 학습 세트, 보류된 실제 재현 세트를 나누고, 장치 정비나 공구 교체가 일어나면 계보를 새로 열어야 한다. 이 구분이 없으면 시뮬레이터와 정책이 같은 실패를 함께 암기한 뒤 서로를 검증하는 순환 오류가 생긴다.

잔차 학습: 모델이 맞는 부분은 남기고 오차만 배운다

모델과 데이터 사이의 중간 해법은 잔차 학습(residual learning)이다. 해석 모델이나 기존 제어기가 기본 행동을 만들고, 학습기는 실제와의 차이 또는 작은 행동 보정만 예측한다. 이 방식은 완전한 종단간 정책보다 학습해야 할 공간을 줄이고, 기본 제어기의 안정성을 유지할 가능성이 있다. 다만 잔차가 커지면 사실상 기본 모델을 덮어쓰므로 제한 범위와 감시가 필요하다.

ASAP은 시뮬레이션에서 먼저 전신 동작 정책을 익힌 뒤 약 20분의 실제 로봇 실행으로 시뮬레이션과 현실의 행동 차이를 예측하는 델타 모델을 학습했다. 연구진은 이 보정을 다시 시뮬레이션 훈련에 넣어 Unitree G1의 민첩한 전신 동작을 보였다 ^[34]. 이 결과는 실제 자료가 적어도 될 가능성을 보여주지만, 해당 잔차는 장치에 종속되고 보고된 과제는 조작 접촉이 아니라 전신 동작 중심이다. 정밀 삽입이나 변형체 작업으로의 일반화를 뜻하지 않는다.

잔차를 어디에 둘지도 중요하다. 동역학 잔차는 다음 상태를 보정하고, 행동 잔차는 제어 명령을 보정하며, 관측 잔차는 센서 모형을 보정한다. 세 종류를 한 모델에 섞으면 성능은 오를 수 있지만 실패 원인은 다시 불분명해진다. 제조 셀에서는 잔차 크기, 포화 횟수, 기본 제어기 개입, 품질 결과를 함께 기록해야 한다. 잔차가 특정 부품 묶음이나 정비 이후 갑자기 커지면 정책 문제가 아니라 공정 이동일 수 있다.

보정된 명시적 시뮬레이션과 평가

시뮬레이터의 목적을 현실과 똑같은 영상으로 잡으면 접촉 검증을 놓치기 쉽다. 조작 정책에 중요한 오차는 최소 네 묶음이다. 첫째는 최종 장치와 물체의 궤적 오차, 둘째는 힘·접촉 시점·미끄럼 같은 접촉 오차, 셋째는 센서와 제어 지연을 포함한 시간 오차, 넷째는 정책과 실패 조건의 순위 오차다. 모든 화소를 맞추지 못해도 정책 순위를 잘 예측할 수 있고, 반대로 사진처럼 보여도 접촉력은 틀릴 수 있다.

SIMPLER는 시각 및 제어 분포를 맞춘 뒤 여러 정책의 시뮬레이션 결과와 실제 결과 사이의 상관을 평가했다 ^[1]. 이 연구가 주는 중요한 교훈은 완전한 물리 복제 없이도 정책 평가 대리물이 될 수 있다는 점이다. 동시에 상관은 장치·정책군·작업·분포 변화에 종속된다. 평균 순위가 맞아도 숨은 힘, 표면 손상, 특정 회차의 안전 실패는 검증되지 않는다.

시뮬레이션이 배포 판단에 관여하려면 보류된 실제 재현을 기준으로 작업 관련 궤적, 접촉, 시간, 실패 순위 오차를 먼저 측정해야 한다 ^{[35] [1] [32]}. 이 조건은 시뮬레이터가 배포를 단독 승인한다는 뜻이 아니라, 어떤 후보를 탈락시킬 수 있는지 그 유효 범위를 정한다는 뜻이다.

SimFoundry는 장면 재구성과 평가 자동화를 넓히는 최근 방향을 보여주지만, 공개 한계에는 상류 모델의 비결정성, 단일 지지면 가정, 재구성 시간과 인공 흔적, 탁상 과제 중심 평가가 포함된다 ^[35]. 그러므로 자동 생성된 가상 복제는 평가 자산의 초안이지 기준 근거 자체가 아니다. 사람이 형상, 관절, 충돌, 물리 속성, 센서 위치, 단위, 좌표계를 검토하고 실제 재현으로 판별해야 한다.

NVIDIA 물리 AI 전략: 하나의 제품이 아니라 책임 사슬

NVIDIA 중심 전략은 Cosmos가 모든 시뮬레이션과 실제 자료를 대체한다는 그림이 아니다. 더 정확한 해석은 장면 작성, 센서·물리 실행, 대량 훈련, 접촉 해석, 생성 증강을 서로 다른 계층에 배치하는 것이다. 각 계층은 다른 간극을 줄이며, 최종 판단의 권위는 실제 재현·보정·안전·품질 기록에 있다.

OpenUSD는 조합 가능한 장면 기술과 교환 규칙을 제공한다. Omniverse 라이브러리와 연결기는 기존 제작 도구에서 물리 속성·의미 표지·센서 설정을 붙이고, 장면을 다른 실행 환경으로 넘기는 흐름을 만든다 ^{[44] [45]}. 사용자가 제공한 Blender 영상은 ovphysx, ovrtx와 검증 도구를 기존 제작 환경에 넣는 공개 시연을 보여준다 ^[46]. 그러나 영상과 공식 발표가 입증하는 것은 공개된 판본의 기능과 의도다. 자동으로 채운 물성이나 의미 표지가 실제와 맞는지, 정책 전이가 좋아지는지는 별도의 독립 시험이 필요하다.

Isaac Sim은 작성된 장면에서 로봇, 센서, 지원 물리를 실행하고 합성 관측을 만든다 ^[40]. Isaac Lab은 그 위에서 병렬 환경, 강화학습·모방학습, 교과과정, 무작위화, 평가 작업을 조직한다 ^[41]. 촉각까지 포함하면 TacEx처럼 Isaac Sim에서 GelSight 계열 관측을 모사하려는 연구가 있지만 ^[42], 특정 센서 모사의 구현 자체가 실제 접촉 영역이나 장기적인 보정값 변화를 해결했다는 뜻은 아니다.

Isaac Sim은 장면·로봇·센서·지원 물리의 실행을 맡고 Isaac Lab은 일괄 학습과 평가를 조직한다. Newton은 접촉 및 변형체 해석의 선택지를 넓히지만, 이들 가운데 어느 하나도 단독으로 안전 근거가 되지 않는다 ^{[40] [41] [43]}. Gao et al. ^[40]은 Isaac Sim에 대한 제3자 조사 논문이지 공식 NVIDIA 플랫폼 근거가 아니다. 공개 자료의 기능 범위와 실제 공정의 검증 범위를 같은 것으로 읽어서는 안 된다.

Newton의 전략적 의미는 장면 작성이나 학습 틀과 다른 층에 있다. 공개 자료는 GPU 지향의 확장 가능한 물리 엔진, 접촉이 많은 조작, 변형체, OpenUSD 및 여러 학습 환경과의 통합 방향을 설명한다 ^[43]. 더 나은 충돌 표현, 케이블·천·체적 재료, 차별 가능한 물리는 정밀 조작의 모형 공간을 넓힐 수 있다. 하지만 케이블의 굽힘 강성, 마찰, 단자 공차, 조립 속도가 식별되지 않으면 힘 곡선은 빗나간다. 공식 시연과 협력사 사례는 기능이 존재함을 보여줄 뿐, 서로 다른 공장으로의 장기 전이 가능성이나 완벽한 충실도를 독립적으로 입증하지 않는다.

Cosmos와 학습 예측 모델: 자료 증강과 실제 접촉 사이

학습 예측 모델의 계보는 최근에 갑자기 생기지 않았다. Visual Foresight는 행동 조건 영상 예측과 표본 기반 계획을 결합해 이미지 목표에 맞는 밀기 행동을 선택했다 ^[36]. 이 연구는 가능성과 함께 장기 예측의 흐림과 계산량, 밀기 결과를 삽입 접촉으로 일반화할 수 없는 한계도 보였다. 그럴듯한 영상과 정확한 힘·마찰은 다르다.

DreamDojo는 대규모 1인칭 인간 영상과 로봇 자료를 결합해 일반 로봇 세계 모델을 만들려는 방향을, World Action Models are Zero-shot Policies는 미래 상태와 행동을 함께 생성해 정책으로 사용하는 방향을 탐색한다 ^{[37] [38]}. 이들은 행동 표지가 부족한 인간 영상을 활용하고 후보 행동의 범위를 넓힐 가능성이 있다. 동시에 대규모 인간 영상의 선행학습 비용, 장치별 사후학습, 보이지 않는 힘·촉각, 행동 가능성의 차이는 남는다.

Cosmos 3은 생성, 추론, 행동 조건 미래 예측을 하나의 물리 AI 체계로 묶는다 ^[39]. 공식 설명은 현재 장면과 행동으로 미래를 예측하는 순방향 모드, 영상에서 행동을 추정하는 역방향 모드, 다음 행동과 미래를 함께 만드는 정책 모드를 제시한다 ^[47]. 사용자가 제공한 사후학습 영상은 특정 자료 형식과 설정을 이용한 공개 절차를 보여주지만, 성공률 분모나 힘·촉각 복원, 독립 재현은 제시하지 않는다 ^[48]. 그러므로 “100개 예시” 같은 자습서 설정을 일반적인 원격조작 절감률로 바꾸어 말할 수 없다.

학습 세계 모델은 입증된 예측 유효 범위 안에서 자료 증강이나 정책 순위화에 쓸 수 있지만, 정확한 접촉 해석기로 취급할 수 없다 ^{[38] [37] [36]}. 영상에서 행동을 역추정해도 관측되지 않은 토크, 접촉 압력, 촉각, 안전 여유가 자동으로 복원되는 것은 아니다.

Cosmos가 실제 시연을 줄일 가능성은 대체보다 증폭으로 표현하는 편이 정확하다. 소량의 실제 장치 자료로 외관과 행동 조건을 맞춘 뒤 새로운 배경·배치·후보 궤적을 생성하고, 명시적 시뮬레이션이나 실제 재현에서 걸러낼 수 있다. 이 과정은 사람의 전체 시연을 희귀 실패, 보정, 안전 판정 중심으로 재배치할 수 있다. 그러나 세계 모델 선행학습에 든 자료, 장치별 사후학습, 생성 자료 선별, 물리 보정, 실제 검증 비용을 모두 포함해야 총 자료 비용을 평가할 수 있다.

촉각·힘 근거는 물리 순환을 보강한다

접촉 모델은 센서 없이 오래 버티기 어렵다. 시각이 접촉 상태를 직접 보지 못하는 작업에서는 촉각과 힘이 모델의 불일치를 찾아준다. DIGIT, AnyTouch, ForceVLA, 촉각언어행동 계열은 촉각과 힘이 정책 표현에 들어가는 흐름을 보여준다 ^{[15] [14] [12] [13]}.

이 신호는 제어기에도 필요하다. 힘이 일정 임계값을 넘어 급증하면 정책이 계속 행동을 내더라도 보호 정지가 우선해야 한다. 촉각 무늬가 예상한 접촉과 다르면 삽입을 멈추고 복구 절차로 넘어가야 한다. 손이나 센서가 바뀌면 재현 세트에도 새 표지를 붙여야 한다. LEAP Hand 같은 저비용 정교한 손은 연구 접근성을 높이지만 ^[16], 제조에서는 보정값 변화와 정비 사건이 물리 순환의 일부가 된다.

시뮬레이터가 틀리는 지점을 데이터가 알려준다

물리 우선 사고도 완벽하지 않다. 마찰 계수, 변형체 재질, 케이블 굽힘, 촉각 접촉 영역은 모델링하기 어렵다. Genesis 같은 엔진과 Isaac Lab 같은 틀이 장면과 실행 처리량을 넓혀도 ^{[4] [19]}, 실제 부품의 마모나 오염, 고정구의 미세한 변형은 계속 틀릴 수 있다. 따라서 시뮬레이션은 실측 기준값이 아니라 가설 생성기로 읽어야 한다.

현장 데이터는 시뮬레이션이 틀리는 위치를 알려준다. 실제 QA가 특정 재질 묶음에서 걸림을 많이 기록하면 시뮬레이션은 그 묶음의 강성이나 마찰 범위를 넓혀야 한다. 실제 힘 기록이 모델보다 이른 급증을 보이면 접촉 시작 모델이 틀렸을 수 있다. 촉각 무늬가 예상과 다르면 형상이나 센서 보정을 의심해야 한다. 대규모 데이터 전략에서 데이터는 정책만 학습시키는 것이 아니라 시뮬레이터와 보호 장치도 교정한다.

시뮬레이션과 실제 셀 검증은 한 루프다

대규모 합성 실행의 매력은 크다. Isaac Lab과 GPU 시뮬레이션은 많은 궤적을 빠르게 만들 수 있고 ^[19], Genesis 같은 범용 물리 엔진은 자산과 장면의 다양성을 넓힐 수 있다 ^[4]. 그러나 접촉 집약 제조에서는 합성 처리량을 실제 셀 검증과 분리하면 위험하다.

그림 4.3. 시뮬레이션은 실제 실패를 가져와 흔들고, 실제 셀은 가상 관문을 통과한 후보를 다시 검증한다. 출처: 저자 제작 일러스트(OpenAI 보조).

좋은 순환은 실제 실패에서 시작한다. QA가 걸림 불량을 기록하면 그 불량을 만든 자세, 힘, 고정구 상태를 추출한다. 시뮬레이션은 그 주변 분포를 넓혀 후보 정책을 탈락시킨다. 통과한 정책은 제한된 실제 실행으로 돌아가고, 결과는 재현 세트와 시뮬레이션 매개변수를 갱신한다. 이렇게 해야 합성 데이터가 현실을 대체하지 않고 현실 실패를 증폭하는 도구가 된다.

범용 정책과 셀 전용 보호 장치의 결합

GR00T, Gemini Robotics, pi0, Octo 같은 범용 정책 흐름은 폭넓은 사전지식을 제공한다 ^{[18] [20] [21] [22]}. 이 사전지식은 새로운 지시, 물체 외관, 운동 계열을 빠르게 다루게 해준다. 하지만 제조 셀의 배포 책임은 폭넓은 사전지식만으로 해결되지 않는다. 셀 전용 보호 장치가 없으면 범용 정책은 미지 상태에서도 자신 있게 행동을 낼 수 있다.

따라서 실제 구조는 계층형 시스템이 된다. 상위 정책은 후보 행동이나 하위 목표를 제안한다. 중간 제어기는 접촉 모드와 임피던스를 관리한다. 안전 감시기는 사람 진입, 충돌 구역, 과도한 힘, 센서 누락을 차단한다. QA 관문은 출력 부품이 공정 기준을 통과했는지 판단한다. 이 구조에서 데이터 순환은 정책 자료집합뿐 아니라 보호 장치의 임계값, 시뮬레이션 매개변수, QA 재현 자료도 함께 갱신한다.

제조 셀 적용 체크포인트

첫 접촉 집약 개념 검증에서는 모델 구조보다 제어 경계 문서를 먼저 만든다. 문서에는 허용 접촉, 힘 한계, 보호된 이동, 비상 정지, 작업자 인계, 품질 검사, 되돌리기 발동 조건이 들어간다. 이어서 각 항목을 어떤 센서와 기록이 증명하는지 붙인다. 증거가 없는 경계는 실제로는 경계가 아니다.

두 번째 체크포인트는 근거 등급이다. 물리·시뮬레이션 논문은 방법을, 기업 개발자 페이지는 도구사슬의 방향을, 생산 보고서는 운영 가능성을 각각 말한다. Toyota Research Institute의 대규모 행동 모델 발표는 기술을 빠르게 가르칠 가능성을 보여주지만 ^[17], 제조 라인의 배포 관문은 불량 코드, 안전 정지, 재작업, 중단 시간으로 확인해야 한다. AgiBot World 같은 대규모 플랫폼도 폭넓은 범위의 증거이지 특정 제조 셀의 QA 통과를 자동으로 뜻하지 않는다 ^[3].

세 번째 체크포인트는 책임 감사이다. 정책 실패, 모델 불일치, 제어기 결함, 고정구 마모, 작업자 절차가 각각 누구의 책임인지 배포 전에 정해야 한다. 이 감사가 없으면 현장 실패가 생겼을 때 공급업체는 데이터 문제라고 하고, 제조사는 모델 문제라고 하며, 통합자는 고정구 문제라고 말할 수 있다. Drake식 분리는 기술 설계이면서 책임 설계다.

배포 훈련: 실패를 일부러 재현하는 연습

접촉 집약 셀은 정상 동작만 검증해서는 부족하다. 배포 전에 알려진 실패를 일부러 재현하는 훈련이 필요하다. 예를 들어 삽입 셀에서는 고정구 편향, 고마찰 묶음, 센서 누락, 작업자 인계, 비상 정지를 제한된 조건에서 실행한다. 목표는 실패를 많이 만드는 것이 아니라 경계가 의도한 순서로 작동하는지 보는 것이다.

훈련은 네 결과를 남긴다. 첫째, 정책이 미지 상태에서 어떤 행동을 제안했는지. 둘째, 제어 보호 장치가 얼마나 빨리 차단했는지. 셋째, 작업자에게 어떤 메시지와 복구 경로가 제공되었는지. 넷째, QA와 재현 세트에 어떤 기록이 남았는지. 이 네 기록이 연결되어야 "안전하게 실패했다"고 말할 수 있다. 단순히 로봇이 멈췄다는 사실만으로는 충분하지 않다.

이 훈련은 시뮬레이션과 실제 셀 검증을 연결한다. 시뮬레이션에서 재현한 걸림이 실제 제한 실행에서도 같은 보호 장치를 작동시키는지 확인하고, 실제에서 새로 발견한 실패는 시뮬레이션 가혹 사례로 되돌린다. 이런 훈련 없이 합성 처리량만 늘리면 배포 신뢰가 아니라 거짓 신뢰가 커질 수 있다.

배포 훈련의 성패는 주기 시간이 아니라 설명의 완전성으로 판단한다. 실패가 생겼을 때 정책 제안, 제어기 개입, 센서 근거, QA 결과, 작업자 행동이 하나의 사슬로 남으면 좋은 실패다. 어느 한 항목이 비면 다음 갱신에서 같은 문제가 돌아올 수 있다. 특히 접촉 집약 작업에서는 "멈췄다"와 "왜 멈췄는지 설명된다"가 다르다.

이 기준은 Tedrake 계보를 제조 언어로 번역한다. 모델 기반 사고는 더 우아한 시뮬레이션을 만드는 것에서 끝나지 않는다. 어떤 상태를 정책이 맡고, 어떤 상태를 제어기가 맡으며, 어떤 상태를 QA가 막는지 책임을 기록한다. 대규모 데이터 전략은 이 책임 구분을 더 자주 시험하고 더 빨리 수정할 수 있게 만든다.

실무적으로는 이 책임 구분을 배포 기록에 남긴다. 새 모델이 배포될 때 어떤 보호 장치의 임계값이 바뀌었는지, 어떤 시뮬레이션 가혹 시험 사례가 추가되었는지, 어떤 불량 재현 시험이 통과되었는지 기록한다. 이렇게 해야 다음 실패가 생겼을 때 "모델이 바뀌었다"가 아니라 "어떤 경계가 바뀌었다"를 추적할 수 있다.

이 장에서 말하는 물리는 보수적인 제동 장치가 아니다. 정책이 배울 수 있는 영역을 더 명확히 만들어 데이터 효율을 높이는 장치다. 경계가 명확할수록 실패는 더 작은 원인 집합으로 압축되고, 그만큼 다음 수집과 시뮬레이션 수정이 빨라진다.

주기 시간이 병목이 될 때도 같은 경계 지도가 필요하다. 어느 제약을 완화할 수 있고 어느 되돌리기 근거를 반드시 남겨야 하는지 보이면 속도 개선이 안전 부채로 바뀌지 않는다.

열린 문제와 실패 모드

첫째, 이동 제어의 성공을 정밀 조작에 그대로 옮길 수 없다. 계단 보행이나 전신 동작은 주로 관절 상태와 제한된 접촉 구조를 이용할 수 있지만, 제조 조작은 반사·가림·미세 공차·표면 마찰·변형·장기 순서를 동시에 다룬다. ASAP이나 영역 무작위화의 성공은 중요한 방법 증거이지만 삽입·케이블·연질 포장의 자동 전이를 보장하지 않는다 ^{[34] [33]}.

둘째, 정책 순위 상관은 안전 동등성이 아니다. SIMPLER처럼 현실과 시뮬레이션의 평가 상관을 높이는 연구는 매우 유용하지만, 특정 회차의 숨은 손상과 힘 초과를 보장하지 않는다 ^[1]. 따라서 시뮬레이션 점수는 실제 시험 순서를 정하거나 나쁜 후보를 제거하는 데 먼저 쓰는 편이 안전하다.

셋째, 더 표현력 높은 물리는 더 많은 보정 책임을 만든다. 재질 모형과 접촉 항이 늘어나면 표현 가능한 현상은 많아지지만 식별해야 할 값과 비식별성도 늘어난다. 실제 센서가 구분할 수 없는 매개변수를 동시에 맞추면 그럴듯한 여러 해가 같은 궤적을 설명할 수 있다. 모델 복잡도는 작업이 요구하는 실패 양상과 관측 능력에 맞춰야 한다.

넷째, 학습 세계 모델의 시각적 설득력은 물리적 타당성과 다르다. 긴 시간의 영상이 자연스러워도 행동과 상태가 어긋나거나 접촉이 불가능할 수 있다. Cosmos 3 공식 자료 자체도 행동과 상태의 불일치, 비현실적 동역학을 남은 문제로 다룬다 ^[47]. 생성 결과는 실제 자료로 가는 지름길이 아니라 검증이 필요한 후보다.

다섯째, 공개된 공장 규모의 독립 장기 검증은 아직 부족하다. 공식 발표와 사전 공개 논문은 빠르게 변하는 기능을 보여주지만, 여러 장치·부품·교대·정비 주기를 포괄한 외부 재현은 제한적이다. 따라서 판본과 날짜를 붙여 기능을 기술하고, 생산 준비성은 실제 셀 근거가 있을 때만 주장해야 한다.

이 장의 결론은 단순하다. 물리와 대규모 데이터는 경쟁 관계가 아니다. 물리는 데이터 수집을 안전하게 만들고, 데이터는 물리 모델이 틀리는 지점을 찾아준다. 제조 매니퓰레이션의 실전 전략은 둘 중 하나를 고르는 것이 아니라 둘의 책임 경계를 명확히 하는 것이다.

그림 4.4. 접촉 모델·무작위화·재현·잔차 게이트의 전이 절차. 이 도식은 성능 주장이 아니라, 능력 근거가 재현과 품질 판정을 거쳐 배포 권한으로 넘어가는 운영 책임 체인을 요약한다. 출처: 저자 제작 SVG.

함께 읽기와 다음 장으로의 다리

힘 정보를 행동 표현에 넣는 문제는 Terry의 DexForce 논문 노트 #3, 사람 자료와 장치 제약을 연결하는 문제는 ExoStart 논문 노트 #9, 접촉 경로와 품질 결과를 함께 보는 사례는 RoboPaint 논문 노트 #15에서 이어서 볼 수 있다. 이 링크들은 해설이며, 이 장의 근거는 아래 원 논문과 공식 기술 자료에 둔다.

이 장은 정책이 학습할 물리적 운동장을 정의했다. 임피던스 제어와 접촉 계획은 행동의 의미를 고정했고, 계통 식별과 무작위화는 명시적 모델의 오차를 다뤘으며, 잔차 학습과 세계 모델은 남은 오차와 자료 부족을 학습 대상으로 바꿨다. NVIDIA 기술 체계도 이 책임 사슬 안에서 읽을 때 가장 유용하다. 장면 작성, 실행, 훈련, 접촉 해석, 생성 증강이 구분되고 실제 재현이 최종 권위를 갖는다.

5장에서는 이 경계 안에서 정책을 어떻게 학습하는지 살핀다. 모방학습, 강화학습, 오프라인 학습은 같은 접촉 문제를 서로 다른 자료와 목적함수로 푼다. 다음 질문은 “시뮬레이터가 충분히 사실적인가”가 아니라 “실제·가상·사람 시연·실패 자료를 어떤 학습 규칙으로 결합해야 경계를 지키면서 일반화하는가”이다.

참고문헌

1. Li, Xingyu (2024). Evaluating Real-World Robot Manipulation Policies in Simulation. arXiv.
2. NVIDIA (2025). Isaac Lab: A GPU-Accelerated Simulation Framework for Multi-Modal Robot Learning. NVIDIA Research.
3. AgiBot-World Contributors et al. (2025). AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems. arXiv.
4. Genesis Team (2024). Genesis: A Generative and Universal Physics Engine for Robotics and Beyond. Project page.
5. Kalashnikov, Dmitry (2018). QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation. arXiv.
6. Dasari, Sudeep (2019). RoboNet: Large-Scale Multi-Robot Learning. arXiv.
7. Levine, Sergey (2016). Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection. arXiv.
8. Chi, Cheng (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. arXiv.
9. Zhao, Tony Z. (2023). Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware. arXiv.
10. Mandlekar, Ajay (2021). What Matters in Learning from Offline Human Demonstrations for Robot Manipulation. arXiv.
11. Choi, Hojung (2026). In-the-Wild Compliant Manipulation with UMI-FT. arXiv.
12. Yu, Wenhao (2025). ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation. arXiv.
13. Hao, Peng et al. (2025). TLA: Tactile-Language-Action Model for Contact-Rich Manipulation. arXiv.
14. Feng, Ruoxuan (2025). AnyTouch: Learning Unified Static-Dynamic Representation across Multiple Visuo-Tactile Sensors. arXiv.
15. Lambeta, Mike (2020). DIGIT: A Novel Design for a Low-Cost Compact High-Resolution Tactile Sensor with Application to In-Hand Manipulation. arXiv.
16. Shaw, Kenneth (2023). LEAP Hand: Low-Cost, Efficient, and Anthropomorphic Hand for Robot Learning. arXiv.
17. Toyota Research Institute (2024). Large Behavior Models for Robot Manipulation. Company technical post.
18. Bjorck, Johan (2025). GR00T N1: An Open Foundation Model for Generalist Humanoid Robots. arXiv.
19. NVIDIA (2025). Isaac GR00T N1 Open Foundation Model for Humanoid Robots. NVIDIA Developer.
20. DeepMind Robotics Team (2025). Gemini Robotics: Bringing AI into the Physical World. arXiv.
21. Black, Kevin (2024). pi0: A Vision-Language-Action Flow Model for General Robot Control. arXiv.
22. Octo Model Team (2024). Octo: An Open-Source Generalist Robot Policy. arXiv.
23. Khazatsky, Alexander (2024). DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset. arXiv.
24. O'Neill, Abby (2023). Open X-Embodiment: Robotic Learning Datasets and RT-X Models. arXiv.
25. Hogan, Neville (1985). Impedance Control: An Approach to Manipulation. Journal of Dynamic Systems, Measurement, and Control.
26. Khatib, Oussama (1987). A Unified Approach for Motion and Force Control of Robot Manipulators: The Operational Space Formulation. IEEE Journal on Robotics and Automation.
27. Mordatch, Igor et al. (2012). Discovery of Complex Behaviors through Contact-Invariant Optimization. ACM Transactions on Graphics.
28. Posa, Michael et al. (2014). A Direct Method for Trajectory Optimization of Rigid Bodies Through Contact. The International Journal of Robotics Research.
29. Todorov, Emanuel et al. (2012). MuJoCo: A Physics Engine for Model-Based Control. IEEE/RSJ IROS.
30. Tobin, Josh et al. (2017). Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World. IEEE/RSJ IROS.
31. Peng, Xue Bin et al. (2018). Sim-to-Real Transfer of Robotic Control with Dynamics Randomization. IEEE ICRA.
32. Chebotar, Yevgen et al. (2019). Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience. IEEE ICRA.
33. Siekmann, Jonah et al. (2021). Blind Bipedal Stair Traversal via Sim-to-Real Reinforcement Learning. RSS.
34. He, Tairan et al. (2025). ASAP: Aligning Simulation and Real-World Physics for Learning Agile Humanoid Whole-Body Skills. RSS.
35. Ranawaka, Nadun et al. (2026). SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation. arXiv preprint.
36. Ebert, Frederik et al. (2018). Visual Foresight: Model-Based Deep Reinforcement Learning for Vision-Based Robotic Control. arXiv preprint.
37. Gao, Shenyuan et al. (2026a). DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos. ICML.
38. Ye, Seonghyeon et al. (2026). World Action Models are Zero-shot Policies. arXiv preprint.
39. NVIDIA Cosmos Team (2026). Cosmos 3: Omnimodal World Models for Physical AI. arXiv preprint.
40. Gao, Sicong et al. (2026b). NVIDIA Isaac Sim: Enabling Scalable, GPU-Accelerated Simulation for Robotics. arXiv:2606.03551. Third-party survey.
41. Mittal, Mayank et al. (2025). Isaac Lab: A GPU-Accelerated Simulation Framework for Multi-Modal Robot Learning. arXiv preprint.
42. Nguyen, Duc Huy et al. (2024). TacEx: GelSight Tactile Simulation in Isaac Sim -- Combining Soft-Body and Visuotactile Simulators. arXiv preprint.
43. NVIDIA (2026a). Newton Physics Engine. Official technical documentation.
44. Alliance for OpenUSD (2026). OpenUSD Specifications and Alliance Governance. Official specification and governance site.
45. NVIDIA (2026b). Integrate Physical AI Capabilities into Existing Apps with NVIDIA Omniverse Libraries. Official technical post.
46. NVIDIA (2026c). Bringing Agent-Ready Simulation Into Blender. Official demonstration video.
47. NVIDIA (2026d). Develop Physical AI Reasoning, World, and Action Models with NVIDIA Cosmos 3. Official technical post.
48. NVIDIA (2026e). How to Post-Train NVIDIA Cosmos 3 for Robot Action Prediction. Official tutorial video.
49. Yuke Zhu et al. (2020). robosuite: A Modular Simulation Framework and Benchmark for Robot Learning. arXiv preprint.
50. Rishabh Agarwal et al. (2021). Deep Reinforcement Learning at the Edge of the Statistical Precipice. NeurIPS.
51. Ankur Handa et al. (2023). DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality. ICRA 2023.
52. Zilin Si et al. (2024). DiffTactile: A Physics-based Differentiable Tactile Simulator for Contact-Rich Robotic Manipulation. ICLR 2024.
53. Miquel Oller et al. (2024). Tactile-Driven Non-Prehensile Object Manipulation via Extrinsic Contact Mode Control. Robotics: Science and Systems (RSS) 2024.
54. Various (2025). Robust Model-Based In-Hand Manipulation with Integrated Real-Time Motion-Contact Planning and Tracking. arXiv preprint.
55. Uikyum Kim et al. (2021). Integrated Linkage-Driven Dexterous Anthropomorphic Robotic Hand. Nature Communications.