Chapter 5: 모방과 강화학습 — 데이터에서 정책으로

개요

Abbeel, Levine, Finn으로 이어지는 연구 계보를 한 문장으로 줄이면 "좋은 시연을 많이 모아 정책을 학습한다"가 아니다. 이 계보는 지도 정책 탐색(guided policy search), 행동 복제(behavior cloning), 오프라인 강화학습(offline reinforcement learning), 실제 로봇의 자율 시도, 시뮬레이션, 작업자 교정을 하나의 학습 루프로 묶는 방법을 발전시켜 왔다. ^[3]은 카메라와 팔 제어를 함께 학습하는 손-눈 협응의 방향을 열었고, ^[2]은 분산된 실제 로봇의 잡기 시도가 오프폴리시 학습의 자산이 될 수 있음을 보여주었다. ^[1]은 오프라인 인간 시연에서 무엇이 실제 조작 성능을 좌우하는지 통제 실험으로 따져 묻는다.

제조 셀에서 이 계보의 핵심 질문은 알고리즘 이름이 아니라 "어떤 경험을 다시 쓸 수 있는가"다. 사람 시연은 초기 분포를 만든다. 로봇 실행은 사람이 일부러 만들기 어려운 고난도 실패 사례를 만든다. 작업자 개입은 실패 직전의 상태와 교정 행동을 남긴다. 강화학습은 보상을 통해 접촉 탐색과 복구를 개선할 수 있지만, 보상이 최종 검사, 재작업, 폐기 코드와 연결되지 않으면 공정 개선이 아니라 시연 최적화에 머문다.

이 장을 읽고 나면... - 행동 복제, 대화형 교정, 오프라인 강화학습, 온라인 강화학습을 데이터 지지영역·리셋·위험에 따라 구분할 수 있다. - 행동 복제의 공변량 이동과 오프라인 강화학습의 가치 과대추정이 서로 다른 실패인 이유를 설명할 수 있다. - 실제 로봇 학습에서 작업자 관찰, 개입, 리셋, 안전 정지, 재검증 비용을 실험 비용에 포함할 수 있다. - 보행에서의 시뮬레이션 우선 성과가 접촉이 풍부한 제조 조작을 곧바로 검증하지 않는 이유를 말할 수 있다. - 보상, 재생 집합, 품질 추적, 되돌리기 문턱을 하나의 제조 실증 안에서 함께 설계할 수 있다.

학습 모드별 제조 역할

이 표의 결론은 단순하다. 사람 데이터만으로도 시작은 가능하지만, 제조 자동화는 "시작 가능한 정책"이 아니라 "갱신해도 퇴보하지 않는 셀"을 요구한다. 따라서 데이터 순환은 성공 영상 수집 캠페인이 아니라 재현, 교정, 검사 결과가 함께 움직이는 운영 장치가 되어야 한다.

행동 복제·오프라인 강화학습·온라인 강화학습·작업자 개입 중 무엇을 택할지는 리셋 가능성, 탐색 위험, 데이터 지지영역, 배포 승인 조건으로 결정해야 한다. ^[1], ^[29], ^[28]은 각 논문이 다룬 과제와 데이터 경계 안에서만 이 종합을 뒷받침하며, 장치와 공정을 가로지르는 보편적 성능을 보장하지 않는다. 같은 알고리즘도 손상 없는 탁상 잡기와 불량을 만들 수 있는 정밀 삽입에서는 전혀 다른 운영 체제에 놓인다.

이 선택표의 핵심은 하나의 체제를 끝까지 고집하지 않는 데 있다. 행동 복제로 시작하고, 선택적 교정으로 지지영역을 넓힌 뒤, 위험이 제한된 하위 기술만 온라인 강화학습으로 개선할 수 있다. 반대로 안전 정지나 수동 리셋이 늘면 온라인 단계를 닫고 최근의 승인된 오프라인 정책으로 돌아가야 한다. 학습 알고리즘 선택은 모델 설계인 동시에 운영 권한 설계다.

행동 복제의 실패는 평균 오차가 아니라 상태 분포의 이동이다

행동 복제는 시연에서 관측한 상태 s에 대해 전문가 행동 a를 맞추는 지도학습 문제로 바꾼다. 이 단순함이 강점이지만, 배포 순간 입력 분포가 바뀐다. 작은 예측 오차가 로봇을 시연에 없던 상태로 밀어내고, 그 상태에서 다시 오차가 커지는 공변량 이동(covariate shift)이 누적된다. Ross et al. ^[25]은 이 문제를 순차 예측의 무후회 학습으로 정식화하고, 학습자가 실제로 방문한 상태에 전문가 라벨을 다시 모으는 DAgger를 제안했다. 중요한 역사적 전환은 "시연을 더 모으자"에서 "현재 정책이 만드는 상태를 다시 라벨링하자"로 질문이 바뀐 것이다.

그러나 대화형 교정이 공짜라는 뜻은 아니다. 정책이 위험 상태를 실제로 방문해야만 라벨을 얻는 설계는 제품 손상이나 설비 충돌이 가능한 셀에서 그대로 쓸 수 없다. 모든 시점에 전문가를 붙이면 기존 텔레오퍼레이션과 비슷한 관찰 비용이 되살아난다. ThriftyDAgger는 새로움과 완료 위험을 기준으로 사람에게 제어권을 요청해 이 예산을 줄이려 하지만, 위험 추정기의 보정과 상시 대기 가능한 숙련자가 전제된다 ^[32]. 케이블 한 과제와 작은 사용자 연구에서 얻은 효율을 일반 제조 비용 절감으로 확대해서는 안 된다.

따라서 제조용 대화형 모방은 세 개의 문턱을 따로 둔다. 관측 문턱은 정책이 낯선 상태에 들어갔는지 판단한다. 개입 문턱은 사람이 언제 제어를 넘겨받을지 정한다. 정지 문턱은 사람 판단을 기다릴 수 없는 힘·속도·충돌 위험을 강제 보호 장치로 막는다. 개입 구간만 저장해서는 부족하다. 개입 직전 관측, 자동 정책이 제안한 행동, 실제 교정 행동, 개입 지연, 최종 검사 결과가 하나의 에피소드로 연결되어야 공변량 이동을 줄였는지 평가할 수 있다.

지도 정책 탐색에서 대규모 실제 로봇 강화학습까지

지도 정책 탐색은 궤적 최적화나 국소 제어기가 만든 행동을 고차원 신경망 정책에 전달하며 인지와 제어를 연결했다 ^[26]. 초기 접촉 조작 연구는 정교한 상태 추정과 과제별 계측에 크게 의존했지만, 그 덕분에 "좋은 교사로 정책을 초기화한 뒤 분포를 넓힌다"는 설계가 자리 잡았다. 이어진 실제 로봇 잡기 연구는 여러 로봇이 반복 시도한 결과를 재생 버퍼에 쌓고 오프폴리시로 재사용하는 방향을 확장했다 ^[3], ^[2]. 역사적 진전은 알고리즘 이름보다 비싼 로봇 경험을 한 번 쓰고 버리지 않는 데이터 운영에 있었다.

이 확장은 재현 비용의 차이도 드러낸다. QT-Opt의 근거는 대규모 실제 잡기와 명확한 시도 결과에 강하지만, 범위는 잡기 중심이고 작은 제조사가 같은 함대·리셋 인력을 재현하기 어렵다 ^[2]. MT-Opt와 AW-Opt는 여러 과제의 오프라인·온라인 경험, 시연, 자율 시도를 같은 학습 루프에서 재사용하는 방향을 보였지만, 과제 그래프 구성과 물리적 상호작용 비용은 사라지지 않는다 ^[36], ^[37]. 규모가 커졌다는 사실은 접촉 과제 전체로의 이전이나 생산 준비를 독립적으로 증명하지 않는다.

시연은 시작점이지 소유권이 아니다

시연 데이터의 장점은 분명하다. 사람은 고정구에 물체를 넣는 각도, 힘을 빼는 순간, 케이블이 걸렸을 때 손목을 돌리는 순서를 이미 알고 있다. 그러나 그 지식은 로봇 행동 공간으로 바로 옮겨지지 않는다. 카메라 위치, 그리퍼 순응성, 손가락 수, 속도 제한, 안전 구역이 바뀌면 같은 시연도 다른 분포가 된다. ^[1]이 중요한 이유는 사람 시연 자체보다 데이터 품질, 범위, 작업 구조가 성능을 좌우한다는 점을 드러내기 때문이다.

오프라인 시연에서는 명목상 에피소드 수만큼 시연 품질과 지지영역이 조작 정책 성능에 중요할 수 있다. 이 근거는 보고된 과제와 데이터셋 안으로 한정된다 ^[27], ^[1]. 에너지 함수로 여러 행동 양식을 표현하거나 더 큰 모델을 쓰더라도, 시연 밖 행동의 점수가 보정된다는 보장은 없다. 최근의 자기개선 계열도 결과 레이블, 자율 경험, 전문가 교정을 더해 데이터 분포를 바꾸는 과정이지, 빈 지지영역을 모델 규모만으로 메우는 과정은 아니다 ^[45]. 따라서 "100개 시연"이나 "백만 에피소드"는 센서 구성, 실패 비율, 과제 단계, 작업자 다양성, 보류 평가 분할이 없으면 비교 가능한 단위가 아니다.

그림 5.1. ALOHA의 저비용 양팔 텔레오퍼레이션 장치와 시연·학습 과제 예시다. 이 그림 자체는 ACT 정책 구조를 보여주지 않는다. 출처: Zhao et al. (2023), arXiv:2304.13705, 그림 1.

제조사는 시연을 공급업체가 가져가는 원천 영상으로만 두면 안 된다. 에피소드에는 작업자 ID를 직접 노출하지 않더라도 숙련도 등급, 공구 ID, 고정구 판본, 생산 묶음, 사전 점검 결과, 주기 시간 압박, 최종 검사 라벨이 남아야 한다. 그래야 모델 갱신 후 "성공률이 올랐다"가 아니라 "B 생산 묶음에서 발생하던 삽입 걸림이 줄었다"라고 말할 수 있다.

선택적 교정은 실패 직전의 센서다

DAgger의 교훈은 사람이 모든 데이터를 미리 줄 수 없다는 데 있다. 정책이 실제 셀에서 움직일 때만 나오는 상태가 있다. 부품이 살짝 비틀린 상태, 흡착컵이 오염된 상태, 케이블 피복이 고정구 모서리에 걸린 상태는 선별 시연에는 드물다. 이때 작업자 개입은 방해 요소가 아니라 가장 비싼 라벨이다.

좋은 개입 기록은 세 가지를 남긴다. 첫째, 정책이 어떤 관측에서 망설였는지 또는 잘못 접근했는지 남긴다. 둘째, 작업자가 어떤 행동으로 되돌렸는지 남긴다. 셋째, 그 교정이 최종 품질에 어떤 영향을 줬는지 남긴다. ^[4]와 ^[5]의 교차 영역 데이터 관점은 여기서 중요하다. 다양한 로봇과 영역을 묶을수록 행동 규약과 장치 형태 차이가 커지므로, 교정 기록 없이는 "다양성"이 곧바로 제조 견고성이 되지 않는다.

개입 데이터는 정책이 유발한 약한 상태를 방문하기 때문에 유용하지만 작업자와 안전 조건에 의존한다. 실행 시간 감시와 HIL-SERL은 각 논문의 조건 안에서만 이 해석을 뒷받침한다 ^[33], ^[32], ^[34]. 미래 상태를 예측해 감독 요청을 줄이는 실행 시간 감시도 첫 반복에서 전면적인 사람 감시가 필요할 수 있고, 학습하지 못한 새로운 실패를 놓칠 수 있다 ^[33]. HIL-SERL 또한 시연, 학습된 보상 판별기, 오프폴리시 학습과 사람 개입을 결합하지만 초기의 유능한 감독, 보상 구성, 리셋 공학을 없애지는 않는다 ^[34]. 그러므로 교정 구간 수만 세어 텔레오퍼레이션 비용이 줄었다고 결론 내리지 말고 관찰 시간, 전환 지연, 리셋, 손상 방지, 재검증까지 합산해야 한다.

강화학습은 반복 가능한 하위 기술에 먼저 쓴다

강화학습은 제조 셀 전체를 맡기기보다 반복 가능하고 보상을 정의할 수 있는 하위 기술에 먼저 적용한다. 파지 후보 순위화, 순응 삽입 탐색, 재파지, 실패 후 후퇴와 재시도처럼 에피소드 경계가 분명한 구간이 적합하다. ^[2]은 많은 실제 파지 시도와 오프폴리시 학습이 결합될 때 강화학습이 로봇 데이터 엔진이 될 수 있음을 보여준다. 다만 그 성공은 과제 범위가 파지에 집중되어 있었기 때문에 가능했다.

그림 5.2. Isaac Gym에서 벤치마크한 여덟 가지 로봇 환경이다. GPU 병렬 시뮬레이션은 실행 규모를 넓히지만, 이 그림만으로 실제 제조 셀 전이를 입증하지는 않는다. 출처: Makoviychuk et al. (2021), arXiv:2108.10470, 그림 1.

시뮬레이션은 이 구간을 넓힌다. ^[16]와 ^[17]처럼 시뮬레이션 평가와 GPU 가속 훈련은 희귀 실패와 영역 변동을 빠르게 회귀 시험으로 만들 수 있다. 그러나 시뮬레이터가 접촉 마찰, 순응성, 센서 지연을 충분히 설명하지 못하면 정책은 실제 셀에서 지나치게 조심스럽게 움직이거나 잘못된 힘을 쓸 수 있다. 따라서 시뮬레이션 실행은 "훈련 데이터"이기 전에 "어떤 실제 실패를 설명하려는 가설인가"를 밝혀야 한다.

오프라인 강화학습은 로그를 쓰지만 로그 밖 가치를 알지 못한다

행동 복제는 데이터의 행동을 따라 하지만, 오프라인 강화학습은 고정된 로그 안에서 더 높은 장기 보상을 줄 행동을 고르려 한다. 여기서 생기는 고유한 위험은 가치함수가 데이터에 거의 없는 행동을 과대평가하고 정책이 그 오류를 적극적으로 이용하는 것이다. CQL은 데이터 분포 밖 행동의 Q값을 낮추는 보수적 규제를 넣어 이 문제를 완화한다 ^[28]. MOPO는 학습한 동역학 모델의 불확실성이 큰 합성 전이에 보상 벌점을 줘 모델 편향을 억제한다 ^[30]. 두 접근 모두 중요한 경계선을 제시하지만, 보수성은 데이터에 드물게 들어 있는 유용한 복구 행동까지 누를 수 있고 앙상블 불확실성도 공유된 모델 편향 앞에서는 보정되지 않을 수 있다.

제조 관점에서 오프라인 학습의 질문은 "온라인 시도를 없앨 수 있는가"가 아니라 "어떤 온라인 시도를 승인 전에 줄일 수 있는가"다. 고정 로그로 후보 정책을 만들고, 시간·설비·작업자 단위로 완전히 분리한 재생 집합에서 평가하며, 실제 셀에서는 행동 제한과 저속 모드로 보류 평가를 수행한다. 오프라인 기준값이 높아도 실제 평가가 필요한 이유는 로그가 기록하지 않은 센서 고장, 마모, 지연, 접촉 불연속이 있기 때문이다. RL Unplugged 같은 고정 데이터 벤치마크는 알고리즘 비교를 환경 상호작용에서 분리했지만, 시뮬레이터 로그가 작업자 개입과 하드웨어 고장을 재현하지는 않는다 ^[31].

가치함수의 숫자를 제조 품질 확률로 오해해서도 안 된다. Q값은 정의된 보상과 데이터 생성 과정 아래의 기대 누적 보상이지, 힘 제한 준수나 불량 부재의 인증서가 아니다. 특히 실패가 드물고 비용이 큰 셀에서는 평균 수익이 좋아져도 꼬리 위험이 악화될 수 있다. 그래서 후보 정책의 가치 추정과 별도로 금지 행동 발생률, 힘 한계 초과, 비상 정지, 재작업, 최악 주기 시간을 직접 측정해야 한다.

오프라인에서 온라인으로 넘어가는 세 가지 운용 체제

첫째 체제는 오프라인 초기화 뒤 제한된 온라인 미세조정이다. AWAC은 오프라인 데이터로 정책을 시작하고, 우위가 높은 데이터 행동을 가중해 모방하면서 동적 계획법의 값을 활용해 온라인 개선을 이어간다 ^[29]. 이는 무작위 초기 탐색을 줄일 수 있지만 온라인 탐색과 물리 리셋을 없애지 않으며, 개선이 단조롭거나 안전하다는 보장도 아니다. 제조 셀에서는 승인된 행동 경계, 낮은 속도, 자동 리셋이 가능한 하위 기술부터 적용해야 한다.

둘째 체제는 사람이 실패 직전에 개입하는 사람-루프 강화학습이다. 이 체제는 로봇이 유용한 실패를 만들게 하되, 숙련자가 제품이나 설비 손상으로 넘어가기 전에 제어권을 가져간다. 장점은 성공 시연만 반복하는 것보다 정책의 약한 상태를 직접 학습한다는 점이다. 비용은 감독자의 집중 시간과 반응 지연이다. 작업자가 생산과 감독을 겸한다면 명목상 "개입 20회"보다 훨씬 큰 기회비용이 생긴다.

셋째 체제는 배치별 검토를 거치는 그림자 학습이다. 신규 데이터는 즉시 현장 정책을 바꾸지 않고 후보 체크포인트를 만든다. 후보는 재생 집합, 시뮬레이션 변형, 제한된 실제 보류 평가를 통과한 뒤 소수 셀의 시험 배포로 들어간다. 이 방식은 온라인 학습의 속도를 낮추지만 감사와 되돌리기를 가능하게 한다. 위험이 높은 제조에서는 "계속 학습한다"는 말보다 누가 어느 시점에 학습 결과를 승인하는지가 더 중요하다.

실제 로봇 강화학습의 표본 효율과 운영 효율은 다르다

SERL은 오프폴리시 학습, 시연 재사용, 보상 계산, 제어기와 리셋을 하나의 실세계 학습 묶음으로 제공하며 알고리즘 외의 시스템 세부가 표본 효율을 좌우함을 분명하게 만든다 ^[35]. DayDreamer는 여러 실제 로봇에서 픽셀과 희소 보상으로 세계 모델 기반 정책을 학습해 물리 로봇에서 직접 학습할 수 있음을 보였다 ^[38]. 이 성과들은 실세계 강화학습이 불가능하다는 통념을 약화하지만, 짧고 통제된 과제에서 얻은 결과가 교대 근무·마모·품질 추적이 있는 공장 운용을 검증하지는 않는다.

실세계 강화학습의 근거에는 리셋, 안전하지 않은 탐색의 통제, 전체 시도 분모, 훈련에서 제한 배포로 넘어간 절차가 포함되어야 한다. 인용된 시스템은 각 연구의 감독·과제·안전 조건 안에서만 이 종합을 뒷받침한다 ^[34], ^[35], ^[39]. CPO처럼 기대 제약 비용을 최적화하는 방법도 평균 비용의 근사적 제약이지 실시간 강제 안전 장벽이 아니며, 원 연구의 시뮬레이션 보행 결과를 접촉 조작 안전으로 일반화할 수 없다 ^[39]. 안전 PLC, 힘 제한, 보호 정지, 사람의 최종 권한은 학습 목적함수 밖에서 독립적으로 유지해야 한다.

운영비는 에피소드 수보다 넓다. 실패한 물체를 치우고 초기 자세로 되돌리는 리셋, 그리퍼 패드와 소모품 교체, 카메라 재보정, 보호 정지 해제, 결함품 검사, 잘못된 보상 라벨 수정, 후보 정책 재검증이 모두 실제 비용이다. 알고리즘이 필요한 로봇 시도를 절반으로 줄여도 매 시도의 리셋이 두 배 오래 걸리거나 작업자 관찰이 상시 필요하면 운영 효율은 나아지지 않는다. 그래서 실험표에는 로봇 시간, 작업자 시간, 손상·소모 비용, 검사 시간, 안전 사건을 나란히 기록해야 한다.

보행의 시뮬레이션 우선 성과가 조작을 대신 증명하지 않는다

보행은 시뮬레이션 우선 학습이 설득력을 얻은 대표 영역이다. 대규모 병렬 환경에서 질량, 관절 이득, 지면 마찰, 지형과 외란을 바꾸며 학습한 정책이 실제 4족·2족 로봇으로 이전되는 사례가 축적되었다 ^[40], ^[41]. 보행 정책은 주로 고정된 형태의 로봇에서 관절·관성센서 이력과 목표 속도를 받아 관절 목표를 출력하며, 주요 접촉도 발과 지면에 집중된다. 이런 구조는 시뮬레이터에서 대량 반복하고 매개변수를 무작위화하기에 상대적으로 알맞다.

접촉이 풍부한 제조 조작은 불확실성의 종류가 다르다. 카메라 가림과 반사, 그리퍼와 물체의 미세 접촉 위치, 마찰, 얇은 물체의 변형, 공차, 힘·촉각 응답, 검사 기준, 실패 뒤 복구 순서가 동시에 바뀐다. 보행에서의 평균 균형 회복은 삽입면의 흠집이나 케이블 피복 손상을 포착하지 않는다. CPO의 제약 결과와 계단 보행의 무시각 이전은 각각 시뮬레이션 보행의 제한된 근거이며, 조립 접촉의 안전성과 품질을 대신 인증하지 않는다 ^[39], ^[41].

시뮬레이션으로 만든 경험은 실제 시험 일부를 줄일 수 있지만, 최종 배포에는 보류된 실제 평가와 복귀 기준이 여전히 필요하다. DexMimicGen과 SimOpt는 각 연구가 다룬 조건 안에서만 이 종합의 일부를 뒷받침한다 ^[42], ^[43]. 합성 접촉의 유효성은 자산과 물리 보정에 의존하고, 시뮬레이터 매개변수가 실제 오차를 표현하지 못하면 반복 보정도 닫히지 않는다. 보류된 실제 평가에서 품질·안전·주기 시간을 확인하고 실패 시 승인된 체크포인트로 되돌려야 한다. 시뮬레이션은 실제 검증을 없애는 대체물이 아니라 더 비싼 실제 시험을 어디에 집중할지 정하는 도구다.

결정 예시: 커넥터 삽입 셀

예를 들어 와이어 하니스 커넥터를 플라스틱 하우징에 넣는 셀을 생각해 보자. 작업자는 커넥터를 집고, 키 방향을 맞추고, 하우징 턱을 살짝 타고 넘기며, 마지막에는 딸깍 소리나 힘 감소로 체결을 확인한다. 사람 시연은 이 순서를 잘 보여주지만, 정책이 실제로 배워야 하는 것은 더 잘게 나뉜다. 접근 자세, 삽입 전 정렬, 저힘 탐색, 걸림 감지, 후퇴, 재시도, 최종 검사까지 서로 다른 학습 문제가 된다.

이 셀에서 행동 복제는 초기 접근과 손목 방향을 배우는 데 적합하다. 작업자 교정은 턱에 걸렸을 때 어떤 후퇴 각도가 손상을 줄이는지 알려준다. 오프폴리시 강화학습은 탐색 깊이나 재시도 전략처럼 반복 가능한 하위 문제에 쓸 수 있다. 시뮬레이션은 하우징 공차, 커넥터 변형, 고정구 위치 오차를 넓게 흔들어 볼 수 있다. 하지만 최종 보상은 "끝까지 밀었다"가 아니라 체결 검사, 힘 기록, 외관 손상, 주기 시간을 함께 봐야 한다.

이 검토 사례가 중요한 이유는 데이터 소유권의 단위가 작업 전체가 아니라 구간이라는 점 때문이다. 제조사는 "커넥터 삽입 데이터"를 하나로 사는 대신 구간별로 어떤 데이터가 필요한지 써야 한다. 접근 자세는 영상과 관절 상태로 충분할 수 있다. 걸림 복구에는 힘·토크와 실패 코드가 필요하다. 최종 체결에는 검사 카메라와 품질 라벨이 필요하다. 같은 에피소드 안에서도 학습 방법과 필요한 센서가 달라진다.

보상 설계는 품질 언어로 번역되어야 한다

강화학습을 제조 셀에 넣을 때 가장 흔한 실패는 보상을 쉽게 측정되는 대리 지표로 만드는 것이다. 그리퍼가 목표 위치에 가까워지거나 삽입 깊이가 깊어지면 보상을 주는 식이다. 이런 보상은 연구 벤치마크에서는 출발점이 되지만, 현장에서는 위험하다. 커넥터를 깊게 밀수록 보상이 올라가면 과도한 힘과 손상을 만들 수 있고, 주기 시간을 줄이는 보상은 검사 누락을 유도할 수 있다.

제조 보상은 품질 언어로 번역되어야 한다. 성공은 합격·불합격 하나가 아니라 불량 코드, 재작업 여부, 외관 등급, 힘 한계 위반, 작업자 개입, 후속 검사 결과로 분해된다. ^[2]의 파지 시도가 유용한 이유도 각 시도가 결과를 남겼기 때문이다. 제조에서는 결과 라벨이 더 세밀해야 한다. 실패를 많이 모아도 실패 이유가 같은 키로 남지 않으면 오프폴리시 갱신은 무엇을 고쳐야 하는지 모른다.

좋은 보상 설계는 정책에 모든 권한을 주지 않는다. 힘 한계와 금지 구역은 보상이 아니라 강제 보호 장치일 수 있다. 주기 시간은 최적화 목표지만 안전 정지보다 우선하지 않는다. 사람 교정은 보상 형성 신호가 될 수 있지만, 교정을 만든 작업자의 숙련도와 상황을 함께 기록해야 한다. 그렇지 않으면 정책이 특정 작업자의 습관을 공정 규칙으로 오해한다.

학습 재생판과 배포 승인판을 분리한다

학습팀이 보는 재현판과 생산팀이 승인하는 배포 승인판은 다르다. 재현판은 실패 사례를 촘촘히 모은다. 커넥터 걸림, 오집기, 부품 낙하, 가벼운 충돌, 주기 지연, 작업자 인계 같은 실패 묶음을 만들고, 각 묶음에서 이전 모델과 후보 모델을 비교한다. 여기서는 실패를 많이 보는 것이 좋다. 실패가 다양해야 갱신의 약점을 찾을 수 있기 때문이다.

배포 승인판은 반대로 운영 위험을 본다. 후보 모델이 재현 집합에서 좋아졌더라도, 제한 생산 시험에서 주기 시간 분산이 커졌거나 안전 정지가 늘었으면 배포하지 않는다. ^[18] 같은 기업의 대규모 행동 모델 주장은 이 배포 승인판의 일부 정보만 공개하는 경우가 많다. 제조사는 내부 배포 승인판의 원시 지표를 소유해야 외부 주장을 자기 공정의 판단으로 바꿀 수 있다.

두 판을 분리하면 모방과 강화학습의 역할도 명확해진다. 모방 갱신은 사람과 비슷한 매끄러움과 초기 성공률을 높일 수 있다. 강화학습 갱신은 희귀 실패 복구를 개선할 수 있다. 시뮬레이션 갱신은 특정 공차 범위를 넓힐 수 있다. 하지만 어느 갱신이든 배포 승인판에서는 같은 질문을 받는다. 기존 실패가 줄었는가? 새로운 실패가 생겼는가? 되돌리면 어떤 데이터셋과 제어기 판본으로 돌아가는가?

근거 등급: 논문, 데이터셋, 기업 주장을 같이 읽는 법

이 계보의 근거는 서로 다른 성격을 가진다. ^[3]은 지각-행동 학습의 원형을 제공한다. ^[2]은 많은 실제 로봇 시도가 오프폴리시 강화학습의 기반이 될 수 있음을 보여준다. ^[4]와 ^[5]은 다중 로봇 또는 교차 영역 데이터셋이 일반화를 어떻게 돕는지 묻는다. ^[7]와 ^[8]은 더 큰 실환경 또는 교차 장치 데이터셋의 방향을 보여준다.

반면 회사 기술 포스트와 제품 페이지는 생산 의도와 기술 체계의 방향을 알려주지만, 실패 분포와 원시 원격측정 자료를 대부분 공개하지 않는다. 그래서 근거 등급은 "신뢰한다/안 한다"가 아니라 "무엇을 증명하는가"의 문제다. 논문은 방법과 벤치마크의 근거다. 데이터셋 논문은 범위와 스키마의 근거다. 회사 발표는 배포 방향과 통합 주장의 근거다. 실제 생산 준비성은 공장별 재현, 제한 생산 시험, 정비 기록이 있어야만 판단된다.

이 구분을 하지 않으면 대규모 데이터 전략은 쉽게 과장된다. 공개 데이터셋이 넓다고 해서 내 공장의 커넥터 고정구가 포함된 것은 아니다. 회사가 "대규모 행동 모델"을 말한다고 해서 내 라인의 폐기 코드까지 줄였다는 뜻은 아니다. 제조사는 외부 근거를 내부 근거 등급에 대응시키고, 각 등급이 어떤 결정을 허용하는지 정해야 한다.

오프라인 데이터셋은 공통 언어와 분포 밖 경고를 함께 준다

RoboNet, BridgeData, DROID, Open X-Embodiment 계열은 한 연구실의 과제를 넘어 여러 로봇과 장면을 묶으려는 시도다 ^[4], ^[5], ^[7], ^[8]. 이 흐름은 제조사에게 두 가지를 준다. 하나는 사전학습 표현과 과제 사전지식이다. 다른 하나는 분포 밖(out-of-distribution, OOD) 경고다. 공개 데이터셋이 넓어질수록 특정 공장의 고정구, 청소 상태, 공구 마모, 품질 기준은 오히려 더 특수한 변수로 드러난다.

Diffusion Policy와 ACT 같은 아키텍처는 이 데이터셋 위에서 행동 시퀀스를 다루는 방식을 바꿨다 ^[9], ^[10]. Diffusion은 다봉 행동 분포를 더 자연스럽게 표현하고, ACT는 짧은 시간 지평의 양팔 시퀀스를 묶음으로 다룬다. 하지만 아키텍처가 좋아져도 데이터셋에 불량 코드와 접촉 상태가 없으면 공정 실패를 학습할 수 없다.

그림 5.3. 명시적 정책, 암시적 에너지 기반 정책, Diffusion Policy의 행동 표현을 비교한다. Diffusion Policy는 다봉 행동 분포를 표현하지만, 데이터에 없는 품질 라벨을 추가하지는 않는다. 출처: Chi et al. (2023), arXiv:2303.04137, 그림 1.

제조사가 내부에 남겨야 할 것

공급업체가 좋은 정책 체계를 제공하더라도 제조사가 반드시 내부에 남겨야 할 층이 있다. 첫째는 작업 온톨로지다. 커넥터 삽입, 케이블 배선, 개스킷 배치 같은 작업 이름만으로는 부족하다. 접근, 정렬, 탐색, 삽입, 검사, 복구 같은 구간 분류체계와 실패 코드를 제조사가 소유해야 한다. 그래야 공급업체가 바뀌어도 과거 재현 집합을 잃지 않는다.

둘째는 평가 체계다. ^[1]이나 ^[16]처럼 벤치마크와 평가 절차를 다루는 연구가 중요한 이유는 정책 자체보다 비교 방식이 지속되기 때문이다. 제조 셀에서도 마찬가지다. 후보 모델이 바뀌어도 같은 재현 집합, 같은 SKU 분할, 같은 검사 규칙, 같은 되돌리기 조건으로 비교해야 한다. 공급업체 대시보드만 보면 갱신이 좋아졌는지, 지표 정의가 바뀌었는지 알기 어렵다.

셋째는 실패 비용 구조다. 같은 실패라도 비용은 다르다. 오집기는 주기 시간 손실일 수 있지만, 과도한 힘은 폐기와 후속 배상을 만든다. 작업자 인계는 생산량을 낮추지만 제품 손상보다 싸다. 강화학습 보상과 배포 승인판이 이 비용 차이를 모르면 정책은 숫자가 큰 쉬운 지표를 개선하고, 실제 비용이 큰 드문 실패를 남긴다.

마지막은 데이터 내보내기 경로다. 원시 영상을 모두 내부에 저장하지 않더라도 에피소드 색인, 특징, 라벨, 모델 결정, 실패 코드, 개입 사건은 내보낼 수 있어야 한다. 대규모 데이터 조작에서 데이터 해자는 단순히 데이터 양이 아니라, 다음 공급업체나 내부 팀이 과거 실패를 다시 재현할 수 있는 능력이다.

작은 제조사일수록 이 원칙은 더 중요하다. 자체 로봇 함대나 대규모 강화학습 기반시설을 갖추지 못해도 작업 온톨로지와 재현 집합은 만들 수 있다. 공개된 벤치마크가 아니라 이 장이 제안하는 의도적인 시작 휴리스틱으로서, 첫 재현 집합은 실패 에피소드 50개와 모범 성공 에피소드 10개처럼 작게 시작해도 개념 검증(PoC)의 비교 규율을 세울 수 있다. 중요한 것은 매 갱신이 같은 실패를 다시 통과하는지 보는 습관이다. 이 습관이 생기면 공급업체의 개념 검증도 시연이 아니라 비교 가능한 실험이 된다.

제조 셀 적용 체크포인트

첫 개념 검증에서 물어야 할 질문은 "행동 복제냐 강화학습이냐"가 아니다. 어떤 구간은 시연으로 시작하고, 어떤 구간은 작업자 교정으로 보강하며, 어떤 구간은 오프폴리시 강화학습이나 시뮬레이션으로 고난도 실패 사례를 늘릴지 정해야 한다. 이 결정은 작업 그래프와 안전 경계에서 나온다. 사람 손이 아직 훨씬 나은 구간, 로봇이 반복해서 실패를 만들 수 있는 구간, 시뮬레이터가 신뢰 가능한 구간을 분리해야 한다.

두 번째 질문은 재현 집합이다. 제조용 재현 집합은 벤치마크 영상 묶음이 아니라 품질 실패 묶음이어야 한다. 오집기, 미끄러짐, 과도한 힘, 삽입 걸림, 외관 손상, 주기 지연, 비상 정지를 각각 같은 키로 다시 불러올 수 있어야 한다. 모델 갱신이 이 재현 집합에서 좋아졌는지, 제한 생산 시험에서 같은 실패 코드가 줄었는지 확인하지 못하면 순환은 닫히지 않는다.

세 번째 질문은 근거 등급이다. ^[3], ^[2], ^[1] 같은 연구는 방법론 근거다. ^[18] 같은 회사 기술 포스트는 배포 방향을 보여주지만 내부 데이터와 실패 통계는 제한적으로 공개한다. 제조사는 두 근거를 모두 읽되, 구매·자체 구축 결정에는 데이터 권리, 내보내기 가능성, 되돌리기 권한을 별도 항목으로 둬야 한다.

열린 문제와 실패 모드

첫째, 대규모 오프라인 데이터셋이 있어도 접촉이 풍부한 과제의 실패 이유는 여전히 현장별이다. 둘째, 강화학습 보상이 검사 결과와 연결되지 않으면 정책은 품질이 아니라 대리 점수를 최적화한다. 셋째, 작업자 교정을 개인정보 문제 때문에 저장하지 못하면 가장 중요한 경계 사례 라벨이 사라진다. 넷째, 공급자가 모델 갱신과 원시 에피소드 계보를 분리해 제공하면 제조사는 개선 원인을 소유하지 못한다. 다섯째, 보수적 오프라인 학습은 위험한 외삽을 줄이는 대신 드문 복구 행동을 억누를 수 있고, 사람 개입형 학습은 감독을 줄이는 대신 위험 예측기의 새로운 누락 경로를 만든다. 어느 체제도 데이터 범위와 안전 장치를 적지 않은 성공률 하나로 비교할 수 없다.

다음에 배울 것

다음 6장은 같은 데이터 루프를 정책 아키텍처 관점에서 본다. 이 장에서 정한 학습 체제는 모델 내부 표현과 무관하지 않다. 행동 묶음의 길이는 개입 지연을 바꾸고, 다봉 행동 분포는 오프라인 데이터의 여러 양식을 표현하며, 범용 로봇 정책의 행동 규약은 데이터 지지영역과 제어 주기를 다시 정의한다. 따라서 6장에서는 ACT, Diffusion Policy, RT-X, OpenVLA, pi0를 이름 순으로 나열하지 않고 행동 표현·지연·센서 통로·복구 권한이 여기서 정한 재생 집합과 배포 문턱에 어떻게 연결되는지 살핀다.

참고문헌

1. Mandlekar, Ajay (2021). What Matters in Learning from Offline Human Demonstrations for Robot Manipulation. arXiv.
2. Kalashnikov, Dmitry (2018). QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation. arXiv.
3. Levine, Sergey (2016). Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection. arXiv.
4. Dasari, Sudeep (2019). RoboNet: Large-Scale Multi-Robot Learning. arXiv.
5. Ebert, Frederik (2021). Bridge Data: Boosting Generalization of Robotic Skills with Cross-Domain Datasets. arXiv.
6. Brohan, Anthony (2022). RT-1: Robotics Transformer for Real-World Control at Scale. arXiv.
7. Khazatsky, Alexander (2024). DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset. arXiv.
8. O'Neill, Abby (2023). Open X-Embodiment: Robotic Learning Datasets and RT-X Models. arXiv.
9. Zhao, Tony Z. (2023). Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware. arXiv.
10. Chi, Cheng (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. arXiv. #34
11. Chi, Cheng et al. (2024). Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots. arXiv.
12. Choi, Hojung (2026). In-the-Wild Compliant Manipulation with UMI-FT. arXiv.
13. Xu, Mengda (2025). DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation. arXiv.
14. Fang, Hao-Shu (2025). DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation. arXiv.
15. Si, Zilin (2025). ExoStart: Efficient learning for dexterous manipulation with sensorized exoskeleton demonstrations. arXiv. #9
16. Li, Xingyu (2024). Evaluating Real-World Robot Manipulation Policies in Simulation. arXiv.
17. NVIDIA (2025). Isaac Lab: A GPU-Accelerated Simulation Framework for Multi-Modal Robot Learning. NVIDIA Research.
18. Toyota Research Institute (2024). Large Behavior Models for Robot Manipulation. Company technical post.
19. Black, Kevin (2024). pi0: A Vision-Language-Action Flow Model for General Robot Control. arXiv.
20. Octo Model Team (2024). Octo: An Open-Source Generalist Robot Policy. arXiv.
21. Physical Intelligence (2025). OpenPI: Open Source Robot Policy Stack. GitHub.
22. AgiBot-World Contributors et al. (2025). AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems. arXiv.
23. Yu, Wenhao (2025). ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation. arXiv.
24. Feng, Ruoxuan (2025). AnyTouch: Learning Unified Static-Dynamic Representation across Multiple Visuo-Tactile Sensors. arXiv.
25. Ross, Stéphane et al. (2011). A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning. AISTATS.
26. Levine, Sergey et al. (2015). Learning Contact-Rich Manipulation Skills with Guided Policy Search. ICRA.
27. Florence, Pete et al. (2021). Implicit Behavioral Cloning. CoRL.
28. Kumar, Aviral et al. (2020). Conservative Q-Learning for Offline Reinforcement Learning. NeurIPS.
29. Nair, Ashvin et al. (2020). AWAC: Accelerating Online Reinforcement Learning with Offline Datasets. arXiv.
30. Yu, Tianhe et al. (2020). MOPO: Model-based Offline Policy Optimization. NeurIPS.
31. Gulcehre, Caglar et al. (2020). RL Unplugged: A Suite of Benchmarks for Offline Reinforcement Learning. NeurIPS.
32. Hoque, Ryan et al. (2021). ThriftyDAgger: Budget-Aware Novelty and Risk Gating for Interactive Imitation Learning. CoRL.
33. Liu, Huihan et al. (2023). Model-Based Runtime Monitoring with Interactive Imitation Learning. arXiv.
34. Luo, Jianlan et al. (2025). Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning. Science Robotics.
35. Luo, Jianlan et al. (2024). SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning. arXiv.
36. Yu, Tianhe et al. (2021). MT-Opt: Continuous Multi-Task Robotic Reinforcement Learning at Scale. arXiv.
37. Lu, Yao et al. (2022). AW-Opt: Learning Robotic Skills with Imitation and Reinforcement at Scale. PMLR.
38. Wu, Philipp et al. (2023). DayDreamer: World Models for Physical Robot Learning. CoRL.
39. Achiam, Joshua et al. (2017). Constrained Policy Optimization. ICML.
40. Rudin, Nikita et al. (2021). Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning. CoRL.
41. Siekmann, Jonah et al. (2021). Blind Bipedal Stair Traversal via Sim-to-Real Reinforcement Learning. RSS.
42. Jiang, Zhenyu et al. (2024). DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning. arXiv.
43. Chebotar, Yevgen et al. (2019). Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience. ICRA.
44. Chen, Claire et al. (2025). DexForce: Extracting Force-Informed Actions from Kinesthetic Demonstrations. IEEE Robotics and Automation Letters. #3
45. Physical Intelligence (2025). π*₀.₆: a VLA That Learns From Experience. arXiv. #4
46. Terry Um (2026). ENPIRE: Robot Policy Self-Improvement. Terry's Blog. #69
47. Makoviychuk, Viktor et al. (2021). Isaac Gym: High Performance GPU-Based Physics Simulation For Robot Learning. arXiv.
48. Sergey Levine et al. (2016). End-to-End Training of Deep Visuomotor Policies. Journal of Machine Learning Research.
49. Chelsea Finn et al. (2017). One-Shot Visual Imitation Learning via Meta-Learning. CoRL.
50. John Schulman et al. (2017). Proximal Policy Optimization Algorithms. arXiv preprint.
51. Andy Zeng et al. (2021). Transporter Networks: Rearranging the Visual World for Robotic Manipulation. CoRL.
52. Eric Jang et al. (2022). BC-Z: Zero-Shot Task Generalization with Robotic Imitation Learning. CoRL.
53. Niklas Funk et al. (2025). On the Importance of Tactile Sensing for Imitation Learning: A Case Study on Robotic Match Lighting. arXiv preprint.
54. Anusha Nagabandi et al. (2018). Neural Network Dynamics for Model-Based Deep Reinforcement Learning with Model-Free Fine-Tuning. IEEE ICRA.