Chapter 7: 인간 시연 — 로봇 행동으로의 전환

개요

사람의 작업은 풍부하지만 곧바로 로봇 행동이 되지는 않는다. 사람 손은 로봇 손보다 자유도가 높고, 피부와 근육으로 힘을 조절하며, 숙련자의 의도와 제품 손상 직전의 상태는 영상에 완전히 드러나지 않는다. 따라서 이 장의 질문은 “텔레오퍼레이션을 없앨 수 있는가”가 아니라 “로봇을 수집 현장에서 빼는 대신 어떤 전이 손실과 검증 부채를 떠안는가”이다. 직접 원격조작은 실행 가능한 로봇 명령을 얻지만 로봇을 점유하고 리셋을 요구한다. 휴대형·착용형·1인칭 수집은 로봇을 풀어 주지만 좌표계, 시점, 시간 지연, 접촉, 결과 품질을 다시 맞춰야 한다.

UMI는 휴대형 2지 그리퍼로 현장 시연을 수집하고 상대 궤적과 지연 정합을 사용해 로봇 정책으로 옮기는 경로를 제시했다 ^[1]. FastUMI와 YUBI는 제작·운영 규모를 넓히고, DexCap·DexUMI·DEXOP은 손가락 동작과 접촉을 더 가까이 포착하며, EgoMimic과 EgoDex는 1인칭 인간 영상을 넓은 시각 사전지식으로 사용한다 ^[30], ^[31], ^[29], ^[3], ^[4], ^[8], ^[36]. 이들은 텔레오퍼레이션의 단순한 대체재가 아니라 서로 다른 손실을 선택하는 계측 체계다.

이 장을 읽고 나면... - 직접 텔레오퍼레이션과 로봇 비점유형 수집의 비용을 로봇 점유, 작업자 시간, 리셋, 보정, 유효 에피소드 수율로 나눠 비교할 수 있다. - 운동학·작업공간, 시점·가림, 행동·시간, 힘·촉각·접촉, 작업 결과·품질이라는 다섯 전이 손실을 진단할 수 있다. - UMI, FastUMI, YUBI, DexCap, DexUMI, DEXOP, EgoMimic 계열이 어떤 손실을 줄이고 어떤 검증 부채를 남기는지 설명할 수 있다. - 논문에서 검사 가능한 결과와 회사의 장갑·플랫폼 소개가 제공하는 일차 당사자 주장을 구분할 수 있다. - 사람 데이터가 제조 출시 근거가 되기 위해 필요한 로봇 실기 재생, 품질 라벨, 작업자 권리, 갱신 이력을 설계할 수 있다.

다섯 전이 손실과 비교의 분모

사람 시연을 로봇 행동으로 옮길 때는 운동학적 실행 가능성과 작업공간, 시점과 가림, 행동 공간과 시간 정렬, 힘·촉각·접촉 상태, 작업 결과와 품질 라벨을 서로 독립적으로 검사해야 한다. 이는 단일한 “신체 차이”가 아니다. 한 축에서 손실이 작아도 다른 축의 손실이 제품 불량을 만들 수 있으며, 아래 비교는 인용한 작업·기구·센서·제어기·데이터 분할·평가 분모 안에서만 유효하다 ^[32], ^[3], ^[33].

이 표는 “사람 데이터를 더 모으면 된다”는 주장을 쪼갠다. 어떤 데이터는 손의 기하를 보존하고, 어떤 데이터는 힘을 보존하며, 어떤 데이터는 관찰 범위만 넓힌다. 다섯 손실은 합산 점수로 덮어서는 안 된다. 예컨대 궤적 오차가 작아도 삽입력이 과하면 불량이고, 영상이 그럴듯해도 로봇 관절 한계를 넘으면 실행 불가능하다.

그림 7.1. UMI, DexUMI, DEXOP, EgoScale에서 사람 작업이 로봇 실행 자료로 이동하는 경로와 재표적화·출시 검증 책임을 정리한 저자 작성 비교도다. 경로 사이의 손실을 정량 비교한 공통 실험 결과는 아니다.

역사적 기준선: 로봇을 점유하는 직접 시연

로봇 학습 시연의 전통적 기준선은 키네스테틱 티칭, 리더–팔로어 장치, 가상현실 텔레오퍼레이션이다. MIME은 인간 영상과 로봇 궤적을 짝지었고, RoboTurk는 일반 모바일 장치와 클라우드 원격조작으로 6자유도 궤적을 모았다 ^[25], ^[26]. GELLO는 대상 팔의 관절 구조를 닮은 저가 리더 장치를 만들어 직관적인 관절 공간 조작을 가능하게 했으며, ALOHA와 ACT는 양팔 시연과 행동 묶음 예측을 결합했다 ^[27], ^[28]. 이 계보의 장점은 명확하다. 로봇의 관절, 말단 자세, 그리퍼 명령, 카메라 관측이 한 시간축에 기록되므로 “행동이 무엇이었는가”라는 모호성이 작다.

그러나 직접 시연 한 시간은 작업자 한 시간만을 뜻하지 않는다. 대상 로봇 또는 같은 형상의 수집 로봇 한 대가 동시에 묶이고, 실패 뒤 물체와 치구를 되돌리는 리셋 인력, 충돌을 감시하는 감독자, 불완전 에피소드를 걸러내는 검수 시간이 필요하다. 리더 장치가 팔마다 달라지면 제작과 보정도 반복된다. RoboTurk의 성공 시연 수, ACT의 작업별 시연 분량, 대형 로봇 데이터셋의 궤적 수는 각각 다른 단위다. 이 수치를 “시간당 데이터”로 바꾸려면 로봇 점유 시간, 작업자 조작 시간, 관찰만 한 시간, 리셋, 폐기된 에피소드, 후속 로봇 검증을 모두 더해야 한다 ^[24].

직접 시연은 특히 접촉이 많고 안전 여유가 좁은 작업에서 여전히 강한 기준선이다. 로봇이 실제 치구에 접근하는 동안 관절 한계와 안전 제어기가 바로 적용되고, 힘·토크 센서가 있다면 로봇 좌표계에서 값을 기록할 수 있기 때문이다. 반대로 햅틱 피드백이 없는 원격조작자는 카메라 화면으로 미끄럼과 걸림을 늦게 감지할 수 있고, 통신 지연을 손으로 보상한 결과가 정책 데이터에 섞인다. 따라서 “로봇 네이티브” 데이터도 완전한 진실이 아니다. 다만 어떤 명령이 실제 로봇에서 실행되었는지는 가장 직접적으로 남는다.

이 기준선이 있어야 로봇 비점유형 수집의 가치가 보인다. 휴대형 장치가 작업 현장을 병렬로 누비면 비싼 로봇을 생산이나 검증에 남겨 둘 수 있고, 작업공간을 넓힐 수 있다. 그 대신 수집 장치에서 로봇으로 옮기는 단계가 추가된다. 효율 평가는 수집된 에피소드 / 작업자 시간이 아니라 실제 로봇에서 검증된 합격 에피소드 / 총 작업자·로봇·리셋·보정 시간이어야 한다. 문헌에는 이 전체 분모를 공통 형식으로 공개한 연구가 드물다.

UMI는 현장 접근 비용을 낮춘다

UMI 계열의 강점은 수집할 때 대상 로봇을 점유하지 않는다는 데 있다. 그러나 배치 때는 추적 정확도, 수집·실행 지연 정합, 로봇이 실행할 수 있는 행동 범위에 계속 의존한다 ^[30], ^[32], ^[3]. UMI의 휴대형 장치는 양쪽 말단의 카메라와 2지 그리퍼를 들고 사람이 작업하게 한다. 상대 궤적 표현은 전역 좌표 오차를 줄이고, 수집 장치와 로봇 정책의 지연을 맞추는 절차는 관찰–행동 시간 차이를 다룬다 ^[1]. 제조 관점에서는 로봇 셀이 완성되기 전에도 작업 순서, 접근 방향, 물체 배치 변형을 모을 수 있다는 이점이 있다.

FastUMI는 UMI의 전용 구성 요소를 분리하고 상용 추적 장치를 활용해 인터페이스 제작과 배치 부담을 낮추며 22개 일상 작업의 1만 개가 넘는 궤적을 공개했다 ^[30]. 이 수치는 자료의 규모와 작업 범위를 보여 주지만, 로봇 실기에서 합격한 궤적의 비율이나 총 리셋·보정 시간은 알려 주지 않는다. “하드웨어 독립”이라는 표현도 목표 제어기 연결이 필요 없다는 뜻은 아니다. 관측 규격을 통일해도 로봇별 속도·가속도·안전 제한과 제어 주기는 다시 맞춰야 한다.

YUBI는 손가락에 맞춘 순응형 2지 그리퍼와 가상현실 6자유도 추적을 사용하고, 같은 그리퍼를 여러 팔에 장착하는 방향으로 이 논리를 확장한다 ^[31]. 기술 보고서는 8,434시간, 120만 에피소드, 119개 작업, 179명 작업자, 22개 수집 스테이션을 보고한다. 이는 인터페이스 공동 설계가 대규모 병렬 수집을 가능하게 할 수 있다는 강한 일차 근거다. 동시에 공통 그리퍼를 사용했기 때문에 임의의 로봇 손 사이 전이를 해결했다기보다 차이의 일부를 피한 것이다. 보고된 분모에는 생산 합격률, 폐기 에피소드 수율, 장기 보정 드리프트, 로봇 점유가 다시 발생하는 검증 시간이 포함되지 않는다.

UMI의 2지 그리퍼는 많은 집기·배치 작업과 잘 맞지만 케이블 라우팅, 유연물 처리, 손가락 보행에는 접촉 구조가 부족할 수 있다. UMI-FT가 중요한 이유는 힘·토크를 추가해 순응 행동의 일부를 관찰하려 하기 때문이다 ^[2]. 힘이 없으면 “부드럽게 삽입했다”와 “과도한 힘으로 통과시켰다”가 비슷한 영상으로 보일 수 있다. 다만 UMI-FT의 근거는 세 개 단일 팔 작업과 해당 센서 구성에 묶여 있고, 케이블 연결과 센서 박리 위험도 운영 비용이다.

DexCap: 자유로운 손을 얻고 역기구학 부채를 진다

DexCap은 휴대형 동시 위치추정·지도작성과 전자기 손 추적을 결합해, 카메라 가림에 덜 민감한 손 자세를 얻는다 ^[29]. 수집된 손과 물체 점군을 DexIL 파이프라인이 역기구학으로 로봇 손에 옮기고, 배치 중 사람이 필요한 순간에 교정할 수 있게 한다. 이는 로봇 비점유형 수집과 선택적 교정이 경쟁 관계가 아니라는 점을 보여 준다. 넓은 인간 동작으로 초기 정책을 만들고, 정책이 낯선 상태에 들어갔을 때 로봇 쪽 교정으로 빈틈을 메우는 구조다.

그러나 전자기 추적이 가림을 줄여도 접촉력을 측정하지는 않는다. 역기구학은 손끝 위치를 맞추면서 관절 여유, 자기충돌, 마찰, 손바닥 지지를 잃을 수 있다. 선택적 교정도 “교정 구간 몇 개”만 세면 싸 보이지만, 작업자가 화면을 지켜본 시간, 개입 판단 지연, 안전 정지와 리셋을 포함하면 비용이 달라진다. 교정 데이터에는 개입 이유, 개입 전 위험도, 부분 교정인지 완전 인수인지, 이후 성공 여부를 함께 남겨야 한다 ^[40].

DexUMI와 재표적화는 손동작을 살리지만 손을 바꾼다

DexUMI는 사람 손을 범용 조작 인터페이스(Universal Manipulation Interface)로 보고 다지 로봇 손으로 옮기는 방향을 택한다 ^[3]. 착용형 외골격이 사람 손을 로봇이 실행할 수 있는 운동학 범위로 제한하고, 영상의 사람 손을 로봇 손으로 합성해 시각 차이를 줄인다. 이 접근은 사람이 이미 잘하는 손안 조정, 다중 손가락 접촉, 재파지를 보존하려 한다는 점에서 중요하다. 논문이 보고한 두 플랫폼 평균 성공률 86%는 해당 작업군과 평가 분모의 결과이지, 임의의 손과 카메라 배치에 대한 보편 전이율이 아니다.

그림 7.2. DexUMI의 그림 1은 XHand와 Inspire Hand에서 외골격 시연, 로봇 실행, 장기·접촉 중심·다중 손가락·정밀 과제 예시를 보여준다. 이 티저 자체는 서로 다른 손 구조 사이에서 접촉 힘이 보존됨을 입증하지 않는다. 출처: Xu et al. 2025, arXiv:2505.21864 Fig. 1.

하지만 재표적화는 해석이다. 사람 손가락의 관절 범위, 피부 마찰, 손톱과 지문, 물체를 눌러 느끼는 피드백은 로봇 손과 다르다. 운동학적으로 맞는 궤적도 힘 닫힘이나 촉각 상태가 다를 수 있다. 외골격은 실행 가능성을 높이는 대신 자연스러운 사람 동작을 바꾸며, 손마다 장치를 제작·보정해야 한다. 로봇 손 합성용 데이터도 실제 하드웨어와 카메라 배치에 의존한다. 따라서 DexUMI류 데이터는 손 자세만이 아니라 로봇 실행 로그, 접촉 실패, 보정 버전과 함께 평가되어야 한다.

RealDexUMI는 수집과 배치에 같은 경량 다지 손, 손안 카메라, 손끝 촉각 모듈을 사용해 말단 차이를 더 줄인다 ^[32]. 보고된 여덟 작업 평균 88.75%는 공유 말단장치 설계의 가능성을 보여 주지만, “차이가 없다”는 해석은 말단장치에 한정해야 한다. 팔 동역학, 카메라 외부 배치, 제어 지연, 치구 순응성, 작업 결과 라벨은 여전히 다르다. 소수 작업의 프리프린트 결과를 장기 제조 신뢰성으로 읽을 수도 없다.

제조 사례: 접착 개스킷 부착

접착 개스킷을 금속 하우징 가장자리에 붙이는 작업을 보자. 작업자는 개스킷을 들고 보호 필름을 일부 벗기고, 한쪽 모서리를 기준으로 붙인 뒤 손가락으로 장력을 조절하면서 기포와 주름을 밀어낸다. 영상만 보면 손이 부드럽게 한 바퀴 도는 것처럼 보인다. 그러나 실제 숙련은 더 복잡하다. 어느 순간 접착면을 다시 떼면 안 되는지, 어느 정도 압력으로 눌러야 외관 결함이 생기지 않는지, 필름이 손가락에 붙었을 때 어떻게 회복하는지가 핵심이다.

UMI류 2지 그리퍼 데이터는 이 작업의 접근 자세와 큰 경로를 빨리 모을 수 있다 ^[1]. 하지만 개스킷 가장자리를 손끝으로 눌러 붙이는 접촉 순서는 2지 그리퍼 행동으로 옮길 때 잃기 쉽다. DexUMI류 재표적화는 손가락 순서를 더 많이 보존할 수 있지만, 로봇 손끝의 순응성이 사람 피부와 다르면 압력이 달라진다 ^[3]. DEXOP류 장비는 접촉 과정을 더 직접적으로 볼 수 있지만, 작업자가 긴 시간 착용할 수 있어야 한다 ^[4].

이 사례는 사람-로봇 전이가 단일 변환이 아니라 세 번의 검증이라는 점을 보여 준다. 첫째, 사람 시연 수집이 실제 숙련을 충분히 포착했는가. 둘째, 재표적화가 로봇의 신체 구조에서 같은 접촉 의도를 만들었는가. 셋째, 로봇 실행이 검사 결과와 후속 품질을 만족했는가. 어느 단계가 실패했는지 알아야 데이터를 더 모을지, 센서를 바꿀지, 손을 바꿀지 결정할 수 있다.

재표적화 검증 행렬

시각적 재표적화와 역동역학으로 얻은 행동은 외형 유사도만으로 승인해서는 안 되며, 실제 로봇의 폐루프 실행으로 검증해야 한다. 이 주장은 RoboPaint의 장면 재구성 기반 전환, Human2Sim2Robot의 사람–시뮬레이션–로봇 경로, HumanPlus의 사람 동작 추적처럼 서로 다른 체계에도 공통으로 적용되지만, 각 논문의 작업·카메라·신체·평가 분모를 넘어 보편성을 뜻하지 않는다 ^[34], ^[33], ^[35]. 화면에서 그럴듯한 손과 물체의 운동은 반사·투명 물체, 접촉 순간 가림, 잘못된 깊이, 행동–상태 불일치를 숨길 수 있다.

DexUMI 같은 접근은 사람 손 자세와 로봇 손 행동 사이의 연결 범위를 넓히지만 감사 지점도 늘린다 ^[3]. 사람의 엄지–검지 집기는 로봇 손에서 다른 힘 분포를 만들 수 있고, 손바닥 지지는 로봇 손바닥에서 미끄럼으로 바뀔 수 있다. 세 층을 모두 통과해야 변환 데이터를 생산 후보로 올릴 수 있으며, 이 행렬은 5지 손이 필요한 작업과 2지 그리퍼로 충분한 작업을 가르는 근거가 된다. 목적은 인간처럼 보이는 로봇이 아니라 작업에 필요한 손 구조를 밝히는 것이다.

힘 라벨 없는 인간 영상은 과신을 만든다

EgoMimic과 EgoScale이 보여 주는 규모의 장점은 분명하다 ^[8], ^[9]. 많은 작업자가 많은 SKU를 다루는 장면을 보면 시각 사전지식이 넓어진다. 도구를 어디에 두는지, 손이 어떤 순서로 접근하는지, 작업자가 어느 지점에서 시선을 멈추는지 알 수 있다. 그러나 영상은 힘을 모른다. 개스킷을 살짝 눌렀는지, 너무 세게 밀었는지, 케이블을 당기며 피복을 손상시켰는지, 미끄럼을 손끝으로 잡았는지는 카메라만으로 부족하다.

UMI-FT와 CoinFT 같은 방향은 이 규모 문제에 힘 채널을 붙이는 시도다 ^[2], ^[12]. 중요한 것은 힘 센서를 붙였다는 사실이 아니라, 힘 기록이 사람 시연 수집과 로봇 실행에서 같은 의미를 갖도록 정렬되는가다. 사람 장비와 로봇 말단장치의 힘 범위가 다르면 임계값도 달라진다. 힘 라벨은 원시 수치가 아니라 보정, 장착 방식, 접촉면과 함께 해석되어야 한다.

제조사는 사람 영상 사전학습을 넓은 사전지식으로 쓰고, 힘을 고려한 로봇 실행을 출시 근거로 써야 한다. 영상 규모가 크다고 생산 승인 문턱을 낮추면 안 된다. 반대로 힘 데이터만 좁게 모으면 SKU 변형을 보지 못한다. 두 데이터는 경쟁하지 않는다. 넓은 사람 영상은 후보 행동을 만들고, 로봇의 힘·촉각 데이터는 그 행동이 제품을 망가뜨리지 않는지 검증한다.

촉각 장갑 근거를 읽는 법

촉각 장갑은 “사람이 느낀 것을 로봇에게 준다”는 직관 때문에 과대해석되기 쉽다. STAG는 손바닥에 분포한 압력 셀로 인간 파지의 접촉 서명을 연구했지만, 센서가 손의 모든 면을 덮지 않고 압전저항 소자의 이력현상과 드리프트가 있으며 절대 힘 보정이 아니라 상대 압력에 가깝다 ^[37]. 이 연구는 검사 가능한 논문, 장치 설명, 실험 과제를 제공한다. 그렇더라도 물체 분류 결과를 로봇 정책의 접촉 성공률로 바꿔 읽을 수는 없다.

OSMO Tactile Glove는 사람과 로봇의 촉각 하드웨어를 더 직접적으로 맞추려는 논문 기반 시도이고, UniTacHand는 사람과 로봇 손 사이 촉각 표현을 정렬하는 방향을 탐색한다 ^[38], ^[39]. 각각 한 손·한 로봇 손 설계 또는 작은 짝 데이터와 단일 플랫폼에 묶여 있다. 다른 손 구조로 바꾸면 재표적화와 보정을 다시 해야 한다. 이 한계를 명시하면 장갑은 접촉 손실을 줄이는 계측기로 평가할 수 있지만, 보편적 행동 변환기로 포장해서는 안 된다.

반면 회사 제품 페이지나 홍보 영상의 “고해상도”, “자연스러운 햅틱”, “즉시 전이” 같은 표현은 제품 구성과 당사자 주장만 확립한다. 센서 수, 샘플링 속도, 착용 가능 시간조차 측정 조건이 없으면 논문 간 비교값이 아니다. 구매 검토에서는 원자료 접근, 단위가 있는 보정 곡선, 반복 착용 뒤 드리프트, 세척·교체 뒤 재현성, 로봇 실기 평가를 요구해야 한다. 회사 장갑의 소개 수치와 검사 가능한 논문의 작업 성공률을 같은 표의 성능 순위로 섞지 않는 것이 증거 경계다.

작업자 데이터 운영 모델

사람 데이터 체계는 현장 운영 모델 없이는 오래가지 못한다. 누가 장비를 착용하는가, 어느 교대조에서 데이터를 모으는가, 숙련자와 신규 작업자의 데이터가 어떻게 구분되는가, 작업자가 삭제를 요청하면 어떤 에피소드가 빠지는가를 정해야 한다. 이 운영 모델이 없으면 데이터 품질이 교대조, 감독자, 외부 작업자에 따라 흔들린다.

작업자 동의는 확인란이 아니라 되먹임 고리다. 작업자는 왜 데이터를 모으는지, 어떤 정보가 익명화되는지, 모델 갱신이 작업을 어떻게 바꾸는지 알아야 한다. 공정 지식 보호도 마찬가지다. 배경의 치구, 맞춤 도구, 검사 순서가 영상에 들어가면 경쟁력이 노출될 수 있다. 비식별화가 너무 강하면 학습 맥락이 사라지고, 너무 약하면 지식재산이 샌다.

공급업체와의 권리도 명확해야 한다. 원본 에피소드를 공급업체가 처리하더라도 제조사는 반출 가능한 계보를 가져야 한다. 모델 갱신 후 어떤 사람 시연 구간이 성능 개선에 기여했는지 추적할 수 있어야 한다. 그렇지 않으면 사람 데이터의 선순환은 제조사의 자산이 아니라 공급업체의 불투명한 체계가 된다.

DEXOP과 외골격 시연은 접촉을 가까이서 본다

외골격과 직접 접촉 장치는 사람 손과 로봇 손의 운동학 차이를 줄일 수 있지만, 범용성·착용감·손마다 필요한 제작과 보정을 희생할 수 있다 ^[5], ^[4], ^[35]. DEXOP은 수동 외골격으로 직접 접촉 다지 시연을 포착하려는 접근이다. 영상과 촉각 데이터를 기록하고 직접적인 접촉·힘 피드백을 제공하지만, 임의의 손 구조 사이에서 힘이 완벽히 보정된 채 보존된다고 입증하지는 않는다. ExoStart는 소수 외골격 시연을 시뮬레이션에서 증폭하는 흐름을 보여 주지만, 시뮬레이션과 실기 제어 주기 차이, 부드러운 접촉 실패, 특권정보 교사보다 뒤처지는 시각 학생 정책을 함께 보고한다.

그림 7.3. DEXOP의 그림 1은 전손 촉각 센서를 갖춘 착용 장치와 정밀 작업 전후 과정, 양손·장기·접촉 중심 조작 예시를 보여 준다. 이 그림은 착용성, 반복성, 작업자 부담을 정량화하지 않는다. 출처: Fang et al. 2025, arXiv:2509.04441 Fig. 1.

제조 셀에서는 이 장비가 기술적으로 가능하다는 사실만으로 충분하지 않다. 작업자가 장비를 오래 착용할 수 있는지, 장갑이 공정 안전 규정과 맞는지, 세척과 정전기 방전 요구를 통과하는지, 수집이 주기 시간을 방해하지 않는지 확인해야 한다. 외골격 시연은 값비싼 라벨이므로 모든 작업에 쓰기보다 접촉이 결정적인 구간을 겨냥해야 한다. 보고서에는 착용 시간, 휴식, 재착용 보정, 작업자별 적응 시간, 장치 파손과 데이터 폐기율이 함께 있어야 한다.

수집 단계를 나눠 비용과 위험을 맞춘다

사람 데이터 수집은 한 가지 장비로 끝나지 않는다. 비용과 위험에 맞춰 다음처럼 나누면 실증 설계와 구매 기준이 선명해진다.

모든 작업을 3단계로 모으면 비싸고 느리며, 1단계로만 모으면 접촉 실패를 놓친다. 단계마다 민감도도 다르다. 1인칭 영상은 개인정보 노출면이 넓고 외골격은 작업자 동작을 더 깊게 기록하며, 힘·촉각 센서는 공정 지식을 직접 드러낼 수 있다. 따라서 보관·접근·비식별화 기준은 단계별로 달리하되 최종 평가는 같은 로봇 품질 재생으로 합쳐야 한다.

수집하지 않는 결정도 중요하다. 드문 수리, 민감한 공정 지식, 센서 착용과 안전 규정의 충돌에는 통제된 로봇 실험이 더 적합할 수 있다. 대규모 데이터 전략은 모든 것을 녹화하는 일이 아니라, 어떤 데이터가 실제 정책 갱신을 바꿀지 판단하는 일이다.

이 기준은 현장 신뢰를 지키는 최소 조건이기도 하다.

1인칭 영상은 규모를 주지만 힘을 주지 않는다

1인칭 인간 영상은 관찰 수집을 크게 확장할 수 있지만 로봇 행동, 힘, 실행 가능성을 직접 제공하지 않는다. 이 경계는 EgoDex의 대규모 수동 영상, EgoMimic의 사람·로봇 공동 학습, HumanPlus의 사람 동작 추적에 모두 적용되며, 각 연구의 테이블톱 편향·정렬 변환 또는 맞춤형 33-자유도 휴머노이드와 보고된 작업군의 근거 범위를 넘어 일반화해서는 안 된다 ^[36], ^[8], ^[35]. 숙련 작업자의 시선, 손의 접근 순서, 도구 사용 양식은 로봇 텔레오퍼레이션보다 로봇 점유 없이 넓게 모을 수 있다. 다품종 제조에서는 많은 품목 변형을 먼저 보는 효과가 크다.

다만 1인칭 영상은 접촉 힘과 품질 결과를 직접 주지 않는다. ^[10]과 ^[11]처럼 시각·촉각 표현을 다루는 연구가 중요한 이유도 여기에 있다. 사람 영상 사전학습은 시각 사전지식을 만들 수 있지만, 삽입 걸림·과도한 힘·미끄럼 복구는 힘·촉각 또는 검사 라벨 없이는 약하게 남는다. 그러므로 1인칭 데이터는 저비용 사전학습으로 보고, 출시 근거는 로봇 실기 재생과 QA 기록으로 따로 세워야 한다.

작업자 동의와 공정 지식은 부록이 아니다

사람 데이터를 쓰는 순간 공정 자동화는 개인정보와 지식재산 문제를 학습 파이프라인 안으로 들여온다. 작업자 영상은 개인 정보이고, 손동작은 숙련 지식이며, 배경의 치구와 도구 배치는 공정 지식이다. 제조사는 동의, 비식별화, 보관 기간, 역할 기반 접근, 공급업체 반출 권리를 모델 선정 이후가 아니라 수집 설계 단계에서 정해야 한다.

이 문제는 윤리만이 아니라 품질 문제다. 개인정보 보호 때문에 중요한 작업자 개입 구간을 삭제하면 예외 사례 라벨이 사라진다. 공정 지식 보호 때문에 공급업체가 원본 에피소드를 보지 못하면 모델 개선이 느려질 수 있다. 반대로 공급업체가 모든 원자료와 갱신 계보를 독점하면 제조사는 개선 원인과 재현성을 잃는다. 사람 데이터 파이프라인의 관리 체계는 성능과 직결된다.

제조 셀 적용 체크포인트

첫째, 작업을 전이 손실별로 나눈다. 2지 그리퍼로 충분한 집기·배치는 UMI류로 시작할 수 있다. 손가락 접촉 순서가 핵심인 작업은 DexUMI나 DEXOP류를 검토한다. 힘이 품질을 좌우하는 작업은 UMI-FT, 힘·토크, 촉각 조각을 처음부터 포함한다. 큰 시각 변형이 먼저 필요한 작업은 1인칭 영상 사전학습을 후보로 둔다.

둘째, 사람 데이터와 로봇 실행을 분리해 평가한다. 사람 쪽 성공은 로봇 쪽 성공이 아니다. 변환 후 로봇 실행에서 같은 SKU, 생산 묶음, 치구 분할, 품질 라벨을 확인해야 한다. 셋째, 작업자 동의와 공정 지식 보호를 데이터 명세에 넣는다. 누가 원본을 볼 수 있는지, 어떤 정보가 익명화되는지, 모델 갱신 후 원본 에피소드 계보를 제조사가 반출할 수 있는지 계약에 포함한다.

반대 근거, 한계, 아직 공개되지 않은 분모

첫째, EgoMimic은 정렬된 공동 학습 조건에서 인간 데이터 한 시간의 한계 가치가 유리할 수 있음을 보이지만, 이를 모든 작업의 인간–로봇 시간 환율로 볼 수 없다. UMI·DexUMI·YUBI의 강한 결과는 오히려 공통 말단장치, 외골격, 시각 치환, 지연 정합 같은 공학적 제약이 전이에 필요함을 보여 준다. 풍부한 인간 영상과 실행 가능한 감독은 교환 가능한 재화가 아니다.

둘째, 대규모 수집 주장에는 유효 에피소드 수율이 빠져 있는 경우가 많다. YUBI의 시간·에피소드·작업 수는 수집 체계의 규모를 확립하지만, 공장 불량률·리셋·장기 유지보수·독립 재현은 확립하지 않는다. DexUMI와 RealDexUMI의 평균 성공률도 작업별 편차, 플랫폼, 카메라, 말단장치가 바뀌면 다시 측정해야 한다. 공개된 연구만으로는 로봇 비점유형 수집이 총 데이터 비용을 보편적으로 낮춘다고 결론 내릴 수 없다.

셋째, 재표적화는 운동학 성공을 만들 수 있지만 접촉 성공을 보장하지 않는다. 착용 장치는 좋은 라벨을 주는 대신 작업자 부담과 안전 검토를 만들고, 촉각 센서는 드리프트·오염·손상·교체 후 분포를 만든다. 개인정보 비식별화가 과하면 학습 맥락이 사라지고 부족하면 작업자와 공정 지식이 노출된다. 무엇보다 독립적인 공장 규모 장기 검증, 공통 작업자 시간 분모, 센서 교체 뒤 재생 시험은 아직 드물다.

다음에 배울 것

다음 장은 사람 데이터와 정책 구조가 결국 부딪히는 곳, 즉 접촉이 많은 작업을 본다. 이 장에서 정의한 네 번째 손실인 힘·촉각·접촉 상태를 센서 동기화, 표현 학습, 힘 인지 정책, 온라인 교정으로 어떻게 닫을지가 8장의 질문이다. 사람 시연의 규모는 후보 행동을 넓히지만 출시 권한은 실제 로봇의 접촉 기록과 품질 재생에 남는다. 제조 조작에서는 “손이 무엇을 느꼈는가”가 “카메라가 무엇을 보았는가”만큼 중요하다.

참고문헌

1. Chi, Cheng et al. (2024). Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots. arXiv. Terry #35.
2. Choi, Hojung et al. (2026). In-the-Wild Compliant Manipulation with UMI-FT. arXiv. Terry #36.
3. Xu, Mengda et al. (2025). DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation. arXiv. Terry #8.
4. Fang, Hao-Shu et al. (2025). DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation. arXiv. Terry #10.
5. Si, Zilin et al. (2025). ExoStart: Efficient learning for dexterous manipulation with sensorized exoskeleton demonstrations. arXiv. Terry #9.
6. Qin, Yuzhe (2023). AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System. arXiv.
7. Ding, Runyu (2024). Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning. arXiv.
8. Kareer, Simar (2024). EgoMimic: Scaling Imitation Learning via Egocentric Video. arXiv.
9. Zheng, Ruijie et al. (2026). EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data. arXiv.
10. Yang, Fengyu (2023). Touch and Go: Learning from Human-Collected Vision and Touch. arXiv.
11. Feng, Ruoxuan (2025). AnyTouch: Learning Unified Static-Dynamic Representation across Multiple Visuo-Tactile Sensors. arXiv.
12. Choi, Hojung (2025). CoinFT: A Coin-Sized, Capacitive 6-Axis Force Torque Sensor for Robotic Applications. arXiv.
13. Yu, Jiawen (2025). ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation. arXiv.
14. Huang, Jialei (2025). Tactile-VLA: Unlocking Vision-Language-Action Model's Physical Knowledge for Tactile Generalization. arXiv.
15. O'Neill, Abby (2023). Open X-Embodiment: Robotic Learning Datasets and RT-X Models. arXiv.
16. Khazatsky, Alexander (2024). DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset. arXiv.
17. AgiBot-World-Contributors et al. (2025). AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems. arXiv.
18. Shaw, Kenneth (2023). LEAP Hand: Low-Cost, Efficient, and Anthropomorphic Hand for Robot Learning. arXiv.
19. Lambeta, Mike (2024). Digitizing Touch with an Artificial Multimodal Fingertip. arXiv.
20. Figure AI (2026). Figure 03 + Helix 02: General-Purpose Humanoid System. Company product page.
21. Physical Intelligence (2025). OpenPI: Open Source Robot Policy Stack. GitHub.
22. Black, Kevin (2024). pi0: A Vision-Language-Action Flow Model for General Robot Control. arXiv.
23. Octo Model Team (2024). Octo: An Open-Source Generalist Robot Policy. arXiv.
24. Mandlekar, Ajay et al. (2021). What Matters in Learning from Offline Human Demonstrations for Robot Manipulation. arXiv.
25. Sharma, Pratyusha et al. (2018). Multiple Interactions Made Easy (MIME): Large Scale Demonstrations Data for Imitation. arXiv.
26. Mandlekar, Ajay et al. (2018). RoboTurk: A Crowdsourcing Platform for Robotic Skill Learning through Imitation. arXiv.
27. Wu, Philipp et al. (2023). GELLO: A General, Low-Cost, and Intuitive Teleoperation Framework for Robot Manipulators. arXiv.
28. Zhao, Tony Z. et al. (2023). Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware. arXiv.
29. Wang, Chen et al. (2024). DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation. arXiv.
30. Zhaxizhuoma et al. (2024). FastUMI: A Scalable and Hardware-Independent Universal Manipulation Interface with Dataset. arXiv.
31. Ohkawa, Takehiko et al. (2026). YUBI: Yielding Universal Bidigital Interface for Bimanual Dexterous Manipulation at Scale. Technical report.
32. Xu, Chaoyi et al. (2026). RealDexUMI: A Wearable Universal Manipulation Interface for Dexterous Robot Learning. arXiv.
33. Lum, Tyler Ga Wei et al. (2025). Crossing the Human-Robot Embodiment Gap with Sim-to-Real RL using One Human Demonstration. arXiv.
34. Fan, Jiacheng et al. (2026). RoboPaint: From Human Demonstration to Any Robot and Any View. arXiv. Terry #15.
35. Fu, Zipeng et al. (2024). HumanPlus: Humanoid Shadowing and Imitation from Humans. arXiv. Terry #38.
36. Hoque, Ryan et al. (2025). EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video. arXiv. Terry #76.
37. Sundaram, Subramanian et al. (2019). Learning the Signatures of the Human Grasp Using a Scalable Tactile Glove. Nature.
38. Yin, Jessica et al. (2025). OSMO: Open-Source Tactile Glove for Human-to-Robot Skill Transfer. arXiv. Terry #18.
39. Zhang, Chi et al. (2025). UniTacHand: Unified Spatio-Tactile Representation for Human to Robotic Hand Skill Transfer. arXiv. Terry #16.
40. Hoque, Ryan et al. (2021). ThriftyDAgger: Budget-Aware Novelty and Risk Gating for Interactive Imitation Learning. arXiv.
41. Dorsa Sadigh et al. (2017). Active Preference-Based Learning of Reward Functions. Robotics: Science and Systems.
42. Roberto Calandra et al. (2018). More Than a Feeling: Learning to Grasp and Regrasp Using Vision and Touch. IEEE Robotics and Automation Letters.
43. Runfa Blark Li et al. (2026). PhysGraph: Physically-Grounded Graph-Transformer Policies for Bimanual Dexterous Hand-Tool-Object Manipulation. arXiv preprint.
44. Xingyu Peng et al. (2026). BiCoord: A Bimanual Manipulation Benchmark towards Long-Horizon Spatial-Temporal Coordination. arXiv preprint.
45. Alessio Palma et al. (2026). Bimanual Robot Manipulation via Multi-Agent In-Context Learning. arXiv preprint.
46. Weiguang Zhao et al. (2026). Towards Robotic Dexterous Hand Intelligence: A Survey. arXiv preprint.
47. OpenAI (2019). Learning Dexterous In-Hand Manipulation. International Journal of Robotics Research.