Chapter 11: 하드웨어 공동설계 — 학습 가능한 구현

개요

로봇 손은 구동기만이 아니라 데이터 인터페이스다. 2지 그리퍼나 흡착은 단순해서 빠르고 튼튼하지만 접촉 상태를 숨길 수 있다. 5지 손, 장갑, 촉각 피부는 더 많은 상태를 드러낼 수 있지만 교정, 내구성, 청소, 동작 대응 비용을 가져온다. ^[1]의 LEAP Hand와 ^[2]의 다중감각 손끝 센서는 정교한 손 하드웨어가 저렴하고 풍부해지는 연구 흐름을 보여 주지만, 연구실의 조립비와 공장의 총소유비용은 같은 지표가 아니다.

하드웨어 공동설계의 목표는 사람 손을 닮거나 자유도를 최대로 만드는 것이 아니다. 작업 실패를 진단할 만큼 충분히 관측하면서 제어·교정·청소·교체·재검증 비용을 감당할 수 있는 구현을 만드는 것이다. ^[4], ^[5], ^[14], ^[13]가 보여 주는 촉각·힘 중심 방향은 영상만 보는 조작이 놓치는 미끄러짐, 압착, 삽입, 순응성을 데이터로 남기는 방법을 제시한다. 센서가 늘어날수록 어떤 신호가 실제 품질 판정을 바꾸는지와 고장 뒤 같은 데이터 분포를 복원할 수 있는지를 함께 증명해야 한다.

이 장을 읽고 나면... - 손 선택을 비용, 사이클타임, 실패 관측성, 유지보수로 나누어 비교할 수 있다. - 장갑, 외골격, 1인칭 영상이 로봇 실행 데이터로 바뀔 때 사라지는 신호를 설명할 수 있다. - 촉각·힘 센서가 필요한 제조 과제와 불필요한 과제를 구분할 수 있다. - 감지, 구동, 말단장치, 제어기를 실패 관측성과 안전 경계 기준으로 함께 설계할 수 있다. - 하드웨어 주장을 정책 시연이 아니라 교정, 정비성, 실물 재현 시험과 총소유비용 근거로 평가할 수 있다.

과제-손-데이터 매트릭스

그림 11.1. LEAP Hand의 그림 1은 직접구동 손의 손끝·모터·간격재·브래킷·손바닥 구성, 사람 손과의 크기 비교, 여러 물체·공구 파지를 보여 준다. 이는 하드웨어 구조와 시연 범위의 근거이지 반복 수명, 교정 표류, 공장 수율, 총소유비용의 측정 결과가 아니다. 출처: Shaw, Agarwal, Pathak (2023), arXiv:2309.06440, 그림 1, 1쪽; 원 논문의 그림만 잘라 사용.

기계적 관측성이라는 기준

손을 고를 때 자유도와 가반하중만 보면 중요한 절반을 놓친다. 제조 조작에서 손은 공정의 물리 상태를 관측하는 장치다. 흡착컵의 진공 이력은 밀봉 실패와 다공성 재료를 알려 주고, 2지 그리퍼의 모터 전류는 파지 닫힘과 기계적 정지를 알려 주며, 5지 손의 손끝 센서는 미끄러짐, 접촉 순서, 국소 변형을 알려 준다. 같은 성공이라도 어떤 손이 어떤 신호를 남겼는지에 따라 재학습 가치가 달라진다.

이 기준을 기계적 관측성이라고 부를 수 있다. 손이 과제를 수행하는 동안 실패 원인을 얼마나 직접적으로 드러내는가의 문제다. 단순한 흡착은 기계적 관측성이 낮아 보이지만, 진공 압력과 흡착컵 마모가 잘 기록되면 특정 작업에서는 충분하다. 반대로 복잡한 5지 손도 촉각 기준값, 관절 교정, 패드 마모가 기록되지 않으면 관측성이 낮다. 하드웨어의 정교함과 데이터의 유용성은 같은 말이 아니다.

하드웨어의 정교함은 유지보수와 교정 부담을 받아들일 수 있는 범위 안에서 진단 가능한 과제 상태를 늘릴 때만 생산 가치를 만든다 ^[9], ^[26], ^[27]. 고해상도 촉각, 미끄러짐 감지, 손바닥–손가락 협응 연구는 각 논문이 사용한 손, 물체, 센서, 제어기와 시험 분모에서 접촉 상태를 더 잘 읽는 방법을 보여 준다. 이 결과만으로 오염, 세정제, 케이블 피로, 다교대 정비가 있는 공장에서 총 데이터 비용이 낮아지거나 독립적으로 재현된다고 결론 내릴 수는 없다.

^[1]의 LEAP Hand는 저비용 정교 조작 연구 플랫폼이 손 실험의 비용을 낮출 수 있음을 보여 준다. 그러나 제조사는 연구 플랫폼의 비용과 생산 플랫폼의 총비용을 분리해야 한다. 공장에서는 예비 부품, 청소, 교정 시간, 작업자 교육, 비가동 시간이 손 가격만큼 중요하다. 손이 싸도 매일 기준값을 다시 잡아야 하거나, 오염에 약해 라인 정지를 자주 만들면 실제 데이터 비용은 높아진다.

손 선택은 데이터 선택이다

2지냐 5지냐는 우열의 문제가 아니다. 제조 셀에서 좋은 손은 작업의 성공과 실패를 싸게, 반복 가능하게, 설명 가능하게 남기는 손이다. 흡착은 빠르고 강하지만 다공성 재료나 표면 오염에 취약하다. 2지 그리퍼는 견고하지만 손 안 재정렬을 거의 포기한다. 5지 손은 사람 도구와 작업공간을 재사용할 수 있지만, 손가락별 접촉과 교정 상태가 데이터 스키마에 들어가지 않으면 복잡성만 늘어난다.

^[1]의 LEAP Hand는 저비용 정교 조작 플랫폼이 정책 학습과 하드웨어 반복 개선을 빠르게 만들 수 있음을 보여 준다. 그러나 제조 적용에서는 손 가격보다 "교대 근무 후에도 같은 데이터가 나오는가"가 더 중요하다. 손가락 패드 마모, 백래시, 케이블 장력, 손끝 오염이 기록되지 않으면 모델 성능 저하는 데이터 분포 변화가 아니라 미스터리가 된다.

작업을 나누는 방법도 달라져야 한다. 기존 자동화에서는 말단장치를 사이클타임과 파지 성공으로 고르는 경우가 많다. 대규모 데이터 조작에서는 여기에 "실패가 어떤 센서 채널에 보이는가"가 들어간다. 긁힘이 비용을 만든다면 힘 한계와 촉각 패치가 중요하고, 집기 놓침이 문제라면 카메라 가시 범위와 흡착 이력이 중요하며, 삽입 걸림이 문제라면 손목 힘·토크와 고정구 상태가 중요하다.

따라서 손 선택 회의는 CAD와 그리퍼 목록으로 시작하면 안 된다. 먼저 지난 불량과 작업자 개입을 모아 실패 코드를 만든다. 그런 다음 각 실패가 영상, 힘, 촉각, 모터 전류, 진공, 하류 품질 검사 중 어디에 보이는지 표시한다. 이 표를 만들면 어떤 작업은 2지와 흡착으로 충분하고, 어떤 작업은 5지 손이나 맞춤 순응 도구 없이는 데이터 순환이 닫히지 않는다는 결론이 자연스럽게 나온다.

작업과 실패 신호가 단순한 행동 공간과 수동 순응성에 맞게 구조화되어 있다면, 단순 그리퍼나 저구동 손이 고자유도 손보다 더 높은 반복성과 진단성을 보일 수 있다 ^[28], ^[29], ^[30]. Pisa/IIT SoftHand 계열은 많은 기계 자유도를 적은 구동기와 협응 구조로 묶어 정렬 오차를 기계적으로 흡수하는 설계 논리를 보여 준다. 다만 원 논문의 파지·손 안 조작 실험은 특정 손과 물체 집합에 한정되며, 현대 학습 제어를 쓰는 독립 구동 손 전체보다 항상 우수하다는 보편 순위를 제공하지 않는다.

구동기와 제어기까지 함께 설계하기

같은 손 모양이라도 구동기와 전달계가 달라지면 데이터의 의미가 달라진다. 높은 감속비의 전기 구동은 위치 반복성이 좋지만 외력에 대한 역구동성이 낮을 수 있고, 힘줄과 직렬 탄성은 충격을 흡수하지만 장력·마찰·마모가 숨은 상태가 된다. 공압 또는 연성 구동기는 넓은 접촉에 유리하지만 압력–형상 대응과 온도 의존성을 별도로 교정해야 한다. 따라서 작업 회차에는 목표 위치뿐 아니라 모터 전류, 힘줄 장력, 압력, 열 상태, 포화와 제어기 모드가 포함되어야 한다.

저수준 제어기는 정책 바깥의 배관이 아니다. 임피던스, 힘 한계, 보호 동작, 미끄러짐 대응이 바뀌면 같은 상위 행동도 다른 접촉 결과를 낸다. 학습 데이터에 행동만 남기고 제어기 이득과 안전 제한을 빼면, 새 하드웨어에서 실패 원인을 정책과 제어 사이에 배분할 수 없다. 공동설계 검토는 정책 갱신률, 서보 주기, 지연 예산, 센서 대역폭, 포화, 비상 정지 권한을 한 표에 놓아야 한다.

안전 관점에서는 더 많은 자유도가 반드시 더 많은 권한을 뜻하지 않는다. 고자유도 손의 정책은 손가락 접촉 순서를 고를 수 있어도 충돌 에너지와 끼임 지점은 독립 안전 계층이 제한해야 한다. 반대로 과도하게 보수적인 힘 한계는 정상적인 삽입과 재파지를 실패로 만들 수 있다. 하드웨어와 제어기를 함께 시험해야 안전과 학습 가능성의 경계를 찾을 수 있다.

그림 11.2. ORCA의 그림 1은 촉각 센서와 실리콘 피부, 힘줄 구동 17-자유도 손과 1-자유도 손목, 냉각 팬, 과부하 때 빠지는 관절, 래칫-스풀 재장력 조절을 한 구조 안에 보여 준다. B와 C 패널의 7시간 이상 모방학습 배포와 2,000회 이상 반복은 저자가 표시한 단일 시스템 시연이며, 독립적인 정비 수명, 교정 안정성, 생산 성능 근거가 아니다. 출처: Christoph et al. (2025), arXiv:2504.04259v2, 그림 1, 1쪽, CC BY 4.0; 원 논문의 그림만 잘라 사용.

장갑과 외골격은 번역기다

사람 손 데이터를 로봇 손으로 옮기는 접근은 대규모 데이터 관점에서 매력적이다. ^[15]의 UMI는 현장 밖에서 사람 시연을 수집해 로봇 정책으로 옮기는 방법을 제시했고, ^[6]의 DexUMI와 ^[7]의 DEXOP는 정교 조작에서 사람 손을 더 직접적인 인터페이스로 쓰려는 흐름을 보여 준다. ^[8]도 적은 로봇 시연과 더 풍부한 사람 데이터를 결합하는 방향을 강화한다.

하지만 장갑과 외골격은 원본이 아니라 번역기다. 사람의 피부 감각, 힘 조절, 손가락 순응성, 팔-손 협응은 로봇 관절과 센서 배치에 그대로 대응하지 않는다. 그래서 동작 대응 오차, 접촉 불일치, 작업자 전략, 로봇 관절 한계가 작업 회차에 남아야 한다. "사람이 잘했다"는 시연이 "로봇이 안전하게 반복했다"로 바뀌려면 번역 손실을 측정해야 한다.

DexUMI와 DEXOP류의 장점은 바로 이 번역 손실을 더 명시적으로 다룬다는 데 있다 ^[6], ^[7]. 사람 손을 단순 영상으로 보는 것보다 관절, 접촉, 시연 인터페이스를 더 많이 보존한다. 그러나 제조 과제에서는 이 보존이 충분한지 과제별로 따져야 한다. 예를 들어 공구 삽입은 손목 힘과 고정구 공차가 핵심일 수 있고, 케이블 배선은 손끝 접촉 순서가 핵심일 수 있다.

사람 시연과 로봇 실행에 공유되거나 정렬된 감지를 쓰면 몸체 간극의 일부를 줄일 수 있지만, 전이는 손 형상, 센서 교정, 카메라 배치, 행동 대응에 계속 조건부다 ^[31], ^[32], ^[22]. RealDexUMI가 같은 경량 손과 시각·촉각 모듈을 수집과 배포에 공유한 설계는 말단장치 불일치를 줄이는 방향을 보여 준다. 보고된 8개 과제와 3개 몸체의 평균 결과는 그 설정에 한정되며, 팔 전체 동역학이나 다른 카메라 기하까지 간극이 사라졌다는 뜻은 아니다.

착용형 수집 하드웨어의 생산성은 시간당 시연 수뿐 아니라 작업자 편안함과 피로, 센서 표류, 손·물체 가림, 촉각 충실도, 착용 때마다 필요한 교정을 함께 측정해야 한다 ^[7], ^[6], ^[33]. DexUMI의 저자 실험에서 보고된 손-플랫폼 평균 성공은 해당 외골격, 영상 복원, 과제군의 경계 안에서 읽어야 한다. 사람 동작을 로봇이 실행 가능한 운동학으로 제한하면 동작 대응은 쉬워질 수 있지만 자연스러운 전략과 힘 감각이 달라질 수 있고, 장시간 반복 작업의 인간공학 비용은 별도 검증 대상이다.

1인칭 데이터는 또 다른 층위다. 사람 영상은 싸고 넓게 모을 수 있지만 촉각과 힘은 거의 보이지 않는다. 따라서 1인칭 영상은 과제 맥락과 시각 선행 지식을 주는 데이터로 보고, 배포 근거는 로봇 측 힘·촉각 재현 시험으로 따로 세워야 한다. 사람 데이터가 많아질수록 오히려 로봇 실행 데이터의 품질 기준을 더 엄격하게 세워야 한다.

전용 손과 범용 손의 절충

제조사는 종종 범용 손과 전용 말단장치 사이에서 갈등한다. 범용 손은 제품 구성이 바뀌어도 재사용될 가능성이 크고, 사람 도구와 작업공간을 그대로 쓰려는 전략과 맞다. 전용 손은 좁은 과제에서 빠르고 안정적이며 실패 원인도 단순하다. 대규모 데이터 관점에서는 둘 중 하나가 항상 이기는 것이 아니라 데이터 재사용과 실패 원인의 명확성 사이 균형이 다르다.

전용 손은 행동 공간을 줄인다. 이는 같은 작업 회차 수로 더 빠르게 범위를 확보한다는 뜻이다. 불량 원인도 죠 마모, 흡착 누설, 고정구 오차처럼 좁게 모인다. 반면 작업이 바뀌면 손을 다시 설계해야 하고, 사람 시연 데이터나 과제 간 정책을 재사용하기 어렵다. 고정된 제품군과 높은 처리량이 중요한 제조 셀에서는 이 단순성이 오히려 장점이다.

범용 5지 손은 반대다. 데이터 재사용 가능성은 커지지만 실패 공간도 커진다. 각 손가락의 접촉, 관절 한계, 촉각 교정, 물체 자세, 양손 협응이 모두 변수다. Figure나 Sanctuary류 휴머노이드 손 주장을 볼 때도 이 균형을 봐야 한다. 사람처럼 보이는 손은 다양한 작업을 할 가능성을 열지만, 제조사가 그 다양성을 데이터와 유지보수로 감당할 수 있어야 한다.

촉각·힘 장치군이 여는 작업

촉각과 힘은 모든 작업에 필요한 것은 아니다. 하지만 삽입, 끼움, 닦기, 케이블 배선, 변형체 취급, 식품 정량 담기처럼 접촉 후 상태가 성패를 가르는 작업에서는 필수에 가깝다. ^[2]는 다중감각 손끝 센서로 접촉 정보를 더 풍부하게 만들고, ^[3]는 소형 힘·토크 감지의 가능성을 보여 준다. ^[4]와 ^[5]는 촉각 피부와 통합 촉각 표현이 서로 다른 센서를 학습 가능하게 묶는 방향을 제시한다.

정책 구조 쪽에서도 같은 변화가 보인다. ^[14]의 ForceVLA와 ^[13]의 Tactile-VLA는 언어-행동 모델이 RGB만 볼 때 놓치는 물리 상태를 보완하려는 시도다. 제조 관점에서 이 연구들은 "더 멋진 센서"보다 "실패 전 신호가 남는가"라는 질문에 답한다. 미끄러짐 시작, 과도한 힘, 고정구 충돌, 부품 정렬 오차가 먼저 관측되면 실패 로그는 사후 설명이 아니라 온라인 복구의 입력이 된다.

센서 배치도 중요하다. 손끝 촉각은 파지와 손 안 동작에 강하지만, 손목 힘·토크는 삽입, 밀기, 전체 접촉 하중을 더 잘 볼 수 있다. 촉각 피부는 넓은 접촉 분포를 보여 주지만 청소와 마모가 문제고, 소형 힘·토크 센서는 작지만 설치 위치에 따라 해석이 달라진다 ^[3]. 제조사는 "촉각이 있는가"보다 "어느 실패 코드를 어느 센서가 본다는 설계인가"를 확인해야 한다.

AnyTouch류 표현은 여러 촉각 센서를 하나의 학습 표현으로 묶을 가능성을 보여 준다 ^[5]. 이것은 현장 유지보수와도 연결된다. 센서 공급자나 손끝 모듈이 바뀌어도 표현이 유지되면 데이터셋 연속성이 좋아진다. 하지만 이 주장은 공장 오염, 마모, 온도, 세정제에 대한 검증 없이는 불완전하다.

하드웨어 회사 주장을 읽는 법

Sunday, Eka, Genesis, Sanctuary류의 손·휴머노이드 주장은 세 단계로 읽는 것이 안전하다. 첫째, 손의 자유도와 가반하중보다 과제 근거를 본다. 어떤 제품군, 어떤 고정구, 어떤 실패 유형에서 반복 검증됐는지가 핵심이다. 둘째, 센서 구성이 공개되어야 한다. 촉각이 있다고 해도 수직력만 있는지, 전단력과 미끄러짐을 볼 수 있는지, 청소 후 교정을 어떻게 회복하는지가 다르다. 셋째, 유지보수 데이터가 정책 데이터와 연결되어야 한다.

회사 발표가 충분하지 않을 때는 공개 연구를 기준선으로 삼는다. LEAP, DIGIT/다중감각 손끝 센서, AnySkin, AnyTouch, DexUMI, DEXOP, ForceVLA, Tactile-VLA 같은 근거는 하드웨어 주장이 최소한 어떤 질문에 답해야 하는지 알려 준다. 공장 PoC에서는 공급자가 제시한 손 시연을 이 질문표에 넣고, 빈칸을 계약 조건이나 추가 계측으로 메워야 한다.

이때 회사 주장을 과소평가할 필요도 없다. 하드웨어 회사는 논문보다 빠르게 내구성, 제조 가능성, 서비스망, 보증 조건을 제시할 수 있다. 제조사는 논문 근거와 회사 근거를 서로 보완적으로 읽어야 한다. 논문은 어떤 센서와 손이 물리적으로 가능한지 보여 주고, 회사는 그것이 생산 현장에서 유지될 수 있는지 보여 줘야 한다.

현장 유지보수와 교정

손이 복잡해질수록 학습 문제와 유지보수 문제가 분리되지 않는다. 손끝 피부가 닳고, 센서가 오염되고, 관절 영점이 밀리고, 케이블 장력이 바뀌면 정책이 보는 세계도 바뀐다. 이 변화가 정비 로그에만 있고 작업 회차에는 없으면 데이터 과학자는 정책 표류로 오해하고, 현장 엔지니어는 센서 문제로 본다. 두 관점을 연결해야 한다.

따라서 하드웨어 공동설계의 실무 산출물은 손 도면이 아니라 교정 절차다. 언제 촉각 기준값을 다시 잡는가, 청소 후 어떤 재현 시험 세트를 돌리는가, 센서 교체 전후 데이터를 같은 데이터셋으로 섞을 수 있는가, 예비 부품 로트가 성능에 영향을 주는가를 정해야 한다. 이 조건을 만족하지 못하는 5지 손은 제조에서 고급 손이 아니라 고급 불확실성이다.

교체 가능한 촉각 피부와 모듈형 센서는 교체가 정의된 재교정과 재현 시험 절차를 자동으로 촉발할 때만 정비성을 높인다 ^[34], ^[35], ^[36]. ReSkin과 모듈형 GelSight 계열은 감지 표면 또는 내부 모듈을 교체 가능하게 만드는 설계 방향을 제시하고, 센서 불변 표현은 모듈 차이를 학습 표현에서 줄이려 한다. 그러나 물리 교체 뒤의 영점 이동, 광학·자기장 편차, 접착과 마찰 변화가 허용 범위에 들었다는 실물 검증 없이 예전 데이터와 새 데이터를 자동 병합해서는 안 된다.

교체 사건은 정비 표로 끝나지 않고 데이터셋 경계가 되어야 한다. 모듈 일련번호, 로트, 패드 재료, 장착 토크, 펌웨어, 교정 결과물을 작업 회차 메타데이터에 남기고, 알려진 접촉·미끄러짐·과힘 사례를 다시 실행한다. 재현 시험이 통과하면 새 교정 구간을 열고, 실패하면 정책 업데이트보다 설치와 센서 상태를 먼저 조사한다. 이 순서가 없으면 정비 가능한 하드웨어가 오히려 조용한 분포 이동을 자주 만드는 장치가 된다.

모의실험에서 실물 적격성 평가로

하드웨어 공동설계는 CAD와 모의실험기에서 빠르게 후보를 줄일 수 있다. 죠 형상, 도달 가능한 파지, 충돌, 구동기 열부하, 케이블 배선, 센서 배치를 가상 환경에서 비교하면 실물 제작 횟수를 줄일 수 있다. 하지만 접촉 매개변수와 촉각 센서 반응을 충분히 식별하지 않은 모의실험기는 손 A와 손 B의 순위를 잘못 바꿀 수 있다. 모의실험은 설계 탐색과 위험 사례 생성에 적합하고, 실제 마찰·순응성·마모를 최종 승인하는 근거는 아니다.

적격성 평가는 세 층으로 나누는 편이 안전하다. 첫째, 시험대 시험은 구동기 포화, 백래시, 힘 한계, 센서 잡음과 교정 반복성을 측정한다. 둘째, 계측 셀 시험은 제품 로트·고정구 오차·속도·오염을 바꾸며 실패 코드의 관측 가능성을 확인한다. 셋째, 제한 생산은 교대, 청소, 유지보수, 작업자 인계가 들어간 상태에서 처리량·불량·정지 꼬리를 함께 본다. 각 층의 통과 기준과 표본 분모가 있어야 시연이 배포 근거로 승격된다.

경제성도 이 층을 따라 계산해야 한다. 고급 손이 고정구와 도구 변경을 줄이는 이익이 있어도 예비 모듈, 교정 장치, 숙련 정비, 더 긴 사이클타임이 그 이익을 상쇄할 수 있다. 단순 그리퍼는 싸고 빠르지만 SKU별 전용 도구와 교체 작업을 늘릴 수 있다. 따라서 손의 ROI는 구매 가격이나 단일 성공률이 아니라 유효 생산 시간당 수용 제품, 품질 유출, 수동 보조, 도구 변경, 센서 교체와 검증 시간을 합친 총비용으로 비교한다.

그림 11.3. UniTacHand의 그림 1은 짝지은 사람 장갑과 DexHand의 몸짓·촉각 입력을 형태 정렬과 영역 부호화기를 거쳐 공유 잠재공간으로 보내고 압력-UV 복원과 대조 목적함수로 학습하는 구조를 보여 준다. 이 도식은 정렬 구조와 학습 손실을 정의하지만 센서 교체 후 교정 연속성, 오염 내성, 공장 전이 안정성을 측정하지는 않는다. 출처: Zhang et al. (2025b), arXiv:2512.21233v3, 그림 1, 2쪽; 원 논문의 전체 그림.

셀별 손 선택 예시

첫 번째 셀은 정렬된 트레이에서 금속 부품을 집어 검사 고정구에 올리는 작업이다. 여기서는 5지 손보다 2지 그리퍼나 맞춤 죠가 더 나을 가능성이 크다. 중요한 실패는 집기 놓침, 긁힘, 고정구 정렬 오차다. 따라서 죠 표면 마모, 파지력, 고정구 접촉, 하류 반려를 남기면 충분할 수 있다. 촉각 손끝보다 손목 힘이나 그리퍼 전류가 더 경제적일 수 있다.

두 번째 셀은 케이블을 배선하고 클립에 끼우는 작업이다. 이 작업은 같은 집기·배치처럼 보이지만 손가락 접촉 순서와 순응성이 핵심이다. 2지 그리퍼만으로는 케이블 비틀림과 부분 삽입을 잘 관측하지 못할 수 있다. 여기서는 DexUMI나 DEXOP류 시연 인터페이스로 사람의 배선 전략을 모으고, 로봇 측 촉각 또는 힘 재현 시험으로 전이 손실을 측정하는 접근이 더 맞다 ^[6], ^[7].

세 번째 셀은 소스나 점성 재료를 일정량 담는 식품 제조 작업이다. 여기서는 사람 손 모양보다 재료 상태와 도구 접촉이 중요하다. 힘·토크, 도구 자세, 용기 형상, 무게 품질 판정이 작업 회차에 붙어야 한다. Chef Robotics류 플랫폼을 보더라도 손 자체보다 재료 상태 기록과 작업자 교정 반출을 먼저 확인해야 한다 ^[25].

네 번째 셀은 사람이 쓰던 도구를 그대로 잡고 조립하는 휴머노이드형 작업이다. 이 경우 5지 손이 사람 도구와 작업공간을 재사용하게 해 줄 수 있다. 그러나 도구 자세, 손끝 접촉, 파지 전환, 실패 복구가 모두 기록되어야 한다. Figure나 Sanctuary류 휴머노이드 손 주장은 이 셀에서 매력적이지만, 촉각 사용과 유지보수 근거가 없으면 장기 생산 위험이 크다 ^[10].

이 네 사례는 손 선택이 하드웨어 목록 문제가 아니라 실패 관측성 문제임을 보여 준다. 같은 공장 안에서도 어떤 셀은 단순 손이 맞고, 어떤 셀은 정교한 손과 촉각 장치군이 필요하다. 좋은 전략은 모든 셀에 같은 손을 쓰는 것이 아니라 실패 코드별로 필요한 최소 관측성을 정하고 그에 맞는 손을 고르는 것이다.

손 결정은 시간이 지나면서 바뀔 수도 있다. 초기에는 2지 그리퍼로 빠르게 데이터를 모으고, 실패가 접촉 중심이라는 것이 확인되면 촉각 손끝이나 5지 손으로 넘어갈 수 있다. 반대로 5지 손으로 시작했지만 실제 실패 대부분이 지각과 고정구 문제라면 더 단순한 말단장치로 돌아가는 편이 낫다. 대규모 데이터 전략은 하드웨어 선택을 고정하지 않고 실패 근거에 따라 손을 바꾸는 절차를 포함해야 한다.

이 절차에서 중요한 것은 손 변경을 데이터셋 버전으로 남기는 것이다. 그리퍼 죠가 바뀌었는지, 손끝 재료가 바뀌었는지, 촉각 센서 기준값이 바뀌었는지 기록하지 않으면 예전 작업 회차와 새 작업 회차를 섞을 때 문제가 생긴다. 정책이 좋아진 것처럼 보여도 실제로는 손이 더 쉬운 실패를 숨겼을 수 있다. 반대로 정책이 나빠진 것처럼 보여도 센서 교체가 원인일 수 있다.

제조사는 공급자에게 손 성능만 묻지 말고 손 수명주기 데이터를 요구해야 한다. 교체 주기, 교정 표류, 청소 절차, 예비 부품 로트 변동, 센서 고장 유형이 포함되어야 한다. 논문은 손의 가능성을 보여 주지만, 생산에서는 수명주기 데이터가 없으면 데이터 개선 순환이 일정한 관측 단위를 유지하지 못한다.

데이터 수집 방식도 손 선택과 함께 바뀐다. 2지 그리퍼 셀은 많은 로봇 실행을 빠르게 모으는 편이 낫고, 정교한 손 셀은 적은 고품질 시연과 센서가 풍부한 재현 시험이 더 중요할 수 있다. 장갑이나 외골격을 쓰는 셀은 사람 시연의 양보다 로봇 동작 대응 검증의 질이 중요하다. 촉각 중심 셀은 센서 교정과 품질 판정 연계를 먼저 안정화해야 한다.

이 차이를 무시하면 데이터 전략이 거꾸로 선다. 단순 집기·배치에 과도한 장갑 수집을 붙이면 수집 비용이 커지고, 정교 조립을 카메라만 보는 다수 로봇 실행으로 밀면 실패가 보이지 않는다. 제조사는 손을 고른 뒤 데이터를 모으는 것이 아니라, 어떤 데이터를 모아야 하는지 정한 뒤 손을 고르는 편이 더 안전하다.

마지막 판단 기준은 작업자와 유지보수팀이 그 손을 이해할 수 있는가다. 복잡한 손이 현장 설명 없이 들어오면 작은 이상이 모두 "AI 문제"로 보고된다. 반대로 손의 센서, 마모, 교정 의미가 현장 언어로 번역되면 작업자는 더 좋은 교정 기록을 남기고 유지보수팀은 더 정확한 실패 판정을 만든다.

제조 셀 적용 체크포인트

이 체크포인트는 손을 한 번에 결정하기 위한 표가 아니다. 오히려 어떤 정보가 비어 있는지 찾는 장치다. 단순 손이 충분한데 5지 손을 고르면 데이터가 복잡해지고, 5지 손이 필요한 과제를 2지로 밀어붙이면 실패 신호가 사라진다. 센서를 붙이고도 배포 게이트가 없으면 촉각 데이터는 품질 개선이 아니라 저장 비용이 된다.

열린 질문과 실패 모드

첫째, 사람 손처럼 생긴 하드웨어를 사람 손처럼 쓸 수 있다고 가정한다. 둘째, 장갑 데이터를 로봇이 바로 쓸 데이터로 착각한다. 셋째, 촉각 센서를 붙이고도 품질 판정과 연결하지 않아 미끄러짐, 압궤, 정렬 오차가 학습 목표가 되지 못한다. 넷째, 교정과 청소를 운영 데이터에서 분리해 배포 후 성능 변화를 설명하지 못한다.

열린 질문은 손의 표준화에서 나온다. 범용 정교 조작 손이 충분히 싸지고 튼튼해지면 전용 손의 장점은 얼마나 남을까. 촉각 표현이 센서 간 전이를 잘하면 유지보수 부담은 줄어들까. 반대로 공장 오염과 청소가 표현을 계속 깨면 손의 다양성은 오히려 데이터 파편화를 키울 수 있다. 이 질문들은 정책 논문만으로 답할 수 없고, 현장 유지보수 로그와 함께 봐야 한다.

다음에 배울 것

다음 장은 이 모든 선택을 제조사가 무엇을 소유해야 하는가라는 질문으로 묶는다. 모델, 손, 데이터셋, 공급자 중 무엇을 사더라도 공정 진실과 평가 권한을 잃으면 개선 순환은 제조사의 자산이 되지 않는다.

참고문헌

1. Shaw, Kenneth (2023). LEAP Hand: Low-Cost, Efficient, and Anthropomorphic Hand for Robot Learning. arXiv.
2. Lambeta, Mike (2024). Digitizing Touch with an Artificial Multimodal Fingertip. arXiv.
3. Choi, Hojung (2025). CoinFT: A Coin-Sized, Capacitive 6-Axis Force Torque Sensor for Robotic Applications. arXiv.
4. Bhirangi, Raunaq (2024). AnySkin: Plug-and-play Skin Sensing for Robotic Touch. arXiv.
5. Feng, Ruoxuan (2025). AnyTouch: Learning Unified Static-Dynamic Representation across Multiple Visuo-Tactile Sensors. arXiv.
6. Xu, Mengda (2025). DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation. arXiv. #8
7. Fang, Hao-Shu (2025). DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation. arXiv. #10
8. Si, Zilin (2025). ExoStart: From 10 Exoskeleton Demos to Dexterous Robot Manipulation. arXiv.
9. Zhao, C. et al. (2025a). Universal Slip Detection of Robotic Hand with Tactile Sensing. Frontiers in Neurorobotics.
10. Figure AI (2026). Figure 03 + Helix 02: General-Purpose Humanoid System. Company product page.
11. Figure AI (2025). Helix: A Vision-Language-Action Model for Generalist Humanoid Control. Company announcement.
12. Hao, Yaru (2025). Tactile-Language-Action Model for Contact-Rich Manipulation. arXiv.
13. Huang, Yuhang (2025). Tactile-VLA: Unlocking Vision-Language-Action Model's Physical Knowledge for Tactile Generalization. arXiv.
14. Yu, Jiawen (2025). ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation. arXiv.
15. Ha, Huy (2024). Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots. arXiv.
16. Choi, Hojung (2026). In-the-Wild Compliant Manipulation with UMI-FT. arXiv.
17. Zhao, Tony Z. (2023). Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware. arXiv.
18. Chi, Cheng (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. arXiv.
19. Physical Intelligence (2025). OpenPI: Open Source Robot Policy Stack. GitHub.
20. Black, Kevin (2024). pi0: A Vision-Language-Action Flow Model for General Robot Control. arXiv.
21. AgiBot-World-Contributors et al. (2025). AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems. arXiv.
22. Xu, Chaoyi et al. (2026). RealDexUMI: A Wearable Universal Manipulation Interface for Dexterous Robot Learning. arXiv.
23. Generalist AI (2025). GEN-0 Robot Foundation Model. Company page.
24. Skild AI (2024). General-Purpose Robot Brain. Company page.
25. Chef Robotics (2025). ChefOS: AI Robotics Platform for Food Manufacturing. Company product page.
26. Zhao, Zihang et al. (2025b). Embedding High-Resolution Touch across Robotic Hands Enables Adaptive Human-like Grasping. Nature Machine Intelligence.
27. Zhang, Ningbin et al. (2025a). Soft Robotic Hand with Tactile Palm-Finger Coordination. Nature Communications.
28. Bicchi, Antonio (2000). Hands for Dexterous Manipulation and Robust Grasping: A Difficult Road Toward Simplicity. IEEE Transactions on Robotics and Automation.
29. Catalano, Manuel G. et al. (2014). Adaptive Synergies for the Design and Control of the Pisa/IIT SoftHand. The International Journal of Robotics Research.
30. Della Santina, Cosimo et al. (2018). Toward Dexterous Manipulation with Augmented Adaptive Synergies: The Pisa/IIT SoftHand 2. IEEE Transactions on Robotics.
31. Zhang, Chi et al. (2025b). UniTacHand: Unified Spatio-Tactile Representation for Human to Robotic Hand Skill Transfer. arXiv preprint. #16
32. Yin, Jessica et al. (2025). OSMO: Open-Source Tactile Glove for Human-to-Robot Skill Transfer. arXiv preprint. #18
33. Fang, Hongjie et al. (2024). AirExo: Low-Cost Exoskeletons for Learning Whole-Arm Manipulation in the Wild. arXiv.
34. Agarwal, Arpit et al. (2025). A Modularized Design Approach for GelSight Family of Vision-Based Tactile Sensors. The International Journal of Robotics Research.
35. Gupta, Harsh et al. (2025). Sensor-Invariant Tactile Representation. arXiv.
36. Bhirangi, Raunaq et al. (2021). ReSkin: Versatile, Replaceable, Lasting Tactile Skins. arXiv.
37. Christoph, Clemens C. et al. (2025). ORCA: An Open-Source, Reliable, Cost-Effective, Anthropomorphic Robotic Hand for Uninterrupted Dexterous Task Learning. arXiv.