Chapter 8: 접촉 학습 — 감각 기반의 온라인 개선

개요

제조 조작의 어려운 부분은 대개 카메라가 장면을 잘 본 뒤에 시작된다. 미끄럼, 과도한 힘, 삽입 걸림, 표면 손상, 연질 재료의 뒤틀림, 센서 편향은 시각 전용 정책이 늦게 보거나 아예 보지 못하는 실패다. DIGIT과 후속 인공 손끝 연구는 소형 촉각 센서가 로봇 손 학습의 실제 관측 통로가 될 수 있음을 보여주었다 ^[1], ^[2]. ReSkin과 AnySkin은 다른 질문을 던진다. 촉각 피부는 정밀하기만 해서는 부족하며, 닳은 뒤 교체하고 다시 보정해도 학습 자료의 계보가 이어져야 한다 ^[3], ^[4].

이 장의 초점은 “촉각을 넣으면 좋아진다”가 아니다. 제조사는 어떤 실패가 어느 센서에 드러나는지, 그 센서가 얼마나 자주 보정을 요구하는지, 정책 갱신을 어떤 품질 추적으로 검증할지까지 함께 설계해야 한다. AnyTouch, ForceVLA, Tactile-VLA, 촉각-언어-행동(Tactile-Language-Action, TLA) 연구는 촉각과 힘이 표현 학습 및 시각-언어-행동(Vision-Language-Action, VLA) 정책으로 들어가는 흐름을 보여준다 ^[6], ^[8], ^[9], ^[10]. 이 장의 논지는 더 엄격하다. 힘과 촉각은 측정, 시각 정렬, 보정, 유지보수, 사람 개입, 실패 재생이 시연부터 배포 승인까지 이어질 때만 생산 증거가 된다.

이 장을 읽고 나면... - 접촉 중심 제조 실패를 시각 실패와 촉각·힘 실패로 구분할 수 있다. - DIGIT, ReSkin/AnySkin, CoinFT, AnyTouch, ForceVLA, Tactile-VLA가 서로 다른 계층의 문제를 다룬다는 점을 설명할 수 있다. - 센서 편향, 교체, 보정, 온라인 개선을 정책 구조와 함께 설계할 수 있다. - 접촉 중심 개념검증에서 반드시 남겨야 할 힘·촉각 재생과 품질 추적을 정의할 수 있다. - 실제 센서로 측정한 힘과 영상·전류·변형에서 추정한 힘을 구분할 수 있다. - 감각 정보의 이득을 센서 수명주기 비용과 공장 검증의 한계까지 포함해 평가할 수 있다.

접촉 실패와 필요한 관측

이 표는 촉각과 힘이 단일 기술이 아니라 실패 분류 체계라는 점을 강조한다. 어떤 셀은 손목 힘·토크만으로 충분하고, 어떤 셀은 손끝 촉각 영상이 필요하며, 어떤 셀은 교체형 피부의 유지보수가 더 중요하다.

시각만으로 접촉을 충분히 알 수 없는 이유

카메라는 반사된 빛을 본다. 물체의 위치, 형상, 움직임, 일부 변형을 추정할 수 있지만, 역학적으로 다른 여러 상태가 거의 같은 영상으로 투영될 수 있다. 구멍 왼쪽 벽에 닿은 축과 벽에서 1밀리미터 떨어진 축은 가려진 화면에서 같아 보일 수 있다. 집게가 물체를 안정적으로 쥔 상태와 작은 진동만으로 미끄러질 상태도 자세는 같을 수 있다. 천 표면이 평평해 보여도 국소 장력은 계속 커질 수 있다. 이는 화소 수 부족이 아니라 관측 가능성의 문제다. 다음에 취할 안전한 행동을 결정하는 변수가 화면 하나로는 유일하게 정해지지 않는다.

역사를 보면 현재의 첨단 연구가 무엇을 새로 만들고 무엇을 물려받았는지 분명해진다. 고전적인 임피던스 제어와 힘-위치 혼합 제어는 접촉 힘을 제어 대상에 포함했고, 해석적 파지 연구는 마찰 원뿔과 힘 폐쇄를 정식화했다 ^[25], ^[26]. 이후 영상 기반 촉각 센서는 국소 변형을 조밀한 영상으로 바꾸었고, DIGIT은 이 방식을 비교적 작고 접근 가능한 손끝 장치로 만들었다 ^[1]. ReSkin과 AnySkin 같은 교체형 자기식 피부는 해상도만이 아니라 교체 재현성을 연구 의제로 올렸다 ^[3], ^[4]. 최근의 촉각·힘 기반 대형 정책은 이 층들 위에 세워졌다. 새 표현 모델이 저수준 제어기, 보정 장치, 유지보수 절차를 없애는 것은 아니다.

따라서 촉각과 힘은 저수준 제어기에만 붙이는 신호가 아니라, 정책 관측과 품질 결과에 시각이 맞춰진 증거로 기록해야 한다. ForceVLA, TLA, ForceVLA2의 보고된 실험에서는 접촉 신호가 시각과 언어만으로는 정해지지 않는 상태를 드러낸다 ^[8], ^[10], ^[31]. 다만 이 결론은 각 논문의 로봇, 센서, 과제, 비교 기준, 시행 수에 한정된다. 모든 센서와 공정으로 전이된다는 뜻도, 전체 데이터 비용이 줄었다는 뜻도, 생산 준비가 끝났다는 뜻도 아니다. 제조 현장에 적용할 수 있는 좁고 중요한 결론은 접촉 신호가 행동을 바꿨다면 그 신호의 원본과 품질 상태가 작업 기록에 남아야 한다는 것이다.

이 구분은 영상 세계 모델이 제공할 수 있는 것의 한계도 정한다. 모델은 보이는 움직임에서 그럴듯한 행동이나 힘의 흐름을 추정할 수 있다. 그러나 관측하지 않은 6축 힘과 토크, 접촉 압력 분포, 재료 손상, 보정된 체결 토크를 과거로 돌아가 측정할 수는 없다. 영상에서 만든 힘 표지는 시연의 우선순위를 매기고 정책을 시작하는 데 유용할 수 있다. 하지만 과부하, 표면 손상, 완전 삽입, 누설, 미끄럼의 수치 기준으로 배포를 승인해야 하는 공정에는 실제 힘·촉각 센서가 여전히 필요하다.

센서는 하드웨어이자 데이터 정책이다

DIGIT은 저비용·고해상도 소형 촉각 손끝의 가능성을 열었다 ^[1]. 후속 인공 손끝 연구는 여러 감각을 결합한 손끝이 로봇 학습 체계에 들어갈 수 있음을 더 분명히 했다 ^[2]. ReSkin과 AnySkin은 다른 문제를 본다. 촉각 감지가 실험실 시연을 넘어가려면 피부가 닳고 교체되고 다시 보정되어도 자료 계보가 이어져야 한다 ^[3], ^[4].

CoinFT 같은 작은 6축 힘·토크 센서는 손가락이나 말단 작동기 가까이에서 힘을 볼 수 있게 한다 ^[5]. 제조사가 결정해야 하는 것은 센서 종류만이 아니다. 센서 식별자, 보정 판본, 장착 토크, 교체 날짜, 세척 주기, 온도 범위가 작업 기록에 들어가야 한다. 그렇지 않으면 모델 갱신 뒤 성능이 나빠졌을 때 원인이 정책인지 센서 편향인지 분리할 수 없다.

촉각 표현은 센서 간 번역 문제다

AnyTouch가 중요한 이유는 정적·동적 촉각 신호를 여러 영상식 촉각 센서에 걸쳐 통합하려 하기 때문이다 ^[6]. 제조 현장은 센서가 하나로 고정되지 않는다. 한 라인은 손끝 DIGIT을 쓰고, 다른 라인은 교체형 피부를 쓰며, 또 다른 라인은 손목 힘·토크와 카메라만 쓸 수 있다. 촉각 표현이 특정 센서에 묶이면 자료 순환은 라인 경계마다 끊긴다.

그림 8.1. AnyTouch Figure 1은 TacQuad가 GelSight Mini, DIGIT, DuraGel, Tac3D로 같은 물체·접촉 위치를 세밀하거나 거칠게 정렬해 수집하는 구성을 보여준다. 이 그림은 센서가 측정한 서로 다른 출력의 데이터셋 구성이며, 학습된 공통 임베딩의 성능 결과는 아니다. 출처: Feng et al. 2025, arXiv:2502.12191 Fig. 1.

하지만 통합 표현은 보정을 지우지 않는다. 센서 형상, 겔 재료, 표식 무늬, 조명, 카메라 촬영 속도가 다르면 같은 미끄럼도 다른 신호가 된다. 표현 학습은 센서 편향과 교체를 흡수할 수 있어야 하고, 제조사는 센서 상태를 정책 입력이나 평가 구획으로 명시해야 한다.

Sparsh, AnyTouch, Sensor-Invariant Tactile Representation은 자기지도 특징에서 센서 간 전이를 넓히는 방향으로 이어지는 연구 흐름을 보여준다 ^[27], ^[6], ^[28]. 이들을 센서가 서로 교환 가능해졌다는 증거가 아니라 공통 좌표계를 학습하려는 시도로 읽어야 한다. 재질 분류에 유용한 특징이 전단력에 민감한 미끄럼 복구에는 실패할 수 있다. 두 광학식 손끝에서 정렬된 표현이 자기식 피부, 손목 힘·토크 센서, 다른 촬영 속도로 그대로 옮겨진다는 보장도 없다. 사전학습 평가에는 오염, 패드 마모, 접착제 노화, 재장착, 세척제 변경이 거의 포함되지 않는다.

센서 간 촉각 표현은 보고된 조건에서 센서 형상, 시간 응답, 교체, 보정 변화에도 성능이 유지되는 범위에서만 유용하다 ^[27], ^[6], ^[28]. 이는 모든 센서에 통하는 불변성을 보장하는 주장이 아니다. 여러 셀의 작업 기록을 합치기 전에 한 센서를 통째로 제외한 평가, 낡은 패드와 새 패드의 분리 평가, 보정 판본별 분리 평가를 통과해야 한다.

시각 정렬도 표현의 일부다. RGB 카메라는 초당 30장, 촉각 카메라는 다른 속도, 힘·토크 센서는 초당 수백에서 수천 표본, 관절 상태는 제어 주기로 들어올 수 있다. 가장 가까운 시각의 값만 합치면 접촉 전 영상과 충돌 후 힘이 한 묶음이 될 수 있다. 정책은 원인과 결과의 순서를 거꾸로 배운다. 모든 작업 기록에는 하드웨어 시각, 기준 시계, 보간 규칙, 누락된 묶음, 필터 지연, 센서 좌표계에서 공구 좌표계로의 변환이 남아야 한다. 빠른 걸림과 미끄럼에서는 몇 밀리초가 사전 감지와 사후 관찰을 가른다.

판단 사례: 압입 작업

압입은 접촉 학습의 전형적인 시험대다. 카메라로 보면 축과 구멍이 정렬되어 있고, 로봇 손목이 천천히 내려가며, 마지막에는 부품이 들어간 것처럼 보인다. 그러나 실제 실패는 접촉 안에서 일어난다. 축이 모따기 면에 걸렸는지, 돌출 결함에 닿았는지, 외장이 살짝 휘었는지, 너무 큰 힘으로 제품을 손상시켰는지는 시각만으로 늦게 보인다.

이 작업에서 필요한 신호는 단계별로 다르다. 접근과 거친 정렬에는 RGB와 자세가 충분할 수 있다. 첫 접촉에는 축 방향 힘과 토크 급증이 필요하다. 미세 탐색에는 힘 기울기와 짧은 후퇴 사건이 필요하다. 최종 안착에는 힘 감소, 삽입 깊이, 검사 결과가 함께 필요하다. CoinFT 같은 작은 힘·토크 센서는 말단 작동기 가까이에서 이런 신호를 볼 수 있게 하고 ^[5], 촉각 손끝은 접촉면의 위치와 미끄럼을 더 직접적으로 볼 수 있다 ^[1], ^[2].

정책 설계도 단계별로 달라진다. 상위 정책은 다음 접근 자세를 고른다. 국소 제어기는 힘 한계값을 지킨다. 복구 정책은 걸림을 감지하면 작은 후퇴와 각도 수정을 시도한다. 품질 승인 기준은 안착 후 검사 결과와 힘 기록을 함께 본다. 압입을 하나의 성공·실패 작업으로만 기록하면 어느 단계가 실패했는지 알 수 없다.

센서 수명주기는 자료 수명주기다

접촉 센서는 소모품과 가깝다. ReSkin과 AnySkin이 강조하는 교체 가능성은 현장 배포의 핵심이다 ^[3], ^[4]. 제조 현장에서 피부는 오염되고, 마모되고, 세척되며, 때로는 작업 교대 중간에 교체된다. 센서가 바뀌면 원본 신호 분포도 바뀐다. 이 변화가 기록에 남지 않으면 모델 갱신의 성능 변화가 센서 때문인지 정책 때문인지 알 수 없다.

센서 편향, 오염, 손상, 교체는 모델 가중치가 그대로여도 정책을 무효로 만들 수 있다. GelSight 계열의 모듈형 설계는 광학계, 조명, 겔, 외장의 조합과 절충을 체계화하지만 각 조합의 보정은 여전히 필요하다. 영상 기반 촉각의 힘 측정 연구도 표식 추적, 광도 복원, 유한요소 역산, 학습 기반 힘 해독이 서로 다른 정확도, 측정 범위, 응답 속도 가정을 갖는다고 정리한다 ^[32], ^[33]. 따라서 교체가 정비성을 높인다는 결론에는 조건이 붙는다. 새 장치를 설치 전 수용 시험과 기록된 보정으로 이전 장치에 연결할 수 있어야 한다.

센서 수명주기 기록에는 최소한 센서 일련번호, 장착 위치, 보정 파일, 세척 사건, 교체 사유, 사용 시간, 온도 범위가 들어가야 한다. 촉각 영상 센서라면 겔 상태와 카메라 노출도 중요하다. 손목 힘·토크라면 편향 초기화와 공구 교체 사건이 중요하다. 손끝 센서라면 패드 마모와 접촉면이 중요하다.

이 수명주기는 학습 자료 판본과 함께 묶여야 한다. 예를 들어 정책 v12가 미끄럼 실패 재생에서 좋아졌지만 생산 중 다시 미끄럼이 늘었다면, 원인이 모델 퇴행인지, 새 센서 생산 묶음인지, 세척제 변경인지 봐야 한다. 센서 메타자료가 없으면 접촉 학습은 재현성을 잃는다.

실용적인 수용 절차는 네 층으로 구성할 수 있다. 첫째, 설치 전에 시험 장치가 반복 가능한 수직력과 전단력을 가한다. 둘째, 장착한 센서로 생산 공구의 대표 접촉을 반복한다. 셋째, 이전 센서와 새 센서를 같은 실패 재생 묶음에서 겹쳐 운용한다. 넷째, 실제 재료와 세척 절차에서 제한 배포를 수행해 품질 결과를 확인한다. 영점 조정 한 번으로는 이 절차를 대신할 수 없다. 영점은 오프셋만 확인할 뿐 동적 응답, 공간 민감도, 이력 현상, 오래된 신호에 대한 정책 의존성을 시험하지 않는다.

촉각 사전학습과 현장 미세조정의 경계

접촉 신호의 관측성 경계 — 이 장의 합성

AnyTouch 같은 통합 촉각 표현은 센서 간 전이를 돕는다 ^[6]. 그러나 촉각 사전학습이 모든 현장 미세조정을 대체하지는 않는다. 공장에는 특정 소재, 표면 처리, 윤활 상태, 먼지, 온도, 작업자 취급이 있다. 사전학습은 접촉 어휘를 주지만, 현장 미세조정은 그 어휘가 실제 제품에서 어떤 품질 결과로 이어지는지 배운다.

제조사는 촉각 사전학습 자료를 세 가지로 나눠 볼 수 있다. 첫째, 센서 일반 표현 자료다. 여러 센서에서 미끄럼, 누르기, 굴리기, 두드리기 같은 기본 접촉 사건을 배운다. 둘째, 작업군 자료다. 삽입, 닦기, 케이블 취급, 식품 취급처럼 접촉 무늬가 비슷한 작업을 묶는다. 셋째, 현장 전용 자료다. 실제 고정구, 재료, 검사 기준으로 만든 실패 재생이다.

이 세 층을 섞으면 혼란이 생긴다. 센서 일반 자료에서 좋은 표현이 현장의 과도한 힘을 줄인다는 보장은 없다. 작업군 자료가 도움이 되더라도 세척 절차가 다르면 센서 편향이 달라진다. 배포 승인 기준은 마지막 현장 전용 재생을 통과해야 한다. 사전학습은 빠른 시작이고, 미세조정과 검증은 현장 책임이다.

힘·촉각 온라인 개선 운영판

접촉 정책에는 별도의 운영판이 필요하다. 이 운영판은 모델 지표만 보지 않는다. 힘 제한 위반, 촉각 신호 누락, 센서 재보정, 패드 교체, 작업자 복구, 폐기 코드, 재작업 비용을 같이 본다. 미끄럼 복구 성공률이 좋아졌더라도 패드 교체 주기가 절반으로 줄었다면 운영적으로 실패일 수 있다. 삽입 성공률이 올라갔더라도 과도한 힘의 아차 사고가 늘면 배포를 멈춰야 한다.

운영판은 후보 갱신을 세 단계로 본다. 오프라인 재생에서는 접촉 실패 구획을 통과해야 한다. 그림자 운용에서는 실제 센서 흐름을 읽되 행동은 실행하지 않고 이상 예측을 비교한다. 제한 배포에서는 위험이 낮은 제품이나 한 셀에서만 실행한다. 이 세 단계를 거치면 촉각·힘 통로가 모델 성능뿐 아니라 유지보수와 품질에 어떤 영향을 주는지 볼 수 있다.

이 구조가 없으면 온라인 개선은 “자료가 더 쌓이면 좋아진다”는 믿음으로 흐른다. 접촉 작업에서는 자료가 쌓일수록 센서 편향과 유지보수 변동도 함께 쌓인다. 운영판은 이 둘을 분리하는 장치다.

ForceVLA와 Tactile-VLA가 줄이는 접촉 사각지대

VLA는 언어 지시와 시각 문맥을 행동으로 연결한다. 하지만 접촉 작업에서는 지시와 RGB가 핵심 상태를 놓친다. ForceVLA는 힘 인식 경로 선택을 통해 접촉 조작에서 힘 신호를 활용하려 한다 ^[8]. Tactile-VLA는 촉각 관측을 VLA 계열 정책 통로로 넣어 물리 지식과 촉각 일반화를 연결하려 한다 ^[9].

최근 방법은 이름에 힘이나 촉각이 들어가는지가 아니라 실제로 무엇을 관측하는지에 따라 비교해야 한다.

측정한 힘과 추정한 힘의 구분은 수치 기준에서 특히 중요하다. 학습된 추정기는 힘의 크고 작음을 잘 순위화해 시연을 고르는 데 쓸 수 있다. 그러나 “검증된 공구 힘 범위를 넘지 않는다”는 배포 규칙에는 보정된 측정과 독립 제한기가 필요하다. 마찬가지로 조밀한 촉각 영상은 접촉 형상을 잘 보여줘도, 센서와 해독기를 그 목적으로 보정하지 않았다면 추적 가능한 6축 힘 측정값은 아니다 ^[33].

힘을 인식하는 정책은 여러 보고된 접촉 작업에서 결과를 개선하지만, 현재 근거는 센서 위치, 로봇, 작업군, 제어기, 평가 절차에 한정된다 ^[8], ^[9], ^[31]. 감각 정보의 이득은 더 느리거나 보수적인 제어기, 추가 시연, 추가 장비의 효과와 분리해야 한다. 같은 자료와 제어기를 유지한 채 힘 입력만 제거한 비교가 전체 체계를 한꺼번에 바꾼 비교보다 더 많은 것을 말해준다.

그림 8.2. ForceVLA Figure 3은 센서가 측정한 힘 f_t를 force token으로 투영하고, 네 전문가와 router로 구성된 FVLMoE에서 시각·언어 token과 융합한 뒤 action expert로 보낸다. 실행 뒤 f_{t+1}은 다시 측정되며 영상에서 추론한 힘이 아니다. 출처: Yu et al. 2025, arXiv:2505.22159 Fig. 3.

이 흐름은 중요하지만 VLA에 센서 토큰을 붙였다는 사실만으로 충분하지 않다. 힘과 촉각 토큰은 추론 비용, 시각 정렬, 센서 누락 동작을 만든다. 센서 신호가 끊겼을 때 정책이 멈추는지, 시각 전용 대체 동작으로 내려가는지, 보호 동작으로 바뀌는지를 배포 승인 기준에 포함해야 한다.

그림 8.3. Tactile-VLA Figure 1은 (a) 촉각 인식 지시 수행, (b) 학습한 촉각 관련 상식으로 미지 물체의 파지 힘을 추론하는 사례, (c) 닦기 실패 뒤 압력을 조정하는 추론·교정 사례를 보여준다. 원시 촉각 측정이나 센서 보정 구조를 그린 아키텍처 도식은 아니다. 출처: Huang et al. 2025, arXiv:2507.09160 Fig. 1.

센서 조달 문서는 학습 요구사항도 담아야 한다

힘·촉각 센서를 구매할 때는 하드웨어 사양서만 보면 부족하다. 반복성, 대역폭, 해상도, 과부하 허용치도 중요하지만, 학습 관점에서는 보정 자료 내보내기, 시각 정렬, 원본 기록 접근, 교체 재현성이 더 중요할 때가 많다. 센서가 좋은 값을 내도 작업 기록과 정확히 정렬되지 않으면 정책 학습에는 잡음이 된다.

수용 시험도 작업별로 해야 한다. 삽입 셀에서는 축 방향 힘 급증과 토크 특징을 반복 측정한다. 닦기 셀에서는 압력 분포와 표면 오염 변화를 본다. 케이블 취급에서는 미끄럼과 장력 변화를 본다. 식품 취급에서는 순응성과 세척 후 편향을 본다. 같은 센서라도 작업에 따라 필요한 측정 범위와 실패 특징이 다르다.

또한 센서 공급사와 로봇 정책 공급사가 다를 때 책임 경계가 필요하다. 센서 보정이 바뀌었을 때 모델 공급사가 갱신해야 하는가, 아니면 제조사가 정규화 층을 관리하는가. 원본 촉각 영상이 개인정보나 공정 지식재산 문제를 만들 때 누가 가림 처리를 맡는가. 이 질문을 조달 단계에서 쓰지 않으면 배포 단계에서 센서 자료가 정책 개선에 쓰이지 못한다.

따라서 접촉 개념검증의 구매 문서는 로봇, 손, 센서, 정책을 따로 사양화하되, 시각 정보와 작업 계보는 하나로 묶어야 한다. 센서가 정책의 눈일 뿐 아니라 품질 기록의 일부라는 점을 명확히 해야 한다.

촉각 그림자 실험

접촉 센서를 바로 폐루프 제어에 넣는 것은 위험할 수 있다. 먼저 그림자 운용이 필요하다. 로봇은 기존 시각 정책이나 보호 제어기로 움직이고, 촉각·힘 모델은 실시간으로 미끄럼, 걸림, 과도한 힘 가능성을 예측만 한다. 예측은 행동에 영향을 주지 않지만 나중에 품질 표지와 비교된다. 이 방식은 센서 통로가 실제로 추가 정보를 주는지 확인하는 낮은 위험 경로다.

그림자 실험은 세 가지 질문에 답해야 한다. 첫째, 센서 사건이 검사 실패보다 얼마나 빨리 나타나는가. 둘째, 거짓 양성이 작업 시간과 작업자 신뢰를 망칠 만큼 많은가. 셋째, 센서 사건이 특정 제품, 패드 마모, 세척 상태에서만 나타나는가. 이 질문에 답하기 전에는 촉각 토큰을 정책에 넣어도 개선인지 잡음인지 구분하기 어렵다.

그림자 운용을 통과하면 감독 보조로 넘어갈 수 있다. 이 단계에서는 센서 모델이 정지 또는 후퇴를 제안하지만 사람이나 기존 제어기가 승인한다. 그 다음 제한 자율운용에서 위험이 낮은 제품에만 센서 기반 복구를 허용한다. 접촉 작업의 온라인 개선은 이렇게 제어 권한을 천천히 옮겨야 한다.

새 센서 생산 묶음도 같은 절차를 거쳐야 한다. 기존 센서와 새 센서를 그림자 운용으로 나란히 돌려 접촉 사건이 어떻게 달라지는지 비교한다. 차이가 크면 정책 실패가 아니라 보정 작업으로 처리해야 한다. 새 센서가 같은 실패 재생을 설명한 뒤에야 복구 권한을 넘긴다.

온라인 개선은 접촉 실패 재생에서 시작한다

온라인 수정과 실패 재생은 시각만의 성공 판정이 놓치는 접촉 전이와 아슬아슬한 실패를 우선해야 한다. 미끄럼 재생은 패드 마모와 표면 오염을 나누고, 삽입 걸림 재생은 접근 각도, 축 방향 힘, 후퇴 시점을 포함하며, 과도한 힘 재생은 힘 기록을 외관·치수 검사와 연결해야 한다. UMI-FT 계열 시연은 순응 작업의 자료 수집 범위를 넓힌다 ^[11] [#36]. 사람 참여 강화학습은 시연, 학습된 보상 분류기, 비정책 학습, 온라인 사람 개입, 초기화와 제어 장치를 함께 사용하는 한 경로를 보여준다 ^[34]. 어느 연구도 무인 생산선에서 성능이 단조롭게 좋아진다는 사실을 입증하지는 않는다.

온라인 개선은 세 단계로 운영된다. 첫째, 실패 감지기가 힘·촉각 이상을 잡는다. 둘째, 사람이나 보호 제어기가 복구를 수행하고 그 수정 행동을 기록한다. 셋째, 다음 모델 갱신이 접촉 실패 재생과 생산 제한 시험을 모두 통과해야 배포된다. 이 루프가 없으면 촉각 센서는 정책 증거가 아니라 대시보드 장식이 된다.

사람 개입은 허용 가능한 접촉과 허용할 수 없는 접촉의 경계를 기록할 때 특히 가치가 크다. 긁힘 직전의 정지, 토크 급증 뒤의 후퇴, 미끄러지기 직전의 재파지는 평범한 성공 한 건보다 많은 정보를 준다. 기록에는 개입 전 구간, 개입 주체, 정책이 제안한 행동, 실제 수정 행동, 센서 상태, 최종 품질 결과를 함께 남겨야 한다. 모든 개입을 단순 실패로 처리하면 구조를 잃는다. 수정 권한이 있는 표지로 보존하면 “개입하지 않았다면 무엇이 일어났을까”를 학습하는 자료가 된다.

안전·품질 범위 안에서만 개선한다

접촉 센서 증거 사다리 — 이 장의 운영 합성

‘온라인’은 증거가 도착하는 속도를 뜻해야지, 제한 없는 현장 탐색을 뜻해서는 안 된다. 접촉 정책은 학습 최적화기 밖에 고정한 범위 안에서만 개선할 수 있다. 안전 범위에는 힘, 토크, 속도, 작업 공간, 충돌, 온도, 보호 정지 조건이 들어간다. 품질 범위에는 긁힘 등급, 삽입 깊이, 누설 검사, 변형, 체결 토크 모양, 후속 검사 결과가 들어간다. 후보 정책은 두 범위를 모두 만족한 뒤에만 작업 시간이나 성공률을 최적화할 수 있다.

이 범위는 여러 층에 구현해야 한다. 빠른 제어기나 안전 장치가 물리 한계를 강제한다. 학습 정책은 그 안에서 접근 자세, 목표 힘, 복구 행동을 고른다. 감시기는 시각 정렬, 센서 상태, 학습 분포 밖의 입력을 확인한다. 배포 절차는 실패 유형별 재생과 품질 결과를 검사한다. 이렇게 나누면 대형 정책이 자신의 안전 증거를 혼자 해석하고 승인하는 일을 막을 수 있다.

각 갱신에는 짧은 배포 카드를 붙이는 것이 좋다. 바뀐 자료 구간, 센서·제어기 판본, 실패 유형·제품 변형·센서 사용 기간별 재생 결과, 시행 수 또는 불확실성 구간, 새 아차 사고, 정비 부담, 되돌림 조건, 제한 배포 확대 승인자를 적는다. 평균 성공률 하나로는 접촉 작업에 필요한 증거를 볼 수 없다.

오프라인 재생에는 ‘다른 것을 해치지 않는다’는 층도 있어야 한다. 미끄럼 복구를 개선한 갱신이 과도한 힘이나 작업 시간 꼬리를 늘려서는 안 된다. 삽입을 개선한 갱신이 지나치게 보수적으로 변해 처리량을 무너뜨려서도 안 된다. 새 촉각 표현은 같은 장치의 무작위 보류 작업에서만이 아니라 센서 교체 뒤에도 성능을 유지해야 한다. 이런 조건이 있어야 온라인 학습은 계속 가중치를 바꾸는 일이 아니라 통제된 증거 축적이 된다.

현장 유지보수와 편향을 모델 밖에 두면 안 된다

촉각·힘 센서는 생산 설비와 함께 늙는다. 피부는 닳고, 겔은 오염되고, 케이블은 느슨해지고, 장착은 바뀌며, 보정 파일은 갱신된다. 이 변화가 기록에 남지 않으면 모델 퇴행의 원인을 찾을 수 없다. 특히 같은 정책이 여러 셀에 배포될 때 센서 판본과 세척 절차의 차이는 숨은 영역 변화가 된다.

제조사는 센서 유지보수를 학습 운영의 일부로 다뤄야 한다. 모델 판본, 자료 판본, 제어기 판본뿐 아니라 센서 보정 판본과 교체 사건이 함께 묶여야 한다. 촉각 정책의 되돌림은 가중치만 되돌리는 것이 아니라 센서 한계값, 힘 제한기, 보정 작업까지 되돌리는 일일 수 있다.

제조 셀 적용 체크포인트

첫째, 작업 실패를 촉각·힘 관점으로 다시 적는다. 삽입 실패가 정렬 실패인지, 축 방향 힘 급증인지, 돌출 결함에 걸린 것인지, 연질 부품 변형인지 구분한다. 둘째, 필요한 센서를 최소 조합으로 고른다. 손목 힘·토크로 충분한 작업에 손끝 촉각을 억지로 넣지 않고, 손끝 접촉이 핵심인 작업을 시각 전용으로 밀어붙이지 않는다.

셋째, 접촉 실패 재생 묶음을 만든다. 미끄럼, 과도한 힘, 걸림, 변형, 센서 신호 누락, 보정 편향을 각각 포함한다. 넷째, 공급사 또는 내부 팀이 원본 힘·촉각 기록과 보정 메타자료를 내보낼 수 있는지 확인한다. 이 자료를 소유하지 못하면 온라인 개선의 원인도 소유하지 못한다.

열린 문제와 실패 모드

첫째, 촉각 자료는 시각 자료보다 수집과 정규화가 어렵고 센서마다 표현이 다르다. 둘째, 힘·촉각 토큰이 들어간 VLA는 더 많은 상태를 보지만 추론과 시각 정렬 부담을 만든다. 셋째, 센서가 좋아도 품질 표지가 없으면 과도한 힘과 외관 손상의 관계를 학습할 수 없다. 넷째, 유지보수 기록이 빠지면 편향을 정책 실패로 오해하거나 정책 실패를 편향으로 오해한다.

가장 강한 반대 근거는 현재 검증 범위가 좁다는 사실이다. ForceVLA와 ForceVLA2는 각자의 다섯 과제에서 결과를 보고했고, Tactile-VLA는 작은 과제군과 센서별 부호화를 사용하며, UMI-FT는 세 단일팔 과제를 다루고, DexForce는 두 힘·토크 센서와 직접 교시 및 작업별 순응성 선택에 의존한다 ^[8], ^[31], ^[9], ^[11], ^[29]. 이들은 의미 있는 방법 검증이지만 독립적인 공장 규모 수명주기 연구는 아니다. 공개 근거만으로는 여러 달의 마모, 여러 생산 묶음의 센서, 서로 다른 세척 절차, 이질적인 셀, 제3자 정비를 가로지르는 성능을 확인할 수 없다.

분모의 문제도 있다. 감각 정보를 추가해 평균 작업 성공률이 높아져도 잘못된 정지, 재보정 노동, 패드 소비, 힘의 극단값이 늘 수 있다. 연구 평가에는 이런 비용이 거의 들어가지 않는다. 현장 검증은 완료된 시행뿐 아니라 초기화, 제외한 시행, 사람 개입, 센서 교체, 정비 시간, 손상 부품, 후검사 실패까지 보고해야 한다. 이 분모가 없으면 감각 정보의 이득을 운영 타당성으로 바꿀 수 없다.

마지막으로 풍부한 감각은 잘못된 확신을 낳을 수 있다. 촉각 영상이 곧 힘 측정은 아니다. 학습된 힘 추정이 곧 보정된 값도 아니다. 보정된 센서가 자동으로 시간 정렬되는 것도 아니다. 시간 정렬된 자료가 자동으로 인과적인 것도 아니다. 실험실 평가의 성공이 자동으로 안전한 배포를 뜻하지도 않는다. 각 연결마다 별도의 증거가 필요하다.

그림 8.4. 접촉 사건에서 품질 검사까지 연결하는 온라인 학습 게이트. 이 도식은 성능 주장이 아니라, 능력 근거가 재현과 품질 판정을 거쳐 배포 권한으로 넘어가는 운영 책임 체인을 요약한다. 출처: 저자 제작 SVG.

다음에 배울 것

9장에서는 이 기술들을 회사 전략으로 읽는다. 기반모델 연구소, 생산 자료 순환 회사를 표방하는 기업, 손·하드웨어 공동설계 기업은 모두 자료 규모를 말하지만 서로 다른 층을 소유한다. 이 장에서 만든 접촉 증거 기준은 다음 장의 실사 질문이 된다. 원본 센서 기록, 보정 이력, 사람 개입, 품질 판정, 되돌림 권한은 누구에게 있는가? 다음 장은 PI, Generalist, Skild, Figure를 통해 모델, 자료, 하드웨어, 배포 증거의 소유 경계를 비교한다.

참고문헌

1. Lambeta, Mike (2020). DIGIT: A Novel Design for a Low-Cost Compact High-Resolution Tactile Sensor with Application to In-Hand Manipulation. arXiv.
2. Lambeta, Mike (2024). Digitizing Touch with an Artificial Multimodal Fingertip. arXiv.
3. Bhirangi, Raunaq (2021). ReSkin: Versatile, Replaceable, Lasting Tactile Skins. arXiv.
4. Bhirangi, Raunaq (2024). AnySkin: Plug-and-play Skin Sensing for Robotic Touch. arXiv.
5. Choi, Hojung (2025). CoinFT: A Coin-Sized, Capacitive 6-Axis Force Torque Sensor for Robotic Applications. arXiv.
6. Feng, Ruoxuan (2025). AnyTouch: Learning Unified Static-Dynamic Representation across Multiple Visuo-Tactile Sensors. arXiv.
7. Yang, Fengyu (2023). Touch and Go: Learning from Human-Collected Vision and Touch. arXiv.
8. Yu, Jiawen (2025). ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation. arXiv. #1
9. Huang, Jialei (2025). Tactile-VLA: Unlocking Vision-Language-Action Model's Physical Knowledge for Tactile Generalization. arXiv.
10. Hao, Peng et al. (2025). TLA: Tactile-Language-Action Model for Contact-Rich Manipulation. arXiv.
11. Choi, Hojung (2026). In-the-Wild Compliant Manipulation with UMI-FT. arXiv. #36
12. Xu, Mengda (2025). DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation. arXiv.
13. Fang, Hao-Shu (2025). DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation. arXiv.
14. Si, Zilin (2025). ExoStart: Efficient learning for dexterous manipulation with sensorized exoskeleton demonstrations. arXiv.
15. Shaw, Kenneth (2023). LEAP Hand: Low-Cost, Efficient, and Anthropomorphic Hand for Robot Learning. arXiv.
16. Figure AI (2026). Figure 03 + Helix 02: General-Purpose Humanoid System. Company product page.
17. Zhao, Tony Z. (2023). Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware. arXiv.
18. Chi, Cheng (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. arXiv.
19. Black, Kevin (2024). pi0: A Vision-Language-Action Flow Model for General Robot Control. arXiv.
20. Kim, Moo Jin (2024). OpenVLA: An Open-Source Vision-Language-Action Model. arXiv.
21. Khazatsky, Alexander (2024). DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset. arXiv.
22. O'Neill, Abby (2023). Open X-Embodiment: Robotic Learning Datasets and RT-X Models. arXiv.
23. AgiBot-World-Contributors et al. (2025). AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems. arXiv.
24. Toyota Research Institute (2024). Large Behavior Models for Robot Manipulation. Company technical post.
25. Hogan, Neville (1985). Impedance Control: An Approach to Manipulation: Part I—Theory. Journal of Dynamic Systems, Measurement, and Control.
26. Khatib, Oussama (1987). A Unified Approach for Motion and Force Control of Robot Manipulators: The Operational Space Formulation. IEEE Journal on Robotics and Automation.
27. Higuera, Carolina et al. (2024). Sparsh: Self-Supervised Touch Representations for Vision-Based Tactile Sensing. CoRL.
28. Gupta, Harsh et al. (2025). Sensor-Invariant Tactile Representation. ICLR.
29. Chen, Claire et al. (2025). DexForce: Extracting Force-informed Actions from Kinesthetic Demonstrations for Dexterous Manipulation. IEEE Robotics and Automation Letters. #3
30. Adeniji, Ademi et al. (2025). Feel the Force: Contact-Driven Learning from Humans. arXiv.
31. Li, Yang et al. (2026). ForceVLA2: Unleashing Hybrid Force-Position Control with Force Awareness for Contact-Rich Manipulation. arXiv.
32. Agarwal, Arpit et al. (2025). A Modularized Design Approach for GelSight Family of Vision-based Tactile Sensors. The International Journal of Robotics Research.
33. Fang, Bin et al. (2025). Force Measurement Technology of Vision-Based Tactile Sensor. Advanced Intelligent Systems.
34. Luo, Jianlan et al. (2025). Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning. Science Robotics.
35. Fengyu Yang et al. (2024). Binding Touch to Everything: Learning Unified Multimodal Tactile Representations. CVPR 2024.
36. Sandra Q. Liu et al. (2024). A Passively Bendable, Compliant Tactile Palm with RObotic Modular Endoskeleton Optical (ROMEO) Fingers. IEEE International Conference on Robotics and Automation (ICRA).
37. Jessica Yin et al. (2024). Learning In-Hand Translation Using Tactile Skin With Shear and Normal Force Sensing. arXiv preprint arXiv:2407.07885.
38. Branden Romero et al. (2024). EyeSight Hand: Design of a Fully-Actuated Dexterous Robot Hand with Integrated Vision-Based Tactile Sensors and Compliant Actuation. IROS 2024.
39. Binghao Huang et al. (2024). 3D-ViTac: Learning Fine-Grained Manipulation with Visuo-Tactile Sensing. CoRL 2024.
40. Han Zhang et al. (2025). DOGlove: Dexterous Manipulation with a Low-Cost Open-Source Haptic Force Feedback Glove. RSS 2025.
41. Akash Sharma et al. (2025). Self-supervised perception for tactile skin covered dexterous hands. arXiv preprint arXiv:2505.11420.