XRZero-G0는 중국 최초의 온톨로지 없는 데이터 수집을 위한 오픈소스 블랙박스 시스템으로, 독립 변수 로봇 시스템입니다. 이 프로젝트는 온톨로지 없는 데이터 수집, 품질 검사, 학습 및 실제 장치 평가의 전체 과정을 통합했으며, 3,000개 작업에 대한 2,000시간 이상의 멀티모달 데이터 세트를 활용했습니다. 핵심 솔루션은 작업자가 VR 장치를 착용하고 모션 캡처를 위해 여러 대의 카메라를 사용하는 방식으로, 현장에 로봇이 필요하지 않습니다. 이 시스템은 3개의 카메라 시점, 가상 리미터 역운동학(IK) 검증, 실제 장치 재생 등 3단계 보안 검사를 통해 데이터 품질을 보장하며, 85% 이상의 데이터 유효성을 달성했습니다. 실험 결과, 온톨로지 없는 데이터와 실제 장치 데이터의 비율을 10:1로 하여 학습했을 때 500개의 실제 장치 데이터 세트만으로 학습했을 때와 유사한 결과를 얻었으며, 데이터 수집 비용은 기존 비용의 20분의 1로 절감되었습니다. 또한, 이 시스템은 제로 샘플 교차 온톨로지 전송을 지원하여 로봇 배치 시 발생하는 온톨로지 불일치 문제를 해결합니다.
기사 작성자 및 출처: Leifeng.com
최근, 임바디(embody) 업계는 오픈소스 프로젝트에 대한 소식으로 떠들썩합니다.
"누군가가 커뮤니티에 전체 실체 데이터셋을 오픈소스로 공개했다"는 소문이 작은 모임에서 돌기 시작했습니다. 호기심에 확인해 봤는데, 자세히 살펴볼수록 의심스러웠습니다. 단순한 데이터셋이 아니라 온톨로지가 없는 전체 데이터 수집 시스템이었던 것입니다.
다시 말해, 다른 오픈 소스 프로젝트들이 단순히 "코드 조각"을 공개하는 반면, 이 오픈 소스 프로젝트는 온톨로지 없는 데이터 수집, 품질 검사, 학습, 실제 기기 평가에 이르는 완벽한 과정과 3,000개 작업에 걸쳐 2,000시간 이상의 데이터를 포함하는 온톨로지 없는 멀티모달 데이터셋을 모두 패키징하여 공개하는 것입니다.
논문 링크: https://arxiv.org/abs/2604.13001
이런 일이 국내에서 처음 발생해서 관련 논문을 좀 찾아봤습니다.
요약하자면, XRZero-G0 논문은 두 가지를 해냈습니다. 첫째, 로봇 데이터 수집의 "블랙박스"를 열어 초저비용으로 고품질 데이터를 수집하는 방법을 단계별로 보여주었습니다. 둘째, 데이터를 단계별로 학습시키는 방법을 알려주었습니다.
먼저 데이터 수집에 대해 이야기해 보겠습니다. "실물 기반 산업에서 데이터 수집은 어렵고 비용이 많이 든다"는 말을 들어보셨을 겁니다. 심지어 일부에서는 실물 기반 산업의 더딘 발전이 전적으로 데이터 수집 문제 때문이라는 황당한 주장까지 제기하기도 합니다.
대형 모델들을 예로 들어보겠습니다. 대형 모델들은 온라인에서 쉽게 구할 수 있는 텍스트를 소비합니다. 반면 로봇은 물리적 데이터를 소비하는데, 이 데이터 조각 하나하나를 수집하는 데 상당한 투자가 필요합니다. 더욱이 과거 산업계의 데이터 수집에는 높은 비용, 부정직한 관행, 재사용 불가능성이라는 세 가지 주요 문제점이 있었습니다. 이러한 세 가지가 바로 물리적 데이터의 "트릴레마 (Trilemma)"을 구성합니다.
XRZero-G0 논문은 기발한 해결책을 제시하는데, 그 핵심은 한 문장으로 요약할 수 있습니다. 즉, 사람들이 장비를 착용하고 작업을 수행하므로 현장에 로봇이 필요하지 않다는 것입니다.
이러한 접근 방식은 이전에도 시도된 바 있지만(예: UMI 패러다임), 치명적인 결함이 있었습니다. 수집된 데이터가 마치 "블랙박스"와 같아서 실제 기기가 해당 데이터를 실행할 수 있는지 알 수 없었던 것입니다. 하지만 XRZero-G0는 세 가지 "보안 검사"를 통과하여 블랙박스를 투명한 화이트박스로 바꿔놓았습니다.
첫 번째 보안 검문소: 카메라 세 대.
과거에는 휴대용 데이터 수집 장치가 단일 또는 이중 시점만 지원했습니다. 이로 인해 손이 엇갈리거나 팔에 물체가 가려지면 데이터가 손실되는 단점이 있었습니다. XRZero-G0는 이러한 문제를 해결하기 위해 간단한 방식을 채택했습니다. 사용자는 머리 위쪽에 전체 화면 카메라, 양쪽 손목에 카메라가 장착된 PICO VR 헤드셋을 착용합니다.
이 세 가지 관점과 6자유도 자세 정보, 그리고 배낭 가장자리 계산을 이용한 시공간 정렬을 통해 정확도는 4mm 이하로 떨어집니다. 몸을 돌리거나, 구부리거나, 걷더라도 가려짐이나 흔들림 문제는 발생하지 않습니다.
두 번째 보안 점검: 가상 리미트 스위치를 설치하십시오.
인간의 관절은 요가를 할 수 있을 만큼 유연하다는 것은 누구나 알고 있지만, 로봇은 그렇지 못합니다. 예전에 원격 조작 중에 로봇이 수행할 수 없는 동작을 하다가 모터가 과열되어 고장난 적이 있습니다. XRZero-G0는 매우 똑똑한 로봇입니다. 관절의 한계를 넘어서는 움직임을 걸러내기 위해 자동 역기구학(IK) 검증 기능을 내장하고 있습니다.
세 번째 보안 점검: 실제 기기 재생.
처음 두 번의 선별 과정을 거친 후, 시스템은 데이터의 일부를 무작위로 선택하여 실제 이중 팔 로봇으로 직접 전송하여 "개방 루프 재생"을 수행합니다. 로봇이 작업을 성공적으로 완료한 경우에만 해당 데이터 배치가 데이터베이스에 저장된 것으로 간주됩니다.
세 단계의 선별 과정을 거치면 데이터베이스에 입력되는 데이터의 유효성이 85% 이상으로 향상되어 실제 기계 데이터와 동일한 활용도를 확보할 수 있으며, 데이터 수집 속도 또한 더욱 빨라집니다.
논문에 나온 데이터에 따르면, 간단한 작업은 35초에서 15초로 단축되어 2.33배의 속도 향상을 보였고, 복잡한 작업 또한 1.71배 빨라졌습니다. 최고 데이터 수집 속도는 시간당 93.2 트랙에 달했습니다. 이 정도면 실제 기기보다도 더 나은 것 아닌가요?
하지만 위 내용은 단지 "데이터를 더 효과적으로 수집하는 방법"만을 가르칠 뿐입니다. XRZero-G0 논문의 더욱 중요한 부분은 모든 사람에게 "데이터를 학습시키는 방법"을 가르치는 것입니다.
실체 기반 훈련에서 "물리적 신체가 없는 값싼 데이터"와 "실제 기계에서 얻은 값비싼 데이터"를 함께 사용해야 한다는 것은 누구나 알고 있지만, 그 비율을 어떻게 맞춰야 할까요? 과거에는 그 비율이 마치 연금술처럼 모호했습니다.
XRZero-G0 팀은 특히 훌륭한 일을 해냈습니다. 체계적이고 철저한 실험을 수행하여 궁극적으로 "황금비"를 발견한 것입니다.
이전에 그들은 세 가지 선택지를 비교했습니다.
▪ 순수 기계 데이터 포인트 500개(기준선)
▪ 정품 기기 500개 + 정품 기기가 없는 상품 500개 (1:1 비율)
▪ 실제 기기 50대 + 기기가 없는 기기 500대 (10:1 비율)
결과는 예상치 못했습니다. 10:1 접근 방식은 500개의 순수 기계 데이터를 사용한 기준 방식과 비슷하거나 오히려 더 높은 성공률을 달성했습니다. 간단히 말해, 실제 기계 데이터 사용량을 90% 줄이고 총 비용을 기존 방식의 20분의 1로 낮추면서도 똑같이 지능적인 모델을 만들 수 있다는 뜻입니다. 이는 비용 효율성 측면에서 20배의 도약을 의미합니다.
이 논문은 이러한 현상의 원인을 설명하는데, 이를 "소수 샘플 물리적 고정 효과"라고 부릅니다.
그게 다가 아닙니다. 이 데이터로 학습된 모델은 "제로 샘플" 교차 온톨로지 전송도 달성할 수 있습니다.
앞서 언급했듯이 기존 원격 조종 시스템의 가장 큰 문제는 작업자의 움직임입니다. 테이블 높이가 10cm만 올라가거나 다른 로봇을 사용하면 시스템이 완전히 작동하지 않습니다. 하지만 XRZero-G0는 백팩형 시스템으로, 작업자가 움직이면서 데이터 수집 과정에서 시점, 높이, 조명이 자연스럽게 역동적으로 변화합니다. 이러한 풍부한 "노이즈" 덕분에 모델은 오히려 매우 견고해집니다.
이 논문은 정말 놀라운 세부 사항들을 보여줍니다. 혼합 데이터로 학습된 모델은 실제 기계 데이터를 전혀 접하지 않고도 EX001과 CX001에 직접 배포되었으며, 꽃꽂이, 수건 접기, 소시지 채우기 등의 작업을 문제없이 수행했습니다.
XRZero-G0에 대한 제 생각을 간략하게 말씀드리겠습니다. 이 논문의 핵심은 실무자들이 마치 사용 설명서처럼 저렴한 비용으로 데이터를 수집하고 효율적으로 활용하는 방법을 분석하고 설명하는 것입니다.
누구나 알다시피, 실물 기반 애플리케이션 산업은 '데모 경쟁'에서 '데이터 경쟁'으로 전환하고 있습니다. 하지만 프로젝트에 투입하는 시간을 극대화하는 방법에 대해서는 업계의 합의와 방향성이 부족합니다. XRZero-G0는 '간편한 데이터 수집'과 '최적의 데이터 비율 찾기'부터 궁극적으로 '샘플링 없이 온톨로지 간 마이그레이션'을 달성하는 방법까지, 업계에 전체 프로세스를 교육해 왔습니다.
이러한 종류의 엔지니어링 작업은 단 하나의 대학 연구실이나 뛰어난 학자만으로는 달성할 수 없으며, 학계와 산업계 모두를 이해하는 산업계 팀이 필요합니다.
XRZero-G0을 제작한 회사는 X-Square Robot입니다.
IndependentVariable이 XRZero-G0을 구축할 수 있었던 이유를 이해하려면 그들의 전략 선택을 살펴보아야 합니다. 이 회사는 처음부터 대규모 엔드투엔드 모델을 선택하여 VLA, WM, WUM 경로를 동시에 탐색했습니다. 업계 관계자들은 이러한 접근 방식이 견고한 인프라 없이는 성공할 수 없다는 것을 잘 알고 있습니다. 따라서 IndependentVariable은 WALL-OSS에서 XRZero-G0에 이르기까지 인프라 관련 인프라를 지속적으로 구축해 왔습니다.
이 길은 어려울 수 있지만, 옳은 길입니다. 자본 시장만 봐도 알 수 있습니다. 2년도 채 안 되는 기간 동안 이 회사는 9차례 융자 완료하며 100억 달러가 넘는 기업 가치를 달성했고, 바이트댄스, 메이투안, 알리바바, 샤오미 등 4대 주요 기업이 주주로 참여했습니다.
XRZero-G0가 완전한 오픈 소스인 이유는 훨씬 더 간단하고 명확합니다.
진정한 의미의 "ChatGPT 순간"은 단 하나의 기업이 만들어낼 수 있는 것이 아닙니다. 대학, 중소 규모 팀, 그리고 개별 개발자들이 모두 XRZero-G0 표준화된 툴체인을 사용하여 일괄적으로 데이터를 생성할 수 있게 될 때, 비로소 업계 전체의 데이터 선순환이 본격적으로 시작될 것이며, 그때 비로소 독립 변수의 장벽이 세워질 것입니다.
이 글의 마지막에 XRZero-G0의 GitHub 페이지 링크를 남겨두었습니다. 한번 방문해 보시길 추천합니다.
https://github.com/X-Square-Robot/XRZero-G0
