이 영상은 World Labs와 SceniX의 인수·통합을 계기로, AI가 언어와 이미지 이해를 넘어 물리적·가상적 공간을 이해하고 행동하는 공간 지능(spatial intelligence)으로 나아가는 과정을 설명합니다. 핵심은 로봇을 현실에서 무작정 학습시키는 대신, 현실을 정밀하게 디지털 공간으로 옮겨 시뮬레이션에서 학습·평가한 뒤 현실로 전이하는 '리얼-투-심-투-리얼' 파이프라인을 구축하는 것입니다. 두 팀은 로봇용 데이터 부족 문제를 해결하고, 앞으로 2년 안에 실제 산업 현장에서 활용되는 검증된 자동화 사례를 만드는 것을 목표로 합니다.
1. AI의 다음 단계는 공간 지능
영상은 AI의 새로운 개척지를 공간 지능이라고 소개하며 시작합니다. 인간과 기계가 공간을 인식하고, 그 안에서 추론하고, 실제로 행동하기 위해서는 단순히 언어를 이해하는 것만으로는 부족합니다.
World Labs의 공동창업자이자 CEO인 페이페이 리(Fei-Fei Li)는 World Labs를 약 2년 된 프런티어 모델 연구 기업으로 설명합니다. 이 회사가 만드는 AI는 물리적 공간과 가상 공간을 모두 대상으로 다음과 같은 능력을 갖추는 것을 목표로 합니다.
- 공간을 생성하고
- 공간을 이해하고
- 공간에 대해 추론하고
- 공간 안에서 상호작용하는 능력
"우리가 만들고 있는 AI의 다음 개척지는 '공간 지능'입니다."
이를 가능하게 하는 핵심 요소가 바로 월드 모델(world model)입니다. 월드 모델은 AI가 세계가 어떻게 생겼는지뿐 아니라, 시간이 지나면 어떻게 변하는지, 특정 행동을 하면 어떤 결과가 발생하는지를 이해하도록 돕는 모델입니다.
페이페이 리는 공간 지능이 로봇에만 국한되지 않는다고 강조합니다. 영화의 시각효과, 게임, 건축·디자인처럼 가상 공간을 만들고 그 안에서 활동하는 분야도 모두 공간 지능의 중요한 활용처가 될 수 있습니다.
"우리가 사는 세계는 우리가 만들어내는 여러 개의 세계, 즉 멀티버스가 될 수 있습니다. 기술을 통해 창작자와 개발자가 서로 다른 공간 안에서 활동할 수 있게 되는 것이죠."
그러나 AI가 실제 물리적 공간에서 행동하는 능력은 특히 중요합니다. 로봇은 공간을 바라보기만 하는 것이 아니라 물건을 집고, 밀고, 이동하고, 주변 환경에 맞춰 행동해야 하기 때문입니다. World Labs는 처음부터 로봇을 공간 지능과 월드 모델의 중요한 응용 분야로 보고 있었다고 설명합니다.
2. World Labs와 SceniX가 만난 이유
SceniX의 공동창업자인 윤주 리(Yunzhu Li)는 MIT에서 박사 과정을 밟고, 이후 스탠퍼드대학교에서 페이페이 리와 함께 연구한 경력을 소개합니다. 현재는 컬럼비아대학교 조교수이기도 합니다.
그의 연구 목표는 매우 실용적입니다.
"제가 해온 일은 아주 단순합니다. 로봇이 물리적 세계를 더 잘 인식하고, 그 세계와 더 잘 상호작용하도록 돕는 것입니다."
윤주 리는 연구자이면서도 현실에서 실제로 작동하는 로봇을 만들고 싶어 하는 실용적인 성향을 강조합니다. SceniX는 범용 로봇 개발의 가장 큰 병목으로 훈련 데이터 부족과 평가의 어려움을 보고 있었습니다.
언어 모델은 인터넷에 방대한 텍스트 데이터가 존재하기 때문에 대규모 학습이 가능합니다. 반면 로봇은 현실에서 직접 움직이고 데이터를 수집해야 합니다. 로봇을 여러 대 준비하고, 사람이 원격으로 조종하며, 다양한 환경에서 반복적으로 실험해야 하므로 데이터 생산 속도가 매우 느리고 비용도 큽니다.
SceniX가 제안하는 해결책은 리얼-투-심-투-리얼(real-to-sim-to-real) 파이프라인입니다.
- 현실 환경의 외형과 구조를 디지털 공간으로 옮깁니다.
- 현실과 디지털 공간이 최대한 비슷하게 작동하도록 만듭니다.
- 디지털 공간에서 대량의 훈련 데이터와 평가 데이터를 생성합니다.
- 시뮬레이션에서 학습한 로봇을 다시 현실 환경에 적용합니다.
"디지털 세계에서 일어나는 일이 현실 환경에서도 일어나도록 정렬한다면, 현실에서 필요한 모든 데이터와 평가를 디지털 세계에서 훨씬 더 큰 규모로 만들어낼 수 있습니다."
여기서 중요한 것은 단순히 현실의 모습을 3D로 복사하는 것이 아닙니다. 물체의 위치와 외관뿐 아니라, 로봇이 행동했을 때 환경이 어떻게 변하는지까지 표현해야 합니다. 예를 들어 로봇이 물체를 밀었을 때 물체가 어느 방향으로 움직이는지, 잡았을 때 미끄러지는지, 주변 물체와 충돌하는지까지 재현할 수 있어야 합니다.
3. Marble과 로봇 데이터 병목
World Labs가 개발 중인 기반 모델의 코드명은 Marble입니다. Marble은 이미지 여러 장이나 텍스트 프롬프트를 입력받아, 이를 기하학적으로 일관된 3D 세계로 변환하는 모델입니다.
"Marble은 이미지 한 장이나 여러 장, 또는 텍스트를 입력받아 기하학적으로 일관된 세계를 만들어냅니다."
이렇게 만들어진 세계는 3D 메시나 가우시안 스플래팅 같은 방식으로 표현할 수 있습니다. 핵심은 단순히 그럴듯한 이미지를 만드는 것이 아니라, 여러 시점에서 바라보더라도 공간의 구조가 일관되게 유지되는 것입니다.
이는 기존의 영상 생성 모델과 중요한 차이가 있습니다. 영상 모델은 한 장면에서 다음 장면을 그럴듯하게 예측할 수 있지만, 로봇이 그 안에서 행동하려면 공간의 구조가 계속 유지되어야 합니다.
윤주 리는 기존 영상 예측 모델의 문제를 다음과 같이 설명합니다.
"로봇이 물체를 앞으로 밀었는데, 물체가 갑자기 마법처럼 사라져버린다면 로봇은 무엇을 해야 하는지 제대로 배울 수 없습니다."
로봇 분야에서 가장 큰 문제는 스케일링 법칙을 적용할 데이터가 부족하다는 점입니다. 언어 모델처럼 데이터를 계속 늘려 성능을 끌어올리려면 로봇 분야에도 대규모 데이터가 필요하지만, 현실에서 이를 수집하는 것은 매우 어렵습니다.
World Labs와 SceniX의 결합은 이러한 문제를 서로 보완하는 방식으로 해결하려는 시도입니다.
- World Labs는 생성 모델, 컴퓨터 비전, 3D 재구성 기술을 갖고 있습니다.
- SceniX는 로봇 학습, 시뮬레이션, 렌더링, 실제 로봇 시스템에 대한 전문성을 보유하고 있습니다.
- 두 팀이 결합하면 현실 환경을 더 빠르고 효율적으로 디지털화하고, 이를 로봇 학습에 활용할 수 있습니다.
흥미롭게도 SceniX는 처음부터 인수를 논의하기 위해 World Labs를 찾아간 것이 아니었습니다. Marble이 처음 공개된 2024년 말 무렵, SceniX가 World Labs의 고객으로 가입하면서 인연이 시작됐습니다.
"그들은 처음에 고객으로 World Labs에 들어왔습니다."
페이페이 리는 고객 명단을 보고 나서야 SceniX가 자신의 옛 연구 동료인 윤주 리의 회사라는 사실을 알게 됐다고 말합니다. 이후 두 팀의 기술과 목표 사이에 큰 시너지가 있다는 사실을 발견했고, 자연스럽게 힘을 합치는 방향으로 발전했습니다.
4. 로봇을 위한 멀티모달 기반 모델
두 팀은 앞으로 로봇용 파운데이션 모델, 즉 다양한 로봇과 작업에 적용할 수 있는 범용 기반 모델을 만들 가능성을 열어두고 있습니다.
페이페이 리는 최근의 기반 모델이 텍스트, 이미지, 오디오 등 여러 종류의 입력과 출력을 다루는 옴니모달 모델로 발전하고 있다고 설명합니다. 로봇 모델 역시 여러 정보를 함께 받아들여야 합니다.
- 영상 프레임
- 텍스트 명령
- 이미지
- 깊이 정보
- 주변 환경의 상태
- 로봇의 행동 정보
특히 로봇 모델에는 행동(action)이 중요한 출력으로 포함되어야 합니다. 윤주 리는 로봇 모델을 두 가지 관점에서 설명합니다.
첫째는 환경의 변화를 예측하는 모델입니다. 특정 행동을 입력하면 그 행동 이후 환경이 어떻게 변할지 예측합니다.
"행동을 입력으로 받아 환경이 어떻게 변할지 예측한다면, 그것은 일종의 순방향 시뮬레이터입니다."
둘째는 목표를 달성하기 위한 행동을 선택하는 정책 모델입니다. 예를 들어 "컵을 테이블 위에 올려놓아라"라는 목표가 주어졌을 때, 로봇이 어떤 움직임을 해야 하는지 결정합니다.
"목표가 주어졌을 때 현실 환경에서 어떤 행동을 해야 목표에 가까워지는지를 예측하는 것이 정책 모델입니다."
이런 모델은 로봇의 환경 이해와 행동 계획을 동시에 지원할 수 있으며, 이후 특정 로봇이나 산업용 작업에 맞게 추가 학습될 수 있습니다.
5. 영상 모델과 일관된 3D 세계의 차이
진행자는 최근 로봇 기업들이 많이 사용하는 접근이 영상 모델 기반인데, World Labs와 SceniX가 추구하는 3D·시뮬레이션 중심 접근과 무엇이 다른지 질문합니다.
윤주 리는 로봇이 학습할 수 있는 세계를 만들려면 가장 먼저 일관성(consistency)이 필요하다고 답합니다. 여기서 말하는 일관성은 단순히 화면이 자연스럽게 이어지는 수준이 아닙니다.
- 공간적으로 일관되어야 하고
- 시간적으로 일관되어야 하며
- 서로 다른 시점에서도 일관되어야 하고
- 로봇의 행동에 따른 상호작용에서도 일관되어야 합니다.
"우리가 만드는 세계는 공간과 시간, 서로 다른 시점, 서로 다른 상호작용에 걸쳐 일관되어야 합니다."
기존 영상 예측 모델은 영상 자체를 그럴듯하게 만드는 데는 강할 수 있지만, 로봇이 실제 행동을 했을 때 물체가 물리적으로 어떻게 반응하는지 표현하는 데는 한계가 있습니다. 물체가 사라지거나 형태가 갑자기 바뀌면 로봇은 잘못된 행동을 학습할 수 있습니다.
그렇다고 영상 모델을 완전히 배제하는 것은 아닙니다. 두 팀은 시뮬레이션 기반 모델과 실제 로봇 정책 모델이 서로 데이터를 주고받는 데이터 플라이휠을 구상합니다.
- 초기에는 물리 법칙과 3D 구조를 활용해 일관된 시뮬레이션을 만듭니다.
- 시뮬레이션에서 로봇 정책을 학습합니다.
- 실제 로봇에서 실행하며 새로운 데이터를 수집합니다.
- 그 데이터를 다시 모델에 반영합니다.
- 시간이 지나면 물리 기반 모델과 학습 기반 모델이 함께 발전합니다.
즉, 최종적으로는 순수하게 물리 법칙만 사용하는 것도 아니고, 순수하게 데이터만 사용하는 것도 아닙니다. 세계의 구조를 보존하면서 데이터와 컴퓨팅의 확장성도 활용하는 중간 지점을 찾는 것입니다.
윤주 리가 말하는 자신의 목표는 간단합니다.
"저의 북극성은 로봇이 작동하게 만드는 것입니다. 현실 환경에서 실제로 작동하는 로봇을 원합니다."
그와 페이페이 리가 과거 진행한 설문조사에서는 사람들이 로봇에게 원하는 약 1,000개의 작업을 수집했는데, 그중 약 3분의 1이 청소와 같은 번거롭고 지저분한 일이었습니다.
"사람들은 그런 더럽고 귀찮은 일을 정말 하기 싫어합니다."
따라서 연구의 목표는 단순히 멋진 데모를 보여주는 것이 아니라, 사람들이 실제로 필요로 하는 반복적이고 힘든 작업을 로봇이 안정적으로 수행하게 하는 것입니다.
6. 시뮬레이션이 필요한 이유
진행자는 시뮬레이션이 현실과 결국 달라질 수밖에 없다는 지적을 언급하며, 현실 데이터 수집과 시뮬레이션 중 어느 쪽이 더 중요한지 질문합니다.
윤주 리는 둘 중 하나를 선택해야 하는 문제가 아니라고 답합니다. 시뮬레이션은 현실 데이터를 대체하는 것이 아니라, 현실 데이터와 함께 사용되며 서로 보완합니다.
"시뮬레이션과 현실 데이터 중 하나를 선택하는 이분법은 아닙니다. 둘은 함께 로봇을 작동하게 만듭니다."
시뮬레이션은 행동에 따라 환경이 어떻게 변하는지 예측하는 세계 모델입니다. 이 모델은 순수한 물리 시뮬레이터일 수도 있지만, 현실에서 수집한 데이터로 학습한 요소와 물리 기반 요소를 결합할 수도 있습니다.
초기에는 물리 기반 접근을 더 많이 활용해 공간과 상호작용의 기본 구조를 안정적으로 잡습니다. 이후 현실 데이터를 점점 더 많이 모으면 학습 기반 모델의 비중을 높여갈 수 있습니다.
페이페이 리는 시뮬레이션의 철학적 의미를 인간의 사고방식에 빗대어 설명합니다.
"인간의 지능을 생각해보세요. 우리는 머릿속에서 많은 시뮬레이션을 합니다."
인간은 아직 일어나지 않은 일이나 실제로 시험하기 어려운 일을 머릿속으로 상상합니다. 축구 경기 전에 다양한 상황을 예상하고, 어떤 행동을 했을 때 결과가 어떻게 달라질지 생각합니다. 이것이 바로 반사실적 추론(counterfactual reasoning)입니다.
"시뮬레이션이 현실 데이터와 다른 중요한 역할은 반사실적 추론입니다. 아직 일어나지 않았거나, 현실에서는 일어나기 어렵거나, 현실 데이터가 충분하지 않은 사건을 실행해볼 수 있습니다."
로봇도 실제 환경에서 모든 가능성을 직접 경험할 수는 없습니다. 위험하거나 드문 상황, 비용이 많이 드는 상황, 아직 발생하지 않은 상황을 시뮬레이션으로 미리 학습해야 합니다.
자율주행 기업 웨이모가 수십억 시간에 달하는 시뮬레이션을 사용한다고 알려진 것도 같은 이유입니다. 페이페이 리는 자동차가 로봇 중에서는 비교적 단순한 편이라는 점을 언급하며, 로봇 학습에서 시뮬레이션의 역할이 매우 크다고 강조합니다.
시뮬레이션의 이점은 크게 두 가지로 정리됩니다.
신뢰성
로봇이 현실에서 안정적으로 작동하려면 다양한 상태와 변화를 충분히 경험해야 합니다. 시뮬레이션에서는 다음 요소를 체계적으로 바꿔가며 학습할 수 있습니다.
- 조명
- 마찰
- 물체의 형태와 종류
- 공간의 구조
- 물리적 매개변수
- 로봇의 속도와 움직임
이렇게 하면 현실에서 무작위로 경험하기 어려운 상황을 폭넓게 커버할 수 있습니다.
효율성
현실에서 사람이 로봇을 원격 조종해 데이터를 수집하면 사람의 속도보다도 느릴 수 있습니다. 하지만 많은 고객은 인간보다 빠르게 작업하는 로봇을 원합니다.
시뮬레이션에서는 로봇의 행동을 체계적으로 빠르게 재생할 수 있습니다. 단순히 로봇을 현실에서 더 빠르게 움직이는 것이 아니라, 속도가 빨라졌을 때 중력과 환경의 변화까지 고려하며 학습시킬 수 있습니다.
"시뮬레이션은 신뢰성과 효율성을 모두 높여줄 수 있습니다."
7. 실제 고객이 사용하는 방식: 훈련과 평가
SceniX의 플랫폼은 크게 로봇 훈련과 로봇 평가에 활용됩니다.
먼저 평가란 특정 로봇 모델이나 정책이 얼마나 잘 작동하는지를 측정하는 일입니다. 예를 들어 어떤 모델이 작업을 90% 성공하는지, 99.9% 성공하는지, 작업 하나를 완료하는 데 얼마나 시간이 걸리는지 등을 확인합니다.
언어 모델은 평가와 반복 개선이 비교적 빠르게 이루어집니다. 하지만 로봇은 현실에서 실제로 움직여야 하므로 평가 속도가 훨씬 느립니다.
- 실험에 오랜 시간이 걸리고
- 로봇이 고장 나거나 사람을 다치게 할 위험이 있으며
- 장비와 인력이 필요하고
- 반복 실험 비용이 큽니다.
"로봇 평가의 반복 속도는 언어 모델의 반복 속도보다 여러 자릿수 느립니다."
디지털 환경이 현실과 충분히 정렬되어 있다면, 시뮬레이션에서 더 좋은 성능을 보이는 모델이 현실에서도 더 좋은 성능을 보일 가능성이 높습니다. 이를 통해 고객은 안전하고 빠르며 확장 가능한 방식으로 로봇을 평가할 수 있습니다.
훈련 측면에서도 시뮬레이션은 매우 유용합니다. 현실에서는 수집하기 어려운 다양한 조건을 원하는 대로 조절할 수 있기 때문입니다.
"시뮬레이션에서는 모든 것을 제어할 수 있고, 어떤 분포의 상황을 얼마나 커버했는지 정확히 알 수 있습니다."
이러한 플랫폼은 특정 로봇을 직접 만드는 것이 아니라, 다른 기업이 만든 로봇의 두뇌와 하드웨어를 시험하고 학습시키는 환경을 제공합니다.
고객들은 서로 다른 형태의 로봇을 사용합니다.
- 단일 로봇 팔
- 고정형 로봇 팔
- 이동형 조작 로봇
- 다양한 그리퍼
- 복잡한 엔드 이펙터
- 양팔 로봇이나 휴머노이드 로봇
SceniX의 플랫폼은 특정 신체 구조나 특정 모델에 종속되지 않는 embodiment-agnostic, 즉 로봇의 형태에 구애받지 않는 구조를 지향합니다. 또한 특정 AI 모델만을 강제하지 않고, 새 모델을 처음부터 학습하거나 기존 비전-언어-행동 모델을 추가 학습하는 방식도 지원합니다.
World Labs는 이미 Marble을 공개한 뒤 로봇 기업들로부터 많은 문의를 받고 있었지만, 당시에는 이 요구를 충분히 처리할 수 없었습니다. SceniX와의 결합은 바로 이 수요를 실제 제품과 서비스로 연결하려는 움직임입니다.
8. 휴머노이드보다 먼저 반구조화된 환경으로
진행자는 휴머노이드 로봇에 대한 전망이 다소 과장됐으며, 초기에는 창고나 공장처럼 제한된 환경에서 활용이 확산될 가능성이 높다고 질문합니다.
윤주 리는 로봇 기술이 일반적으로 다음과 같은 순서로 발전한다고 설명합니다.
- 완전 구조화된 환경
- 반구조화된 환경
- 비구조화된 환경
완전 구조화된 환경은 공간과 물체의 위치를 거의 모두 알고 통제할 수 있는 공장이나 자동차 제조 라인입니다. 이런 분야는 이미 수십 년 동안 자동화가 진행됐습니다.
반구조화된 환경에는 아마존 물류창고, 호텔, 식당 등이 포함됩니다. 전체 환경을 통제할 수는 없지만, 작업 공간을 어느 정도 정리하고 로봇이 수행할 업무를 제한할 수 있습니다.
반면 가정은 대표적인 비구조화 환경입니다. 물건의 위치가 계속 바뀌고, 옷이나 장난감처럼 형태가 일정하지 않은 물체가 있으며, 사람과 반려동물까지 함께 움직입니다.
"집은 가장 큰 도전 과제입니다. 특히 제 집은 개 세 마리와 다섯 살 아이가 있어서 더 그렇습니다."
로봇의 강건성은 로봇이 마주칠 수 있는 상황을 충분히 경험하는 데서 나옵니다. 따라서 처음부터 모든 가정을 완벽하게 처리하려 하기보다는, 비교적 통제 가능한 반구조화 환경부터 시작하는 것이 현실적입니다.
페이페이 리는 휴머노이드가 인간의 몸을 모방했다는 점도 중요한 문제라고 설명합니다. 인간의 몸은 다양한 환경에서 살아남도록 진화했지만, 특정 작업 하나만 놓고 보면 최적의 형태는 아닐 수 있습니다.
"인간의 몸은 모든 일을 어느 정도 할 수 있지만, 어떤 한 가지 일에 가장 뛰어난 형태는 아닙니다."
사업과 기술의 관점에서는 특정 작업에 맞춘 전문화된 로봇이 더 효율적일 수 있습니다. 다만 SceniX가 해결해야 할 과제는 특정 신체 구조에만 맞춘 시스템이 아니라, 다양한 로봇과 여러 반구조화 환경을 지원하는 범용 인프라를 만드는 것입니다.
9. 인간 수준의 에너지 효율까지 얼마나 걸릴까
진행자는 인간의 뇌와 몸이 3D 공간을 이동하고 물건을 집는 데 매우 효율적이라는 점을 지적하며, 로봇이 언젠가 인간 수준의 에너지 효율로 단순 노동을 수행할 수 있을지 묻습니다.
윤주 리는 가까운 시일 안에 그 수준에 도달하기는 어렵다고 답합니다. 현실에서 작동하는 로봇은 단일 부품이 아니라 하나의 복합적인 시스템이기 때문입니다.
- 하드웨어
- 소프트웨어
- 로봇의 제어 시스템
- AI 모델
- 모터와 센서
- 손가락의 마찰 계수
- 환경과의 물리적 상호작용
이 모든 요소가 함께 맞물려야 합니다.
"현실에서 작동하는 로봇은 결국 하나의 시스템입니다. 하드웨어와 소프트웨어, 두뇌뿐 아니라 손가락의 마찰 계수 같은 세부 요소까지 모두 고려해야 합니다."
그는 그래도 로봇 학습 분야의 발전 속도가 자신이 박사 과정을 시작했을 때 예상했던 것보다 훨씬 빠르다고 말합니다. 앞으로 많은 진전이 있을 것은 분명하지만, 인간 수준의 효율성과 능력까지는 오랜 시간이 필요하다는 점도 함께 강조합니다.
페이페이 리는 오늘날 언어 모델조차 인간의 뇌처럼 효율적이지 않다고 지적합니다. 인간의 뇌는 약 30와트 수준의 에너지로 작동하지만, 현재 AI 시스템은 훨씬 더 많은 전력을 필요로 합니다.
"오늘날의 언어 모델도 인간 뇌의 효율성에는 미치지 못합니다. 인간의 뇌는 30와트로 작동합니다."
다만 특정한 좁은 작업에서는 AI가 성능 대비 전력 효율 측면에서 인간에 가까워질 가능성이 있습니다. 그러나 물리적 공간에서 움직이고 물건을 조작하는 로봇 분야는 아직 그 수준과 거리가 멉니다.
윤주 리는 AI와 로봇에 대해 지나치게 낙관하거나 비관하기보다 측정된 낙관주의가 필요하다고 말합니다.
"오늘날 AI에서 가장 어려운 일은 올바른 수준의 측정된 낙관주의를 갖는 것입니다."
10. 통합은 서두르지 않고, 고객 중심으로 진행
World Labs와 SceniX는 기술적으로 긴밀하게 협력할 예정이지만, 모든 코드와 팀을 즉시 하나로 합치지는 않을 계획입니다.
페이페이 리는 SceniX가 이미 자체적인 기술 스택과 고객, 제품을 갖춘 팀이라는 점을 강조합니다. 따라서 성급하게 모든 것을 섞기보다는, 시뮬레이션과 행동 조건 기반 모델 등 서로 시너지가 큰 영역부터 통합하기로 했습니다.
"통합은 진행하겠지만, 팀 전체를 서둘러 하나의 큰 샐러드처럼 섞지는 않을 것입니다."
이미 SceniX는 World Labs의 Marble을 내부 고객으로 활용하고 있습니다. 양측은 시뮬레이션 기술과 로봇용 기반 모델을 중심으로 협력을 시작하며, 각자의 강점을 유지한 채 점진적으로 결합할 계획입니다.
지리적으로는 World Labs가 양안 회사로 발전하게 됩니다. 본사는 샌프란시스코에 두고, SceniX의 인력을 활용하기 위해 뉴욕에도 거점을 마련합니다. 두 사무실에는 실제 로봇을 설치해 원격으로 로봇을 테스트하고, 고객이 필요로 하는 원격 운영 기술을 발전시킬 예정입니다.
11. 2년 뒤의 성공 모습
진행자는 인수 후 2년이 지났을 때 어떤 모습이면 성공이라고 볼 수 있는지 구체적으로 질문합니다.
페이페이 리가 제시한 목표는 대규모의 막연한 약속이 아니라, 소수의 중요한 산업 분야에서 실제 고객과 함께 성과를 검증하는 것입니다.
"중요한 몇 개의 산업 분야에서 실제 고객이 우리의 시스템과 인프라가 자동화에 진정으로 도움이 된다는 사실을 검증하는 것이 목표입니다."
이 고객들은 향후 사업 확장을 이끌 대표적인 레퍼런스 고객, 즉 '등대 고객'이 됩니다. 이들이 실제 현장에서 성과를 내면, 다른 고객과 산업으로 확장할 수 있다는 구상입니다.
고객이 World Labs와 협력하는 시점은 하나로 정해져 있지 않습니다.
어떤 고객은 현실 환경을 디지털화하고 로봇 시스템을 평가하는 리얼-투-심 단계만 필요로 합니다. 또 어떤 고객은 시뮬레이션에서 정책을 학습시키고 실제 하드웨어에서 실행하는 전체 리얼-투-심-투-리얼 파이프라인을 원합니다.
플랫폼은 고객의 상황에 따라 다음과 같이 유연하게 사용할 수 있습니다.
- 현실 작업을 디지털 공간으로 옮기기
- 로봇 모델 평가하기
- 시뮬레이션 데이터로 모델 훈련하기
- 기존 기반 모델 추가 학습하기
- 실제 하드웨어에서 정책 실행하기
- 현실에서 새 데이터를 수집해 다시 모델 개선하기
현재 협력 중인 고객들은 연구용 데모 단계보다는 실제 배포에 가까운 구체적인 작업을 다루고 있습니다. 자동화가 성공하면 즉시 가치를 만들 수 있는 작업이 많으며, 각 고객은 수십 개에서 수백 개에 이르는 자동화 후보 작업을 보유하고 있습니다.
마지막으로 두 사람은 로봇 기업이라면 너무 이르거나 늦었다고 생각하지 말고 World Labs에 연락해 달라고 말합니다.
"너무 이른 단계라는 것은 없습니다. 여러분의 사용 사례에 대해 듣고 싶습니다."
"로봇 프로젝트나 로봇 회사를 운영하고 있다면 World Labs에 연락하세요. 우리는 열려 있습니다."
결론
이 대화의 핵심은 로봇의 미래가 단순히 더 좋은 하드웨어나 더 큰 AI 모델만으로 완성되지 않는다는 점입니다. 로봇이 현실에서 안정적으로 작동하려면 세계를 이해하고, 행동의 결과를 예측하고, 다양한 상황을 반복적으로 학습할 수 있는 디지털 환경이 필요합니다.
World Labs의 공간 지능과 Marble, SceniX의 로봇 학습·시뮬레이션 기술은 이 문제를 해결하기 위한 서로 다른 조각입니다. 두 팀은 현실과 가상 세계를 연결하는 리얼-투-심-투-리얼 인프라를 구축해, 로봇 훈련과 평가를 더 빠르고 안전하며 확장 가능하게 만드는 것을 목표로 합니다.
궁극적인 목표는 거대한 미래 예측이 아니라 분명합니다.
"저의 북극성은 로봇이 작동하게 만드는 것입니다."