World Labs는 텍스트·이미지·영상·3D 정보를 하나의 공간적 맥락으로 이해하는 월드 모델 'Atlas'를 공개했다. Atlas는 장면을 새로 만들고, 적은 수의 사진만으로 현실 공간을 복원하며, 시간에 따른 변화까지 시뮬레이션할 수 있도록 설계됐다. 특히 정밀한 카메라 제어, 3D 재구성, 로보틱스용 Real-to-Sim 활용이 핵심 강점으로 제시됐다. 🌍

1. Atlas의 등장과 월드 모델의 목표

World Labs가 추구하는 월드 모델은 가능한 모든 세계를 생성·복원·시뮬레이션하는 AI다. 단순히 한 장의 그럴듯한 이미지를 만드는 데 그치지 않고, 세계가 어떻게 보이는지, 어떻게 움직이는지, 시간에 따라 어떻게 변하는지를 이해하는 것이 목표다.

이런 능력은 창작자가 상상한 장면을 렌더링하는 일부터, 현실 세계를 정밀하게 가상화하는 일, 로봇이 주변 환경을 이해하고 행동을 계획하도록 돕는 일까지 폭넓게 쓰일 수 있다. World Labs는 이를 공간 지능(spatial intelligence)을 향한 기반 기술로 설명한다.

이번에 발표한 Atlas는 차세대 월드 모델로, 처음부터 대규모 사전학습을 거쳐 만들어진 옴니 모델(omni model)이다. 텍스트, 이미지, 비디오, 3D를 각각 따로 다루는 대신 이들을 함께 이해하도록 만들었다. 입력 정보는 하나의 공유된 공간 맥락으로 통합되며, Atlas는 이를 바탕으로 다음에 나타날 이미지나 장면을 생성한다. 이미 본 장면과 3D적으로 일관성을 유지하면서, 보이지 않았던 영역까지 자연스럽게 상상해 확장한다.

또한 World Labs는 Atlas가 더 큰 학습 연산량과 데이터로 확장될수록 성능이 향상되는 특성을 보였으며, 앞으로도 이런 스케일링 효과가 계속될 것으로 기대한다고 밝혔다.

Atlas의 주요 활용 범위는 다음 네 가지다.

• 카메라 제어 생성: 한 장 또는 여러 장의 이미지에서 출발해, 원하는 카메라 위치와 움직임에 맞는 이미지·영상을 만든다.
• 공간 복원: 한 장에서 수십 장의 사진을 바탕으로 현실 장면을 복원하고, 새로운 시점의 화면과 명시적인 3D 결과물을 생성한다.
• 공간-시간 시뮬레이션: 영상 속 공간 구조와 시간 변화까지 이해해, 영상을 재구성하거나 로봇 시뮬레이션에 활용한다.
• 이미지 생성: 텍스트를 바탕으로 일반 이미지와 360도 파노라마를 만들고, 복잡한 지시나 다양한 화풍도 따른다.

Atlas는 향후 World Labs의 제품인 Marble과 그 밖의 제품들에 적용될 예정이다.

2. 정밀한 카메라 제어와 장면 생성

Atlas는 한 장 이상의 참조 이미지를 받은 뒤, 사용자가 지정한 어떤 카메라 위치와 각도에서도 새로운 장면을 생성할 수 있다. 이때 단순히 비슷한 그림을 만드는 것이 아니라, 입력 이미지의 내용과 기하학적 구조를 최대한 유지하고, 원래 사진에 없던 영역은 자연스럽게 이어서 상상한다.

예를 들어 사진 속 로봇을 본 경우, Atlas는 로봇의 보이지 않는 뒷면을 만들어 낼 수 있다. 수영장 사진이라면 화면 밖에 잔디밭이 이어질 법하다고 판단해 주변 환경을 확장할 수 있다. 이런 생성은 현실적인 장면뿐 아니라 다양한 시각 스타일, 카메라 움직임에도 적용된다.

픽셀 단위의 카메라 제어

Atlas의 중요한 차별점은 카메라 움직임을 막연한 자연어 지시로만 받지 않고, 정밀한 카메라 기하 정보를 입력으로 직접 받는다는 점이다. 따라서 "카메라를 옆으로 움직여라" 같은 대략적인 문장 대신, 특정 위치·방향·경로를 가진 카메라 정보를 바탕으로 정확하게 장면을 구성할 수 있다.

World Labs는 이를 통해 사용자가 영상의 구도와 움직임을 세밀하게 설계할 수 있다고 강조한다.

"당신은 장면을 연출하는 것이다. 슬롯머신의 레버를 당기는 것이 아니다."

즉, 생성 결과를 우연에 맡기는 방식이 아니라, 제작자가 감독처럼 장면과 카메라를 계획하고 통제하는 작업 흐름을 지향한다.

공간 맥락으로 서로 다른 장면 연결하기

Atlas는 LLM처럼 먼저 입력을 하나의 맥락으로 인코딩한 뒤, 그 맥락에 조건을 맞춰 결과를 생성한다. 다만 Atlas의 맥락은 문장이나 이미지의 단순 나열이 아니라, 각 이미지가 3D 공간 속 어느 위치에 놓여 있는지까지 포함하는 공간 맥락이다.

이 기능을 사용하면 서로 전혀 관계없던 두 이미지를 3D 공간 안에 배치한 뒤, 그 사이를 자연스럽게 연결한 하나의 세계를 생성할 수 있다. Atlas는 두 장면 사이에 문, 복도, 좁은 공간 같은 전환 요소를 상상해 넣으며, 서로 이질적인 장소를 이어 준다.

예시에서는 역 복도와 연회장 이미지를 각각 세계의 기준점으로 두고, Atlas가 두 장소를 연결하는 공간을 생성한다.

최대 1분 길이의 제어 가능한 영상

Atlas는 카메라 이동과 공간 맥락 관리를 결합해 긴 영상을 만들 수 있다. World Labs는 적은 수의 참조 이미지와 사람이 직접 설계한 카메라 경로만으로 1440p 해상도, 최대 1분 길이의 영상을 생성했다고 설명한다.

이 과정에서 Atlas는 카메라가 이동하는 내내 일관된 세계를 유지해야 한다. 즉, 장면을 잠깐씩 만들어 붙이는 것이 아니라, 카메라가 통과할 수 있는 하나의 연속된 공간을 구성하는 방식이다.

3. 적은 이미지로 현실 공간 복원

Atlas는 한 장 또는 여러 장의 입력 이미지로 현실의 물체와 공간을 복원한다. 기존 3D 재구성은 특별한 촬영 장비나 아주 많은 수의 촘촘한 사진을 요구하는 경우가 많았지만, Atlas는 일반적인 사진 몇 장으로도 장면을 충실하게 재구성하는 것을 목표로 한다.

World Labs는 이를 희소한 입력 이미지로부터 새로운 시점을 합성하는 문제에서 중요한 진전이라고 평가한다. 이는 3D 컴퓨터 비전 분야에서 오랫동안 연구되어 온 근본적인 과제다.

입력이 적을 때는 상상하고, 많을 때는 정확해진다

Atlas는 입력 사진에서 보이지 않는 부분이 있을 때, 학습한 세계 지식을 바탕으로 그 빈 부분을 그럴듯하게 채운다. 하지만 현실의 특정 장소를 최대한 정확히 재현해야 하는 경우도 있다. 이때는 사진을 더 많이 주면 된다.

핵심 원리는 간단하다. Atlas가 더 많이 볼수록, 덜 상상한다. 보통 2~3장의 이미지로도 충실한 복원을 만들 수 있으며, 100장 이상의 사진도 공간 맥락에 넣어 더 정밀하게 활용할 수 있다.

"입력이 더 많아질수록 Atlas는 더 많은 맥락을 얻는다. 더 많이 볼수록, 덜 상상한다."

첫 번째 사례에서는 정원 사진 한 장만 주어졌을 때, Atlas가 지상 사진으로부터 항공 시점을 생성한다. 이때 정원 자체는 입력과 잘 맞지만, 그 외 주변 풍경은 상상으로 만들어진다. 이어 정원 옆 별채 사진을 추가하면 정원과 별채가 모두 나타나지만, 왼쪽의 집은 여전히 추정된 모습이다. 마지막으로 본채 사진까지 넣으면 전체 장면이 정확하게 묘사된다.

두 번째 사례에서는 스탠퍼드대학교 메인 쿼드(Main Quad)를 점진적으로 복원한다. 잔디가 있는 입구에서 시작해, Memorial Church 외벽의 다채로운 모자이크 장식에 이르기까지 지상에서 촬영한 2~25장의 사진을 입력한다. Atlas는 이 정도의 사진만으로도 캠퍼스 상공을 나는 항공 시점의 경로를 생성할 수 있다.

같은 장소를 여러 경로로 탐색

한 번 공간을 재구성한 뒤에는, Atlas가 같은 장면 안에서 매우 다양한 카메라 경로를 생성할 수 있다. 카메라가 어디로 이동하든 장면은 같은 공간으로 유지되어야 하며, 속도나 길이, 이동의 복잡도에 따라 서로 다른 분위기의 영상을 만들 수 있다.

예를 들어 어떤 경로는 장면의 특정 물체를 강조하고, 다른 경로는 천천히 이동하면서 공간의 넓이를 보여 줄 수 있다. 이는 적은 수의 입력 이미지로도 하나의 고정된 3D 환경을 바탕으로 다양한 연출을 할 수 있음을 뜻한다.

포인트 클라우드와 3D 가우시안 스플랫

이미지와 영상 생성만으로 충분한 작업도 있지만, 로보틱스·게임·디자인·시각효과(VFX) 분야에서는 실제로 다룰 수 있는 명시적 3D 결과물이 필요하다. Atlas는 이미지 프레임뿐 아니라 깊이 맵(depth map)도 다루므로, 장면을 포인트 클라우드나 3D 가우시안 스플랫 형태로 출력할 수 있다.

포인트 클라우드는 공간을 구성하는 점들의 집합으로, 장면의 대략적인 기하 구조를 나타낸다. 3D 가우시안 스플랫은 여기에 색과 형태 정보를 더해 빠르게 렌더링할 수 있는 3D 장면 표현 방식이다.

Atlas는 한 장의 이미지에서도 새로운 시점을 만들고 각 장면의 깊이를 추정해 3D 세계를 구성한다. 실제 공간의 영상이 입력이면, 영상의 모든 프레임에 대한 깊이를 예측하고 이를 결합해 3D 공간을 복원한다. 카메라가 한 번도 보지 못한 영역은 모델이 자연스럽게 메운다.

완성된 3D 가우시안 스플랫 장면은 기기에서 높은 해상도와 프레임률로 렌더링할 수 있으며, 이는 Marble에서 쓰이는 표현 방식과도 같다. 따라서 Atlas는 World Labs의 기존 제품 체계와 자연스럽게 연결된다.

4. 시간까지 이해하는 영상과 로봇 시뮬레이션

Atlas는 공간 구조뿐 아니라 세계가 시간에 따라 어떻게 변화하는지도 다루는 월드 시뮬레이터로 소개된다. 이런 공간·시간 능력의 결합은 영상 효과, 로봇 학습, 시뮬레이션 등에서 새로운 활용 가능성을 연다.

적은 카메라로 만드는 '불릿 타임'

Atlas는 몇 대의 평범한 카메라로 촬영한 영상을, 마치 다수의 카메라를 갖춘 전문 촬영 스튜디오에서 찍은 것처럼 재구성할 수 있다. 최소 세 대 정도의 카메라 영상이 있으면, 특정 순간의 시간을 멈춘 듯 고정하고 일반 촬영으로는 불가능한 각도에서 장면을 다시 볼 수 있다.

"현실 세계의 영상은 값비싼 촬영 스튜디오 없이도 새로운 카메라 각도에서 다시 구도화할 수 있다."

이 결과는 전문 촬영 기사나 특수 장비에 의존하지 않았다고 설명된다. 연구자와 엔지니어들이 삼각대와 가방에 넣을 수 있는 클램프, 일반 휴대전화 및 액션 카메라로 촬영한 영상이 사용됐다. Atlas는 3~5개의 카메라 시점에서 장면을 복원한 뒤, 사용자가 원하는 방식으로 카메라 위치를 바꿔 영상을 다시 구성할 수 있게 한다.

로봇의 시점까지 생성하는 Real-to-Sim

로보틱스에서 공간 복원은 절반에 불과하다. 가상 로봇이 공간을 이동할 때는 로봇의 카메라와 센서가 어떤 장면을 볼지까지 생성해야 한다. Atlas는 공간을 복원하는 동시에, 로봇이 경로를 따라 이동할 때 몸체 장착 카메라가 관측할 RGB 이미지와 깊이 데이터를 함께 생성한다.

즉, 가상 환경과 로봇이 그 환경을 바라보는 시점이 서로 다른 시스템에서 따로 만들어지는 것이 아니라, 같은 Atlas 모델에서 나온다.

World Labs는 휴대전화로 촬영한 두 개의 대형 환경 영상을 사용했으며, 각각 24개 프레임만으로 공간 복원을 수행했다고 설명한다. 이후 다양한 유형의 로봇이 서로 다른 경로로 이동하도록 시뮬레이션하고, 로봇 몸체에 장착된 카메라의 관점에서 보이는 이미지를 Atlas로 생성했다.

로봇 팔 등 조작 작업에서는 한 단계 더 나아간다. 일상적으로 촬영한 몇 개의 영상만으로도, 물체가 움직이고 상호작용하는 장면을 포함한 시뮬레이션을 만드는 데 도움을 준다. 만들어진 작업은 다음처럼 쉽게 변형할 수 있다.

• 물체의 종류와 위치 변경
• 로봇의 이동 및 동작 변경
• 조명과 배경 변경
• 단단한 물체, 관절이 있는 물체, 변형되는 물체의 상호작용 변형

이렇게 하면 실제 데이터를 매번 새로 대규모로 촬영하지 않고도, 로봇 학습과 검증에 필요한 다양한 훈련 데이터를 만들 수 있다. 이것이 World Labs가 강조하는 Real-to-Sim, 즉 현실 기록을 바탕으로 가상 환경을 구성하는 흐름이다. 🤖

5. 이미지와 360도 파노라마 생성

Atlas의 주된 목표는 어디까지나 월드 모델링이다. World Labs는 모든 이미지를 "가능한 하나의 세계를 향한 창"으로 본다. 그럼에도 Atlas는 일반적인 이미지 생성 능력도 갖추고 있으며, 복잡한 텍스트 지시를 따르고 글자를 렌더링하며 다양한 시각 스타일을 만들 수 있다고 소개됐다.

또한 텍스트 또는 이미지 프롬프트로부터 360도 이미지도 생성한다. 따라서 사용자는 평면 이미지뿐 아니라 사방을 둘러볼 수 있는 형태의 장면도 만들 수 있다.

예시 프롬프트는 다음과 같다.

"해 질 무렵, 금문교 근처 샌프란시스코 해변에서. 굵고 두꺼운 선으로 그린 거친 분필 드로잉."

이 사례는 Atlas가 장소, 시간대, 그림 재료, 선의 질감처럼 여러 시각적 요구를 동시에 반영할 수 있음을 보여 주기 위한 것이다.

6. 통합 아키텍처와 성능 평가

공간 맥락을 중심에 둔 구조

Atlas는 하나의 통합 구조 안에서 여러 종류의 입력과 출력을 처리하도록 설계됐다. 일반적인 LLM이나 비디오 모델의 구조를 그대로 쓰기보다, 공간 제어를 모델의 중심 기능으로 두기 위해 새로운 기본 아키텍처를 만들었다고 World Labs는 설명한다.

Atlas는 멀티모달 자기회귀 확산 트랜스포머다. 어려운 표현이지만, 각 요소는 다음 역할을 뜻한다.

• 멀티모달: 텍스트, 이미지, 카메라 위치와 방향, 깊이 맵을 직접 처리한다. 영상은 이미지 프레임의 연속으로 표현한다. 특히 이미지와 깊이 맵마다 명시적인 카메라 자세가 연결되므로, 공간 제어가 모델 구조 자체에 들어가 있다.
• 자기회귀: 여러 데이터 요소로 이루어진 순서를 다루며, 앞서 생성·입력된 내용을 참고해 다음 요소를 하나씩 만든다. 어떤 순서로 입력과 출력을 배치하느냐에 따라 다양한 작업에 유연하게 대응할 수 있다.
• 확산: 처음에는 노이즈에 가까운 상태에서 시작해, 여러 단계에 걸쳐 잡음을 제거하며 이미지나 영상 같은 결과를 만든다. 추론 단계 수를 조절해 생성 속도와 품질을 맞바꿀 수도 있다.
• 트랜스포머: 대규모 행렬 연산을 중심으로 작동하는 구조로, 현대 AI 하드웨어에 잘 맞고 월드 모델링을 위한 견고한 기반이 된다.

입력으로는 텍스트 프롬프트, 하나 이상의 사진, 각 사진이 찍힌 카메라 자세가 들어갈 수 있다. Atlas는 이를 공간 맥락으로 통합한 뒤, 새 이미지 프레임, 영상 전체, 그리고 각 장면 뒤의 깊이 정보까지 생성한다.

"Atlas의 입력은 3D 공간에 배치되어 공간 맥락을 이루고, 모델은 그 맥락에 조건을 맞춘 멀티모달 출력을 생성한다."

Atlas는 LLM과 현대 이미지·비디오 모델의 장점을 결합한다. 자기회귀 트랜스포머라는 점에서는 KV 캐싱, 캐시 인식 라우팅, 분리형 서빙 같은 LLM 최적화 기술을 활용할 수 있다. 잠재 확산 모델이라는 점에서는 확산 증류, classifier-free guidance, 노이즈 스케줄 조정, VAE 설계 개선 등 이미지·비디오 생성 모델의 기술 발전을 적용할 수 있다.

카메라 제어와 3D 복원 벤치마크

Atlas는 다양한 작업을 수행하는 범용 모델이므로, 그 모든 능력을 단 하나의 벤치마크 점수로 표현하기는 어렵다. World Labs는 그중에서도 카메라 조건부 생성과 희소 입력 기반 3D 재구성 두 과제를 정량 평가했다.

카메라 조건부 생성 시험에서는 입력 이미지 한 장과 1~3개의 영화적 카메라 움직임을 모델에 제공했다. 예를 들어 패닝, 트럭 이동, 크레인 이동 같은 동작이다. Atlas는 카메라 경로를 원래의 정밀한 카메라 입력 형식으로 받았고, 비교 대상 비디오 모델들은 이를 직접 처리할 수 없으므로 텍스트 프롬프트로 카메라 움직임을 설명받았다.

외부 인간 평가자들은 어떤 모델이 의도한 카메라 경로를 더 잘 따르는지 평가했다. 결과적으로 Atlas는 최근 비디오 모델들보다 카메라 제어 생성에서 뛰어났고, 카메라 경로가 복잡해질수록 그 우위가 더 커졌다고 보고됐다.

비교 결과에서 Atlas가 선택된 비율은 다음과 같이 제시됐다.

• MiniMax H3 대비: 75%
• Gemini Omni Flash 대비: 81%
• Happy Horse 1.1 대비: 86%
• FLUX 3 대비: 93%
• Seedance 2.5 대비: 94%

3D 재구성 시험에서는 여러 이미지와 그 카메라 자세를 입력으로 받은 뒤, 각 입력 픽셀에 대응하는 3D 점을 예측하게 했다. World Labs는 공정한 비교를 위해 모든 기준 모델의 결과도 같은 평가 방식으로 재현했다고 설명한다.

그 결과 Atlas는 생성과 복원을 함께 수행하는 범용 모델임에도, 최고 수준의 오픈소스 전문 3D 재구성 모델들을 능가했다고 주장한다. 이 평가에서 재구성 오차는 낮을수록 좋다.

규모를 키울수록 늘어나는 능력

World Labs는 현대 AI 발전의 상당 부분이 데이터와 연산량을 늘리는 스케일링에서 비롯됐다고 본다. Atlas 역시 대규모의 다양하고 멀티모달한 데이터로 처음부터 사전학습됐으며, 개발 과정에서 모델 크기와 학습 연산량을 늘린 여러 모델을 훈련했다.

그 결과 연산량의 각 단계가 커질 때마다 새로운 능력이 나타나는 경향을 확인했다고 한다. 회사는 앞으로도 모델 규모를 계속 키울수록 미래의 월드 모델 능력이 크게 개선될 것이라는 확신을 밝혔다.

7. 초기 접근과 향후 계획

Atlas는 현재 일부 파트너를 대상으로 얼리 액세스 단계에 들어갔다. World Labs는 Atlas를 사용해 제품이나 서비스를 만들고 싶은 개발자와 기업이 접근 권한을 요청할 수 있도록 안내하고 있다.

회사의 목표는 Atlas를 어떤 세계든 생성하고, 복원하고, 시뮬레이션하기 위한 대표적인 월드 모델로 만드는 것이다. 동시에 공간 지능 기술을 발전시키기 위해 연구 및 엔지니어링 분야의 인력도 채용하고 있다.

마무리

Atlas는 이미지 생성 모델이나 영상 생성 모델을 넘어, 공간·카메라·깊이·시간을 하나의 일관된 세계로 다루려는 시도다. 적은 현실 자료에서 3D 환경을 복원하고, 원하는 카메라로 장면을 연출하며, 로봇이 관찰할 가상 세계까지 생성할 수 있다는 점이 가장 중요한 특징이다. 앞으로 Atlas의 성능이 스케일링과 함께 실제로 얼마나 확장될지가 World Labs의 공간 지능 비전을 가늠할 핵심이 될 것으로 보인다.