이 영상은 Sail Research 공동창업자 닐 모바(Neil Movva)가 AI의 다음 경쟁이 더 빠른 챗봇이 아니라, 장시간 자율적으로 일하는 백그라운드 에이전트와 이를 가능하게 하는 극단적으로 싼 토큰 비용에 있다고 설명하는 인터뷰다. 그는 소프트웨어 최적화, 이기종 칩 활용, 분산형 데이터센터, 불안정하지만 저렴한 재생에너지까지 모두 결합해 토큰 가격을 수천 배 낮추겠다는 전략을 제시한다. 핵심은 사람들이 AI를 "비싸서 어려운 질문에만 쓰는 전문가"가 아니라, 언제나 곁에서 일을 해주는 풍부한 지능으로 쓰게 만드는 것이다.

1. Sail Research의 목표: 가장 싼 '토큰 공장'

진행자 패트릭 오쇼너시는 먼저 Sail Research가 정확히 무엇을 만드는 회사인지 묻는다. 닐 모바는 이를 단순하면서도 인상적인 말로 정의한다. Sail Research는 오픈소스 대규모 언어모델을 API로 제공하며, 고객이 어떤 작업을 요청하든 시장에서 가장 낮은 비용으로 토큰을 공급하려는 "토큰 공장(token factory)"이다.

회사는 일반적인 모델 API만 제공하는 데 그치지 않는다. 에이전트가 몇 시간, 며칠, 심지어 몇 주 동안 실행될 수 있도록 클라우드상에 장기 실행용 가상머신인 샌드박스도 제공한다. 즉, Sail은 사람이 즉시 답을 받는 챗봇용 추론보다, 오랫동안 스스로 작업을 수행하는 에이전트를 위한 인프라에 집중한다.

"Sail Research는 토큰 공장입니다. 누구나 API로 요청을 보내 오픈소스 대규모 언어모델을 쓸 수 있고, 우리는 시장에서 이길 수 없는 가격으로 토큰을 제공할 겁니다."

닐이 반복해서 꺼내는 회사의 핵심 테마는 풍요(abundance)다. AI가 생각할 수 있다는 사실 자체가 매우 중요하며, 그다음 과제는 가능한 많은 기계가 생각하도록 만들고, 가능한 많은 사람이 그 지능을 쓸 수 있게 하는 것이라고 본다.

"무언가를 10배 싸게 만들면, 그것은 새로운 제품 카테고리가 됩니다. 우리는 토큰에 대해 바로 그 일을 하고 싶습니다."

현재 AI 사용량을 측정하는 기본 단위는 토큰이지만, 그는 장기적으로 이것이 최종적인 '지능의 단위'는 아닐 수 있다고 말한다. 앞으로 고객은 토큰 몇 개를 썼는지보다, 에이전트가 어떤 결과를 냈는지에 돈을 지불하게 될 가능성이 크다. 에이전트가 문제 해결을 위해 얼마나 오래 추론하고, 얼마나 많은 도구를 부르고, 몇 번의 시도를 해야 하는지는 작업마다 달라지기 때문이다.

2. 챗봇에서 백그라운드 에이전트로

닐이 보는 가장 큰 전환은 AI가 즉답형 챗봇에서 벗어나 백그라운드에서 자율적으로 일하는 시스템으로 바뀌는 것이다. 지금까지 AI 인프라는 사용자가 프롬프트를 입력하고 화면 앞에서 응답을 기다리는 상황에 맞춰져 있었다. 그래서 업계 대부분은 지연시간을 줄이는 데 집중했다.

하지만 닐은 "더 빠른 답"보다 "기다릴 필요가 없는 답"이 더 좋은 목표라고 주장한다.

"최고의 지연시간은 지연시간이 전혀 없는 것입니다. 아침에 일어났을 때, 밤사이에 일이 이미 끝나 있으면 좋겠어요. 심지어 요청할 필요도 없었던 거죠."

그가 원하는 것은 사용자가 AI를 5분마다 관리하는 방식이 아니다. 사람은 동료에게 매 5분마다 지시하지 않는다. 큰 과업을 맡기고 하루 뒤나 일주일 뒤에 확인한다. 인간과 에이전트의 협업도 그런 인간적인 시간 단위를 따라야 한다는 것이다.

"동료를 5분마다 관리하지는 않죠. 큰 일을 맡기고, 하루에 한 번이나 보통은 일주일에 한 번 확인합니다. 그것이 인간과 에이전트 협업의 미래라고 봅니다."

이 전환의 기술적 근거로 그는 테스트 타임 컴퓨트 스케일링(test-time compute scaling)을 든다. 이는 모델에 더 많은 추론 시간과 계산량을 허용하면 더 나은 답을 얻을 수 있다는 생각이다. 과거에는 이론에 가까웠지만, 최근 모델들은 한 시간 정도의 긴 과제를 실제로 수행할 수 있는 수준에 도달했다고 평가한다. 며칠 단위의 완전 자율 작업은 아직 이르지만, 작업 길이가 꾸준히 늘고 있다는 점이 중요하다.

그는 가까운 미래에 실시간 작업과 백그라운드 작업의 비중이 비슷해질 수 있지만, 장기적으로는 백그라운드 작업이 90%, 실시간 작업이 10% 정도를 차지할 것이라고 전망한다. 사람이 화면에서 직접 소비할 수 있는 AI 사용량에는 한계가 있지만, 사람이 자는 동안 또는 다른 일을 하는 동안 돌아가는 AI의 사용량은 사실상 제한이 없기 때문이다.

3. 장기 실행 에이전트가 바꿀 일들

백그라운드 에이전트가 특히 유리한 분야로 닐은 먼저 심층 리서치를 꼽는다. 단순히 100개나 1,000개의 출처를 살피는 것이 아니라, 1만 개 이상의 출처를 종합해 확정적인 답을 만들어야 하는 문제는 사람이 기다리는 대화형 방식에 맞지 않는다.

예를 들어 Sail의 고객사 Parallel Web Systems는 인터넷 전체를 색인화하고, 변화하는 내용을 실시간으로 추적하려 한다. 이는 엑사바이트 규모의 데이터를 다루는 일이며, 엄청나게 많은 지능과 지속적인 계산이 필요하다.

또 다른 핵심 분야는 사이버보안이다. 코드를 생성하는 것보다 그 코드를 공격하거나 망가뜨릴 방법은 훨씬 더 많다. 따라서 AI가 모든 소프트웨어를 끊임없이 시험하고, 취약점을 찾고, 패치까지 제안하는 방식이 중요해질 수 있다.

"보안은 이제 '작업 증명(proof of work)'이 되었습니다. 소프트웨어가 얼마나 안전한지는, 그 소프트웨어를 뚫기 위해 얼마나 많은 돈을 들여 AI를 돌렸는지의 문제에 가까워지고 있습니다."

닐은 하나의 거대 모델만으로 모든 보안 문제를 해결하려는 접근에도 회의적이다. 큰 모델이 못 찾는 버그를 작은 모델이 발견할 수도 있고, 특정 모델이 강한 취약점 유형과 약한 유형도 제각각이다. 따라서 보안 에이전트는 여러 모델과 다양한 탐색 방식을 사용해 자율적으로 공격을 시도하고, 그 결과를 바탕으로 방어를 강화해야 한다.

개인 사용자 측면에서는 매우 적극적인 개인 비서가 가능해진다. 이메일, 문자, 일정, 습관을 계속 살펴보며 사용자가 다음에 해야 할 일을 미리 제안하는 AI다. 현재의 음성비서처럼 사용자가 매번 요청해야 하는 도구가 아니라, 사용자의 삶을 폭넓게 이해하고 먼저 행동하는 존재에 가깝다.

"기계가 충분히 신뢰할 수 있고, 사생활도 보호할 수 있다면, 휴대폰을 열 때마다 다음 행동을 먼저 제안할 수도 있습니다. 우리가 다음에 무엇을 할지에 대한 좋은 모델을 만들 수 있을까요? 제 생각에는 '그렇다'입니다."

다만 그는 인간의 취향, 예술성, 글의 아름다움 같은 비검증적 문제는 아직 AI가 완전히 해결하지 못한 영역이라고 구분한다. Sail은 정량적으로 평가할 수 있고 정답 여부를 확인하기 쉬운 문제에 집중하며, 예술적 판단은 여전히 사람에게 남겨 둔다.

4. 엔비디아에서 배운 '빛의 속도' 문화

닐은 대학 시절 엔비디아에서 일했고, GPU와 커널 최적화를 다루며 자신의 기술 철학을 만들었다. 특히 그는 GPU 안에서 행렬곱을 빠르게 처리하는 전용 연산 장치인 텐서 코어가 처음 도입되던 시기를 경험했다.

행렬곱은 AI 모델이 수많은 숫자 간 관계를 섞고 계산하는 핵심 작업이다. 엔비디아는 원래 화면에 픽셀을 그리는 게임용 GPU 회사였지만, 2010년대 중반부터 연구자들이 게임용 엔비디아 GPU로 딥러닝 모델을 학습시키는 모습을 보며 AI에 본격적으로 투자하기 시작했다.

당시 텐서 코어를 칩에 넣는 일은 쉬운 선택이 아니었다. 칩 면적은 매우 비싸고 제한적이므로, 텐서 연산을 위한 공간을 늘리면 그래픽용 기능을 포기해야 할 수도 있다. 닐은 초기에는 전체 다이 면적의 5~10% 정도를 겨우 확보해 컴퓨터 비전용 연산을 가속하던 시절을 떠올린다.

그 과정에서 배운 엔비디아의 핵심 문화는 "빛의 속도(speed of light)"를 추구하는 태도였다. 여기서 빛의 속도는 물리 법칙상 가능하다고 판단되는 장비의 최고 성능 한계를 의미한다.

"기계가 할 수 있는 일이라면, 우리는 그 기계를 한계까지 밀어붙입니다. 모든 병목을 깨고 우리가 생각하는 최고 성능에 도달할 때까지요."

그는 Sail에서도 경쟁사 대비 몇 퍼센트 더 빠르다는 상대 평가보다, 칩이 물리적으로 낼 수 있는 성능을 얼마나 실제로 끌어내는지를 본다고 강조한다.

"저는 엔지니어들에게 '100% 빛의 속도를 추구하라'고 말합니다. 경쟁사와의 상대적 수치에는 관심이 없습니다. 이 칩으로 절대적으로 무엇을 할 수 있는지가 중요합니다."

엔비디아의 강한 인재 유지력도 인상 깊었다고 한다. 2015~2016년에 함께 일했던 많은 엔지니어가 여전히 회사에 있고, 이들은 병렬 컴퓨팅과 실리콘 설계를 평생의 과업으로 여긴다. 반면 기업 운영은 놀랄 정도로 검소했다. 무료 점심은 물론이고, 커피에 넣을 우유조차 직원들이 매달 돈을 내는 '우유 클럽'으로 해결했다는 일화도 소개한다. 닐은 이런 검소함이 엔비디아 조직 전반에 스며 있었다고 회상한다. 🥛

5. 빠른 응답보다 높은 처리량이 중요한 이유

닐의 전략은 GPU가 가장 잘하는 방식에 맞춰 AI 사용 방식을 바꾸는 데서 출발한다. GPU는 한 번에 많은 일을 병렬로 처리할 때 가장 효율적이다. 하지만 챗봇은 한 사용자가 지금 당장 답을 받아야 하므로, 요청을 모아 처리하기 어렵고 GPU의 병렬 능력을 충분히 활용하지 못한다.

이 문제는 지연시간(latency)과 처리량(throughput)의 근본적인 트레이드오프에서 나온다.

• 지연시간을 낮추려면 한 사용자의 요청을 빠르게 바로 처리해야 한다.
• 처리량을 높이려면 여러 사용자의 요청을 한꺼번에 묶어 GPU에 넣어야 한다.
• 요청을 많이 묶을수록 GPU 전체 효율은 좋아지지만, 개별 요청은 다른 요청과 함께 기다려야 한다.

닐은 이를 자동차와 버스에 비유한다. 자동차는 한 사람이 목적지로 바로 갈 수 있어 빠르지만, 버스는 많은 사람을 태우고 여러 정류장을 거치므로 개인에게는 느리다. 대신 도로 전체의 수송 효율은 버스가 더 좋다.

"좁고 빠르게 갈 것이냐, 넓고 느리게 갈 것이냐는 컴퓨터 과학 전반에 있는 고전적인 트레이드오프입니다."

Sail은 바로 이 '최고의 버스'를 만드는 데 집중한다. 장기 작업 에이전트는 매 순간 빠른 응답을 요구하지 않으므로, 대규모 배치 처리로 GPU를 최대한 가동할 수 있다. 이것이 토큰당 비용을 낮추는 핵심이다.

엔비디아의 NVLink는 여러 GPU 사이를 빠르게 연결해 지연시간을 낮추는 데 매우 뛰어난 기술이다. 큰 행렬 연산을 여러 GPU에 쪼개 동시에 돌리면 응답은 빨라진다. 하지만 GPU를 8개 쓴다고 정확히 8배 빨라지는 것은 아니다. GPU 간 통신 비용과 작업 분할의 비효율이 있기 때문이다.

닐은 NVLink가 저지연 추론에는 사실상 필수라고 인정하면서도, Sail의 주력 작업에는 반드시 필요하지 않다고 본다. 다른 칩이 엔비디아만큼 빠르게 서로 통신하지 못하더라도, 행렬 연산 자체를 싸게 수행할 수 있다면 충분히 활용 가치가 있다는 것이다.

"저는 대부분의 경우 이 칩이 시간당 얼마인지, 그리고 달러당 플롭스가 얼마나 나오는지를 봅니다."

여기서 플롭스(FLOPS)는 초당 수행할 수 있는 부동소수점 연산량으로, 칩의 계산 능력을 가늠하는 지표다.

6. 메모리, KV 캐시, 그리고 다양한 칩의 역할

인터뷰는 AI 칩의 핵심 병목인 메모리로 이어진다. 닐은 Cerebras나 Groq처럼 초고속 응답을 목표로 하는 칩들이 일반 GPU와 다른 선택을 했다고 설명한다. 이들은 칩 내부의 매우 빠른 메모리인 SRAM을 크게 활용한다.

SRAM은 연산 장치와 물리적으로 매우 가까워 읽기 속도가 빠르지만, 칩 면적을 많이 차지해 대용량으로 만들기 어렵다. 반면 GPU 주변에 탑재되는 HBM 같은 DRAM은 훨씬 느리지만, 훨씬 큰 용량을 제공한다. 엔비디아 Blackwell은 약 288GB의 HBM을 갖지만, 칩 내부 SRAM은 그에 비해 극히 적다.

Cerebras는 하나의 칩 크기 제한을 넘기 위해 웨이퍼 전체를 연결해 거대한 연산 장치로 사용한다. 그렇게 하면 SRAM을 대량으로 확보하고 엄청난 메모리 대역폭을 얻을 수 있다. 큰 모델의 가중치를 매우 빠르게 읽어 초당 수천 토큰을 생성하는 길이 열릴 수 있다.

하지만 여기에 중요한 문제가 있다. 대화가 길어질수록 계속 커지는 KV 캐시다. KV 캐시는 모델이 대화의 과거 내용을 기억하기 위해 저장하는 동적 메모리다.

"모델 가중치는 결정화된 지식이고, KV 캐시는 우리가 지금 나누는 정확한 대화에 대한 동적 지식이라고 생각하면 됩니다."

대화가 길어질수록 KV 캐시는 때로 모델 가중치보다 더 커질 수 있다. 그리고 사용자 수와 대화 길이에 따라 필요한 용량이 계속 달라지므로, SRAM만으로는 감당하기 어렵다. 이 때문에 닐은 초고속 칩이 GPU를 완전히 대체하기보다는, 서로 다른 강점을 가진 가속기로 쓰일 가능성이 크다고 본다.

• Cerebras·Groq류 칩: 매우 빠른 메모리 접근과 대규모 행렬 연산에 강점
• 전통적 GPU: 외부 메모리 용량이 커서 긴 문맥과 KV 캐시에 유리
• 미래 방향: 모델의 연산 단계와 메모리 단계에 따라 서로 다른 칩을 조합하는 하이브리드 구조

그는 트랜스포머가 본질적으로 계산 집약적인 부분과 메모리 집약적인 부분을 한 구조 안에 붙여 놓았다고 본다. 따라서 하나의 칩이 모든 부분에서 최고 성능을 내기는 어렵고, 이기종 칩을 조합하는 방식이 더 현실적일 수 있다.

7. 트랜스포머의 강점과 데이터의 다음 시대

닐은 2017년 등장한 트랜스포머(Transformer)가 AI를 바꾼 핵심 이유를 설명한다. 트랜스포머의 중심에는 어텐션(attention)이 있다. 이는 데이터의 순서 안에서 지금 예측에 가장 중요한 부분이 무엇인지 모델이 스스로 가중치를 조정하는 방식이다.

"트랜스포머는 어떤 임의의 데이터 순서에서도 패턴을 찾으려 합니다. 데이터 안에 패턴이 있다면, 더 많은 파라미터를 투입해서라도 찾아내겠다는 구조죠."

언어는 인간이 지속적으로 만들어 내는 가장 풍부한 순차 데이터이기 때문에 트랜스포머는 언어모델에서 압도적인 우위를 차지하게 됐다. 더 중요한 것은 이 구조가 수백만 개 파라미터 수준의 모델에서 수조 개 파라미터 모델까지 확장될 수 있었다는 점이다.

트랜스포머는 모든 토큰이 다른 모든 토큰을 참조할 수 있다. 이것은 비효율적일 수 있지만, 데이터 안에 어떤 관계가 있든 포착할 수 있다는 강력한 장점이기도 하다. 더 선택적인 구조가 확실히 증명되기 전까지는, 어텐션은 여전히 매우 뛰어난 접근법이라고 평가한다.

한편 데이터 측면에서 그는 인터넷이 AI 발전에 제공한 일회성 보조금이었다고 말한다. 고품질 텍스트만 약 30조 토큰, 더 넓게 잡으면 약 300조 토큰의 데이터가 인터넷에 있었지만, 주요 모델들은 이미 이를 대부분 여러 번 학습했다.

"인터넷은 데이터에 대한 일회성 보조금이었습니다. 우리는 그것을 공짜로 받았고, 이제는 거의 다 봤습니다."

따라서 앞으로 AI 학습은 무작위 사용자 피드백보다, 검증 가능한 과제와 강화학습 환경에 더 의존하게 될 것이라고 본다. 코딩, 수학, 과학 실험처럼 결과의 성공 여부를 측정할 수 있는 환경을 만들고, 에이전트가 그 안에서 반복적으로 시도하며 개선하게 하는 방식이다.

"모델에 어려우면서 검증 가능한 과제를 주고, 그 과제에서 진전을 냈는지 측정할 수 있게 하면 됩니다. 그 환경 자체가 데이터가 됩니다."

그는 AGI에 가까워지는 경로가 단번에 모든 것을 아는 범용 지능을 만드는 데 있지 않을 수 있다고 말한다. 대신 검증 가능한 전문 과제를 하나씩 해결하는 능력을 계속 쌓아 빈틈을 줄여 가는 방식이 될 수 있다. 핵심 조건은 에이전트가 자신의 성과를 판정할 수 있는 자기 채점 시스템이다.

8. 소프트웨어 최적화와 유휴 GPU를 되살리는 전략

Sail은 우선 기존 GPU를 소프트웨어로 최대한 효율적으로 쓰는 데서 출발한다. 이를 위해 GPU 위에서 실행되는 작은 프로그램 단위인 커널(kernel)을 최적화한다. 예컨대 행렬곱을 하고 그 결과에 덧셈을 하는 과정에서, 중간 데이터를 메모리에 저장했다가 다시 읽지 않고 하나의 커널로 합치면 비용과 시간을 줄일 수 있다.

닐은 커널 개발도 점점 AI의 도움을 받게 될 것이라고 본다. 사람이 코드를 한 줄씩 직접 쓰기보다, 화이트보드에서 연산 전략을 설계하고 이를 자연어로 모델에 설명하면 모델이 구현을 담당하는 방식이다.

"우리는 커널을 손으로 직접 쓰기보다 화이트보드에서 씁니다. 기계가 무엇을 해야 하는지 설명하고, 모델이 그것을 구현하게 하는 거죠."

그는 이러한 소프트웨어 역량이 시간이 지날수록 모든 기업에 널리 퍼질 것이라고 인정한다. 더 강한 코딩 모델이 등장하면 최적화 기술도 빠르게 보편화된다. 그렇다고 해도 Sail은 새로운 칩이 나왔을 때 남들보다 빠르게 이를 실전에 연결하고, 전체 시스템을 재설계할 수 있는 실행력이 차별점이 될 수 있다고 본다.

현재 GPU는 대형 행렬곱 같은 '행복한 경로'에서는 이론 성능의 70~80% 수준까지 활용될 수 있다. 그러나 실제 트랜스포머 추론은 항상 대형 배치 행렬곱만 수행하지 않는다. Sail의 과제는 데이터센터와 소프트웨어 전체를 설계해 GPU가 가능한 한 많은 시간 동안 가장 잘하는 일을 하게 만드는 것이다.

닐은 개별 GPU가 아니라, 랙 전체와 클러스터 전체를 하나의 컴퓨터처럼 프로그래밍해야 하는 시대가 왔다고 말한다. 엔비디아 역시 GPU 하나가 아니라 72개 유닛으로 구성된 랙 시스템을 직접 제시하고 있으며, 누가 랙 규모의 컴퓨터를 가장 효율적으로 제어할지가 새로운 경쟁이 될 수 있다.

그가 특히 답답하게 느끼는 문제는 세계 곳곳에 있는 유휴 GPU다. 많은 GPU가 특정 고객에게 미리 할당된 사설 컴퓨팅 풀에 갇혀 충분히 활용되지 못한다고 본다.

"실리콘과 전력이 들어간 GPU가 그냥 놀고 있는 걸 보면, 물리적으로 아픕니다."

그래서 Sail은 전 세계의 컴퓨팅 자원을 더 잘 연결하고, 빈 자원을 찾아내고, 다양한 칩을 한 시스템에서 효율적으로 배치하려 한다.

9. 칩 부족 속의 기회: "나쁜 칩은 없고, 나쁜 가격만 있다"

패트릭은 최첨단 엔비디아 Blackwell GPU 시장이 마치 암시장처럼 보인다는 비유를 꺼낸다. 수요가 폭발적인데 공급이 부족하고, 기업들이 어떻게든 칩을 확보하려 애쓰는 상황이기 때문이다.

닐은 엔비디아가 단순히 가격을 끝없이 올리는 대신, 장기 관계와 생태계를 고려해 공급을 전략적으로 배분한다고 본다. 자금력이 가장 큰 기업 한 곳이 모든 칩을 가져가게 두면 장기적으로는 엔비디아에도 좋지 않을 수 있기 때문이다. 또한 신생 스타트업이 수년간 수만 장의 GPU를 빌리겠다고 해도, 공급자가 신뢰할 수 있는 고객인지 판단하기 어렵다. 결국 자금력과 관계가 매우 중요해진다.

하지만 Sail의 관점은 최첨단 GPU만을 바라보지 않는다.

"나쁜 칩은 없습니다. 정말 나쁜 가격만 있을 뿐이죠. 적절한 가격이라면 저는 어떤 칩이든 작동하게 만들 겁니다."

예를 들어 AMD 칩은 전반적으로 좋은 성능을 갖췄지만, 엔비디아만큼 생태계와 소프트웨어 지원이 탄탄하지 않아 최적화가 부족한 경우가 있다. 닐에게 이는 기회다. 다른 사람들이 AMD를 덜 선호할수록, Sail은 싼 가격에 칩을 확보하고 자체 최적화로 더 큰 가치를 뽑아낼 수 있다.

그는 TPU, AWS Trainium, AMD, 그리고 새롭게 등장하는 여러 반도체 스타트업의 칩을 모두 활용할 의지가 있다고 말한다. 중요한 것은 칩마다 비교우위를 찾아내는 것이다.

"TPU도 좋아합니다. 작동하게 만들 겁니다. Trainium도 좋아합니다. 작동하게 만들 겁니다. 모든 칩에는 비교우위가 있고, 우리는 그것을 찾아내야 합니다."

이 전략의 본질은 컴퓨팅 차익거래다. 시장이 과소평가한 하드웨어를 찾고, 이를 더 잘 최적화해 저렴한 추론 서비스로 판매하는 것이다.

10. 데이터센터를 작고 분산되게 만드는 이유

AI 데이터센터는 전통적으로 대규모 학습을 위해 설계됐다. 학습에는 수만~수십만 개 GPU가 밀접하게 연결된 거대한 클러스터가 필요하고, 데이터센터 내부 네트워크도 극도로 빠르고 안정적이어야 한다.

하지만 닐은 추론, 특히 장기 실행형 백그라운드 추론은 꼭 그런 구조를 필요로 하지 않는다고 본다. 미국에는 100MW나 1GW 규모의 전력을 한 지점에 새로 확보하기는 매우 어렵지만, 1MW 수준의 작은 전력 자원은 곳곳에 존재한다.

그는 이를 활용해 전국에 흩어진 작은 데이터센터들을 하나의 추론 함대로 묶으려 한다. 액체 냉각 기술 덕분에 1MW의 컴퓨팅은 이제 거대한 창고가 아니라 냉장고 크기의 랙 8개 정도에 넣을 수 있다고 설명한다.

"우리는 전 세계 어디에서든, 어떤 기간이든, 어떤 칩이든 살 겁니다. 그 정도의 유연성과 유동성은 지금 다른 누구도 갖고 있지 않다고 생각합니다."

이러한 분산형 데이터센터는 기존 고객에게는 매력적이지 않을 수 있다. 백업 디젤 발전기, 다중 전력망, 중복 광케이블 등을 갖추지 않으면 가동률이 95% 수준으로 떨어질 수 있기 때문이다. 일반적인 대형 데이터센터라면 95% 가동률은 사실상 치명적이다.

하지만 Sail은 오히려 그 가동률도 받아들일 수 있다고 말한다.

"저는 95% 가동률의 첫 번째 구매자가 되겠습니다."

그 이유는 두 가지다.

1. Sail의 제어 시스템은 특정 데이터센터가 멈추면 작업을 다른 곳으로 옮길 수 있다.
2. 장기 실행 에이전트는 한 번의 응답이 몇 분 늦어져도 전체 작업이 몇 시간 동안 진행된다면 큰 문제가 아니다.

"고객에게는 평균 처리량이 매우 경쟁력 있을 거라고 말합니다. 하지만 99번째 백분위 지연시간, 즉 아주 드물게 느려지는 상황은 통제하지 못할 겁니다. 대신 압도적인 경제성을 드리겠습니다."

이것은 사람이 화면을 보고 즉시 답을 기다리는 서비스에는 적합하지 않지만, 밤새 돌아가는 리서치·보안·코딩 에이전트에는 잘 맞는다.

11. 태양광과 풍력까지 활용하는 '스캐빈저 전략'

닐의 분산 전략은 칩에서 끝나지 않고 전력으로 확장된다. 그는 태양광과 풍력이 아직 미국에서 충분히 활용되지 않고 있다고 본다. 다만 이들은 날씨에 따라 발전량이 달라지는 간헐성 때문에, 24시간 안정적 전력을 요구하는 전통적 데이터센터에는 부적합하다고 여겨져 왔다.

그러나 Sail의 작업은 며칠이나 몇 주의 정전도 가격만 충분히 싸다면 감당할 수 있다. 예컨대 바람이 멈추고 구름과 안개가 오래 끼어 태양광·풍력 발전이 감소할 것이라는 예보가 있으면, 미리 다른 지역의 컴퓨팅 자원으로 작업을 옮기면 된다.

"최악의 경우는 바람이 불지 않고 구름이 오래 머무는 장기 정전입니다. 하지만 그것은 오히려 예측 가능합니다. 날씨를 모델링하고, 데이터센터가 꺼질 때 작업을 다른 곳으로 옮기면 됩니다."

이를 그는 스캐빈저 전략(scavenger strategy)이라고 부른다. OpenAI나 Anthropic과 같은 거대 기업과 정면으로 경쟁해 비싼 전력과 최첨단 GPU를 사들이는 대신, 거대 기업들이 복잡해서 외면하는 공급을 모으는 전략이다.

"먼저 칩을 주워 모으고, 그 칩을 위한 전력도 주워 모읍니다. Anthropic이나 OpenAI와 컴퓨팅 용량을 놓고 입찰 경쟁을 하고 싶지 않습니다."

그는 거대한 단일 공장보다 여러 개의 작은 공장을 운영하는 미니밀(mini-mill) 모델에 비유한다. 하나의 기가와트급 데이터센터를 짓는 대신, 작고 저렴한 전력과 칩을 수많은 장소에서 모아 합산하면 장기적으로는 누구보다 저렴한 '집합적 토큰 공장'을 만들 수 있다는 것이다.

12. 수직통합의 꿈과 현실적인 사업 운영

패트릭은 Sail이 전력 생산, 데이터센터 건설, 칩 설계, 소프트웨어 최적화, 토큰 판매까지 전부 소유하는 완전 수직통합 기업이 될 수도 있는지 묻는다.

닐은 창업자로서의 자신은 모든 것을 하고 싶어 한다고 솔직히 답한다. 그는 칩과 에너지, 전력, 데이터센터를 평생 고민해 왔고, 처음부터 끝까지 가장 효율적인 시스템을 만들고 싶은 강한 욕심이 있다.

"저는 가장 효율적인 시스템을 처음부터 끝까지 만들기 전에는 멈추지 않을 겁니다."

하지만 CEO로서는 현실적이어야 한다고 말한다. 모든 것을 직접 소유하려면 막대한 자본이 필요하다. 따라서 초기에 레버리지가 큰 소프트웨어부터 시작하고, 전력 생산이나 데이터센터 운영처럼 다른 기업이 잘하는 분야는 파트너십을 통해 접근하는 것이 더 합리적일 수 있다.

다만 충분한 규모를 갖추고, 파트너가 맞춤형 해결책을 제공하지 못한다면 그때는 직접 구축할 수 있다. 그는 AI 추론이 컴퓨팅 역사상 가장 큰 시장이 될 수 있다고 믿기 때문에, 추론에 특화된 하드웨어·전력·데이터센터를 새로 설계할 경제적 이유가 생긴다고 본다.

13. 가장 큰 낭비는 KV 캐시와 컴퓨팅 자원 배분

닐은 AI 업계가 이미 잘하고 있는 부분과 아직 비효율적인 부분을 구분한다. 모델의 희소성(sparsity), 특히 MoE(Mixture of Experts) 구조에서는 이미 상당한 최적화가 이뤄지고 있다고 본다. 최신 모델은 전체 전문가 중 실제로 활성화하는 비중이 매우 낮기 때문에, 계산량을 아끼는 데 꽤 성공하고 있다.

반면 가장 큰 비효율은 어텐션과 KV 캐시의 메모리 사용량이다. 현재 KV 캐시는 토큰당 많은 양의 데이터를 저장하며, 그 안에 정보 중복이 많을 가능성이 있다. 그는 이를 한두 자릿수 규모가 아니라, 10배에서 100배 수준까지 줄일 여지가 있을 수 있는 영역으로 본다.

"KV 캐시에 토큰당 여러 킬로바이트의 데이터를 저장하고 있습니다. 아마 한두 자릿수 정도는 잘못 잡혀 있을 가능성이 있습니다."

DeepSeek 등이 KV 캐시 압축 연구를 공개하고 있고, 매년 큰 개선이 나오는 점은 아직 최적화 여지가 매우 크다는 신호다.

더 거시적으로는 전 세계 컴퓨팅 자원이 제대로 조직되지 않는 문제가 크다. 엔비디아가 수백만 장의 GPU를 출하해도, 그것들이 항상 충분히 사용되는지는 의문이라는 것이다. 사설 클러스터에 할당된 GPU들이 놀고 있다면, 이는 실리콘과 전력의 낭비다.

14. 반도체 공급망과 HBM 부족의 미래

새로운 AI 하드웨어 기업을 만들고 싶은 창업자에게 닐은 기술 아이디어만이 아니라 공급망 병목을 이해해야 한다고 조언한다. 그가 꼽는 주요 병목은 다음과 같다.

• TSMC의 웨이퍼 생산 능력
• HBM 같은 고대역폭 메모리 공급
• 첨단 패키징 능력
• 데이터센터 전력 확보

그는 엔비디아가 완벽해서 강한 것이 아니라, 여러 트레이드오프를 매우 잘 균형 잡았기 때문에 강하다고 평가한다. 따라서 새 기업은 엔비디아보다 모든 면에서 좋아지려 하기보다, 특정 병목에 집중해 날카로운 강점을 만들어야 한다.

그중에서도 닐이 특히 중요하게 보는 것은 HBM 부족이다. 메모리 생산시설은 막대한 자본이 필요하고, 메모리 기업들은 과거 경기 순환 속 과잉투자로 큰 손실을 겪은 경험이 있어 쉽게 공격적으로 증설하지 않는다. 이런 부족은 AI 칩 가격뿐 아니라 스마트폰 같은 소비자 전자기기의 메모리 가격에도 영향을 줄 수 있다.

그가 장기적으로 고민하는 기술적 방향 중 하나는 HBM 의존도를 줄이는 것이다. 예를 들어 KV 캐시 일부를 플래시 메모리로 더 적극적으로 오프로드하는 구조를 만들 수 있다면, 비싼 고대역폭 메모리 부족을 우회할 수 있다.

"모델 구조를 어떻게 바꾸면 KV 캐시를 플래시로 훨씬 더 많이 옮길 수 있을지, 저는 계속 화이트보드에서 고민합니다."

한편 그는 지정학적 리스크에 대한 통념과도 조금 다른 견해를 보인다. TSMC 접근이 차단되면 충격은 분명 크겠지만, 서구권의 공정 기술이 엄청나게 뒤처져 있는 것은 아니며 최악의 경우 전력 효율에서 2배 정도의 손해일 수 있다고 본다. 이는 칩 업계 대화에서 흔히 느껴지는 공포보다 격차가 작다는 주장이다.

15. 오픈소스와 폐쇄형 모델은 함께 간다

마지막 주요 주제는 폐쇄형 모델과 오픈소스 모델의 관계다. 닐은 OpenAI나 Anthropic 같은 선도 연구소가 시장보다 3~6개월 앞서기 위해 막대한 비용을 지불하고 있으며, 그 자체는 여전히 합리적이라고 본다.

하지만 그 우위가 영원히 유지되지는 않을 수 있다. 특히 AI가 생성한 코드와 문서가 인터넷에 빠르게 축적되면, 오픈소스 모델은 직접적으로 선도 모델을 복제하지 않더라도 인터넷에 공개된 AI 산출물을 통해 간접적으로 능력을 흡수할 수 있다.

"인터넷에 나오는 산출물 중 AI가 만든 비중은 점점 커지고 있습니다. 정보와 모델 능력의 확산을 근본적으로 막는 것은 불가능해 보입니다. 문제는 단지 얼마나 빠른가입니다."

기업은 최신 모델이 나왔다고 해서 곧바로 전환하지 않는다. 실제 기업 도입에는 보안, 검증, 운영 안정성 등의 이유로 시간이 걸린다. 그래서 3~6개월의 기술 격차가 있더라도, 오픈소스 모델이 충분히 경쟁력 있는 시장은 계속 존재할 수 있다.

닐은 오픈소스가 사라질 가능성은 거의 없다고 본다. 선도자가 빠지면 다른 참여자가 자리를 채울 것이고, 모델 학습은 시간이 갈수록 더 쉬워지고 있기 때문이다.

그가 원하는 미래는 단순히 몇 개의 거대 모델 회사가 모든 지능을 제공하는 세상이 아니다. 각 기업과 각 사용자가 자신에게 맞게 AI를 구성하고 소유하는 세상이다.

"저는 풍부한 토큰과 다양한 하네스를 원합니다. 모든 회사가, 심지어 모든 사용자가 자기 에이전트를 만들었으면 합니다."

이때 개인화는 반드시 모델 가중치를 새로 미세조정하는 방식이 아니라, 사용자의 문맥과 데이터를 모델에 제공하는 인컨텍스트 학습을 통해 이뤄질 수 있다고 본다.

16. 결국 목표는 토큰을 수천 배 싸게 만드는 것

닐은 자신의 역할을 아주 명료하게 정의하며 인터뷰를 마무리한다. 토큰을 인간적으로 가능한 한 싸게 만들겠다는 것이다. 이를 위해 칩, 전력, 토지, 데이터센터, 소프트웨어 등 공급 측의 모든 레버를 쓸 생각이다.

"제 일은 토큰을 인간적으로 가능한 한 싸게 만드는 것입니다. 저는 그것을 해낼 겁니다. 제가 쓸 수 있는 스택의 모든 층을 통해서요."

그가 꿈꾸는 비용 하락 폭은 작지 않다. 현재 어떤 모델에서 하루 1조 토큰을 쓰려면 수백만 달러가 들 수 있지만, 이를 1,000배에서 100만 배 가까이 낮춘다면 전혀 새로운 사용 사례가 열린다. 이미 일정한 크기의 모델에서는 1조 토큰 작업이 수만 달러 수준으로 가까워지고 있으며, 장기적으로는 더 낮아질 수 있다고 본다.

패트릭이 "사람들이 정말 그렇게 많은 지능을 원할까?"라고 묻자, 닐은 단호하게 답한다.

"저는 세상에 지능 수요가 부족하다고는 절대 믿지 않을 겁니다. 세상에는 항상 지능에 대한 수요가 있습니다."

문제는 지능 자체의 수요가 아니라, 사람들이 그것을 쉽게 활용하게 하는 제품과 진입 경로다. 무료 사용자에게 충분한 토큰을 제공하기 어렵고, 고객이 비용 걱정 때문에 AI 기능을 제한하는 현실을 바꾸고 싶다는 것이다.

마지막으로 그는 자신에게 큰 영향을 준 멘토들과 교수들을 떠올린다. 대학 시절 AI 칩만 만들고 싶어 기초 과목을 왜 배워야 하느냐고 묻던 자신에게, 한 교수는 실리콘의 게이트 수준부터 인터넷 규모 서비스까지 전체 스택을 이해하는 사람이 되는 것을 목표로 삼으라고 조언했다.

"시스템의 한 조각만 아는 것보다, 퍼즐의 모든 조각을 이해하는 것의 깊이와 아름다움을 보여 주셨습니다."

그 조언은 닐이 지금 추구하는 방향과 정확히 이어진다. 칩 하나, 모델 하나, 데이터센터 하나만 최적화하는 것이 아니라, 실리콘에서 전력까지 AI 전체 공급망을 하나의 시스템으로 보고 최적화하는 것이 그의 목표다.

마무리

이 인터뷰에서 닐 모바가 제시한 비전은 AI를 더 똑똑하게 만드는 경쟁만큼이나, AI를 압도적으로 싸고 풍부하게 만드는 경쟁이 중요하다는 것이다. 그의 해법은 최첨단 GPU를 더 많이 확보하는 데만 있지 않다. 저평가된 칩, 유휴 컴퓨팅, 작은 데이터센터, 간헐적인 태양광·풍력, 그리고 장기 실행형 에이전트를 모두 묶어 새로운 경제성을 만드는 데 있다.

결국 그의 메시지는 간단하다. AI가 정말로 사회 전반에 퍼지려면, 지능은 희귀하고 비싼 상담 서비스가 아니라 전기처럼 언제든 쓸 수 있는 자원이 되어야 한다.