이 영상에서는 풀사이드(Poolside)의 공동 CEO이자 공동 창업자인 아이소 칸트(Eiso Kant)가 자사의 최신 오픈웨이트 모델인 라구나 S(Laguna S)의 출시를 설명합니다. 그는 2015년 안드레이 카르파티(Andrej Karpathy)의 블로그 게시물에 깊이 영감을 받아 언어 모델 분야에 뛰어들게 된 계기와, AGI 연구소가 오픈소스 모델을 출시하기로 결정한 이유, 그리고 지능의 소유권에 대한 질문에 대해 깊이 있는 이야기를 나눕니다. 칸트는 지능이 소수의 기업에 집중되는 현상을 경계하며, 오픈소스가 더 많은 기업이 지능을 개발하고 활용할 수 있는 미래를 만드는 데 중요하다고 강조합니다.

1. 지능 독점의 우려와 오픈소스의 중요성

풀사이드의 공동 CEO 아이소 칸트는 최근 샌프란시스코의 변화와 AI 산업의 성장에 대한 소회를 밝히며, 이 모든 것이 마치 공상 과학 소설 같다고 말합니다. 특히 2026년 현재, 그는 2035년의 미래를 상상할 때 디스토피아적인 시나리오를 우려했습니다. 소수의 기업만이 인공 일반 지능(AGI)을 구축하여 경제적으로 가치 있는 모든 것과 과학적으로 흥미로운 모든 것을 독점하게 되는 상황에 대한 경고인데요. 그는 이렇게 말합니다.

"마치... 2035년에 돌아보면서 '두세 개 회사의 과점이었다. 그들이 인공 지능을 구축했고, AGI에 도달했으며, 경제적으로 가치 있는 모든 것과 과학적으로 흥미로운 모든 것이 이 회사들 위에서 돌아갔다'고 말할 것 같았습니다."

칸트는 지능이 에너지 다음으로 가장 중요한 상품이 될 것이며, 소수의 기업으로부터 이 지능을 구매해야 하는 상황에 대해 큰 불편함을 느꼈다고 합니다. 이에 풀사이드는 이러한 지능 독점 현상을 막고, 수많은 기업이 지능을 개발할 수 있는 세상을 만들기 위해 오픈소스 모델을 공개하기 시작했다고 설명합니다.

2. 카르파티의 글에서 시작된 LLM 여정 🚀

아이소 칸트는 자신이 2015년 안드레이 카르파티가 쓴 "순환 신경망의 비합리적인 효율성(The Unreasonable Effectiveness of Recurrent Neural Nets)"이라는 글에 "너드 스나이프(nerd sniped)" 되었다고 회상합니다. 이 글은 그에게 신경망이 모든 것을 일반화할 수 있으며, 언어가 지능 향상의 핵심이라는 강한 믿음을 심어주었습니다.

"2015년 안드레이 카르파티의 '순환 신경망의 비합리적인 효율성'이라는 기사에 너드 스나이프당한 것 같아요. 그 글이 저를 사로잡은 이유를 아직도 모르겠지만, 신경망이 모든 것을 일반화할 수 있고, 언어가 지능 향상의 핵심이라는 강한 믿음을 심어주었습니다."

이후 몇 달 만에 그는 자신이 만들던 회사의 방향을 코드 기반 언어 모델 구축으로 전환했습니다. 2015~2019년 당시에는 아무도 이 분야에 관심을 기울이지 않았지만, 그는 40여 명의 팀원과 함께 1,200만 달러의 투자금을 들여 NVIDIA 게이밍 GPU를 개조하여 RNN, LSTM, 트랜스포머 모델 등을 훈련하며 코드 예측 기술을 개발했습니다.

그는 당시를 회상하며, 마치 "아무도 믿지 않는 아이디어를 믿는 기분"이었다고 말합니다. 하지만 구글과 OpenAI 같은 회사들이 작은 신호에도 불구하고 확신을 가지고 확장해 나가는 모습에 깊은 존경심을 표했습니다. 2019년 말 잠시 이 분야를 떠났던 그는 ChatGPT 출시와 함께 다시 돌아왔고, 지난 몇 년간 이 분야의 놀라운 발전 속도에 감탄하고 있습니다.

3. 소프트웨어 엔지니어들의 반응과 AI 발전의 가속화

칸트는 일부 소프트웨어 엔지니어들이 AI 코드 작성 능력에 대해 여전히 "부정(denial)"하는 경향이 있다고 말합니다. 하지만 그는 이러한 반응을 이해하며, 오랜 시간 자신의 정체성으로 여겨온 일에 AI가 능가하는 모습을 보는 것이 쉽지 않다고 설명합니다.

"어떤 소프트웨어 엔지니어들은 거의 부인하고 있습니다. '오, AI가 코드 작성에 그렇게 뛰어나지는 않아.'라고 말이죠. 하지만 저는 그들의 의견이 점점 더 변할 것이라고 생각합니다."

그럼에도 불구하고, 소프트웨어 개발자들은 새로운 기술을 빠르게 받아들이는 능력이 뛰어나며, LLM이 엄청난 속도 향상을 가져온다는 점을 인정할 것이라고 강조합니다. 현재 AI 모델의 지능은 "매우 들쭉날쭉한 가장자리(jagged edge)"를 가지고 있어 특정 분야에서는 뛰어나지만 다른 분야에서는 한계가 있지만, 6개월 또는 12개월 전과 비교했을 때 발전 속도가 기하급수적이라고 말합니다.

이러한 빠른 발전은 풀사이드와 같은 기업들에게 "모델" 자체에만 집중하고, 그 외의 불필요한 모든 것을 무시하는 강력한 동기 부여가 됩니다. 칸트는 현재 AI 산업에서 승리하려면 "단 하나의 일"에 엄청나게 집중해야 한다고 역설합니다.

4. 8주 만에 탄생한 라구나 S: 놀라운 효율성과 성능 🚀

아이소 칸트는 풀사이드의 최신 오픈소스 모델인 라구나 S(Laguna S)에 대해 큰 자부심을 드러냅니다. 이 모델은 풀사이드의 "모델 팩토리"에서 탄생한 결과물이며, 이 팩토리는 데이터를 입력받아 평가 가능한 모델을 출력하는 모델 구축의 산업화 과정에 대한 3년간의 집착의 결과라고 설명합니다.

• 놀라운 개발 속도: 라구나 S는 8주 만에 사전 훈련을 시작하여 완료되었으며, 사전 훈련은 4주, 후처리 3주, 출시 준비 1주가 소요되었습니다. 이는 풀사이드가 모델 구축 프로세스를 얼마나 효율적으로 자동화했는지 보여주는 사례입니다.
• 스케일과 성능: 라구나 S는 1,180억 파라미터 규모의 혼합 전문가(MoE) 모델이며, 80억 개의 파라미터가 활성화됩니다. 칸트는 이 모델이 "매우 큰 모델은 아니지만, 훨씬 더 큰 모델만큼 강력하다"고 평가하며, 특히 장기적인 에이전트 코딩 벤치마크에서 뛰어난 성능을 보인다고 강조합니다.
• 예상치 못한 결과: 라구나 S는 예상보다 훨씬 뛰어난 성능을 보여주었습니다. 칸트는 이 모델이 동일 크기 또는 두 배 크기의 다른 오픈 모델들을 능가하며, 이는 "비트(bits)에서 얼마나 더 많은 지능을 짜낼 수 있는지"를 다시 한번 상기시켜 주었다고 말합니다.
• "미국 최초의 오픈웨이트 경쟁자": 칸트는 라구나 S가 서구권에서 출시된 최초의 오픈웨이트 모델 중 하나이며, 해당 체급에서 다른 모델들을 능가하는 성능을 보여준다는 점에서 자부심을 느낀다고 밝혔습니다. 다만, 이 분야의 빠른 발전 속도 때문에 이러한 우위는 몇 주 안에 바뀔 수도 있다고 덧붙였습니다.

5. 라구나 S의 혁신적인 아키텍처와 장점

아이소 칸트는 라구나 S의 아키텍처에 대해 좀 더 자세히 설명합니다. 라구나 S는 이전 모델인 라구나 XS의 아키텍처를 기반으로 하며, 풀사이드의 "2.1세대 아키텍처"에 속합니다.

• 하이브리드 어텐션 메커니즘: 이 모델은 슬라이딩 윈도우 어텐션(sliding window attention)과 글로벌 어텐션(global attention)을 3:1 비율로 결합하여 추론(inference)에 최적화되어 있습니다. 이는 성능과 효율성을 동시에 잡는 중요한 아키텍처 결정입니다.
• 희소 혼합 전문가(Sparse MoE): 1,180억 파라미터 중 80억 파라미터만 활성화되는 희소 MoE 구조는 모델의 효율성을 극대화합니다.
• 컨텍스트 길이 확장: 풀사이드는 RoPE 스케일링 및 컨텍스트 길이 확장과 같은 기술을 통해 모델이 장기적인 작업을 수행할 때 초기 단계의 정보를 더 잘 기억할 수 있도록 집중했습니다.
• 100만 토큰 컨텍스트: 라구나 S의 가장 인상적인 특징 중 하나는 100만 토큰에 달하는 컨텍스트 길이입니다. 이는 특히 장기적인 작업에 매우 유용한 기능입니다.

칸트는 오픈웨이트 모델 분야에서 대부분의 기업들이 유사한 아키텍처(희소 MoE, 개선된 어텐션 메커니즘 등)를 사용하고 있다고 설명하며, 풀사이드는 이러한 기술들을 통해 모델의 지능을 최대한으로 끌어내는 데 집중하고 있다고 강조합니다.

6. 미국의 오픈소스 연구소, 특별함인가?

풀사이드를 "미국의 오픈소스 연구소"라고 부르는 것에 대해 칸트는 약간의 당혹감을 표합니다.

"미국 오픈소스 연구소라는 것이 저에게는 충격적입니다. 그래선 안 됩니다. 이겁니다, 그렇죠? 우리가 갑자기 미국 오픈소스 연구소라는 것이 특별해진 세상에 어떻게 살게 되었는지 모르겠습니다. 다시 말하지만, 우리가 읽고 있는 디스토피아적인 공상 과학 소설에 대해 이야기할 때, 우리가 능력 있는 모델을 내놓고 미국 오픈소스 기업이라는 사실에 사람들이 놀라는 지경에 이르렀다는 사실은 일어나지 말았어야 할 일입니다."

그는 원래 미국에서 수많은 오픈소스와 다양한 파운데이션 모델 기업들이 번성했어야 한다고 주장합니다. 현재 상황은 소수의 기업이 지능 개발을 독점하는 디스토피아적 미래에 대한 우려를 증폭시키는 현실을 보여줍니다. 풀사이드는 이러한 상황 속에서 가장 유능한 모델을 구축하는 데 집중하며, 이것이 궁극적으로 경쟁에서 승리하는 길이라고 믿습니다. 그는 진정한 승자는 가장 효과적인 비용으로 가장 유능한 모델을 제공하는 기업이 될 것이라고 말합니다.

7. 오픈웨이트 모델의 경제학: 지능의 상품화

칸트는 오픈소스 모델이 현재 중요한 기회를 맞이하고 있다고 분석합니다. 지능 모델의 발전은 전 세계 GDP의 25%를 차지하는 지식 노동을 점차 모델이 수행하게 만들면서, 모델의 지능이 높아질수록 결국 경제적으로 가치 있는 작업의 한계에 도달할 것이라고 예상합니다.

그는 모델 크기(Y축)와 토큰당 투자 수익률(X축) 그래프를 상상하며 설명합니다. 결국 누구도 가장 비싼 모델에 가장 비싼 토큰을 지불하지 않을 것이며, 모든 작업에는 최적의 모델 크기와 비용 지점이 존재할 것이라고 말합니다.

"가장 비싼, 가장 큰 모델에 가장 비싼 토큰을 아무도 사용하지 않을 것이라는 점을 고려하면, 우리가 하는 모든 작업에 최적의 지점이 있다는 뜻입니다. 우리가 묻는 검색 쿼리에 대한 최적의 지점, 우리가 작성하려는 코드 조각에 대한 최적의 지점, 과학 연구에서 이루고 싶은 진전에 대한 최적의 지점 말이죠."

이는 결국 파운데이션 모델이 상품화(commoditized)될 것임을 의미합니다. 아이폰의 예시처럼, 과거에는 거대한 건물 크기의 슈퍼컴퓨터가 할 수 있었던 일을 이제는 작은 스마트폰이 처리할 수 있게 된 것과 비슷하게, AI 모델도 점차 더 작고 효율적인 형태로 발전할 것이라는 주장입니다.

칸트는 라구나 S가 작은 크기에도 불구하고 뛰어난 성능을 보이는 것이 이러한 상품화 추세를 보여주는 좋은 예라고 생각합니다. 그는 미래에는 오픈소스 모델이 더 많은 지능을 상품화하여, 지금은 거대한 데이터 센터가 필요하다고 생각하는 작업들이 훨씬 작은 모델로 가능해질 것이라고 예측합니다.

하지만 오픈소스가 성공하려면 두 가지를 해결해야 한다고 지적합니다. 첫째, 사업 모델이 명확해야 합니다. 모델 훈련에 막대한 자본이 들어가는데, 오픈웨이트 모델은 사실상 무료이기 때문에 수익 모델이 불분명합니다. 둘째, 미국과 서구권에서 오픈소스 생태계가 구축되어야 합니다.

8. 지능의 소유권: 12~18개월의 기회

칸트는 "누가 지능을 구축할 것인가"라는 질문이 앞으로 몇 년간 가장 중요한 문제가 될 것이라고 강조합니다. 우리는 "갈림길"에 서 있으며, 소수의 기업이 모든 지능을 제공하는 세상으로 갈 것인지, 아니면 재능과 의지, 자본을 가진 누구든 지능을 구축할 수 있는 세상으로 갈 것인지 결정해야 합니다.

"우리는 갈림길에 서 있습니다. 전 세계 모든 사람에게 세, 네 개의 회사가 모든 지능을 제공하고, 세, 네 가지 편향과 세, 네 가지 차단 스위치가 있는 세상에 도달할 것인가요? 아니면 재능과 의지, 자본이 있는 누구든 그것을 구축할 수 있는 세상에 도달할 것인가요?"

그는 이러한 결정의 "창(window)"이 12~18개월 정도로 매우 짧다고 경고합니다. 그 이유는 모델 자체가 모델 개발에 미치는 영향, 즉 재귀적 자기 개선(recursive self-improvement, RSI) 때문입니다. 모델 구축 작업의 90%가 엔지니어링(코드 작성, 데이터 분석)인데, AI 모델의 능력 향상이 이러한 작업 속도를 크게 가속화하고 있다는 것입니다.

연구자들의 아이디어가 실제 모델에 적용되는 시간이 엄청나게 단축되고 있으며, 머지않아 모델이 자율적으로 모델 개선 사이클에 참여하게 될 것입니다. 이때부터는 "컴퓨터(compute)"가 핵심 요소가 됩니다.

현재는 연구자와 엔지니어의 역할이 크지만, 12~18개월 후에는 그렇지 않을 것입니다. 만약 그때까지 더 많은 사람들이 파운데이션 모델을 구축할 수 있도록 기반을 마련하지 못한다면, 우리는 몇몇 기업으로부터 지능을 구매하고, 그 지능을 다시 지능을 구축하는 데 사용할 수 없는 세상에 살게 될 것이라고 칸트는 경고합니다.

특히 2026년에 그를 가장 놀라게 한 것은 파운데이션 모델 기업들이 "내가 만든 것을 나를 경쟁할 수 있는 것을 개선하는 데 사용할 수 없다"고 말하기 시작했다는 점입니다. 그는 이것이 자유 시장의 권리이지만, 동시에 충격적인 현실이라고 말합니다.

따라서 그는 파운데이션 모델 기업을 시작하려는 사람들에게 "총력전(call to arms)"을 호소하며, 지금이야말로 의미 있는 변화를 만들어낼 수 있는 중요한 시기라고 강조합니다.

9. 라구나 S의 놀라운 능력: 에르되시 문제와 디버거 사용

아이소 칸트는 라구나 S를 사용하면서 겪은 가장 놀라웠던 경험 두 가지를 공유합니다.

1. 에르되시 #397 문제 해결: OpenAI가 작년 말에 풀었던 에르되시 #397 문제를 라구나 S에게 제시했습니다. 이 모델은 해당 문제에 대한 데이터가 학습 데이터에 포함되지 않았음에도 불구하고 30분 만에 문제를 해결했습니다.

   "오픈AI가 작년 말에 풀었던 에르되시 #397 문제를 이 모델에게 던져줬는데, 그 데이터가 그 안에 없을 것이라는 마감일 범위에 있다는 것을 알고 있었습니다. 그런데 30분 만에 풀었습니다."

   특히 모델이 20분 동안 잘못된 경로를 탐색하다가 스스로 수정하고 올바른 경로를 찾아 문제를 해결하는 추론 과정은 매우 인상 깊었습니다. 그는 이 작은 모델이 그렇게 복잡한 문제를 해결할 수 있을 것이라고는 예상하지 못했다고 고백합니다.

2. 디버거를 사용한 녹취록 추출: 칸트의 노트북에 저장된 암호화된 녹취록을 추출하는 작업을 라구나 S에게 시켰습니다. 모델은 암호화된 데이터베이스를 찾아냈지만, 비밀번호가 없어 암호를 해독할 수 없다는 것을 인지했습니다. 그러자 모델은 스스로 디버거를 연결하고 맥(Mac)에서 애플리케이션을 실행한 후, 시스템 메모리에서 실제 녹취록을 추출하는 놀라운 능력을 보여주었습니다.

   "모델이, 그리고 Pool의 에이전트가 30분 동안 작동했습니다. 제 노트북에서 암호화된 데이터베이스를 찾았습니다. 비밀번호가 없어서 암호를 해독할 수 없다는 것을 깨달았습니다. 그리고 디버거를 연결했습니다. 제 맥에서 애플리케이션을 실행했고, 디버거를 연결해서 제 시스템 메모리에서 실제 녹취록을 추출할 수 있었습니다."

칸트는 소프트웨어 개발자로서 이러한 끈기와 문제 해결 능력을 보며 깊은 감명을 받았다고 말합니다. 물론 자식처럼 모델을 완벽하게 보겠지만, 라구나 S의 능력은 그에게 모델에서 얼마나 더 많은 것을 끌어낼 수 있을지에 대한 질문을 던지게 했습니다. 그는 앞으로 몇 년 안에 지금은 거대한 모델이 필요하다고 생각하는 작업들이 훨씬 작은 모델로 가능해질 것이며, 이는 지능이 더 상품화되고 오픈소스화되는 세상에 희망적인 신호라고 결론지었습니다.

결론

아이소 칸트의 이야기는 AI 기술 발전의 놀라운 속도와 함께, 지능의 미래가 소수의 거대 기업에 의해 좌우될 것인지, 아니면 더 많은 주체가 참여하는 분산된 형태로 나아갈 것인지에 대한 근본적인 질문을 던집니다. 풀사이드는 라구나 S와 같은 오픈웨이트 모델을 통해 지능의 상품화를 가속화하고, 더 많은 이들이 AI 혁신에 참여할 수 있는 미래를 꿈꾸고 있습니다. 이는 단순한 기술 개발을 넘어, 지능의 민주화라는 더 큰 비전을 향한 여정이라고 할 수 있습니다.