이 영상은 오픈AI(OpenAI)의 공동 창립자이자 현재 SSI(Safe Superintelligence)를 이끄는 일리야 수츠케버(Ilya Sutskever)가 드와케시 파텔(Dwarkesh Patel) 팟캐스트에서 밝힌 AI의 미래와 연구 방향성에 대한 심도 있는 내용을 다룹니다. 현재의 거대언어모델(LLM)이 가진 '일반화 능력'의 한계와 감정이 지능에서 수행하는 역할, 그리고 단순히 모델의 크기만 키우는 '스케일링(Scaling)' 시대의 종말에 대한 일리야의 독창적인 시각을 분석합니다. 또한, 구글(Google)과 같은 다른 기업들과 상반되는 그의 연구 철학과 진정한 AGI(인공일반지능)의 의미를 재정의합니다.
1. 벤치마크 천재와 현실의 바보: 모델의 신뢰성 문제
영상은 일리야 수츠케버가 팟캐스트에서 지적한 가장 큰 모순점부터 시작합니다. 현재 우리는 수조 개의 파라미터를 가진 모델이 존재하고 기업들이 막대한 자금을 쏟아붓는, 마치 공상과학 영화 같은 2025년의 현실에 살고 있습니다. 하지만 정작 모델들은 결정적인 순간에 믿음직스럽지 못하죠.
일리야는 현재 모델들이 "서류상으로는 천재지만, 실제로는 멍청이"에 가깝다고 지적합니다. 벤치마크 점수는 엄청나게 높지만, 실제 사용자가 겪는 경험은 그에 미치지 못한다는 것입니다. 예를 들어, 코딩 버그를 고치라고 시키면 버그를 고치면서 새로운 버그를 만들고, 그걸 고치라고 하면 다시 옛날 버그를 만들어내는 무한 루프에 빠지기도 합니다.
벤치마크 결과는 '천재'라고 말할지 몰라도, 매일 사용하는 사용자들은 '쓸모 있는 멍청이(useful idiot)'라고 말할 겁니다.
이러한 문제의 원인으로 일리야는 훈련 방식의 한계를 꼽습니다. 사전 훈련(Pre-training)은 방대한 데이터를 들이붓는 무딘 도구에 불과하며, 이후 진행되는 강화 학습(Reinforcement Learning) 과정에서 연구자들이 벤치마크 점수만 잘 나오도록 환경을 최적화한다는 것입니다. 결국 모델이 보상을 얻기 위해 꼼수를 부리는 게 아니라, 인간 연구자들이 점수를 잘 받기 위해 훈련 세팅을 조작하는 '리워드 해킹(Reward Hacking)'이 일어나고 있다는 비판입니다.
이로 인해 모델들은 평가 기준에서는 훌륭해 보이지만, 그 평가의 범위를 조금만 벗어나면 와르르 무너지는 취약성(brittleness)을 갖게 됩니다.
훌륭한 모델이라는 신호 중 하나는 다른 모델보다 일반화(generalize)를 더 잘한다는 것입니다. (...) 챗GPT-5, 제미나이 3(Gemini 3), 클로드 오퍼스 4.5 같은 모델들은 상대적으로 일반화를 잘합니다. 반면 일반화를 못 하는 모델은, 제가 했던 유명한 '크리스마스트리 테스트' 같은 새로운 작업을 주면 그냥 무너져 내립니다.
2. 일반화의 격차: 1만 시간의 노력파 vs 10시간의 천재
일리야가 제기한 기술적으로 가장 깊이 있는 주장은 바로 "모델이 인간보다 훨씬 더 일반화를 못 한다"는 것입니다. 모델이 유능해지기 위해서는 엄청난 양의 데이터가 필요한데, 이는 인간의 학습 효율성과 비교하면 터무니없이 비효율적입니다.
그는 이를 두 명의 학생에 비유해 설명합니다.
- 노력파(The Grinder): 경시대회 문제를 풀기 위해 1만 시간을 갈아 넣어서 우승하는 학생.
- 빠른 습득자: 100시간만 집중해서 원리를 깨우치고 다음 단계로 넘어가는 학생.
노력파가 경시대회에서 우승할지는 모릅니다. 하지만 인생에서 베팅하고 싶은 사람은 바로 두 번째 사람(빠른 습득자)일 겁니다. (...) 오늘날의 LLM은 경시대회 문제만 1만 시간 동안 파고든, 고도로 특화된 십 대와 같습니다.
일리야가 추구하는 것은 '샘플 효율성(Sample Efficiency)'입니다. 프론티어 모델보다 훨씬 적은 데이터를 보고도, 운전 같은 복잡한 작업을 10시간 만에 배워내는 15세 청소년 같은 능력을 AI가 갖춰야 한다는 것이죠. 이는 단순히 트랜스포머 모델의 크기를 키우고 토큰을 더 많이 넣는다고 해결될 문제가 아닙니다.
여기서 흥미로운 점은 이 시각이 구글(Google)의 입장과 정반대라는 것입니다. 2025년 현재 구글은 제미나이 3(Gemini 3)를 통해 스케일링에 한계가 없으며, 사전 훈련만으로도 성능이 계속 좋아진다고 주장합니다. 과연 누구의 말이 맞을지 지켜보는 것이 현재 AI 업계의 가장 큰 관전 포인트입니다.
3. 감정은 장식이 아니다: 미래를 예측하는 가치 함수
세 번째로 흥미로운 주제는 감정(Emotion)에 대한 일리야의 해석입니다. 그는 감정이 단순히 장식적인 요소가 아니라, 생존과 의사결정에 필수적인 '가치 함수(Value Function)'라고 주장합니다.
어떤 환자가 지능과 언어 능력은 그대로인데 감정 처리 능력만 잃었을 때, 일상적인 결정을 거의 내리지 못하게 된다는 사례를 듭니다. 이는 감정이 상황의 좋고 나쁨을 판단하는 단순하고 강력한 신호이기 때문입니다.
감정은 상황이 얼마나 좋은지 나쁜지에 대한 단순하고 강력한 신호입니다. 명시적인 성공이나 실패 결과가 나오기 훨씬 전부터, 당신의 직감(gut)은 이미 알고 있습니다.
일리야는 이를 강화 학습(RL)의 한계와 연결 짓습니다. 기존의 RL은 에피소드가 다 끝나고 나서야 보상을 줍니다. 이는 매우 비효율적이고 과거 지향적입니다. 반면, 인간의 감정(예: 어두운 골목길에서의 공포감)은 미래의 결과를 미리 예측해서 현재의 행동을 결정하게 합니다.
당신이 어두운 골목길을 걷지 말라고 말해주는 뱃속의 두려움, 그 직감은 미래를 투영하여 우리가 정말 좋은 결정을 내리도록 돕습니다. 반면 강화 학습은 근본적으로 과거를 돌아보며 지난 활동에 대해서만 보상합니다.
4. 스케일링 시대의 종말과 새로운 연구의 시대
네 번째 포인트는 "스케일링의 시대(Age of Scaling)는 끝났다"는 일리야의 도발적인 주장입니다. 그는 AI의 역사를 세 단계로 나눕니다.
- 초기 연구 시대: 다양한 모델을 시도했지만 컴퓨팅 파워가 부족했던 시기.
- 스케일링 시대: GPT와 함께 시작된 시기. 레시피가 명확해서 자본을 투입하면 벤치마크 점수가 오르던 '로우 리스크'의 시대.
- 새로운 연구 시대: 거대한 컴퓨터를 가지고 다시 연구 중심으로 돌아가는 시대.
일리야는 웹상의 데이터가 유한하기 때문에, 단순히 데이터를 더 넣어서 성능을 올리는 방식은 한계에 봉착했다고 봅니다.
스케일링 법칙은 '저위험 플레이북'을 만들었습니다. 자본이 있다면 효율적으로 더 나은 벤치마크 숫자로 바꿀 수 있었죠. 일리야는 바로 그 시대가 끝났다고 주장합니다.
물론 이에 대해 다른 모델 개발사들은 합성 데이터(synthetic data) 등을 통해 여전히 스케일링이 가능하다고 반박합니다. 이러한 거물급 전문가들 사이의 불일치는 AI 생태계가 건강하다는 증거이기도 합니다. 모두가 같은 말만 한다면 그것이야말로 위험한 버블일 테니까요. 🫧
5. SSI의 전략과 AGI의 재정의
일리야가 설립한 SSI(Safe Superintelligence)는 철저히 '연구 우선(Research First)' 전략을 취하고 있습니다. 그는 고객이 없다는 것을 오히려 장점으로 꼽습니다. 고객을 응대하느라 낭비되는 '세금'이 없다는 것이죠.
그는 단순히 오픈AI(OpenAI)보다 더 큰 모델을 만드는 것이 아니라, 일반화가 작동하는 방식에 대한 다른 그림을 그리고 있습니다. 그리고 이와 관련하여 AGI(인공일반지능)에 대한 정의도 새롭게 내려야 한다고 말합니다. 흔히 AGI를 '인간의 모든 직업을 수행할 수 있는 시스템'이라고 정의하지만, 일리야는 이것이 오해를 불러일으킬 수 있다고 봅니다. 왜냐하면 갓 태어난 인간도 모든 직업을 바로 수행할 수는 없기 때문입니다.
지능은 우리가 보기에 '학습'에 관한 것입니다. 중요한 것은 기술의 정적인 목록이 아니라, 무엇이든 빨리 습득할 수 있는 '일반 학습자(general learner)'입니다.
그가 그리는 초지능(Superintelligence)은 '슈퍼 유능한 15살'과 같습니다. 어떤 직업이든 인간보다 훨씬 빠르고 깊게 배울 수 있는 존재죠. SSI는 이런 학습자를 수없이 많이 복제해서 다양한 역할에 투입하고, 그들이 서로 전문화되고 진화하는 시스템을 만들려고 합니다.
6. 점진적 배포와 멀티 에이전트 생태계
안전을 위한 점진적 배포 (Incremental Deployment)
과거에 일리야는 시스템을 배포하지 않고 안전하게 만드는 것을 선호했지만, 이제는 점진적 배포 쪽으로 생각이 바뀌었습니다. 만들어보지도 않은 초지능 시스템에 대해 이론적으로만 고민하는 것은 한계가 있다는 것을 깨달았기 때문입니다.
우리는 만나보지도 못한 시스템에 대해 추론할 수 없습니다. (...) 점진적으로 더 강력한 시스템을 배포하고 그로부터 배우는 것이 우리가 할 수 있는 가장 안전한 일입니다.
멀티 에이전트와 다양성
마지막으로, 일리야는 현재의 에이전트들이 '죄수의 딜레마' 같은 좁은 전략에만 갇혀 있다고 비판합니다. 그는 에이전트들이 서로 경쟁하고 협상하며 다양하고 창의적인 전략을 만들어낼 수 있는 풍부한 생태계가 필요하다고 봅니다. 이것이야말로 기업들이 가질 수 있는 진짜 경쟁 우위(Moat)가 될 것입니다.
누가 가장 큰 모델을 가지고 있느냐가 아니라, 누가 가장 흥미롭고 풍부한 훈련 생태계와 게임을 가지고 있어서 머신러닝 모델로부터 정말 흥미로운 결과를 이끌어낼 수 있느냐가 중요해질 것입니다.
결론: '연구 감각(Research Taste)'이 모든 것을 결정한다
일리야는 결국 '연구 감각(Research Taste)'이 가장 희소하고 중요한 자산이 될 것이라고 강조합니다. 이는 지능이 어떻게 작동해야 하는지에 대한, 현실에 기반을 둔 높은 차원의 직관을 의미합니다.
인공일반지능에 대해 유용하고 새로운 방식으로 생각하는 법을 결정하고, 새로운 연구 방향을 제시할 수 있는 인간은 말 그대로 값을 매길 수 없습니다(priceless).
현재 AI 시장은 비즈니스적으로는 호황일지 몰라도, 연구 측면에서는 정체기를 맞고 있을 수도 있습니다. 일리야의 경고처럼 스케일링만으로는 진정한 학습과 일반화를 달성하지 못할 수도 있습니다.
지금 필요한 것은 단순히 2027년까지 AGI가 나온다는 식의 날짜 맞추기가 아니라, '어떻게 하면 모델이 인간처럼 효율적으로 학습하고 일반화할 수 있는가'라는 근본적인 질문으로 돌아가는 것입니다. 일리야 수츠케버와 구글, 그리고 다른 연구소들 중 과연 누구의 접근 방식이 옳았는지는 시간이 증명해 줄 것입니다.