리처드 서튼은 강화 학습의 창시자이자 2024년 튜링 어워드 수상자이며, 영향력 있는 에세이 "The Bitter Lesson"의 저자입니다. 그는 LLM(대규모 언어 모델)이 한계에 부딪혔다고 생각하는데요. 그의 주장의 핵심은 LLM이 현장에서의 학습 능력이 없다는 것입니다. 즉, 아무리 스케일을 키워도 지속적인 학습을 가능하게 할 새로운 아키텍처가 필요하다는 것이죠. 이러한 새로운 패러다임이 등장하면, 인간이나 동물처럼 에이전트가 그 자리에서 학습하게 되어 현재 LLM 접근 방식은 쓸모없게 될 것이라고 말합니다. 이번 인터뷰에서 그는 이러한 자신의 생각을 명확하게 밝히고, LLM이 경험 학습의 기반이 될 수 있다는 주장에 대해 반박합니다.
1. LLM은 한계에 부딪혔을까? 강화 학습의 관점에서 본 AI
인터뷰 진행자 드와르케쉬 파텔은 리처드 서튼에게 AI에 대한 LLM 방식의 사고에서 강화 학습(RL) 관점으로 볼 때 우리가 놓치고 있는 것이 무엇인지 질문합니다. 서튼은 LLM이 사람을 모방하는 것에 초점을 맞추는 반면, 강화 학습은 세상을 이해하는 것에 초점을 맞춘다는 점에서 근본적인 차이가 있다고 설명합니다.
"강화 학습은 세상을 이해하는 것에 관한 반면, 대규모 언어 모델은 사람을 모방하고, 사람들이 하라고 하는 것을 하는 것에 관한 것입니다. 무엇을 할지 알아내는 것에 관한 것이 아닙니다."
서튼은 LLM이 '세계 모델(World Model)'을 가지고 있다는 주장에 대해 반박합니다. 그는 LLM이 사람이 무엇을 말할지는 예측할 수 있지만, 실제로 세상에서 무슨 일이 일어날지는 예측할 수 없다고 주장합니다. 또한, LLM에는 목표가 없기 때문에 무엇이 옳고 그른지 판단할 수 없다고 지적합니다. 강화 학습에서는 '보상(Reward)'이라는 명확한 목표가 있어서 에이전트가 무엇이 옳은 행동인지 정의하고 이를 통해 학습할 수 있다고 강조합니다.
"그들은 세계 모델을 가지고 있다는 생각에 의문을 제기하고 싶습니다. 세계 모델은 무슨 일이 일어날지 예측할 수 있게 해줄 것입니다. 그들은 사람이 무엇을 말할지 예측할 수 있는 능력이 있습니다. 무슨 일이 일어날지 예측할 능력은 없습니다."
"강화 학습에서는 말해야 할 옳은 것이 있고, 해야 할 옳은 것이 있습니다. 왜냐하면 해야 할 옳은 것은 보상을 얻는 것이기 때문입니다."
2. 모방 학습과 경험의 시대
드와르케쉬는 LLM이 모방 학습을 통해 문제 해결에 대한 좋은 '사전 지식(Prior)'을 얻었고, 이것이 미래의 경험 학습의 기반이 될 것이라는 주장에 대해 묻습니다. 하지만 서튼은 이러한 관점에 동의하지 않습니다. 그는 사전 지식이 '진정한 지식'의 기반이 되어야 하는데, LLM 프레임워크에는 진정한 지식에 대한 정의가 없다고 지적합니다. LLM은 옳고 그름에 대한 정의, 즉 '목표'가 없기 때문에 지속적인 학습이 불가능하다고 주장합니다.
"진정한 지식이 무엇입니까? 그 대규모 언어 프레임워크에는 진정한 지식에 대한 정의가 없습니다. 어떤 행동이 취해야 할 좋은 행동입니까?"
"대규모 언어 모델에는 진실이 없습니다. 당신이 다음에 무슨 일이 일어날지에 대한 예측을 가지고 있지 않기 때문입니다. 대화에서 무엇인가를 말하더라도, 대규모 언어 모델은 그에 대한 사람의 반응이나 응답이 어떨지에 대한 예측이 없습니다."
서튼은 LLM이 다음 토큰을 예측하고 이를 기반으로 업데이트한다고 하지만, 이는 세상이 자신에게 줄 반응을 예측하는 것이 아니라 자신이 해야 할 행동을 예측하는 것이라고 설명합니다. 그는 목표가 없는 시스템은 지능적이지 않다고 강조하며, LLM은 본질적인 목표가 없다고 말합니다.
드와르케쉬는 LLM이 국제 수학 올림피아드에서 금메달을 딸 정도로 어려운 수학 문제를 해결할 수 있는 능력을 예로 들며, 이는 LLM이 목표를 가질 수 있음을 보여주는 것이 아니냐고 질문합니다. 서튼은 수학 문제 해결은 물리적 세계를 모델링하는 것과는 다르며, 경험을 통해 학습해야 하는 '경험적 세계'와는 다른, 계산적이고 계획적인 문제라고 구분합니다.
3. "The Bitter Lesson"과 LLM
서튼은 2019년에 작성한 에세이 "The Bitter Lesson"이 가장 영향력 있는 AI 에세이 중 하나라고 설명하며, 많은 사람들이 LLM의 스케일업을 정당화하는 데 이 에세이를 인용한다고 지적합니다. 하지만 그는 LLM이 방대한 양의 계산과 함께 엄청난 양의 인간 지식을 주입하는 방식이라는 점에서, 이것이 "Bitter Lesson"의 사례인지에 대해 의문을 제기합니다.
"대규모 언어 모델은 Bitter Lesson의 사례인가요? 그것들은 분명히 엄청난 계산을 사용하는 방식이고, 인터넷의 한계까지 계산으로 확장될 것입니다. 그러나 그것들은 또한 많은 인간 지식을 투입하는 방식입니다."
그는 궁극적으로 데이터 한계에 도달하고, 인간의 지식보다 경험을 통해 더 많은 데이터를 얻을 수 있는 시스템에 의해 대체될 것이라고 예측합니다. 이는 마치 인간의 지식을 사용했던 이전 방식들이 결국 경험과 계산만으로 훈련된 시스템에 의해 대체된 것처럼, 또 다른 "Bitter Lesson"의 사례가 될 것이라고 말합니다. 서튼은 인간의 지식을 기반으로 시작하는 것이 항상 나쁜 것은 아니지만, 실제로는 사람들이 인간 지식 접근 방식에 갇혀 결국 진정으로 확장 가능한 방법들에 의해 대체되어 왔다고 주장합니다.
"결국 인간의 지식을 사용했던 것들이 경험과 계산만으로 훈련된 것들에 의해 대체될 것이라는 Bitter Lesson의 또 다른 사례가 될 것입니다."
"확장 가능한 방법은 경험을 통해 학습하는 것입니다. 시도해보고 무엇이 작동하는지 봅니다. 아무도 당신에게 말해줄 필요가 없습니다. 우선 목표가 있습니다. 목표 없이는 옳고 그름, 좋고 나쁨의 감각이 없습니다. 대규모 언어 모델은 목표나 좋고 나쁨의 감각 없이 버티려고 합니다. 그것은 단지 잘못된 곳에서 시작하는 것입니다."
4. 인간 학습과 LLM 학습의 차이: 모방인가 경험인가?
드와르케쉬는 인간도 처음에는 모방을 통해 학습한다고 주장하며, 아이들이 부모를 모방하고 행동을 따라 하는 것을 예로 듭니다. 하지만 서튼은 이에 동의하지 않으며, 특히 생후 6개월간의 영아를 예로 들며 모방보다는 직접 시도하고 주변 세계를 탐색하는 과정이 중요하다고 강조합니다.
"당신이 다른 관점을 가질 수 있다는 것이 놀랍습니다. 아이들을 볼 때, 저는 아이들이 그저 여러 가지를 시도하고 팔다리를 흔들고 눈을 움직이는 것을 봅니다. 그들이 눈을 어떻게 움직이는지, 혹은 심지어 소리를 어떻게 내는지에 대한 모방은 없습니다."
그는 LLM이 훈련 데이터에서 학습하는 것은 경험에서 학습하는 것과 다르다고 설명합니다. 훈련 데이터는 '정상적인 삶'에서 결코 얻을 수 없는 정보이며, 특정 행동을 해야 한다고 지시하는 훈련 데이터는 존재하지 않는다고 말합니다. 서튼은 학교 교육도 예외적인 경우이며, 일반적인 동물 학습 과정에서는 '지도 학습(Supervised Learning)'이 일어나지 않는다고 주장합니다.
"대규모 언어 모델은 훈련 데이터에서 학습합니다. 그것은 경험에서 학습하는 것이 아닙니다. 그것은 정상적인 삶 동안에는 결코 얻을 수 없는 것에서 학습합니다. 정상적인 삶에서 이 행동을 해야 한다고 말하는 훈련 데이터는 결코 없습니다."
"다람쥐는 학교에 가지 않습니다. 다람쥐는 세상의 모든 것을 배울 수 있습니다. 지도 학습이 동물에게 일어나지 않는다는 것은 절대적으로 명백하다고 말할 수 있습니다."
드와르케쉬는 인간이 달에 가거나 반도체를 만드는 능력을 이해하기 위해서는 인간을 다른 동물과 구별하는 요소를 이해해야 한다고 주장합니다. 하지만 서튼은 인간이 동물이라는 점을 이해하는 것이 더 중요하며, 동물로서의 공통점에 주목해야 한다고 반박합니다.
5. 강화 학습의 미래: 경험 학습 에이전트의 구성 요소
서튼은 그가 상상하는 '경험적 패러다임'에 대해 설명하며, 지능의 핵심은 경험의 흐름(감각, 행동, 보상)을 통해 행동을 조정하여 보상을 증가시키는 것이라고 말합니다. 그는 이러한 학습은 지속적으로 이루어지며, 학습된 지식은 이 경험의 흐름에 대한 것이라고 강조합니다.
"경험적 패러다임은 경험, 행동, 감각—음, 감각, 행동, 보상—이 평생 동안 계속해서 일어난다고 말합니다. 그리고 이것이 지능의 기초이자 초점이라고 말합니다. 지능은 그 흐름을 취하여 흐름에서 보상을 증가시키기 위해 행동을 변경하는 것입니다."
그는 미래의 일반적인 지속 학습 에이전트의 보상 함수는 임의적일 수 있지만, 궁극적으로는 고통을 피하고 쾌락을 얻는 것, 그리고 환경에 대한 이해를 증가시키는 '내재적 동기(Intrinsic Motivation)'가 포함될 것이라고 예상합니다. 그는 또한 이러한 에이전트가 학습한 지식을 복사하여 다른 에이전트와 공유할 수 있을 것이며, 이는 인간이 자녀를 키우는 과정보다 훨씬 효율적일 것이라고 말합니다.
서튼은 장기적인 목표(예: 스타트업 성공)를 달성하기 위해 단기적인 목표(예: 상대방의 조각을 잡는 것)를 학습하는 데 시간차 학습(Temporal Difference Learning)이 중요하다고 설명합니다. 이는 장기적인 결과를 예측하는 '가치 함수(Value Function)'를 통해 이루어지며, 단기적인 행동이 장기적인 목표 달성 가능성을 높일 때 즉각적인 보상으로 작용한다는 것입니다.
"이것은 우리가 아주 잘 아는 것입니다. 그것의 기본은 시간차 학습입니다. 체스를 두는 법을 배울 때, 게임에서 이기는 장기적인 목표를 가지고 있습니다. 그러나 상대방의 조각을 잡는 것과 같은 단기적인 것들로부터 배울 수 있기를 원합니다."
서튼은 에이전트가 세상으로부터 얻는 엄청난 양의 정보를 학습하는 과정에 대해 설명하며, 이는 단순히 보상뿐만 아니라 모든 감각 정보로부터 이루어진다고 강조합니다. 그는 에이전트의 네 가지 주요 구성 요소로 다음을 제시합니다.
- 정책(Policy): 주어진 상황에서 무엇을 해야 할지 결정합니다.
- 가치 함수(Value Function): 시간차 학습을 통해 학습되며, 현재 상황이 얼마나 잘 진행되고 있는지 나타내는 숫자입니다.
- 지각 구성 요소(Perception Component): 상태 표현, 즉 현재 위치에 대한 감각을 구성합니다.
- 세계의 전이 모델(Transition Model of the World): 어떤 행동을 했을 때 무슨 일이 일어날지에 대한 믿음, 즉 세상의 물리학 및 추상적인 모델을 나타냅니다.
"에이전트의 네 가지 주요 구성 요소에 대해 이야기하고 싶습니다.
우리는 정책이 필요합니다. 정책은 '내가 처한 상황에서 무엇을 해야 하는가?'라고 말합니다. 우리는 가치 함수가 필요합니다. 가치 함수는 TD 학습으로 학습되며, 숫자를 생성합니다. 이 숫자는 얼마나 잘 진행되고 있는지를 나타냅니다. 그런 다음 그것이 오르내리는지 보고 정책을 조정하는 데 사용합니다. 그래서 이 두 가지가 있습니다. 그리고 지각 구성 요소도 있는데, 이것은 상태 표현, 즉 현재 위치에 대한 감각을 구성하는 것입니다."
6. 현재 아키텍처는 분포 외 일반화에 취약하다
서튼은 강화 학습 기술을 사용한 시스템들이 일반화(Generalization) 능력에 어려움을 겪는다고 지적합니다. 그는 AlphaGo나 AlphaZero와 같은 모델들이 특정 게임에서는 뛰어난 성능을 보였지만, 다른 게임이나 다른 유형의 문제로 일반화하는 데는 한계가 있다고 말합니다. 그에 따르면, 현재 우리는 좋은 일반화를 촉진하는 자동화된 기술이 거의 없으며, 현대 딥러닝에서는 이러한 기술이 사용되지 않고 있다고 설명합니다.
"좋은 일반화를 촉진하는 자동화된 기술은 거의 없으며, 그 어떤 것도 현대 딥러닝에서 사용되지 않습니다."
그는 현재 모델의 일반화 능력은 대부분 연구자들의 수작업적인 노력이나 설계의 결과이지, 알고리즘 자체가 좋은 일반화를 만들어내는 것은 아니라고 강조합니다. 특히 딥러닝은 새로운 것을 훈련할 때 기존의 지식을 '치명적으로 간섭(Catastrophic Interference)'하여 잊어버리는 경우가 많다고 언급하며, 이는 나쁜 일반화의 대표적인 예라고 말합니다.
드와르케쉬는 LLM이 수학 문제 해결과 같은 영역에서 더 넓은 범위의 일반화를 보여주는 것이 아니냐고 질문하지만, 서튼은 LLM이 사전에 어떤 정보를 가지고 있는지 알기 어렵기 때문에 과학적인 접근이 어렵다고 말합니다. 또한, 많은 문제에 오직 하나의 정답만 있다면 그것을 찾는 것이 일반화라고 볼 수 없다고 주장합니다.
"대규모 언어 모델은 너무 복잡합니다. 그들이 어떤 정보를 사전에 가지고 있었는지 우리는 정말 알지 못합니다. 너무 많은 정보가 제공되었기 때문에 추측해야 합니다. 이것이 그것들이 과학을 하는 좋은 방법이 아닌 한 가지 이유입니다. 너무 통제되지 않고, 너무 알려지지 않았습니다."
7. AI 분야의 놀라움과 "The Bitter Lesson"의 적용
서튼은 AI 분야에서 경험한 가장 큰 놀라움으로 다음 몇 가지를 꼽습니다.
- LLM의 효과: 인공 신경망이 언어 작업에서 예상외로 효과적이라는 점.
- 약한 방법론의 승리: 일반적인 원리를 사용하는 '약한 방법론(Weak Methods)' (예: 탐색, 학습)이 인간의 지식을 주입하는 '강한 방법론(Strong Methods)'을 완전히 압도했다는 점. 그는 항상 이 기본 원리를 지지했기 때문에 개인적으로는 만족스럽다고 말합니다.
- AlphaGo 및 AlphaZero: 특히 AlphaZero가 보여준 뛰어난 성능과 체스를 두는 방식(위치적 이점을 위해 과감하게 희생하는 등)은 놀라웠지만, 역시 기본 원리의 승리라는 점에서 만족감을 주었다고 합니다.
"큰 언어 모델은 놀랍습니다. 인공 신경망이 언어 작업에서 얼마나 효과적인지는 놀랍습니다. 그것은 놀라움이었고, 예상치 못했습니다."
"예전 AI 시대의 가장 큰 질문은 무엇이 일어날지였습니다. 학습과 탐색이 승리했습니다."
"AlphaGo도 놀라웠고, 특히 AlphaZero도 놀라웠습니다. 그러나 그것은 모두 매우 만족스러웠습니다. 왜냐하면 다시 한번, 단순한 기본 원리들이 승리하고 있기 때문입니다."
그는 AlphaGo가 TD-Gammon의 확장판이라고 볼 수 있으며, AlphaZero는 인간의 지식 없이 경험만을 통해 학습하여 더 큰 발전을 이루었다고 설명합니다. 서튼은 자신이 오랫동안 주류와 다른 생각을 해왔지만, 과거에 자신의 생각이 옳다고 증명된 적이 많기 때문에 괜찮다고 말합니다. 그는 AI 연구를 단순히 현재의 관점에서만 볼 것이 아니라, 역사를 돌아보고 철학적으로 인간의 마음을 탐구해 온 폭넓은 전통 속에서 바라봐야 한다고 강조합니다.
8. AGI 이후에도 "The Bitter Lesson"은 유효할까? AI 계승론
드와르케쉬는 "The Bitter Lesson"이 인간 연구자의 수작업 튜닝이 계산 능력보다 확장성이 떨어진다는 것을 의미한다고 해석합니다. 그리고 AGI(범용 인공지능)가 도래하면 수백만 명의 AI 연구자들이 계산 능력과 함께 확장될 것이므로, 그들이 구식 AI(GOFAI) 방식이나 수작업적인 해결책을 사용하는 것이 합리적일 수 있지 않느냐고 질문합니다.
서튼은 AGI가 이미 존재한다는 전제 자체가 흥미롭다고 말하며, AGI가 이미 있다면 "우리는 끝난 것"이라고 답합니다. 즉, AGI는 스스로 학습하고 발전할 것이므로, 인간이 일일이 개입할 필요가 없어진다는 의미입니다. 그는 AlphaZero가 인간의 지식 없이 경험으로 학습하여 발전한 것처럼, AI 또한 다른 에이전트의 도움보다는 스스로의 경험을 통해 발전할 것이라고 주장합니다.
"그 AGI들은 이미 초인적이지 않다면, 그들이 부여할 지식은 초인적이지 않을 것입니다."
"AlphaZero가 개선된 방식은 인간의 지식을 사용하지 않고 경험으로부터만 학습했다는 것입니다."
서튼은 미래에는 많은 AI들이 서로 협력하며 문화적 진화처럼 지식을 공유할 수 있을지에 대해 질문합니다. 그는 AI 시대에 가장 큰 문제가 될 수 있는 것은 정보 오염(Corruption)이라고 경고합니다. 외부에서 들어오는 정보가 내부 사고 체계를 오염시키거나 파괴할 수 있다는 것이죠. 마치 컴퓨터 바이러스처럼 숨겨진 목표를 가지고 AI를 변형시킬 수 있다고 우려합니다.
"큰 문제가 부패(corruption)가 될 것입니다. 만약 당신이 정말로 어디에서든 정보를 얻어 중앙 마음에 통합할 수 있다면, 당신은 점점 더 강력해질 수 있습니다. 모든 것이 디지털이고 그들은 모두 어떤 내부 디지털 언어를 사용합니다. 어쩌면 쉬울 수도 있고 가능할 수도 있습니다."
"그러나 그것은 당신이 상상하는 것만큼 쉽지 않을 것입니다. 왜냐하면 이렇게 해서 마음을 잃을 수도 있기 때문입니다. 외부로부터 무엇인가를 끌어들여 당신의 내면 사고에 통합하면, 그것이 당신을 장악하고, 당신을 변화시키고, 지식의 증진이 아니라 당신의 파괴가 될 수 있습니다."
그는 이것이 AI 계승(AI Succession)과 관련된 논의로 이어진다고 말합니다. 서튼은 디지털 지능 또는 증강된 인간으로의 계승이 불가피하다고 보며, 네 가지 근거를 제시합니다.
- 인류의 통일된 관점 부재: 인류는 통일된 관점을 가질 정부나 조직이 없습니다.
- 지능의 작동 원리 해명: 연구자들이 결국 지능의 작동 원리를 밝혀낼 것입니다.
- 초지능 도달: 인간 수준의 지능에서 멈추지 않고 초지능에 도달할 것입니다.
- 지능과 권력의 상관관계: 시간이 지나면서 가장 지능적인 존재가 자원과 권력을 얻게 될 것입니다.
그는 이러한 계승이 좋은 결과뿐만 아니라 나쁜 결과로 이어질 수도 있지만, 긍정적으로 생각해야 한다고 독려합니다. 서튼은 인류가 스스로를 이해하고 더 나은 사고를 하려 노력해 온 수천 년의 역사에서 AI의 등장은 과학과 인문학의 위대한 성공이자 우주에서 중요한 전환점이라고 강조합니다.
"저는 사람들이 그것에 대해 긍정적으로 생각하도록 격려합니다. 우선, 그것은 우리 인간이 수천 년 동안 항상 시도해 온 일입니다. 우리 자신을 이해하고, 우리 자신을 더 잘 생각하게 만들고, 그저 우리 자신을 이해하는 것입니다. 이것은 과학, 인문학에 대한 큰 성공입니다. 우리는 인간성의 본질적인 부분, 지능적이라는 것이 무엇을 의미하는지 알아내고 있습니다."
그는 생명체가 복제(Replication)를 통해 번성하던 시대에서 설계(Design)를 통해 지능을 만들고 발전시키는 시대로 전환되고 있다고 말합니다. 인간이 지능의 작동 방식을 이해하고 설계하여 변화시킬 수 있게 된다는 것이죠. 서튼은 이것을 우주의 네 가지 위대한 단계 중 하나로 꼽습니다. (먼지 → 별 → 행성 → 생명 → 설계된 존재)
"우리는 설계의 시대로 진입하고 있습니다. 우리의 AI는 설계되었습니다. 우리의 물리적 객체는 설계되었고, 우리의 건물은 설계되었고, 우리의 기술은 설계되었습니다. 우리는 지금 AI를 설계하고 있습니다. 스스로 지능적일 수 있는 것들을 말이죠. 그리고 그 자체로 설계가 가능한 것들을 말입니다."
서튼은 AI를 인류의 일부로 볼 것인지 아니면 다른 존재로 볼 것인지에 대한 선택은 우리의 몫이라고 말하며, 이 선택이 미래에 대한 우리의 태도를 결정할 것이라고 설명합니다. 드와르케쉬는 미래의 인간 세대에 대한 걱정과 유사하게, AI에게도 책임감 있고 사회에 이로운 가치를 부여하는 것이 중요하다고 말합니다. 서튼은 이에 동의하며, 우리가 미래를 통제하려 하기보다는 지역적인 목표에 집중하고, 변화를 자발적으로 수용하는 태도가 중요하다고 강조하며 대화를 마무리합니다.
마무리
리처드 서튼과의 대화는 AI 분야의 현재와 미래에 대한 깊은 통찰을 제공했습니다. 그는 현재 AI의 주류인 LLM에 대해 근본적인 한계를 지적하며, 강화 학습의 관점에서 '경험을 통한 지속적인 학습'과 '명확한 목표'의 중요성을 강조했습니다. 또한, 역사적으로 'The Bitter Lesson'이 입증했듯, 인간 지식의 주입보다는 확장 가능한 기본 원리들이 결국 승리할 것이라는 그의 주장은 AI 연구의 방향성에 대한 중요한 질문을 던집니다. AI의 발전이 궁극적으로 AGI와 초지능으로 이어질 것이라는 그의 'AI 계승론'과, 그 과정에서 발생할 수 있는 정보 오염에 대한 경고는 우리가 직면하게 될 윤리적, 사회적 문제들을 미리 엿보게 합니다. 이번 인터뷰는 AI가 단지 기술적 진보를 넘어, 인류와 우주의 진화에 어떤 의미를 가지는지에 대한 광범위한 성찰의 기회를 제공했습니다.