데미스 허사비스: 언제쯤 LLM에서도 '37번째 수' 같은 것을 보게 될까?

1. 서론: 창의성에 대한 대화의 시작 🎨

영상은 창의성에 대한 이야기로 시작합니다.
진행자는 "모델들이 창의적이어야 하고, 뭔가를 발명하는 법을 배워야 한다"고 강조하며, AGI(범용 인공지능)의 핵심 조건으로 창의성을 꼽습니다.

"모델들이 창의적이어야 하고, 뭔가를 발명하는 법을 배워야 한다고 생각해요. 그게 바로 AGI의 조건이죠."

2. 알파고와 '37번째 수'의 의미 ♟️

허사비스는 알파고(AlphaGo) 다큐멘터리를 다시 봤다는 이야기를 꺼내며,
알고리즘이 창의적인 수를 두었던 순간, 즉 '37번째 수'를 언급합니다.

"알고리즘이 창의적인 수를 뒀죠. 바로 37번째 수입니다."

이 장면은 AI가 인간이 상상하지 못한 새로운 전략을 만들어낸 역사적 순간이었음을 강조합니다.

"그게 정말 흥미로운데, 몇 년 전 이미 알고리즘이 창의적이었어요."

3. LLM(대형 언어 모델)에서의 창의성 부재 🤖

진행자는 LLM(대형 언어 모델)에서는 아직 이런 창의성을 보지 못했다고 지적합니다.

"이 도구들이 정말 인상적이긴 한데, 결국 훈련 데이터에만 한정되어 있다는 게 가장 큰 실망이에요. 알고 있는 것들을 조합할 수는 있지만, 완전히 새로운 걸 만들어내진 못하죠."

허사비스는 알파고의 창의성이 왜 특별했는지, 그리고 LLM이 왜 아직 그 수준에 도달하지 못했는지 설명합니다.

4. 창의성의 세 가지 단계 🧠

허사비스는 창의성을 세 단계로 나눠 설명합니다.

1) 보통의 창의성: 보간(Interpolation)

이미 본 것들의 평균을 내는 수준.
예: "고양이 사진을 많이 본 모델에게 새로운 고양이 사진을 만들어보라고 하면, 본 것들의 평균적인 이미지를 만들어냄."
진짜 창의성이라고 보긴 어렵고, 가장 낮은 단계.

"이론적으로는 새로운 고양이지만, 실제로는 그냥 본 것들의 평균일 뿐이죠. 그건 별로 창의적이지 않아요."

2) 알파고의 창의성: 외삽(Extrapolation)

인간이 해본 적 없는 새로운 전략을 만들어냄.
'37번째 수'가 대표적.
수천 년 동안 인간이 두었던 바둑을 완전히 새롭게 바꾼 수.

"알파고가 보여준 건 외삽이었어요. 인간이 한 번도 해본 적 없는 새로운 전략을 만들어낸 거죠. 그게 바로 37번째 수입니다."

과학 발전에도 매우 유용할 수 있는 능력.

3) 인간의 창의성: 발명(Invention)

완전히 새로운 게임이나 개념을 만들어내는 능력.
예: "5분 만에 규칙을 배울 수 있지만, 평생을 바쳐도 마스터하기 어려운, 아름답고 우아한 게임을 만들어내는 것."

"만약 시스템에게 '고(바둑)처럼 아름답고, 5분 만에 규칙을 배울 수 있지만, 평생을 바쳐도 마스터하기 어려운 게임을 만들어봐'라고 한다면, 지금의 AI는 그걸 할 수 없어요."

목표 함수(Objective function)가 너무 추상적이고 모호해서, 현재 AI에게는 불가능.

5. 왜 LLM에서는 '37번째 수'가 안 나오는가? 🤔

허사비스는 LLM이 왜 알파고처럼 창의적인 결과를 못 내는지를 설명합니다.

"사람들이 실망하는 이유는, 오늘날의 LLM에서는 '37번째 수' 같은 걸 볼 수 없기 때문이죠."

알파고와 LLM의 구조적 차이

알파고는 '모델'과 '서치(search, 탐색)' 두 부분으로 구성.
모델만으로는 마스터~그랜드마스터 수준의 플레이는 가능하지만, 세계 챔피언이나 혁신적인 수는 불가능.
탐색(search)이 있어야 모델이 아는 것 이상의 새로운 영역을 탐험할 수 있음.

"알파고나 알파제로에서 탐색(search) 없이 모델만 돌리면, 그저 패턴 매칭에 기반한 가장 그럴듯한 수를 둘 뿐이에요. 그럼 마스터나 그랜드마스터 수준은 되지만, 세계 챔피언은 못 되고, '37번째 수' 같은 혁신적인 수는 못 둡니다."

탐색(search)이 바로 모델이 아는 것(훈련 데이터) 바깥의 새로운 지식의 나무(tree of knowledge)를 탐험하게 해줌.

"탐색(search) 덕분에 모델이 아는 것 이상의 새로운 지식의 나무로 나아갈 수 있고, 그게 바로 '37번째 수' 같은 새로운 아이디어가 나오는 이유죠."

LLM에는 탐색이 없다

현재의 LLM은 탐색(search)이 없어서, 훈련 데이터의 조합을 넘어서지 못함.
진짜 창의성을 위해서는, LLM도 탐색이나 에이전트 기반 시스템이 필요함.

"언어 모델에서는, 세계 모델에서 새로운 부분이나 구성을 탐색해야 하는데, 그게 훨씬 더 복잡해서 아직 못 보고 있는 거죠."

6. 미래 전망: 에이전트 기반 시스템의 가능성 🚀

허사비스는 에이전트 기반 시스템(agent-based systems)이 등장하면,
LLM에서도 '37번째 수' 같은 창의적인 결과가 나올 수 있을 것이라고 전망합니다.

"곧 등장할 에이전트 기반 시스템들은 '37번째 수' 같은 걸 할 수 있을 거라고 생각해요."

7. 마무리: AI에게 너무 높은 기대를 하는 걸까? 🤷‍♂️

마지막으로, 진행자는 AI에게 너무 높은 기대를 하는 건 아닌지 질문을 던지며 영상을 마무리합니다.

핵심 키워드 요약

창의성(Creativity)
보간(Interpolation)
외삽(Extrapolation)
발명(Invention)
알파고(AlphaGo)
37번째 수(Move 37)
탐색(Search)
에이전트 기반 시스템(Agent-based systems)
LLM(대형 언어 모델)
목표 함수(Objective function)
훈련 데이터(Training set)

인상 깊은 인용구 모음