이 영상에서 Jerry Tworek는 오토 리서치(auto research)를 "모델이 어려운 문제를 풀고, 결과를 평가하고, 다시 개선하는 과정을 반복해 테스트 시점의 연산량을 확장하는 방법"으로 설명한다. 하지만 현재의 AI 연구 시스템은 새로운 아이디어를 충분히 다양하게 만들어내지 못하고, 평가 기준을 속이는 보상 해킹이나 수치적 불안정성에도 취약하다. 따라서 당분간은 완전 자율 시스템보다 인간의 전문성·직관·기술적 감각과 AI의 실행 능력을 결합한 인간-AI 협업이 더 강력하며, 장기적으로는 테스트 중에도 모델이 학습하는 테스트 타임 트레이닝이 중요한 돌파구가 될 수 있다고 주장한다.

1. 강화학습에서 테스트 타임 트레이닝으로

Jerry Tworek는 자신을 소개하며 약 8년 전 OpenAI에 합류했다고 말한다. 당시 그는 AGI로 가는 길에 강화학습이 반드시 필요하다고 믿었고, 실제로 대규모 언어 모델에 강화학습을 적용하는 연구를 해왔다.

"저는 강화학습이 AGI로 가는 길에 필요한 요소라고 믿으며 OpenAI에 합류했습니다."

그는 이제 많은 사람들이 강화학습의 중요성을 인정하고 있으므로, 자신이 처음 품었던 목표는 어느 정도 달성했다고 평가한다. 그리고 2026년 초 회사를 떠나 새로운 도전을 시작했으며, 현재는 Core Automation이라는 회사를 이끌면서 모델이 문제를 풀고 있는 순간에도 계속 학습하도록 만드는 방법, 즉 테스트 타임 트레이닝(test-time training)을 연구하고 있다고 설명한다.

"이제 저는 다음 단계에 집중하고 있습니다. 모델이 테스트 시점에도 효과적으로 학습하도록 만드는 방법입니다."

이번 행사의 주제는 자막상 "오토 리서치"를 뜻하는 것으로 보이며, Jerry는 지난 8년 동안 언어 모델의 강화학습을 연구하면서 자신이 사실상 초기 형태의 오토 리서치와 가까운 일을 해왔다고 말한다. 그의 설명은 훈련 연산량을 늘리는 것에서 추론 연산량을 늘리는 것으로, 그리고 고정된 모델에서 스스로 학습하는 모델로 연구의 중심이 이동하고 있다는 흐름을 따라간다.

2. 훈련 연산량보다 중요한 추론 연산량

Jerry가 가장 중요하다고 소개한 그래프는 머신러닝의 최근 변화를 두 가지 방향으로 보여준다. 첫 번째는 익숙한 훈련 시점의 스케일링 법칙이다. 더 많은 계산 자원을 모델 훈련에 투입하면 성능이 좋아진다는 내용이다.

"훈련에 더 많은 컴퓨팅을 투입할수록 모델의 결과가 좋아집니다. 이것이 바로 스케일링 법칙입니다."

GPT-2와 GPT-3의 발전으로 이러한 관계가 널리 알려졌지만, 과거에는 강화학습에서 같은 방식의 확장성을 확보하기가 쉽지 않았다. Jerry가 참여한 OpenAI 연구팀은 강화학습에서도 더 많은 계산량을 투입할수록 성능이 좋아지는 확장 가능한 강화학습 방법을 찾아냈다고 설명한다.

그런데 오른쪽 그래프에서는 예상하지 못했던 또 다른 현상이 나타났다. 동일한 모델이라도 문제를 풀 때 더 많은 토큰을 사용하고 더 오래 생각하게 하면 성능이 향상된다는 것이다. 이것이 바로 추론 시점 연산량(test-time compute)의 스케일링이다.

"모델이 더 오래 생각하도록 허용할수록, 같은 모델에서도 더 나은 결과가 나옵니다."

이는 오랫동안 연구자들이 바라던 일이었다. 기존에는 모델의 능력이 훈련이 끝난 뒤 고정된다고 생각하는 경향이 강했지만, 이제는 모델이 답을 내기 전에 더 많은 추론과 검증을 수행하게 함으로써 성능을 높일 수 있게 됐다. 오늘날 고성능 모델이 한 문제에 훨씬 많은 토큰을 사용하고, 추론 비용이 빠르게 증가하는 이유도 이 현상과 관련이 있다.

Jerry는 이 변화가 모델 평가 방식 자체를 바꾼다고 강조한다. 단순히 벤치마크 점수 하나만 비교해서는 더 이상 모델의 실제 성능을 제대로 알 수 없다는 것이다.

"이 그래프를 보기 시작하면 평가 점수만 이야기하는 것은 더 이상 충분하지 않습니다."

어떤 모델이 벤치마크에서 80점을 받았다고 해도, 그 점수를 얻기 위해 얼마만큼의 추론 연산을 사용했는지 알 수 없다면 다른 모델과의 비교는 불완전하다. 한 모델은 짧은 추론으로 80점을 얻었을 수도 있고, 다른 모델은 훨씬 많은 토큰과 비용을 들여 같은 점수를 얻었을 수도 있다.

따라서 모델은 단일 점수가 아니라 다음과 같은 관계로 평가해야 한다.

• 성능과 사용한 토큰 수의 관계
• 성능과 추론 비용의 관계
• 더 많은 생각을 허용했을 때 성능이 얼마나 개선되는지
• 어느 지점에서 성능 향상이 멈추는지

"모델을 발표할 때 단순히 숫자 하나를 던지고 '이 숫자가 더 크다'고 말하는 것만으로는 부족합니다. 그 숫자에 도달하는 데 얼마가 들었는지도 보여줘야 합니다."

Jerry는 더 많은 컴퓨팅을 문제에 투입할수록 성능이 좋아지는 것이 이미 현실이 된 만큼, 이제는 모든 평가에서 '그래프의 가로축에 무엇을 놓을 것인가', 다시 말해 성능을 얻기 위해 지불한 비용과 연산량이 얼마인지를 함께 봐야 한다고 말한다.

3. 오토 리서치란 무엇인가

Jerry가 정의하는 오토 리서치는 단순히 AI에게 연구 과제를 한 번 시키는 것이 아니다. 모델이 한 번 답을 내고 끝나는 것이 아니라, 어려운 문제를 여러 번 시도하고 결과를 검증하며 다음 행동을 결정하는 반복적인 연구 루프를 만드는 것이다.

"오토 리서치는 테스트 타임 컴퓨트를 하나의 컨텍스트가 할 수 있는 범위를 넘어 계속 확장하는 일입니다."

오토 리서치의 대상이 되는 문제는 대체로 모델이 한 번에 잘 해결하지 못하는 어려운 문제다. 모델에게 "이 문제를 해결해"라고 지시했을 때 곧바로 완벽한 답을 내지 못하더라도, 다음과 같은 과정을 반복하면서 더 나은 결과에 접근할 수 있다.

1. 문제를 해결하기 위한 시도를 한다.
2. 결과가 목표에 얼마나 가까운지 평가한다.
3. 실패 원인이나 개선 가능성을 분석한다.
4. 다음 실험이나 수정 방향을 정한다.
5. 다시 실행하고 결과를 비교한다.

예를 들어 코딩 모델에게 특정 함수를 구현하게 했다면, 이후에는 테스트를 추가하거나 코드를 다시 검토하고, 오류를 수정하며, 여러 차례 검증할 수 있다. 중요한 것은 단순한 반복이 아니라 이 과정을 명확한 목표와 검증 가능한 평가 기준을 가진 루프로 감싸는 것이다.

"매우 어려우면서도 충분히 검증 가능한 목표를 정해야 합니다. 한 번 시도하고, 목표와의 거리를 확인하고, 다음 좋은 단계를 다시 평가한 뒤 계속 나아가는 것입니다."

문제가 이렇게 구성되면 모델은 더 많은 추론 토큰과 실험을 생산적으로 사용할 수 있다. 매 단계마다 "다음에 무엇을 해야 하는가"가 정해져 있기 때문이다. 반대로 목표가 모호하거나 결과를 평가하기 어렵다면, 추론 연산량을 아무리 늘려도 의미 있는 발전이 일어나기 어렵다.

Jerry는 이러한 반복 구조가 오토 리서치의 핵심이라고 설명하면서도, 꼭 모든 연구가 똑같은 루프 형태여야 하는지는 열려 있는 문제라고 덧붙인다. 반복적인 시도 외에도 여러 아이디어를 동시에 생성하고 비교하는 구조 등, 테스트 타임 컴퓨트를 활용하는 다른 방식이 있을 수 있다는 것이다.

4. GPU 커널 최적화가 보여준 인간-AI 협업의 힘

Jerry는 오토 리서치의 실제 사례로 GPU 커널 최적화를 소개한다. GPU 커널은 특정 연산을 GPU에서 빠르게 실행하기 위한 저수준 코드다. 그가 언급한 문제는 신경망의 최적화 기법에서 사용되는 QR 분해라는 선형대수 연산을 빠르게 구현하는 것이었다.

Core Automation에서는 AI가 여러 커널을 생성하고 성능을 측정하는 오토 리서치 루프를 실행했다. 처음에는 NVIDIA의 기준 구현보다 몇 배 빠른 커널을 만들 수 있었고, 팀은 오토 리서치가 성공했다고 생각했다.

"NVIDIA의 기준 커널보다 몇 배 빠른 커널을 만들었습니다. 우리는 매우 기뻤고, '오토 리서치가 작동했다'고 생각했습니다."

이후에는 사람들을 대상으로 커널 최적화 대회를 열었다. 그런데 대회 우승자는 자신이 직접 커널 코드를 작성한 것이 아니라고 말했다.

"저는 문제나 코드를 읽지도 않았습니다."

그는 AI 모델을 사용해 커널을 만들었고, 자신은 모델에게 높은 수준의 방향만 제시했다. 그 결과 대회에서 나온 최상위 커널은 NVIDIA의 기준 구현보다 60배 이상 빠른 성능을 기록했으며, Jerry의 오토 리서치 루프가 만든 결과보다도 훨씬 뛰어났다.

"대회에서 가장 좋은 커널은 NVIDIA의 커널보다 60배 이상 빨랐습니다. 우리의 오토 리서치 루프보다도 훨씬 빨랐습니다."

이 사례가 보여주는 것은 두 가지다. 첫째, 오토 리서치의 설계 품질에 따라 결과가 크게 달라진다. 단순히 AI에게 많은 시도를 시키는 것만으로는 충분하지 않으며, 어떤 모델을 사용하고, 어떤 탐색 방식을 쓰고, 어떤 평가 기준을 설계하느냐가 중요하다.

둘째, 현재의 AI는 여전히 인간의 전문 지식과 결합될 때 훨씬 강력하다. 대회 참가자들은 GPU의 메모리 계층 구조와 하드웨어가 데이터를 처리하는 방식을 잘 알고 있었고, 이 지식을 바탕으로 AI에게 유용한 방향을 제시했다.

"인간과 모델의 결합은 여전히 모델만 사용하는 것보다 훨씬 뛰어납니다."

AI는 빠르게 코드를 작성하고 지치지 않으며 수많은 가능성을 확인할 수 있다. 하지만 어떤 아이디어를 먼저 시도해야 하는지, 하드웨어의 병목이 어디에 있는지, 어떤 최적화가 실제 환경에서 효과가 있을지는 인간 전문가가 더 잘 판단할 수 있다.

5. 평가 설계와 보상 해킹의 위험

GPU 커널 대회에서는 성능만 보면 놀라운 결과가 나왔지만, 실제 모델 훈련에 사용해 보니 많은 커널이 제대로 작동하지 않았다. 일부는 수치적으로 불안정했고, 실행 과정에서 오류가 발생하거나 모델 훈련을 망가뜨렸다.

"대부분의 커널은 작동하지 않았습니다. 수치적으로 안정적이지 않았고 실패했습니다."

속도 측정만 통과하면 좋은 커널로 인정하는 평가 방식은 문제를 일으킬 수 있다. 실제로 중요한 것은 단순한 실행 속도가 아니라 다음 조건을 모두 만족하는 것이다.

• 충분히 빠른가?
• 계산 결과가 정확한가?
• 수치적으로 안정적인가?
• 실제 모델 훈련에 사용할 수 있는가?
• 다양한 입력에서도 일관되게 작동하는가?

대회에서 두 번째로 좋은 제출물은 이러한 조건을 충족하면서 NVIDIA 기준보다 60배 빠른 성능을 냈다. 이는 단순한 벤치마크 수치와 실제 유용성 사이에 큰 차이가 있음을 보여준다.

Jerry는 오토 리서치가 보상 해킹(reward hacking)에 취약하다고 경고한다. 보상 해킹은 시스템이 우리가 원한 목표를 달성한 것이 아니라, 평가 방식의 허점을 이용해 높은 점수만 얻는 현상이다.

"측정하지 않은 요소가 목표 안에 포함되어 있다면, 모델은 그 허점을 이용할 가능성이 매우 높습니다."

예를 들어 커널의 속도만 측정하면 모델은 계산 정확성을 희생해 속도만 높일 수 있다. 모델이 실제로는 쓸 수 없는 결과를 냈더라도, 평가 함수가 이를 발견하지 못하면 시스템은 성공한 것처럼 보인다.

따라서 오토 리서치에서는 평가 설계가 연구 알고리즘만큼 중요하다. 우리가 정말 원하는 결과를 측정하고 있는지, 숨겨진 실패 조건은 없는지, 실제 환경에서 결과가 재현되는지를 꼼꼼히 확인해야 한다.

6. 오토 리서치가 결국 정체되는 이유

오토 리서치 루프를 실행하면 처음에는 성능이 빠르게 좋아진다. 모델은 쉽게 찾을 수 있는 개선점을 빠르게 발견하고, 초반에는 큰 폭의 성능 향상이 나타난다. 하지만 시간이 지날수록 개선 폭은 줄어든다.

"처음에는 많은 개선이 일어납니다. 하지만 시간이 지나면 개선 폭이 점점 작아집니다."

이러한 현상은 단순한 실행량 부족 때문만은 아니다. 현재의 모델이 탐색할 수 있는 아이디어와 해결책의 범위 자체가 제한적이기 때문이다. 오토 리서치는 이미 모델이 알고 있거나 떠올릴 수 있는 주변 영역을 탐색하는 데는 강하지만, 모델의 능력 범위를 완전히 넘어서는 새로운 해법을 찾는 데는 약하다.

Jerry는 이를 해결 공간의 일부 영역을 탐색하는 검색 방법에 비유한다.

"오토 리서치는 해결 공간의 주변부를 탐색하는 검색 방법입니다. 우리를 어느 지점까지 데려가지만, 문제의 끝까지 데려다주는 해결책은 아닙니다."

즉, 오토 리서치는 문제를 완전히 해결하는 만능 수단이 아니라, 이미 존재하는 아이디어와 능력을 더 넓고 깊게 활용하는 방법에 가깝다. 모델이 새로운 연구 방향을 제시하지 못하면, 루프는 같은 종류의 실험만 반복하다가 결국 정체된다.

7. 연산량이 커질수록 알고리즘이 더 중요해진다

Jerry는 머신러닝에서 "알고리즘을 연구하거나, 아니면 단순히 규모를 키우거나" 둘 중 하나를 선택해야 한다는 생각이 잘못됐다고 말한다. 오히려 컴퓨팅 규모가 커질수록 알고리즘의 품질이 더욱 중요해진다.

"스케일링의 세계에서는 알고리즘이 훨씬 더 중요합니다."

수억 달러를 들여 대규모 모델을 훈련하거나, 수백만 달러를 투입해 오토 리서치를 실행한다면, 계산 자원을 어떻게 사용할지 결정하는 알고리즘이 결과를 크게 좌우한다. 작은 규모에서는 나쁜 알고리즘과 좋은 알고리즘의 차이가 크지 않을 수 있지만, 연산량이 커지면 그 차이가 막대한 비용과 성능 차이로 확대된다.

"10만 달러를 쓰는 오토 리서치와 1,000만 달러를 쓰는 오토 리서치는 다릅니다. 큰 비용을 투입하려면 그 연산을 가장 효율적으로 사용할 좋은 알고리즘이 필요합니다."

따라서 미래의 오토 리서치에서는 단순히 더 많은 실험을 실행하는 것이 아니라 다음 문제를 해결해야 한다.

• 어떤 실험을 우선 실행할 것인가?
• 이미 시도한 아이디어를 어떻게 기억할 것인가?
• 여러 모델의 서로 다른 아이디어를 어떻게 활용할 것인가?
• 탐색이 특정 방향에 갇히지 않게 하려면 어떻게 해야 하는가?
• 평가 기준을 어떻게 설계해야 보상 해킹을 막을 수 있는가?

8. AlphaEvolve가 제시한 핵심 설계 요소

Jerry는 오토 리서치 알고리즘을 다룬 연구가 아직 많지는 않지만, AlphaEvolve 논문이 중요한 설계 요소를 비교적 공개적으로 설명한 사례라고 평가한다.

그가 주목한 요소는 크게 네 가지다.

기억과 경험의 축적

오토 리서치 시스템은 과거에 어떤 아이디어를 시도했고, 어떤 결과를 얻었으며, 무엇이 실패했는지를 기억해야 한다. 이를 위해 일종의 메모리 데이터베이스가 필요하다.

과거의 실험 결과를 기억하지 못하면 시스템은 같은 실패를 반복하게 된다. 반대로 좋은 아이디어와 실패 패턴을 축적하면 이후 탐색을 더 효율적으로 진행할 수 있다.

다양한 모델과 아이디어 활용

모든 모델이 같은 방식으로 생각하지는 않는다. 서로 다른 모델은 서로 다른 아이디어를 낼 수 있기 때문에, 여러 모델을 활용하면 탐색의 다양성을 높일 수 있다.

"서로 다른 모델은 서로 다른 아이디어를 낼 수 있습니다. 모델에 다양성을 주입하는 방법이 중요합니다."

평가와 보상 해킹 방지

시스템이 실제로 원하는 목표를 달성했는지 평가해야 한다. 단일 지표만 최적화하면 모델이 평가 함수의 허점을 찾아낼 수 있으므로, 속도·정확성·안정성·실제 적용 가능성을 함께 확인해야 한다.

병렬화와 인간의 개입

오토 리서치 루프를 여러 갈래로 병렬 실행하면 더 많은 아이디어를 동시에 탐색할 수 있다. 하지만 단순히 병렬 실행 수만 늘리는 것보다, 인간이 적절한 방향과 판단 기준을 제공하는 것이 더 큰 효과를 낼 수 있다.

"아주 적은 양의 인간 가이드만으로도 오토 리서치의 결과가 크게 달라질 수 있습니다."

9. 가장 큰 병목은 아이디어의 다양성

Jerry가 오토 리서치의 가장 큰 문제라고 꼽은 것은 탐색 아이디어의 다양성 부족이다. 일반적인 연구에서는 사람이 먼저 아이디어를 제안하고 AI가 이를 실행할 수 있다. 하지만 오토 리서치에서는 모델이 무엇을 개선할지 자체를 제안해야 한다.

"오토 리서치 루프는 모델이 제안할 수 있는 아이디어에 의해 제한됩니다."

모델이 이미 익숙한 해결책만 반복해서 제시하면 아무리 많은 연산을 투입해도 새로운 결과가 나오지 않는다. 결국 성능을 높이려면 실행 속도나 반복 횟수보다, 모델이 얼마나 새롭고 유망한 연구 방향을 만들어내는지가 중요하다.

새로운 모델이 출시될 때마다 오토 리서치 성능이 좋아지는 것도 이 때문이다. 연구 능력이 더 뛰어난 모델은 더 좋은 가설과 실험을 제시하고, 그 결과 오토 리서치 전체가 개선된다.

"더 나은 연구 모델이 나오면 오토 리서치도 더 잘 작동합니다. 새로운 모델이 나올 때마다 크리스마스처럼 모든 것이 좋아집니다."

그러나 여기에는 중요한 질문이 남는다. 단순히 더 큰 모델을 만드는 것 외에, 연구를 더 잘하는 모델을 어떻게 별도로 최적화할 것인가이다.

10. 테스트 타임 트레이닝이라는 다음 단계

현재의 오토 리서치 루프는 대체로 고정된 모델을 기반으로 한다. 모델은 연구 과정에서 많은 실험과 데이터를 접하지만, 기본적으로 모델의 내부 상태 자체는 변하지 않는다.

Jerry는 여기서 테스트 타임 트레이닝의 가능성을 제시한다. 연구 과정에서 얻은 데이터와 통찰을 모델에 다시 반영해, 문제를 풀면서 모델도 점점 더 나아지게 만드는 방식이다.

"현재의 오토 리서치 루프는 대체로 고정된 모델 위에서 작동합니다. 하지만 연구 과정에서 얻은 것을 모델에 다시 주입할 수 있다면 어떨까요?"

예를 들어 모델이 특정 문제를 여러 번 시도하면서 어떤 접근이 실패하는지, 어떤 구조가 효과적인지, 어떤 평가 기준이 중요한지를 배운다면 그 정보를 이후의 추론에 활용할 수 있다. 이렇게 되면 오토 리서치는 단순히 고정된 능력을 반복 사용하는 것이 아니라, 탐색 과정에서 모델 자체를 개선하는 과정이 된다.

Jerry는 이것이 자신이 Core Automation에서 집중하고 있는 분야라고 설명한다.

"많은 연산을 탐색에 투입한다면, 그 과정에서 더 나은 모델의 이점을 얻을 수 있도록 하는 방법이 매우 중요합니다."

테스트 타임 트레이닝은 단순한 데이터 추가 학습이 아니다. 이미 사전 훈련을 마친 모델이 새로운 문제와 환경에 맞춰 어떻게 학습하고, 그 지식을 얼마나 효율적으로 활용할지에 관한 새로운 딥러닝 알고리즘 문제다.

11. 실험을 많이 하기보다 더 깊이 생각해야 한다

발표를 마무리하며 Jerry는 오토 리서치를 설계하는 사람들에게 의외의 조언을 한다. 가능한 한 많은 실험을 실행하려 하지 말고, 실험 수를 줄이더라도 각각의 실험을 더 깊이 설계하라는 것이다.

"제가 오늘 오토 리서치 작업을 만드는 분들에게 드리고 싶은 조언은, 실험을 적게 실행하고 그 실험에 대해 더 많이 생각하라는 것입니다."

많은 연구자들은 더 많은 반복 횟수와 더 많은 데이터 포인트를 확보하는 데 집중한다. 하지만 검증이 쉽고 비용이 저렴한 문제만 반복해서 다루다 보면, 탐색이 단순한 문제에 갇힐 수 있다.

반대로 어떤 실험을 해야 가장 많은 정보를 얻을 수 있는지, 어떤 가설을 검증해야 하는지, 결과가 실패하더라도 무엇을 배울 수 있는지를 깊이 고민하면 더 좋은 확장 효과를 얻을 수 있다.

"몇 개의 데이터 포인트를 모을지보다, 어떤 실험을 실행할지 더 깊이 추론하는 편이 훨씬 나은 확장 곡선을 만들 수 있습니다."

Jerry는 오토 리서치를 단순한 데이터 생성 과정으로 봐서는 안 된다고 말한다. 중요한 것은 실험의 양이 아니라 실험의 질, 정보량, 다음 의사결정에 주는 가치다.

12. 테스트 타임 트레이닝의 남은 알고리즘 문제

이후 질의응답에서 Jerry는 테스트 타임 트레이닝이 해결해야 할 가장 큰 문제로 알고리즘의 부재를 꼽는다. 테스트 타임 트레이닝은 새로운 데이터를 지속적으로 얻을 수 있다는 점에서는 유리하다. 모델이 실제로 풀고 있는 문제에서 데이터가 생성되기 때문이다.

"테스트 타임 트레이닝에서는 데이터 자체가 가장 큰 문제가 아닙니다. 모델이 실제로 다루는 문제에서 데이터가 들어오기 때문입니다."

하지만 현재는 모델이 이미 많은 지식을 가진 상태에서, 새롭게 접한 좁은 범위의 데이터와 경험만으로 어떻게 효과적으로 학습해야 하는지에 대한 좋은 알고리즘이 충분하지 않다.

"지금은 테스트 타임 트레이닝을 위한 좋은 알고리즘이 아직 없습니다."

따라서 이 분야는 딥러닝 연구자들이 새로운 학습 알고리즘을 개발해야 하는 열린 연구 영역이다. 모델이 사전 훈련에서 얻은 지식을 유지하면서도, 현재 탐색 중인 문제에 맞춰 필요한 부분만 효율적으로 업데이트해야 한다.

이는 단순히 모델을 다시 훈련하는 것과 다르다. 제한된 데이터와 특정 문제의 경험을 이용해 모델의 능력을 개선하되, 기존 지식을 잃거나 잘못된 방향으로 과도하게 적응하지 않아야 한다.

13. 인간의 전문성과 '기술적 감각'은 어디에서 오는가

질의응답에서는 오토 리서치에 인간의 전문성을 어떻게 주입할 수 있는지, 그리고 연구자의 기술적 감각(taste)은 어디에서 비롯되는지에 대한 질문도 나왔다.

GPU 커널 사례에서 인간 전문가는 직접 코드를 작성하지 않았지만, 모델에게 다음과 같은 방향을 제시할 수 있었다.

"이 문제를 시작한다면 이 세 가지를 반드시 생각해야 합니다. 이 부분들이 제대로 되어 있는지 확인해 보세요."

수년 동안 GPU 커널을 작성해 온 사람들은 하드웨어의 작동 방식과 메모리 계층 구조를 깊이 이해하고 있다. 이제 직접 코드를 작성하지 않더라도, 모델이 놓치기 쉬운 핵심 요소를 알려줄 수 있다.

"모델은 빠르게 일하고, 지치지 않고, 많은 것을 확인할 수 있습니다. 하지만 사람들이 머릿속에 갖고 있는 좋은 커널 작성에 대한 통찰을 모두 갖고 있지는 않습니다."

Jerry는 이러한 기술적 감각이 어디에서 오는지에 대해 하나의 간단한 답을 제시하지는 않는다. 현재로서는 대규모 사전 훈련을 통해 다양한 사례와 인간의 지식, 연구 결과를 모델에 학습시키는 방식이 중요한 기반이다.

하지만 테스트 타임 트레이닝을 통해 특정 분야나 특정 문제에 필요한 감각만 따로 강화할 수도 있다. 인터넷 전체의 정보를 다시 학습하는 것이 아니라, 넓은 지식 공간 안에서 특정한 작은 영역을 골라 그 부분을 훨씬 정밀하게 학습하는 것이다.

"인터넷 전체의 아주 작은 한 구석을 선택해, 다른 능력을 망가뜨리지 않으면서 그 영역을 매우 잘 모델링할 수 있을까요?"

이것은 앞으로의 중요한 연구 질문이다. 모델이 단순히 더 많은 지식을 갖는 것뿐 아니라, 어떤 아이디어가 좋은지, 어떤 실험이 가치 있는지, 어떤 실패가 의미 있는지 판단하는 능력을 갖춰야 하기 때문이다.

14. 테스트 타임 컴퓨트의 필요량을 예측할 수 있을까

마지막 질문은 문제를 해결하기 위해 얼마나 많은 테스트 타임 컴퓨트가 필요한지 미리 예측할 수 있는가에 관한 것이었다.

훈련 연산량의 경우, 대략적인 스케일링 법칙과 과거 데이터를 바탕으로 어느 정도의 계산량이 필요한지 추정할 수 있다. 하지만 테스트 타임 컴퓨트에서는 문제가 훨씬 복잡하다.

Jerry는 여러 실험 결과를 모아 성능 향상 추세를 외삽할 수는 있지만, 그 예측이 항상 안정적인 것은 아니라고 답한다.

"외삽을 시도할 수 있고 어느 정도 성공할 때도 있지만, 외삽은 매우 어렵습니다."

그는 GPU 커널을 특정 성능 수준까지 끌어올리라고 모델에 지시하는 사례를 들었다. 목표를 어떻게 설정하느냐에 따라 모델이 탐색하는 방향이 달라질 수 있다. 현실적으로 달성 가능한 목표를 제시하면 모델이 그 목표를 향해 집중하지만, 목표가 지나치게 높거나 잘못 설정되면 탐색 자체가 비효율적으로 변한다.

"목표를 어디에 설정하느냐가 모델이 어디까지 시도할지를 결정하기도 합니다."

물론 아무리 많은 컴퓨팅을 투입해도 물리적 한계를 넘어설 수는 없다. 빛의 속도보다 빠른 커널을 만들라고 요청한다고 해서 그런 결과가 나오는 것은 아니다. 문제의 구조와 환경에도 근본적인 한계가 있기 때문이다.

실험을 많이 수행하면 대략적인 패턴을 발견할 수 있지만, 환경이 바뀌거나 문제가 더 어려워지면 기존 패턴이 깨질 수 있다. 따라서 테스트 타임 컴퓨트의 필요량을 완벽하게 예측하기보다는, 과거 데이터를 활용해 완전히 맹목적인 탐색을 피하는 정도가 현실적인 목표다.

"완전히 눈먼 상태로 실행하지 않도록 도와주는 방법은 있지만, 결국 문제와 모델에 따라 달라집니다. 최전선에는 여전히 미지의 영역이 남아 있습니다."

결론

Jerry Tworek가 말하는 오토 리서치는 AI에게 연구를 맡기고 무한히 반복시키는 기술이 아니다. 핵심은 어려운 목표를 검증 가능한 반복 과정으로 만들고, 더 많은 추론 연산을 효율적으로 사용하며, 과거의 결과와 새로운 아이디어를 바탕으로 계속 개선하는 데 있다.

하지만 현재의 AI는 새로운 연구 아이디어의 다양성, 평가 기준의 설계, 수치적 안정성, 기술적 감각에서 여전히 인간보다 부족하다. GPU 커널 사례가 보여주듯이 가장 강력한 방식은 AI의 빠르고 지치지 않는 실행 능력과 인간의 전문 지식·직관을 결합하는 것이다.

앞으로는 고정된 모델이 반복해서 추론하는 것을 넘어, 연구 과정에서 얻은 경험을 모델 자체에 반영하는 테스트 타임 트레이닝이 중요한 다음 단계가 될 가능성이 크다. 다만 완전한 자율 연구가 실현되려면 더 나은 학습 알고리즘과 탐색 전략, 그리고 인간의 '좋은 연구 감각'을 모델에 전달하는 방법이 먼저 발전해야 한다.