이 영상은 Sequoia Capital의 'Own Your Intelligence' 행사에서 진행된 대담으로, Mercor의 CEO 브렌던 푸디(Brendan Foody)가 RL 환경(Reinforcement Learning Environments)이 무엇인지, 왜 지금 가장 뜨거운 AI 훈련 데이터 주제인지, 그리고 이것이 어떻게 기업들의 AI 전략을 바꾸고 있는지 설명합니다. 그는 RL 환경의 세 가지 구성 요소(월드, 앱, 태스크)를 소개하고, 실제 법률 분야 RL 환경 구축 사례와 포스트 트레이닝 결과를 공유합니다. 또한 데이터 가격 책정 방식, 데이터 품질의 의미, 합성 데이터에 대한 오해, 그리고 미래의 방향(초장기 태스크와 가상 동료)에 대한 통찰을 제시합니다.
1. 데이터 시장의 진화: 크라우드소싱에서 에이전틱 데이터로
브렌던은 Mercor의 이야기와 함께 데이터 시장의 역사부터 설명을 시작합니다. 2020년, 행동 클로닝(behavior cloning)을 위한 크라우드소싱 데이터 시대가 그 시작이었습니다. 당시에는 주로 지도 파인튜닝(supervised fine-tuning) 데이터와 RLHF 데이터가 사용되었는데, 어노테이터가 여러 모델 응답 중 선호하는 것을 선택하는 방식이었죠.
"우리는 크라우드소싱 시대의 에이전틱 데이터로 GPT-3 파인튜닝, ChatGPT와 GPT-4를 향한 진전을 모두 이룰 수 있었습니다."
하지만 2024년으로 접어들면서 시장에 거대한 변화가 일어났습니다. 저숙련 크라우드소싱에서 벗어나, 세계 최고 수준의 전문가들이 협력하여 프런티어 평가(evals)와 RL 환경을 구축하는 에이전틱 데이터 시대로 전환된 것입니다.
"소프트웨어 엔지니어, 변호사, 의사, 은행가 등 지능의 프런티어를 측정할 수 있는 모든 전문가들이 모델 역량을 개선하는 데 기여하고 있습니다."
Mercor의 첫 대형 프로젝트는 '딥 리서치(deep research)'였고, 이후 모든 주요 프런티어 랩과 하비(Harvey), 세라(Cera), 코그니션(Cognition), 램프(Ramp) 같은 선도적인 애플리케이션 레이어 기업들의 핵심 에이전틱 데이터 공급업체로 성장했습니다. 특히 지난 12개월 동안 가장 흥미로운 변화는 RLVR(강화학습 검증 가능한 보상)이 에이전틱 데이터 패러다임 안에서 풍부한 앱과 월드를 포함하는 RL 환경으로 진화했다는 점입니다.
2. RL 환경이란 무엇인가: 세계, 앱, 태스크
RL 환경은 세 가지 핵심 요소로 구성됩니다.
첫 번째는 '월드(Worlds)' 입니다. 실제 프로젝트나 회사에서 가질 수 있는 모든 메시지, 슬라이드, 문서, 스프레드시트 등을 포함합니다.
두 번째는 '앱(Apps)' 입니다. Salesforce, ServiceNow, Microsoft 365 같은 인기 애플리케이션의 고충실도(high-fidelity) 클론으로, 에이전트가 MCP, CLI, 또는 GUI를 통해 상호작용할 수 있습니다.
세 번째는 '태스크(Tasks)' 입니다. 프롬프트와 검증기(verifiers)로 구성되며, 검증기는 루브릭(rubrics)이나 유닛 테스트 형태로 평가(eval) 또는 훈련(training)에 사용됩니다.
프런티어 랩들이 직면한 핵심 과제는 경제 전반에 존재하는 모든 월드, 앱, 태스크의 전체 분포를 커버하는 것입니다.
"경제의 모든 카테고리에 걸쳐 환경 분포를 확장해야 합니다. GDP Val(미 노동통계국의 205개 직업 도메인)을 아는 분도 계시겠지만, 그 모든 직업에 대응하는 앱, 다양한 시나리오, 모든 태스크를 어떻게 구축할지 생각해야 합니다. 이건 엄청난 규모의 건설 작업입니다."
Mercor의 전문가 네트워크를 통한 전문가 시간 투입량은 최근 24개월 동안 폭발적으로 증가했습니다. 2분기만 해도 250만 시간에 달했으며, 그 성장률은 계속 가속화되고 있습니다.
3. 왜 인간만이 프런티어를 측정할 수 있는가
대부분의 도메인에서 인간만이 프런티어를 측정할 수 있습니다. 수학 같은 드문 예외는 깨끗한 시뮬레이션 환경이 있어 모델이 정답 여부를 스스로 학습할 수 있지만, 대부분의 도메인에서는 상황이 다릅니다.
"슬라이드 덱을 만드는 것 같은 도메인에서 모델은 자신이 어디서 실수했는지 신뢰할 수 있게 식별하는 것이 엄청나게 어렵습니다. 마치 인간에게 자기 숙제를 스스로 채점하라고 요구하는 것과 같습니다."
그래서 교수가 에세이를 채점하기 위해 루브릭을 만들고, 조교가 슬라이드 덱을 평가하는 것처럼, 인간이 루브릭을 만드는 것이 중요합니다. 우리가 배우는 방식도 계산기나 깨끗한 시뮬레이션에 의존하기보다는 주변 사람들로부터 받는 피드백에 크게 의존한다는 점과 닮아 있습니다.
검증기를 만드는 것은 어렵습니다. 슬라이드 덱을 만들 때 고려해야 할 좋은 경로가 10가지라면, 거기서 발생할 수 있는 수십 가지 실수들을 모두 포착하는 포괄적인 검증기를 어떻게 만들지가 핵심 과제입니다.
4. 실제 법률 RL 환경 구축 사례
브렌던은 공개된 법률 RL 환경을 예시로 들어 설명합니다. 이 환경은 Latham & Watkins 같은 최고급 로펌의 변호사들이 실제로 작업했던 프로젝트 시나리오를 바탕으로 구축되었습니다.
변호사들은 자신의 빅로(Big Law) 경험에서 실제 프로젝트 시나리오를 작성하고, 데이터룸(data room)에 해당하는 전체 아웃라인을 만듭니다. 여기에는 다양한 메시지, 이메일, 파일, 파일 크기 등이 포함됩니다. 이 과정에서도 모델 인 더 루프(model in the loop)가 중요하게 사용됩니다.
"소프트웨어 엔지니어가 이제 손으로 모든 코드를 직접 작성해서는 안 되고, 에이전트를 오케스트레이션하는 방식으로 매우 생산적으로 작업해야 하는 것과 비슷합니다."
이렇게 만들어진 데이터룸은 Google Workspace 같은 앱 클론에 렌더링되고, 모델 궤적(trajectories)을 평가하는 프롬프트가 붙습니다. 예시에서는 "석유 및 석유법(Oil and Petroleum Act)에 따른 Star Tanker Tankers International Limited와 Cooper Jefferies Energy Corporation 간의 최대 총 책임액 평가"가 과제였습니다.
교수가 에세이를 채점하는 루브릭을 만들듯, 이 환경에는 정확한 모델 응답의 특성에 해당하는 핵심 루브릭 기준이 있습니다. 그리고 100개의 궤적을 롤아웃할 때 모든 점수가 정확한지 확인하는 것은 엄청나게 기술적으로 어려운 작업입니다.
5. 리더보드와 오픈 웨이트의 변화
리더보드는 특정 도메인에서 다양한 모델들이 얼마나 잘 수행하는지에 대한 종합 점수를 제공합니다. 최근 몇 달간의 큰 변화 중 하나는 GLM 5.2와 Chimera K3 같은 오픈 웨이트 모델들이 리더보드에 등장했다는 것입니다.
"이것은 여러분 모두에게 거대한 기회입니다. 특정 애플리케이션과 버티컬에서 프런티어 지능을 실제로 달성할 수 있는 기반을 제공하기 때문입니다."
포스트 트레이닝 결과: Apex Agents
Mercor의 Apex Agents 데이터셋(1,800개 태스크)을 사용한 GLM 4.7 포스트 트레이닝 결과는 놀라웠습니다. 약 50만 달러 규모의 컴퓨팅 자원만으로도 극적인 개선이 있었습니다.
- 기업법(Corporate Law): 4.7% → 26.6%
- GDP Val과 Apex V1(데이터룸이 없는 벤치마크)에도 탁월한 일반화 성능을 보였습니다.
이처럼 회사가 자체 도메인에 특화된 RL 환경을 구축하면 프런티어 지능을 자체적으로 달성할 수 있습니다. 브렌던은 Cursor가 애플리케이션 레이어 기업이 업계 최고 수준의 모델을 구축한 훌륭한 첫 사례라고 언급하며, 앞으로 12개월 안에 그런 회사들이 수십 개 등장할 것이라고 예측합니다.
6. 데이터 구매의 세 가지 방식
회사들이 고품질 데이터셋을 구축하는 방법은 크게 세 가지입니다.
1. 태스크별 커스텀 데이터: 가장 일반적인 방식입니다. 특정 데이터 형태를 원하는 회사가 태스크당 $2,000를 지불하고 확장하는 방식입니다. 일부 프런티어 랩은 한 달에 5만 개의 태스크를 구매하기도 합니다. 태스크는 매우 복잡해서 완료하는 데 한 달이 걸리는 것도 있고, 몇 시간이면 되는 것도 있습니다.
2. 기성 데이터(Off-the-shelf): Mercor가 수억 달러를 투자해 구축한 자체 데이터셋을 여러 고객에게 판매하는 방식입니다. 신생 연구소(neo labs)들이 이 방식을 선호하는데, 10개의 다른 연구소가 각자 데이터셋을 구축하는 것은 비효율적이기 때문입니다.
3. 전문가 제공: 시간당 모델로 전문가를 제공하는 방식입니다. 하비(Harvey)가 Mercor와 처음 시작한 방식이지만, 시간이 지나면서 더 확장된 데이터 제공으로 이동하는 경향이 있습니다.
7. Q&A: 데이터 가격은 어떻게 책정하나요?
브렌던은 데이터 가격 책정에 대해 고객이 달성하려는 모델 개선 목표에서 역산하는 방식이라고 설명합니다.
"고객은 특정 리더보드에서 프런티어에 도달하려는 목표가 있습니다. 우리는 고객에게 그 가치가 얼마인지, 그리고 그 목표에 도달하는 데 필요한 태스크 수가 몇 개인지 역산할 수 있습니다. Nvidia 같은 회사는 프런티어 오픈소스 모델을 갖기 위해 10억 달러를 기꺼이 지불할 것입니다."
가격은 태스크당 $50에서 $10,000까지 매우 넓은 범위를 가집니다. 비용 구조(전문가 시간당 $150, 10시간 소요 시 $1,500의 원가 기준)와 차별화 정도에 따라 마진이 결정됩니다.
8. Q&A: '데이터 품질'의 진짜 의미
사람들이 데이터 품질이라고 말할 때, 실제로는 두 가지를 의미합니다.
첫째는 현실성(realism) 입니다. 경제의 모든 것을 자동화하고 싶어 하는 고객들의 요구를 반영해, 해당 도메인의 실제 분포를 정확히 반영하는 환경, 앱, 태스크를 만드는 것입니다. 이것이 전문가들이 아웃라인을 만들고 데이터 큐레이션 과정을 안내하는 이유입니다.
둘째는 검증기의 정확성입니다. 훈련 방식은 Kimi K3 같은 모델의 궤적 100개를 롤아웃하고 루브릭으로 점수를 매기는 것입니다. 모델이 갈 수 있는 경로는 수없이 많기 때문에, 루브릭 점수가 인간이 그 100개 궤적을 스택랭크한 결과와 동일한지 확인해야 합니다.
이를 위해 궤적 분석(trajectory analysis) 이라는 프로세스를 사용합니다. 개선하려는 모델의 10개 궤적을 롤아웃하고 점수를 매긴 뒤, 에이전틱 품질 관리 시스템과 인간 검토를 결합해 모든 점수가 목표와 일치하는지 확인합니다. 때로는 인간 피드백 평가나 선호 라벨을 자동 채점기의 평가 도구로 사용하기도 합니다.
9. Q&A: 합성 데이터에 대한 오해
브렌던은 합성 데이터에 대한 많은 오해가 있다고 지적합니다.
"RLVR은 사실 합성 데이터에 대한 베팅입니다. 인간이 SFT를 작성하는 대신 합성 모델 궤적을 대량으로 롤아웃하고, 그것들을 모두 채점한 다음 모델이 이 합성 궤적들로부터 학습하게 하는 것입니다."
또한 모델은 환경을 채우고 태스크를 만드는 과정에서도 거대한 역할을 합니다. 법률 메모를 작성하는 변호사가 Claude나 ChatGPT를 사용해야 하는 것처럼, 데이터룸을 구축하는 전문가들도 AI 도구를 적극 활용해야 합니다.
그러나 인간이 여전히 필수적인 이유는 정의상 모델 능력의 프런티어 너머를 측정해야 하기 때문입니다.
"모델에게 '법률 환경을 만들어 봐, 그리고 네 법률 메모 중 어떤 것이 좋고 나쁜지 알려줘'라고 말할 수 없습니다. 그건 너무 노이즈가 심하고 명확한 신호가 없습니다. 그 모델의 프런티어 너머의 능력을 가진 무엇인가가 필요합니다."
10. Q&A: 왜 지금 RL 환경인가, 그리고 그 다음은?
딥 리서치 환경이 먼저 등장한 이유는 검색 도구를 사용했기 때문입니다. 검색이 모델이 작업하는 환경의 도구였지만, 전문가들이 앱을 채울 필요는 없었습니다. 더 가벼운 버전의 RL 환경이었던 셈입니다.
2025년에 앱 트렌드가 거대해진 이유는 모델 유용성의 핵심 병목이 코드베이스의 모든 컨텍스트와 우리 노트북의 모든 도구를 어떻게 사용하는지에 있다는 것을 사람들이 깨달았기 때문입니다.
"사용자 분포에 이걸 원한다면, 모델이 학습하는 데이터 분포에도 이걸 넣어야 합니다."
향후 두 가지 큰 변화가 예상됩니다.
첫 번째는 초장기 태스크(ultra-long horizon) 입니다. 현재 에이전트는 대부분 10시간 이상 걸리는 작업을 수행하도록 훈련되지 않았습니다. 인간이 100시간 또는 1,000시간이 걸리는 작업을 위한 태스크를 구축해야 합니다.
두 번째는 가상 동료(virtual co-workers) 의 도입입니다.
"제가 가장 좋아하는 질문은 '당신의 업무 중 다른 사람과 상호작용해야 하는 태스크의 비율이 얼마나 됩니까?'입니다. 대부분 60% 또는 70%라고 답합니다. 그런데 평가 중 모델이 다른 사람과 얼마나 잘 상호작용하는지 측정하는 비율은 약 1%에 불과합니다. Tau Bench에 약간 포함되어 있을 뿐입니다."
이것은 에이전트가 직장에서 협업해야 하는 다양한 사람들과 다른 에이전트들과의 사회적 상호작용을 얼마나 잘 수행하는지 측정하는 것에 대한 거대한 현실성 격차를 의미합니다.
11. Q&A: 루브릭 생성도 모델로 확장할 수 있나요?
AI 코파일럿이 전문가와 협력해 태스크와 검증기를 만들면 효율성을 크게 높일 수 있습니다. 전문가가 궤적과 대화하며 정확히 무엇이 일어나고 어디서 잘못되었는지 이해할 수 있기 때문입니다.
하지만 개선하려는 모델 자체가 자신의 실수에 대한 루브릭 기준을 안정적으로 작성할 수는 없습니다.
"FABLE(개선 대상 모델)이 자신의 실수에 대한 루브릭 기준을 안정적으로 작성할 수는 없습니다. 절반은 맞고 절반은 틀릴 수 있는데, 그 정도의 노이즈는 훈련 관점에서 사용할 수 없습니다."
태스크 생성이 인간이 가장 많이 필요한 프로세스입니다. 환경의 많은 부분은 합성 데이터로 채울 수 있지만, 태스크는 인간이 작성한 아웃라인이 필요합니다. 예외는 코드 분야이거나, 개선 대상 모델보다 더 나은 모델(예: Kimi K3)이 만든 태스크에서 학습할 수 있는 경우입니다.
12. Q&A: 사이버 방어를 위한 RL 환경
사이버 보안은 검증기에 인간이 항상 필요하지 않은 분야입니다. 공격자와 방어자 에이전트를 둘 수 있기 때문입니다.
"사이버 분야에서는 인간이 현실적인 환경을 설계하고 설정하는 데 더 관여하지만, 검증기 구축에는 인간 집약도가 낮습니다."
다양성 확보를 위해 환경 자체는 인간이 설계해야 하지만, 검증은 에이전트 간 상호작용으로 해결할 수 있다는 것입니다.
13. Q&A: 베이스 모델의 한계를 어떻게 알 수 있나요?
같은 데이터셋을 사용해도 모델의 최종 성능이 다르게 나타나는 이유에 대한 질문에, 브렌던은 파라미터 수와 훈련 가능성이 중요하다고 답합니다. 핵심 지표는 Pass@1과 Pass@16의 격차입니다.
"16개 궤적을 롤아웃했는데 모두 완전히 틀렸다면, 그 모델이 그 데이터셋에서 학습할 가능성은 거의 없습니다. 이상적인 경우는 Pass@1에서 실패하지만, 16개 궤적을 롤아웃하면 한두 번 맞추는 것입니다. 그러면 모델은 그 데이터셋에서 매우 효과적으로 학습할 수 있습니다."
이것이 주어진 데이터셋에서 효과적으로 학습하기 위해 베이스 모델이 얼마나 강해야 하는지 판단하는 일반적인 휴리스틱입니다.
14. Q&A: 데이터를 자체 구축할까, 파트너와 협력할까?
Mercor 비즈니스의 큰 부분은 커스텀 데이터로, 핵심 고객을 위해 완전히 전용되는 팀을 운영합니다. 고객이 경쟁 우위를 유지하면서도 Mercor가 구축한 인프라의 혜택을 받을 수 있게 하는 방식입니다.
"일부 회사는 모든 인재 네트워크와 인프라를 사내에서 구축하려고 합니다. 하지만 프런티어 랩과 최고의 모델들이 무엇을 하는지 보면, 규모의 경제를 가진 파트너와 협력하는 것이 훨씬 더 많은 이점이 있다는 좋은 지표가 됩니다."
플랫폼, 인재 네트워크, 규모의 경제를 모두 갖춘 파트너와 협력하는 것이 핵심입니다.
결론
이 영상에서 브렌던 푸디는 RL 환경이 단순한 기술적 개념을 넘어 AI 산업의 판도를 바꾸는 핵심 요소임을 설득력 있게 보여줍니다. 월드, 앱, 태스크의 세 가지 구성 요소로 이루어진 RL 환경은 경제 전반의 실제 업무 분포를 모델 훈련 데이터에 반영하는 방법이며, 인간 전문가의 역할이 여전히 필수적인 이유는 모델 스스로의 능력 한계를 스스로 측정할 수 없기 때문입니다.
Mercor의 사례에서 보여주듯, 오픈 웨이트 모델의 등장과 적은 컴퓨팅 자원으로도 도메인 특화 성능을 극적으로 향상시킬 수 있는 포스트 트레이닝 결과는, 이 기술이 더 이상 프런티어 랩만의 전유물이 아니라 애플리케이션 레이어 기업들이 자체 지능을 구축할 수 있는 기회임을 의미합니다. 앞으로의 방향은 초장기 태스크와 가상 동료를 포함한 더 현실적인 환경 구축으로, 데이터셋을 구축하는 능력이 곧 기업의 해자(moat)가 되는 시대가 도래하고 있습니다.