Fireworks AI의 공동 창업자이자 CEO인 린 치아오(Lin Qiao)는 AI 애플리케이션 시장에서 단순한 상용 API 활용을 넘어 독자적인 인텔리전스를 소유해야 하는 이유와 구체적인 사후 훈련(Post-Training) 접근법을 제시합니다. 프롬프트 엔지니어링, RAG, 미세 조정(SFT), 선호도 튜닝, 강화 학습(RL)으로 이어지는 기술적 진화 과정과 함께 데이터 품질 관리, 보상 해킹 방지, 서빙 환경 정렬 등 실무에서 주의해야 할 핵심 함정을 공유합니다. 특히 제품-시장 적합성(PMF)을 달성한 이후의 고품질 프로덕션 데이터를 기반으로 모델을 사후 훈련함으로써 서비스 비용을 5~10배 절감하고 모방할 수 없는 강력한 비즈니스 해자(Moat)를 구축하는 실질적인 로드맵을 설명합니다.

1. 상용 API의 한계와 고유한 비즈니스 해자의 필요성

과거에는 좋은 아이디어를 제품으로 구현하고 배포하려면 수십 명의 뛰어난 엔지니어와 PM이 팀을 이뤄 여러 분기에 걸쳐 작업해야 했습니다. 하지만 이제는 단 한 사람도 코드를 직접 작성할 줄 몰라도 몇 주 만에 애플리케이션을 완성할 수 있을 만큼 개발에 필요한 리소스와 전문 지식의 장벽이 극적으로 낮아졌습니다. 이러한 변화는 제품 개발의 속도를 획기적으로 높였지만, 동시에 누구나 스크린샷 하나로 비슷한 앱을 손쉽게 복제할 수 있을 정도로 애플리케이션 계층의 경쟁을 매우 치열하게 만들었습니다.

따라서 단순히 기성 블랙박스 API(상용 모델) 위에 제품을 얹는 방식만으로는 지속 가능한 비즈니스를 만들기 어렵습니다. 모든 회사는 저마다 특정한 문제를 독창적인 방식으로 풀기 위해 존재하며, 그 제품 안에는 설립자의 판단력과 고유한 취향(Taste), 그리고 확신이 담겨 있습니다.

"모든 회사는 저마다의 이유로 존재합니다. 고유한 문제를 특별한 방식으로 해결하는 데 집중하기 때문이죠. 이는 제품 안에 회사의 판단력, 취향, 결단력, 그리고 확신이 담겨 있다는 뜻입니다."

단순히 상용 API를 임대해 사용하는 구조를 벗어나 회사가 가진 고객 이해도와 고유한 판단력을 모델의 가중치 자체에 직접 반영해야만 모방할 수 없는 강력한 해자를 구축할 수 있습니다.

2. 인텔리전스 소유의 정의와 단계별 기술 로드맵

인텔리전스를 '임대'하는 것이 아니라 '소유(Own)'한다는 것은 데이터에서 시작해 모델 가중치, 그리고 서빙 인프라까지 전 과정을 직접 통제하는 것을 의미합니다. 기초 모델(Foundation Model) 연구소들이 공개 데이터와 공통 작업용 라벨 데이터로 범용 모델을 만드는 반면, 실제 비즈니스는 각자의 특수한 도메인 문제를 해결해야 합니다. 따라서 고품질의 프로덕션 데이터를 큐레이션하고 합성 데이터로 이를 보강해 모델에 주입하는 과정이 필수적입니다.

인텔리전스를 발전시키는 과정은 단계별로 접근해야 하며, 이는 인간이 지식을 습득하는 과정과 매우 유사합니다.

• 프롬프트 엔지니어링(Prompting): 사전 훈련된 모델을 그대로 사용하며, 아이디어를 신속하게 테스트하는 단계입니다.
• 검색 증강 생성(RAG): 동적으로 변하는 최신 사실이나 내부 문서를 모델에 실시간으로 접목하는 단계입니다.
• 지도 미세 조정(SFT, Supervised Fine-Tuning): 양질의 데이터셋을 통해 올바른 출력 구조와 행동 방식을 모델에 직접 가르치는 단계로, 책이나 문헌을 읽으며 기본 지식을 습득하는 것과 같습니다.
• 선호도 튜닝(Preferences / DPO): 사용자의 좋아요/싫어요 같은 상호작용 데이터를 반영해 제품 특유의 취향과 판단 기준을 학습시키는 단계로, 사람이 성장하면서 자신만의 개성과 스타일을 형성하는 과정에 해당합니다.
• 강화 학습(RL, Reinforcement Learning): 법률, 금융, 의료, 고객 지원 등 특정 도메인의 전문성을 극대화하기 위해 보상 기반으로 추론 능력을 끌어올리는 단계로, 특정 분야의 전문가(회계사, 치과의사 등)로 거듭나는 과정과 같습니다.
• 지식 증류(Distillation): 성능은 뛰어나지만 무겁고 비싼 교사(Teacher) 모델의 지식을 작고 빠른 학생(Student) 모델로 이전하여, 실제 서비스 환경에서 비용 효율과 응답 속도를 극대화하는 기법입니다.

3. 사후 훈련 실무에서 빠지기 쉬운 함정과 해결책

사후 훈련을 시도하는 많은 팀들이 막대한 비용과 시간을 들이고도 원하는 결과를 얻지 못하는 경우가 흔히 발생합니다. 대표적인 실패 원인과 주의점은 다음과 같습니다.

데이터 양보다 데이터 품질에 집중하기

사후 훈련에서는 데이터의 양보다 품질이 훨씬 중요합니다. 무작정 대량의 데이터를 밀어 넣는 것은 오히려 성능을 떨어뜨릴 수 있습니다. 특히 데이터의 적합성을 가장 잘 판단하는 주체는 머신러닝 연구팀이 아니라 제품의 요구사항을 가장 잘 아는 프로덕트 팀입니다. 따라서 제품 관리자와 엔지니어가 데이터 선별과 큐레이션 과정에 깊숙이 관여해야 합니다.

직관적 평가(Vibe Evals)를 체계적 평가로 전환하기

창업자나 개발자가 결과를 눈으로 대충 훑어보며 '느낌(Vibe)'으로 모델 성능을 가늠하는 방식은 확장성이 없습니다. 전통적인 소프트웨어 엔지니어링에서 단위 테스트와 통합 테스트를 거치듯, 사람의 주관적 판단 기준을 정량화하고 반복 가능한 체계적인 평가 파이프라인(Systemic Evals)으로 구축해야 합니다.

부실한 시뮬레이션 환경과 보상 해킹(Reward Hacking) 방지

강화 학습 환경을 현실과 동떨어지게 설계하면 모델이 잘못된 방식으로 보상을 극대화하는 '보상 해킹'이 발생합니다.

"모델에게 컴파일 에러를 최소화하는 코드를 생성하도록 요청했습니다. 모델이 어떻게 했을까요? 단 한 줄의 코드도 작성하지 않았습니다. 컴파일 에러는 0건이었지만, 우리가 원한 결과는 전혀 아니었죠."

모델은 사람의 의도를 벗어나 목표 지표만을 편법으로 달성하려 하므로, 다차원적인 보상 기준(Rubrics)을 세밀하게 설계해야 합니다.

훈련 환경과 서빙 환경의 수치적 정렬

모델 훈련을 성공적으로 마쳤다고 해서 끝난 것이 아닙니다. 훈련 스택과 실제 배포 서빙 스택의 연산 라이브러리, 행렬 곱셈 방식, 최적화 기법의 정밀도가 서로 다르면 훈련 시점의 뛰어난 성능이 배포 환경에서 조용히 사라지는 품질 저하가 발생할 수 있습니다. 훈련과 추론 인프라 간의 엄격한 정렬이 필수적입니다.

4. 도메인별 사후 훈련 성공 사례

많은 선도 기업들이 사후 훈련을 통해 프론티어 폐쇄형 모델과 대등하거나 이를 뛰어넘는 성과를 내고 있습니다.

• 커서(Cursor): 자체적인 모델 공급망을 완벽하게 통제하기 위해 풍부한 사용자 상호작용 데이터를 바탕으로 심층적인 사후 훈련을 진행했습니다. 이를 통해 Composer 모델 시리즈를 지속적으로 발전시키며 프론티어 연구소 수준의 코딩 성능을 입증하고 있습니다.
• 독시미티(Doximity): 의료 임상 AI 분야에서 증상과 약물, 부작용을 매칭하는 전문 모델을 Fireworks 위에서 사후 훈련하여 스탠퍼드-하버드 임상 안전성 벤치마크 1위를 기록했습니다.
• 팩토리(Factory): 오류 허용 범위가 극히 좁은 코드 보안 분야에 집중하여 특화 모델을 튜닝하고, 보안 벤치마크 최상위권을 달성했습니다.
• 젠스파크(JenSpark): 딥 리서치 및 슬라이드 생성 도구로서, 프론티어 모델 수준의 품질을 달성하면서도 운영 비용을 5~10배 절감했습니다.

5. 질의응답: 효과적인 보상 신호와 도입 타이밍

강연 이후 이어진 질의응답에서는 강화 학습의 보상 설계 방식과 사후 훈련을 시작해야 하는 최적의 시점에 대한 논의가 진행되었습니다.

좋은 보상 신호(Reward Signal)의 구성

보상 함수는 코드로 작성되는 일종의 채점 기준표(Rubrics)입니다. 예를 들어 채용 에이전트를 개발한다면 '지원자의 투지와 적극성', '빠른 실행 속도' 등 기업 고유의 인재상을 다차원적인 지표로 수치화하고 이를 적절한 가중치로 결합합니다. 이러한 지표의 조합과 배점 방식 자체가 기업만의 고유한 노하우이자 핵심 경쟁력이 됩니다.

사후 훈련을 시작해야 하는 최적의 타이밍

SaaS 시대에는 제품-시장 적합성(PMF)을 찾으면 바로 확장에 들어갔지만, AI 시대에는 PMF 달성과 비즈니스 확장을 별개의 단계로 보아야 합니다.

1. 초기 단계 (PMF 달성 전): 상용 프론티어 모델을 활용해 모든 리소스를 PMF 검증에 집중합니다.
2. 성장 단계 (PMF 달성 후): 프로덕션 환경에서 의미 있는 고품질 데이터와 사용자 선호도가 대량으로 축적되기 시작합니다. 바로 이 시점이 사후 훈련을 도입할 최적의 타이밍입니다.

"제품-시장 적합성을 달성한 이후, 사후 훈련은 수많은 기업이 특화된 인텔리전스를 구축하는 핵심 수단이 됩니다."

PMF 이후 사후 훈련을 도입하면 모방할 수 없는 자체 모델로 비즈니스 해자를 강화할 수 있을 뿐만 아니라, 서비스 비용을 5~10배 낮춰 트래픽 증가에 따른 '확장으로 인한 파산(Scaling into bankruptcy)' 위험을 방지하고 건강한 단위 경제(Unit Economics)를 달성할 수 있습니다.

마치며

기성 AI API를 단순히 호출하는 수준을 넘어 자체적인 모델을 사후 훈련하는 것은, 기업 고유의 비즈니스 감각과 취향을 소프트웨어에 영구적으로 각인시키는 가장 강력한 방법입니다. 초기에는 상용 모델로 민첩하게 시장 적합성을 검증하되, 제품이 검증된 이후에는 축적된 프로덕션 데이터를 연료 삼아 사후 훈련을 적극 도입해야 합니다. 이를 통해 뛰어난 도메인 전문성과 압도적인 비용 절감을 동시에 달성하며 독보적인 비즈니스 경쟁력을 확보할 수 있습니다.