-
SFT (지도학습) 방식: 상사가 팀원에게 구체적인 지시를 내리는 하향식 관리. 효율적일 수 있지만, 팀원의 주도성과 창의성을 저해할 위험이 있습니다.
-
RL (강화학습) 방식: 명확한 목표(보상)를 설정하고 팀원이 스스로 방법을 찾도록 하는 방식. 창의성을 극대화할 수 있지만, 팀원들이 목표 달성만을 위해 편법을 쓰는 '보상 해킹(Reward Hacking)' 에 빠질 위험이 있습니다.
"SFT로 팀을 관리할 때의 위험은 팀원들이 창의력을 잃는 것이고, RL로 관리할 때의 위험은 보상을 해킹당하기 쉽다는 겁니다. 좋은 결과를 얻은 것처럼 보이지만 실제로는 최종 목표에 도달하지 못하는 거죠."
그는 이 두 방식 사이에서 균형을 잡는 것이 CEO의 중요한 역할이라고 생각하며, RL을 주축으로 하되 SFT를 보조적으로 사용해 방향을 잡아주는 방식을 실험하고 있다고.
올해 초 '잘하는 걸 잘한다, 못하는 걸 못한다고 말하는 게 경영이다'라는 글에서 조직 강화학습을 말했었다. 이제 기업이 1년 주기 평가를 하고 2주 단위 스프린트를 하면 너무 느린거다. https://lnkd.in/g6WnScFc
"AI의 하루가 인간 세상의 1년과 같으니까요. AI의 1년이 인간 세상의 며칠인지는 모르겠지만." - 양즈린 https://lnkd.in/gayvtdGH
Kimi Founder Yang Zhilin: K2, Agentic LLMs, Brains in Vats, and the Beginning of Infinity
Kimi 파운더 양즈린이 인터뷰 말미에 CEO로서 팀 관리에 대해 AI 훈련 방식을 비유했다.
-
SFT (지도학습) 방식: 상사가 팀원에게 구체적인 지시를 내리는 하향식 관리. 효율적일 수 있지만, 팀원의 주도성과 창의성을 저해할 위험이 있습니다.
-
RL (강화학습) 방식: 명확한 목표(보상)를 설정하고 팀원이 스스로 방법을 찾도록 하는 방식. 창의성을 극대화할 수 있지만, 팀원들이 목표 달성만을 위해 편법을 쓰는 '보상 해킹(Reward Hacking)' 에 빠질 위험이 있습니다.
"SFT로 팀을 관리할 때의 위험은 팀원들이 창의력을 잃는 것이고, RL로 관리할 때의 위험은 보상을 해킹당하기 쉽다는 겁니다. 좋은 결과를 얻은 것처럼 보이지만 실제로는 최종 목표에 도달하지 못하는 거죠."
그는 이 두 방식 사이에서 균형을 잡는 것이 CEO의 중요한 역할이라고 생각하며, RL을 주축으로 하되 SFT를 보조적으로 사용해 방향을 잡아주는 방식을 실험하고 있다고.
올해 초 '잘하는 걸 잘한다, 못하는 걸 못한다고 말하는 게 경영이다'라는 글에서 조직 강화학습을 말했었다. 이제 기업이 1년 주기 평가를 하고 2주 단위 스프린트를 하면 너무 느린거다. https://lnkd.in/g6WnScFc
"AI의 하루가 인간 세상의 1년과 같으니까요. AI의 1년이 인간 세상의 며칠인지는 모르겠지만." - 양즈린 https://lnkd.in/gayvtdGH
Kimi Founder Yang Zhilin: K2, Agentic LLMs, Brains in Vats, and the Beginning of Infinity