이 영상은 Uber의 첫 CTO였던 투안 팜과의 대화를 통해 그의 놀라운 경력과 Uber의 급격한 성장을 어떻게 이끌었는지 상세히 다룹니다. 그는 베트남 전쟁의 여파로 보트피플이 되어 미국에 정착한 어린 시절부터 MIT를 거쳐 VMware, 그리고 Uber의 CTO로 활약하기까지의 여정을 공유합니다. 특히, 시스템 불안정, 마이크로서비스 전환, 중국 시장 진출, 그리고 엔지니어링 조직 스케일링 등 Uber가 직면했던 다양한 기술적, 조직적 도전을 어떻게 극복했는지에 대한 깊이 있는 통찰을 제공합니다. 현재 Faire의 CTO로서 AI가 소프트웨어 엔지니어링에 미치는 영향과 CTO의 역할에 대한 그의 시각도 엿볼 수 있습니다.
1. 베트남에서 미국으로: 험난했던 어린 시절과 기술과의 만남 🚀
투안 팜은 베트남 전쟁의 한가운데서 태어나 어린 시절 겪었던 고난을 이야기합니다. 1975년 남베트남이 패망하고 북베트남이 통일되면서 남베트남 군과 연관되었던 그의 가족은 많은 어려움을 겪었습니다. 그는 어머니의 용감한 결정 덕분에 '보트피플'이 되어 생존율 50% 미만의 위험한 여정 끝에 미국에 정착하게 되었습니다.
"저는 베트남에서 태어났고, 베트남 전쟁의 아이였습니다. 1975년 남베트남이 패배하고 북베트남이 승리하면서 남부 정권과 연관된 사람들은 성장할 기회가 거의 없었습니다. 교육 기회 등 모든 것이 그랬죠. 어머니께서는 두 아들이 기회 없이 자라는 것을 원치 않으셨기에 매우 대담한 결정을 내리셨습니다. 그래서 우리는 조국을 떠나야 했습니다."
미국에 와서 영어를 전혀 모른 채 빈손으로 시작했지만, 교회 후원과 개인적인 노력으로 학업을 이어갔습니다. 고등학교 때 친구의 IBM PC를 접하면서 컴퓨터에 흥미를 느끼기 시작했고, 타고난 알고리즘적 사고와 반복 작업 싫어하는 성격 덕분에 코딩에 재능을 발견했습니다.
"저는 일반적으로 미루는 습관이 있습니다. 같은 일을 두 번 하는 것을 싫어하죠. 그래서 컴퓨터 프로그래밍이 저에게 완벽했습니다. 문제를 한 번 해결하면 그게 창의적인 부분이고, 그 후에는 지루해져서 다음 문제로 넘어갔죠."
이후 그는 정부 기관에서 자원봉사로 코드를 작성하며 회계 업무를 자동화하는 등 실력을 키웠고, MIT에 진학하여 컴퓨터 과학의 기초를 다졌습니다.
2. 실리콘밸리에서의 성장: HP, 실리콘 그래픽스, 닷컴 버블 🎢
MIT 졸업 후, 투안 팜은 HP 연구소에서 의료 정보학 분야의 최첨단 연구에 참여하며 빛나는 경력을 시작했습니다. 하지만 연구가 실제 제품으로 이어지지 않는 것에 아쉬움을 느껴, 사용자들이 직접 사용할 코드를 작성할 수 있는 기회를 찾아 실리콘 그래픽스(SGI)로 이직했습니다.
SGI에서는 인터랙티브 TV 프로젝트를 통해 비디오 스트리밍, 주문형 비디오, 온라인 게임 등 미래 기술을 개발했지만, 기술이 너무 시대를 앞서갔다는 큰 교훈을 얻었습니다.
"문제는 너무 시대를 앞서갔다는 것입니다. 그때 저는 큰 교훈을 얻었습니다. 기술만 중요한 것이 아니라, 세상이 그것을 받아들일 준비가 되어 있는지, 경제적으로 타당한지도 중요합니다."
이후 넷그라비티(NetGravity)라는 스타트업에서 온라인 광고 플랫폼을 개발하며 인터넷 시대의 초기 성장을 경험했습니다. 이 시기에 그는 성장과 수익성의 균형에 대한 중요한 통찰을 얻게 됩니다. 경쟁사들이 성장에 집중할 때 넷그라비티는 수익성을 추구했고, 결국 경쟁사(Google에 인수된 회사)가 시장을 장악하는 것을 보며 시장 점유율의 중요성을 깨달았습니다.
닷컴 버블 붕괴는 많은 이들에게 두려움의 시간이었지만, 투안 팜은 "재능은 언제나 재능이다"라는 신념으로 자신을 꾸준히 발전시켰습니다.
"닷컴 버블은 수정 기간에 좀 무서웠죠. 하지만 그전에는 모든 것이 닷컴이었습니다. ... 결국에는 지속적인 수익을 창출하는 건전한 비즈니스 모델이 있어야 합니다. 성장만으로는 결국 돈을 태우는 것이고, 그건 좋지 않습니다. 빨리 성장할 수는 있지만, 결국에는 지속 가능한 회사가 되기 위해 수익으로 전환해야 합니다."
"재능은 언제나 재능입니다. 그래서 정말 강한 재능을 가진 사람들과 항상 자신의 역량을 뛰어넘으려는 사람들은 언제나 시장성이 있습니다."
3. VMware: 가상화 기술의 선두 주자 📈
닷컴 버블 이후, 투안 팜은 40명 규모의 작은 회사였던 VMware에 합류했습니다. 그는 VMware의 가상화 기술이 산업의 판도를 바꿀 게임 체인저임을 직감했습니다. 특히, 가상 머신을 하드웨어 간에 다운타임 없이 이동할 수 있는 vMotion 기능이 클라우드 컴퓨팅의 기반이 될 것이라고 보았습니다.
그는 VMware에서 기업용 클라우드 플랫폼을 구축하는 데 기여하며, 회사의 급격한 성장을 함께했습니다. 그는 VMware에서도 VP 엔지니어링 자리까지 오르며 조직 관리 역량을 키웠지만, 익숙함에 안주하지 않고 새로운 도전을 찾아 나섰습니다.
"물론 Uber만큼 극단적이지는 않았지만, 분명 그랬습니다. 왜냐하면 그것은 산업을 변화시키는 기술이었고, 게임 체인저였으니까요. ... vMotion이라는 핵심 기능이 클라우드 전체를 가능하게 했습니다. 수천 대의 머신이 하나처럼 보일 수 있게 된 거죠. 그래서 여러분의 머신 안의 애플리케이션은 확장되고, 스스로 움직이며, 필요한 모든 것을 할 수 있었습니다."
"저는 이상한 점이 있는데, 일이 커지고 너무 편안해지기 시작하면 불안해집니다."
4. Uber 합류: 혼돈 속에서 스케일링의 기틀을 다지다 🤯
2013년, 투안 팜은 Uber의 첫 CTO로 합류했습니다. 당시 Uber는 40명의 엔지니어와 하루 3만 건의 운행을 처리하는 작은 회사였지만, 시스템은 일주일에 여러 번 다운될 정도로 불안정했습니다. 그는 트래비스 칼라닉(Travis Kalanick) CEO와의 30시간에 걸친 심층 인터뷰를 통해 Uber의 기술 비전과 도전을 공유하며 깊은 인상을 받았습니다.
"그때는 꽤 작았습니다. 제가 데이터를 뽑았을 때 하루에 약 3만 건의 운행이 있었습니다. ... 엔지니어링 팀은 매우 젊었지만, 꽤 끈기 있고 헌신적이며 재능 있는 팀이었습니다. ... 시스템은 확장성을 염두에 두고 만들어지지 않았습니다. 기능성을 위해 만들어졌죠. ... 그리고 그것은 일주일에 여러 번 다운되었습니다."
그는 Uber 합류 후 가장 먼저 디스패치(Dispatch) 시스템의 취약성을 파악하고, 시스템 붕괴를 막기 위해 단 5개월 만에 전면 재작성을 지시했습니다. 그는 엔지니어들에게 "도시는 여러 서버로 작동하고, 하나의 서버는 여러 도시를 작동한다"는 두 가지 핵심 요구사항만 제시하여 빠른 개발을 독려했습니다.
"디스패치 시스템이 첫 번째였습니다. 디스패치 없이는 아무것도 없습니다. ... 저는 첫 번째 시스템을 살펴봤고, 아키텍처와 구현 계획을 검토했습니다. ... 한 가지는 도시가 여러 상자(서버)로 작동해야 한다는 것이고, 다른 하나는 상자(서버)가 여러 도시를 작동해야 한다는 것입니다. 그게 다였습니다. N x M 구조를 가질 수 있도록요."
이러한 적응적이고 점진적인 재작성 접근 방식 덕분에 Uber는 급격한 성장 속에서도 시스템을 유지할 수 있었습니다.
5. 중국 시장 진출: 불가능을 현실로 만들다 🇨🇳
2014년, 트래비스 칼라닉은 투안 팜에게 "두 달 안에 중국에서 Uber를 출시하라"는 불가능해 보이는 임무를 지시했습니다. 당시 기존 시스템을 중국 환경에 맞게 재구축하는 데는 최소 18개월이 소요될 것이라는 예측이 지배적이었습니다.
"그것은 우리가 했던 일 중에 가장 미친 짓 중 하나였지만, 동시에 가장 놀라운 일 중 하나이기도 했습니다. ... 그 당시에는 모든 서비스를 중국 본토에서 운영해야 한다는 요구사항이 있었습니다. ... 두 달이라고 했고, 저는 '정말 어렵습니다'라고 말했죠. 그는 '왜요? 서버를 설치하고 소프트웨어를 복사하면 두 달 이상 걸릴 리가 없잖아요'라고 말했습니다."
하지만 투안 팜과 그의 팀은 "할 수 있다"는 긍정적인 태도와 "빨리 움직인다"는 Uber의 문화를 바탕으로 이 도전을 받아들였습니다. 결국 5개월 만에 중국 시장에 성공적으로 진출했고, 특히 가장 어려운 도시인 청두(Chengdu)부터 시작하는 전략은 팀의 자신감을 높이는 데 크게 기여했습니다.
"가장 어려운 것부터 먼저 하는 것이 가장 훌륭한 일이라고 생각합니다. 일단 그걸 성공시키면, 다른 모든 것은 식은 죽 먹기죠. 팀은 자신감이 생기고, 다음 도시들을 자신감 있게 추진해 나갈 수 있습니다."
"그 누구도 이 모든 것을 해낼 수 있다고 생각하지 않았지만, 우리는 그저 머리를 숙이고 하나씩 풀어 나갔습니다."
6. 플랫폼과 프로그램 분할, 그리고 마이크로서비스 아키텍처 🏗️
Uber의 엔지니어링 조직이 급격히 성장하면서 기능별 조직 구조는 병목 현상을 일으켰습니다. 이를 해결하기 위해 투안 팜은 '플랫폼(Platform)'과 '프로그램(Program)'으로 조직을 분할하는 혁신적인 구조를 도입했습니다.
- 프로그램 팀: 최종 사용자가 직접 사용하는 제품(예: Uber 앱)을 개발하는 팀.
- 플랫폼 팀: 다른 프로그램 팀이 사용할 도구와 기반 레이어를 구축하는 팀.
"기능별 조직 구조로는 우리가 성장을 멈췄습니다. ... 모든 기능은 모바일 개발 팀, 디스패치 팀의 대역폭에 따라 줄을 서야 했고, 트레이드오프를 협상하는 것이 불가능해졌습니다."
"플랫폼은 도구와 레이어를 만들고, 프로그램 팀은 최종 사용자가 사용하는 것을 만듭니다. 그게 수평과 수직의 개념입니다."
이러한 조직 개편은 팀들이 독립적으로 빠르게 움직일 수 있게 했고, 이후 모놀리식 아키텍처를 수천 개의 마이크로서비스로 전환하는 기반이 되었습니다. 초기에는 모놀리스에서 코드를 분리하는 과정에서 비즈니스 성장이 워낙 빨라 새로운 기능이 모놀리스에 계속 추가되는 어려움도 겪었지만, 결국 이 전환은 Uber의 급격한 성장을 감당할 수 있는 유일한 방법이었습니다.
"우리는 모놀리식 백엔드 API가 속도를 방해할 것이라고 즉시 알았습니다. 그래서 '새로운 것은 모두 모놀리스 외부에서 만들어져야 한다'고 선언했습니다."
"이 모든 문제에 한 번에 대처할 수 있도록 수천 개의 마이크로서비스로 나눌 수밖에 없었습니다."
7. Uber의 자체 개발 도구와 Helix 앱 재작성 🛠️
Uber의 급격한 성장은 기존의 오픈 소스 솔루션으로는 감당할 수 없는 기술적 한계를 드러냈습니다. 예를 들어, PostgreSQL 데이터베이스는 특정 규모 이상에서 무작위로 오류를 발생시켰고, 이에 대한 해결책을 찾기 어려웠습니다.
"Uber를 시작했을 때는 거의 모든 오픈 소스 도구를 사용했습니다. ... 하지만 우리가 규모를 확장하면서, 우리는 그러한 오픈 소스 도구의 역량 한계를 계속해서 넘어서게 되었고, 결국에는 한계에 도달했습니다."
"예를 들어, 매우 고통스러웠던 초기 사례 중 하나는 우리가 PostgreSQL을 사용했다는 것입니다. ... 특정 규모에 도달하면 PostgreSQL은 무작위로 오류를 일으키고, 이는 우리의 서비스를 무작위로 다운시켰습니다."
이러한 문제들을 해결하기 위해 Uber는 Schemaless(데이터 스토어), Jaeger(추적 도구), M3(모니터링 도구) 등 수많은 자체 개발 도구를 만들었고, 이 중 일부는 오픈 소스로 공개되어 업계 전반에 큰 영향을 미쳤습니다.
또한, Uber는 사용자 경험 개선과 미래 확장성을 위해 'Helix'라는 프로젝트명으로 모바일 앱을 전면 재작성했습니다. 이는 당시 엄청난 규모의 리소스가 투입된 대규모 프로젝트였지만, 트래비스 칼라닉과 유키(Yuki) 디자이너의 확고한 비전 아래 성공적으로 완수되었고, 현재까지도 Uber 앱의 기본 아키텍처로 사용되고 있습니다.
"트래비스에게 비전이 있었습니다. 현재의 앱은 너무 제한적이라는 비전이었죠. ... 새로운 아키텍처는 훨씬 더 개방적이었습니다. ... 700~800명의 엔지니어가 7~8개월 동안 작업했고, 여전히 오늘날까지 사용되고 있습니다."
8. 조직 문화와 리더십: 'Mickey Mouse 샵이 아니다!' 😠
투안 팜은 Uber의 CTO로서 엔지니어링 조직의 성장과 문화에도 많은 신경을 썼습니다. 그는 신입 엔지니어들이 빠르게 적응할 수 있도록 명확하고 일관된 명명 규칙의 중요성을 강조하며, 때로는 강하게 메시지를 전달하기도 했습니다. 특히, 서비스 이름이 '무스타파(Mustafa)'와 같이 난해하게 지어지는 것에 대해 "이곳은 미키 마우스 샵이 아니다"라는 강한 어조의 이메일을 보내기도 했습니다. 🐭
"젊은 엔지니어들이 즐거워하고 싶은 마음은 이해합니다. ... 저는 이게 무슨 뜻인지 전혀 모르겠습니다. ... 저는 '이곳은 미키 마우스 샵이 아니다'라고 분명히 말했죠."
또한, 그는 엔지니어들이 다른 팀으로 이동하는 과정을 쉽게 만들어 인재의 유출을 막고 매니저들이 팀원을 더 잘 돌보도록 유도했습니다.
"엔지니어들이 회사 내에서 새로운 도전과 함께 계속 성장할 기회를 만들어주는 것이 최선이라고 생각했습니다. ... 매니저들은 팀원들을 돌보고, 개발하고, 성장시키도록 동기를 부여받아야 합니다."
"감옥이 아닙니다. 누구도 가둘 수 없습니다. 모두에게는 자유 의지가 있습니다."
9. 투안 팜의 '세 가지 임무(Three Tours of Duty)'와 Uber를 떠나다 🫡
투안 팜은 Uber에서의 7년 동안 자신의 역할을 세 가지 임무(Three Tours of Duty)로 정의했습니다.
- 1차 임무: 초기 18~24개월 동안 불안정한 시스템을 안정화하고, 작동하도록 만드는 것.
- 2차 임무: 전 세계적인 규모로 확장하는 것 (예: 중국 시장 진출).
- 3차 임무: 2017년 리더십 공백과 혼란스러운 시기에 회사가 위기를 헤쳐나가는 것을 돕는 것.
그는 3차 임무를 마치고 2020년 Uber를 떠났습니다. 그의 퇴사는 개인적인 성찰에서 비롯되었으며, 더 이상 "돈이 중요하지 않은 삶의 단계"에 도달했기 때문이라고 말했습니다. 그는 자신의 일이 미션과 일치하는지, 큰 영향력을 발휘하고 있는지, 함께 일하는 사람들과 즐거운지라는 세 가지 질문을 통해 결정을 내렸습니다.
"저의 삶의 목적에 도달했습니다. 돈은 중요하지 않습니다. ... 그래서 세 가지 질문을 합니다. 첫째, 내가 하는 일과 사명을 정말 사랑하는가? 둘째, 내가 그곳에 있음으로써 정말 큰 영향을 미치고 있다고 느끼는가? 셋째, 함께 일하는 사람들과 함께하는 것을 즐기는가?"
10. Uber 이후의 행보: 쿠팡, 누뱅크, 그리고 Faire 🌟
Uber를 떠난 후, 투안 팜은 잠시 은퇴를 고려했지만, COVID-19 팬데믹으로 인해 여행 계획이 무산되자 다시 새로운 기회를 찾게 되었습니다. 그는 한국의 이커머스 기업인 쿠팡에 합류하여 "자정 전에 주문하면 새벽 5시에 도착하는" 놀라운 물류 시스템을 경험했습니다.
"저는 쿠팡에 합류했습니다. ... 자정 전에 주문하면 새벽 5시에 현관에 도착하는 거죠. 제가 그곳에 있을 때 배송 트럭에 합류해서 새벽 2시, 3시에 사람들의 집 앞에 택배를 놓아주기도 했습니다. 정말 멋진 경험이었죠."
또한, 그는 라틴 아메리카의 선도적인 핀테크 기업인 누뱅크(Nubank)의 이사회 멤버이자 CTO 멘토로서 활약하며, 전 세계적인 재능의 중요성과 배움의 즐거움을 강조했습니다.
"누뱅크의 문화는 매우 활기찼습니다. 초기 Uber를 떠올리게 했죠. 모두가 열정적이고, 창업자도 열정적이었습니다. ... 제품 비전이 훌륭하고, 문화가 경이로웠습니다."
현재는 B2B 도매 플랫폼인 Faire의 CTO로 재직 중이며, AI 기술을 활용하여 소매업체의 검색 및 추천 기능을 개선하고 엔지니어링 생산성을 높이는 데 집중하고 있습니다. 특히, '스와밍 코딩(Swarm Coding)'과 같은 새로운 AI 기반 개발 방식을 도입하여 초기 단계에서 엔지니어링 생산성이 두 배 증가하는 놀라운 성과를 거두었다고 밝혔습니다.
11. AI 시대의 소프트웨어 엔지니어링과 CTO의 역할 💡
투안 팜은 AI가 소프트웨어 엔지니어링의 패러다임을 빠르게 변화시키고 있다고 강조합니다. AI는 이제 프로그래밍 경험이 없는 사람들도 코드를 생성할 수 있게 하여 "경기장을 평준화(elevates the playing field)"하고 있습니다.
"AI가 소프트웨어 엔지니어링을 어떻게 변화시키고, 우리가 어떤 기술을 가치 있게 여길지에 대해 이야기해 주십시오. 이미 변화하고 있습니다. 이 변화는 제가 인터넷 이후로 본 어떤 것보다도 빠르게 진행되고 있습니다."
"AI는 프로그래밍 방법을 모르는 사람들도 이제 좋은 코드를 만들 수 있게 합니다. ... AI는 경기장을 평준화시키고 있습니다."
이러한 변화 속에서 "뛰어난 엔지니어"는 여전히 AI 도구를 활용하여 생산성을 극대화하고 새로운 경계를 허물며 호기심, 과감함, 혁신 의지를 통해 차별점을 만들어낼 것이라고 예측했습니다. 그는 "안주하는 것은 죽음이다"라며 끊임없이 배우고 발전해야 함을 역설했습니다.
CTO로서 그는 "고성능 팀을 구축하는 것"과 "미래를 내다보는 것"의 두 가지를 가장 중요한 역할로 꼽았습니다. 뛰어난 인재를 모으고, 그들이 협력할 수 있는 문화를 조성하며, 2년 후의 비즈니스와 기술 환경을 예측하여 필요한 역량을 미리 확보하는 것이 CTO의 핵심 과제라고 설명했습니다.
12. 젊은 엔지니어를 위한 조언 🎓
투안 팜은 현재의 불확실한 시장 상황을 인정하면서도, 재능 있는 사람들에게는 언제나 기회가 있을 것이라고 조언했습니다. 그는 젊은 엔지니어들에게 "자신에게 투자하고, 초기에 어렵고 도전적인 문제들을 해결하며 배우는 데 집중하라"고 강조했습니다.
"지금 일터에 진출하는 사람들에게는 매우 불안정한 시기이기 때문에 두려운 시간이라는 점을 인정해야 합니다. ... 훌륭한 사람들은 여전히 기회를 찾고 있습니다."
"학생일 때 자신에게 투자하십시오. 일찍부터 어려운 문제를 해결하는 데 자원하십시오. 일찍이 더 일찍, 더 열심히 노력할수록 미래가 더 밝아질 것입니다."
또한, 그는 커리어 단계를 세 가지로 나누어 조언했습니다.
- 초기 5~10년: 가장 많이 배우고, 가장 많은 에너지를 쏟아붓는 기회를 찾아야 합니다.
- 중간 단계: 자신의 지식을 활용하여 큰 영향력을 만들 수 있는 기회를 찾아야 합니다.
- 후기 단계: 사람들을 가르치고, 멘토링하며, 배운 것을 돌려주는 데 집중해야 합니다.
마무리 👋
투안 팜과의 대화는 Uber의 CTO로서 그의 기술적 리더십과 문제 해결 능력, 그리고 끊임없이 변화하는 기술 환경 속에서 개인과 조직이 어떻게 성장해야 하는지에 대한 귀중한 통찰을 제공했습니다. 특히, 그의 인간적인 리더십과 지속적인 배움에 대한 열정은 깊은 울림을 주었습니다. 빠르게 변화하는 AI 시대에도 변치 않는 호기심, 과감함, 혁신 의지와 같은 핵심 가치들은 모든 엔지니어들에게 큰 영감을 줄 것입니다.