요약:
이 영상은 전통적인 소프트웨어 공학의 원칙들이 AI 시대에는 더 이상 통하지 않는 이유와, 실제로 대규모 AI 시스템을 성공적으로 만들기 위해 필요한 6가지 새로운 핵심 원칙을 친절하게 설명합니다. AI 시스템은 기존 소프트웨어와 매우 다른 방식으로 작동하므로, 엔지니어들은 '상태 유지', '불확실성 관리', '지능형 실패 감지', '능력 기반 라우팅', '복잡한 시스템 건강 측정', '지속적 입력 검증' 등의 새로운 방법을 배워야 합니다. 영상은 이 원칙들이 왜 필요한지 구체적인 상황과 함께 실감 나게 풀어줍니다.
1. AI 개발의 새로운 출발점: 왜 기존 원칙이 통하지 않을까?
영상의 시작에서 화자는 이렇게 강조합니다.
"AI 시스템을 만들 때, 대부분의 사람들이 놓치는 6가지 원칙이 있어요. 이걸 알면 시스템 규모와 무관하게 반드시 적용할 수 있습니다."
여기서 중요한 점은 지금까지 엔지니어들이 배운 '대규모 시스템 구축의 모범 사례'가 더는 AI 시대에 맞지 않는다는 겁니다. 오히려 그동안 배운 걸 뒤집어야 AI 시스템에서 성공할 수 있다고 말하죠.
또한 화자는 자신이 다양한 엔지니어들과 100개 이상의 AI 에이전트(Agentic) 시스템을 만들며 얻은 경험을 바탕으로, "왜 AI는 기존 방식대로 만들면 실패하는지" 구체적인 이유를 하나씩 짚어줍니다.
2. 첫 번째 원칙: 상태 유지형 지능(Stateful Intelligence)와 맥락 보존의 중요성
첫 번째이자 가장 중요한 원칙은 상태 유지(Stateful Intelligence), 즉 시스템이 사용자와의 '맥락(Context)'을 기억하고 활용해야 한다는 것입니다.
화자는 전통적인 시스템에서는 '무상태(Stateless)'를 지향했다고 설명합니다.
"이전에는 '모든 요청이 항상 처음부터 시작'이 중요했어요. 그래야 확장도 쉽고, 문제도 단순해지거든요."
그런데 AI 시스템은 문제 자체가 다릅니다. AI가 배운 맥락, 즉 '사용자와의 대화 과정이나 이전 행동'은 시스템의 뇌처럼 계속 쌓이고, 이를 기반으로 더 똑똑하게 작동해야 하죠.
예를 들어, 최근 오픈AI가 새로 도입한 API가 바로 이런 '상태 보존'을 적극적으로 활용하고 있다는 점을 언급합니다.
"맥락을 똑똑하게 남길 수 있으면 그 뒤의 모든 과정이 쉬워집니다. 진짜 좋은 AI 시스템의 핵심은 결국 맥락 엔지니어링에 달려 있습니다."
특히, 이전 방식대로 매번 똑같은 정보를 반복해서 보내는 건 '쓸데없는 낭비'라는 점을 짚으며, 상태 유지의 필요성을 강조합니다.
3. 두 번째 원칙: 불확실성의 범위 제한(Bounded Uncertainty) – 결정론에 대한 집착을 버려라
다음으로 등장하는 원칙은 AI가 본질적으로 '확률 기반(probabilistic)'으로 동작한다는 점에서 출발합니다. 전통적 소프트웨어는 입력이 같으면 출력도 항상 같게 만드는 '결정론적 시스템'을 추구했습니다. 그래서 출시 전(QA)에 시험만 잘하면 됐죠.
하지만 AI는 다릅니다.
"우린 이제 더 이상 결정론적 세상에 살지 않습니다. AI는 같은 입력에도 다른 출력을 낼 수 있죠."
그래서 확률성을 '제한'하기 위해 다양한 전략을 써야 함을 강조합니다. 예를 들어,
- LLM의 temperature 값을 0으로 낮춰 무작위성을 줄이거나,
- 입력을 매우 엄밀하게 정의해 결과의 일관성을 확보하는 방법 등이 있습니다.
또한 기존의 QA가 출시 전 완결되는 것이었다면, AI 시대에는 "출시 이후에도 계속해서 예측 밖의 상황이나 미묘한 문제들을 꾸준히 감시"해야 함을 강조하죠.
"이제 QA의 역할은, 출시 이후 생산 환경에서 일어나는 예상치 못한 문제까지 계속해서 측정하고 관리하는 것이 돼야 합니다."
4. 세 번째 원칙: 빠른 실패가 아니라, '미묘한 실패' 감지(Failure Detection)의 시대
기존 소프트웨어에선 실패하면 확실하게 시스템이 멈췄습니다. 그래서 "fail fast" – 빨리 실패해서 원인을 파악하고 깨끗하게 복구하는 게 미덕이었죠.
하지만 AI 시스템에선 실패가 표시나지 않을 수 있습니다.
"AI는 엉뚱한 환각(hallucination) 결과를 내도 겉으론 멀쩡히 돌아가는 것처럼 보일 수 있습니다. 시스템이 완벽하게 동작하는 것처럼 보여도, 진실은 전혀 다를 수 있다는 거죠."
그래서 단순히 '시스템이 켜졌나 꺼졌나'만 볼 게 아니라, 추론의 품질(Reasoning Quality), 답변이 정말로 제대로 '생각'한 결과인지 모니터링하는 게 필수라고 강조합니다.
"이제는 단순하고 명확한 장애가 아니라, 발견하기 어려운 미묘한 추론 오류까지 찾아내야 합니다."
5. 네 번째 원칙: 균등분산이 아닌, '능력 기반 라우팅'(Capability-based Routing)으로 전환
전통적으로는 모든 서버(노드)에 요청을 균등하게 분산시키는 것이 효율적이라고 배웠습니다. 하지만 AI 시스템, 특히 에이전트 기반 시스템에서는 요청마다 요구되는 연산량(컴퓨팅)이 천지차이라는 점이 중요합니다.
"AI가 어떤 복잡한 문제를 풀려고 할 때는 수천, 수만 토큰을 사용해서 엄청난 연산을 해야 할 수도 있습니다. 하지만 단순한 작업이라면 1% 미만의 자원만 쓰기도 하죠."
따라서 "모든 요청에 똑같은 분배"보다는,
"이제는 AI의 이해 수준, 작업 난이도에 따라 '능력별로' 요청을 똑똑하게 배분해야 합니다. 복잡한 건 성능 좋은 모델에게, 쉬운 건 가볍게 처리하는 방식이죠."
정리하자면, 노드의 역량 차이와 요청의 난이도에 따라 유연하게 분배하는 게 새로운 원칙입니다.
6. 다섯 번째 원칙: 단순 '온/오프'가 아닌, '복잡한 시스템 건강 상태'의 추적(Auditability)
과거엔 시스템이 "작동 중이냐, 멈췄냐"만 신경 쓰면 됐습니다.
"AI가 여러 에이전트로 분화된 시스템에서는, 전체는 살아있어도 일부 에이전트만 제대로 작동 안 할 수 있고, 간혹 서로 정보 교환이 엇나가는 경우도 많아요."
즉, 복잡한 중간 상태(shades of gray)가 훨씬 중요해진 겁니다. 각 에이전트와 그들 사이의 상호작용, 맥락 흐름, 추론 경로가 다 맞는지 '감사 추적(audit trace)' 수준으로 세밀하게 모니터링해야만 실제 서비스의 품질을 보장할 수 있다고 강조합니다.
"에이전트가 많아질수록 시스템의 건강 상태를 제대로 측정하는 게 훨씬 더 어려워집니다."
7. 여섯 번째 원칙: 대화 전 과정의 '지속적 입력 검증(Continuous Input Validation)'
전통 시스템에서는 입력값을 딱 한 번만 검증하면 됐습니다. '게이트웨이에서 한번 체크, 이후는 끝!'
"이제 대화 전체가 누적된 맥락 위에서 이어지니까, 대화의 매 순간마다 상태를 검증하지 않으면 어디서 잘못됐는지 파악조차 못하게 됩니다."
따라서 AI에서는 대화의 매턴마다, 흐름 전체에서 입력 상태를 지속적으로 점검하고 보정해야 오류 없이 품질을 유지할 수 있다고 설명합니다.
"만약 이게 어렵게 느껴진다면, 실제로 정말 어렵기 때문입니다!"
8. 새로운 시대, 새로운 원칙이 필요하다
영상 마지막에는 다음과 같은 결론이 이어집니다.
"건강한 AI 시스템을 만드는 일은 기존 소프트웨어보다 훨씬 어렵습니다. 예전의 원칙들은 AI 시대에는 더는 통하지 않는 경우가 많습니다."
그러면서 기존 원칙과 AI 원칙을 어떻게 '현명하게' 병행할 것인지, 특히 전통 소프트웨어와 AI가 혼합된 하이브리드 시스템이 일반적이기 때문에 두 가지 관점을 모두 갖춰야 하는 중요성도 짚어줍니다.
"우린 새로운 교육, 새로운 원칙, AI 시스템이 제대로 확장되는 방식을 새로 배워야 해요."
마무리
이 영상은 AI 시스템이 왜 기존의 소프트웨어와 전혀 다르게 설계되어야 하는지, 그리고 실전에서 반드시 챙겨야 할 6가지 원칙을 체계적으로 설명합니다. 진정한 AI 엔지니어가 되려면 이제는 '상태 관리', '확률적 불확실성', '능력별 라우팅', '지속적 품질 감시' 등 완전히 새로운 시각이 필요하다는 메시지가 인상적이었습니다.
"이 6가지 원칙을 모두 신경 쓴다면, 여러분의 AI 시스템이 실제로 작동하는 시스템이 될 가능성이 훨씬 높아질 겁니다. 행운을 빌어요!" 😊
핵심 키워드:
- 상태 유지형 지능 (Stateful Intelligence)
- 맥락 보존 (Context Preservation)
- 불확실성 제한 (Bounded Uncertainty)
- 미묘한 실패 감지 (Quality of Reasoning Detection)
- 능력 기반 라우팅 (Capability-based Routing)
- 시스템 건강 감사 (System Health & Auditability)
- 지속적 입력 검증 (Continuous Input Validation)