-
최근 들어 생성형 AI, 특히 LLM(Large Language Model)을 활용한 스타트업들을 만나면서, AI를 어떻게 개발하고 개선해나가야 하는지에 대한 고민을 자주 하게 됩니다. 많은 팀이 여전히 전통적인 “결정론적” 방식의 소프트웨어 개발에 익숙한 상태로 AI 프로젝트를 진행하다 보니 여러 어려움에 부딪히곤 하더군요.
-
전통적으로 소프트웨어는 “특정 입력(A)을 주면 특정 출력(B)이 나와야 한다”라는 전제로 만들어졌습니다. 그런데 LLM 처럼 학습된 모델을 활용하는 경우, 입력 A를 주었을 때 항상 동일한 B가 나오지 않습니다. 비결정성이 내재된 모델을 다룰 때는 “딱 하나의 정답” 여부로 판단하기보다 얼마나 원하는 답변에 가까운 출력을 안정적으로 뽑아내는지(확률적 성능)를 관찰하고 개선해나가는 접근이 필수적입니다.
-
몇 년 전만 해도 우버(Uber)의 차량 배차 알고리즘, 에어비앤비(Airbnb)의 다이나믹 프라이싱, 페이스북(Facebook)의 뉴스피드, 아마존(Amazon)의 상품 리스트 랭킹처럼 확률론적 개발이 일부 기능이나 팀, ML엔지니어 같은 특정 직군에만 적용되는 경우가 많았습니다. 그러나 AI 애플리케이션에서 AI 모델 활용은 단순히 제품의 일부가 아니라 제품 그 자체가 됩니다.
-
과거 개발 프로세스는 “요구사항 → 개발 → 테스트 → 배포”라는 선형적 과정이 일반적이었습니다. AI 애플리케이션 개발은 이와 달리 반복적이고 순환적인 프로세스를 가집니다. 모델이나 로직을 업데이트해 배포하고 → 실제 사용자의 입력·행동 데이터를 모니터링하면서 성능을 측정하고 → 피드백과 추가 데이터를 반영해 모델이나 프롬프트를 조정하고 → 다시 배포하는 과정을 끊임없이 반복합니다.
-
LLM 기반 서비스라면, 예를 들어 프롬프트 구성이 조금 달라졌을 뿐인데도 출력 품질이나 사용자 경험이 크게 바뀔 수 있습니다. 이런 특성은 전통적 개발 방식과는 달리 다음과 같은 장치들을 필수로 요구합니다.
-
평가 시스템(Evaluation System) 구축 AI 모델은 작동 여부만을 테스트하는 것으로 끝나지 않습니다. 다양한 입력과 시나리오에서 어떤 결과가 도출되었는지, 그 결과가 얼마나 유효했는지 측정할 수 있어야 합니다. 이를 위해 정확도(Accuracy), 정밀도(Precision), 재현율(Recall) 등 기계학습 전반의 대표적 지표를 사용하기도 하고, 동시에 사용자 설문이나 직접 확인 등을 통한 정성적 평가를 병행하기도 합니다.
-
사용자 중심의 피드백 루프 AI 모델은 출시 후에도 끊임없이 업데이트되고 개선되어야 합니다. 실제로 서비스에 접속한 사용자의 행동 데이터를 분석해, 어느 지점에서 모델이 기대와 어긋나는 출력을 내놓았는지 찾고, 이를 모델 재학습 또는 프롬프트 수정의 근거로 삼습니다. 예컨대 사용자가 챗봇 답변에 ‘부정적 피드백’을 남겼다면, 그 사례를 모아 모델이 유사 상황에서 더 좋은 대답을 하도록 만들 수 있습니다.
-
결과의 편차 관리 확률론적 모델은 같은 입력에 대해서도 달라질 수 있기 때문에, “평균 성능”뿐 아니라 “편차”도 중요합니다. 예를 들어 “70% 확률로 좋은 답변을 주지만, 30% 확률로는 심각하게 틀린 정보를 준다”는 모델이 있을 때, 이 30%가 일어나는 상황을 어떻게 줄이고 대비할지를 고민해야 합니다. ‘최소 정답률’, ‘오류율 허용 범위’ 등을 명확히 설정하고, 모니터링해야 합니다.
- 제가 일했던 Lyft의 배차(dispatch)팀과 당근마켓의 피드(feed)팀이 떠오릅니다. 이들은 ML엔지니어 위주의 확률론적 개발 전문가로 조직의 성공을 이끌었습니다. 이것은 더 이상 특정 팀의 전유물이 아닙니다. AI 모델이 제품의 중심이 된 지금, 모든 구성원이 이 패러다임을 이해하고 실천하는 것이 필수적으로 요구됩니다.
