최근 영상에서 제작자는 자신이 만든 일정 관리 앱 Ellie에 AI 에이전트 기능을 추가한 경험을 공유합니다. 이 AI는 사용자의 하루를 시간별로 나누어 계획해주거나, 여러 작업을 한 번에 수정하는 등 개인 비서처럼 동작합니다. 하지만 이 기능을 실제로 출시하기까지는 예상보다 훨씬 많은 어려움이 있었다고 고백합니다.

"AI 제품을 출시할 때 사람들이 말해주지 않는 것들이 정말 많아요. 이 영상은 그런 부분에 대한 이야기입니다."

1. AI 앱 개발, 튜토리얼에 없는 진짜 문제들

이 영상은 기본적인 AI 에이전트 개발 방법을 다루는 튜토리얼이 아닙니다. 이미 그런 영상은 따로 있으니, 기초가 궁금하다면 참고하라고 안내합니다. 대신, 실제로 AI 기능을 서비스에 적용하면서 겪은 비용, 보안, 설계 등 실전에서 부딪히는 문제들과 그 해결법을 공유합니다.

"AI 기능을 만드는 건 기존 소프트웨어 개발과는 조금 달라요. 비용 문제, 보안 문제, 디자인 문제 등등..."

2. 비용 문제: 생각보다 훨씬 많이 든다

가장 먼저 예상치 못한 비용 문제가 있었습니다. 개발 중에는 비용을 대충만 생각했지만, 실제로 출시가 가까워지자 한 달에 $30 이상이 들고 있었습니다. 그런데 앱 구독료는 월 $10이니, 자기 사용만으로도 매달 $20씩 손해를 보는 셈이었습니다.

"앱 구독료가 한 달에 10달러인데, 제 사용만으로 30달러가 나가더라고요. 이러면 매달 20달러씩 손해죠."

비용 최적화를 위해 한 일들

1. 시스템 프롬프트 최적화

   • 개발 중 다양한 예외 상황을 처리하다 보니, 시스템 프롬프트가 8,000 토큰까지 길어졌습니다.
   • 모든 메시지에 이 긴 프롬프트가 함께 전송되어 비용이 크게 증가했습니다.
   • 프롬프트를 3,000 토큰까지 줄였고, 앞으로 더 줄일 계획입니다.

   "시스템 프롬프트가 너무 길어졌다는 걸 생각 못 했어요. 한 번 인사만 해도 그 긴 프롬프트가 같이 전송되니까요."

2. 대화 내역 전송 최적화

   • 테스트할 때는 메시지가 몇 개 안 되니 문제 없었지만, 실제 사용자는 2~3일 동안 50개 이상의 메시지를 주고받았습니다.
   • 매번 전체 대화 내역을 보내면 비용이 폭증합니다.
   • 최근 10개 메시지만 보내는 '윈도우' 방식을 도입해 비용을 크게 줄였습니다.
   • 과거 대화가 필요할 땐, 요약해서 보내는 방법도 고려 중입니다.

   "실제 사용해보니, 사람들이 채팅창을 며칠씩 열어두고 50개 넘는 메시지를 주고받더라고요. 이걸 다 보내면 비용이 엄청나죠."

3. 남용(Abuse) 방지: 의도치 않은 오남용도 문제

AI 기능을 남용하는 사용자를 막는 것도 중요했습니다. 의도적이든 실수든, 한 사용자가 책 한 권 분량의 메시지를 보내거나, 수백~수천 개의 메시지를 보내면 개발자가 그 비용을 모두 부담해야 합니다.

남용 방지를 위해 도입한 방법들

1. 메시지 크기 제한

   • 한 메시지의 최대 크기를 10,000 토큰으로 제한했습니다.

   "누군가 채팅창에 책 한 권을 붙여넣으면, 그 한 번에 20달러가 나갈 수도 있어요."

2. 사용자별 전송량 제한

   • 하루 100개, 한 달 1,000개 메시지로 제한했습니다.
   • 실제 사용 패턴을 보면 이 정도면 충분하다고 판단했습니다.

   "이 앱은 ChatGPT처럼 하루에 수천 개씩 대화하는 용도가 아니라, 명령을 보내는 용도라서 100개면 충분해요."

3. 원격 차단 스위치

   • 특정 사용자가 비정상적으로 많은 비용을 유발하면, 원격으로 해당 사용자만 AI 기능을 차단할 수 있게 했습니다.
   • PostHog 같은 분석 도구로 사용자별 사용량을 모니터링합니다.

   "누가 너무 많이 쓰면 버튼 하나로 그 사람만 끌 수 있어요. 그리고 직접 연락해서 이유를 물어볼 수 있죠."

4. 분석 시스템 도입

   • 앱 전체와 사용자별로 토큰 사용량과 비용을 추적할 수 있는 시스템을 구축했습니다.

   "놀라운 건, 이런 분석 시스템을 처음부터 안 넣는 앱이 정말 많다는 거예요."

4. 휠을 다시 만들지 말자: 이미 있는 라이브러리 활용하기

처음에는 모든 기능을 직접 구현했지만, 영상 공개 후 많은 사람들이 이미 잘 만들어진 라이브러리가 있다고 알려줬습니다. 대표적으로 Vercel AI SDK가 있었고, 실제로 적용해보니 훨씬 안정적이고 코드도 간결해졌습니다.

"직접 만들었던 100줄짜리 코드가, Vercel AI SDK로는 10줄이면 끝나더라고요."

• 스트리밍, 툴 호출, 대화 상태 관리 등 여러 기능이 이미 잘 구현되어 있었습니다.
• 오픈소스이고 무료라서 부담 없이 쓸 수 있습니다.
• 직접 구현해본 경험도 의미 있었지만, 결국 이미 검증된 도구를 활용하는 게 효율적임을 깨달았습니다.

5. 여러 모델을 조합해서 써야 한다

처음에는 하나의 AI 모델만 쓰면 될 줄 알았지만, 실제로는 여러 모델을 조합해야 했습니다.

• 예를 들어, GPT-4o Mini가 대부분의 작업에서 Gemini Flash보다 성능이 좋았지만, 시간대(time zone)가 얽힌 작업은 둘 다 잘 못했습니다.
• Grok 모델이 시간대 처리에 유독 강해서, 시간 관련 작업은 Grok을 따로 호출하도록 했습니다.
• 사용자의 입력을 먼저 저렴한 모델로 분석해서, 어떤 모델을 쓸지 결정하는 모델 선택 레이어도 도입했습니다.

"간단한 작업은 빠르고 싼 모델로, 복잡한 작업만 비싼 모델로 보내는 식이죠."

• 앞으로는 더 많은 모델을 조합해서 쓸 것 같다고 전망합니다.

6. 작은 팁들: 실제 사용에서 느낀 점

(1) 폼 팩터(사용 환경) 고려하기

• 처음엔 웹에서만 개발했지만, 실제로는 모바일에서 음성 명령으로 빠르게 사용하는 경우가 많았습니다.
• 모바일에서 명령을 말로 입력하는 게 훨씬 편리하다는 걸 뒤늦게 깨달았습니다.

"장보기 할 때 '계란, 베이컨, 페이퍼타월 추가해줘'라고 말하면 바로 작업이 생성돼요. 이게 모바일에서 훨씬 자연스럽죠."

(2) AI 앱의 개인화와 설정 방식

• 기존 소프트웨어는 설정을 드롭다운이나 토글로 제공하지만, AI 앱은 자유로운 텍스트 입력으로 더 세밀하게 개인화할 수 있습니다.
• 예를 들어, "나는 아침에 운동하고, 퇴근 후에 개인 일을 하고, 미팅 사이엔 15분 쉬고 싶다"처럼 자연어로 입력하면, AI가 이를 반영해 일정을 짜줍니다.

"이런 식으로 소프트웨어가 더 개인화될 수 있다는 게 정말 신기했어요."

(3) 특화 앱의 강점

• 사람들이 "ChatGPT나 Claude가 이런 기능 추가하면 어쩌냐"고 묻지만, 실제로 써보면 특화된 앱이 훨씬 편리합니다.
• 예를 들어, ChatGPT에서 일정 추가하려면 여러 번 확인을 거쳐야 하지만, Ellie에서는 한 번에 바로 처리됩니다.

"일반 앱과 특화 앱을 비교하면, 대부분의 경우 특화 앱이 문제를 더 잘 해결해요. AI도 마찬가지죠."

7. 마무리: AI 앱, 예상 밖의 어려움과 조언

AI 앱을 출시하는 건 생각보다 훨씬 어렵고, 비용, 보안, 폼 팩터, 모델 선택, 기존 도구 활용, 차별화 등 다양한 고민이 필요합니다.

"AI 제품을 만든다면, 비용 추적은 처음부터 꼭 하세요. 남용 방지 시스템도 꼭 넣고, 여러 모델을 쓸 준비도 하시고, 어떤 환경에서 쓸지 고민하세요."

마지막으로, 본인이 만든 AI 에이전트가 영상이 올라갈 즈음에는 실제로 출시되어 있을 거라며, 시청자들에게도 자신만의 AI 제품을 만들 때 겪은 문제와 팁을 공유해달라고 부탁합니다.

"여러분이 만든 AI 제품에서 겪은 문제나 팁이 있다면 꼭 댓글로 남겨주세요. 모든 댓글을 다 읽고 있습니다!"

핵심 키워드 요약

• 비용 최적화: 프롬프트/대화 내역 관리, 분석 시스템
• 남용 방지: 메시지/사용량 제한, 원격 차단, 모니터링
• 기존 라이브러리 활용: Vercel AI SDK 등
• 여러 모델 조합: 작업별로 최적 모델 선택
• 폼 팩터 고려: 모바일/음성 등 실제 사용 환경
• AI 앱의 개인화: 자연어 입력 기반 설정
• 특화 앱의 강점: 일반 AI 서비스와의 차별화

이 영상은 AI 앱을 실제로 서비스에 적용할 때 실전에서 부딪히는 문제와 해결법을 솔직하게 공유해, AI 제품을 만들고자 하는 사람들에게 큰 도움이 될 만한 내용을 담고 있습니다. 🚀