Launching an AI App Is Much Harder Than You Think: Lessons from Real Experience

AI 앱 출시, 생각보다 훨씬 어렵다! – 실제 경험에서 얻은 교훈들

최근 영상에서 제작자는 자신이 만든 일정 관리 앱 Ellie에 AI agent 기능을 추가한 경험을 공유. 이 AI는 사용자의 하루를 시간별로 나누어 계획해주거나, 여러 작업을 한 번에 수정하는 등 개인 비서처럼 동작. 하지만 이 기능을 실제로 출시하기까지는 예상보다 훨씬 많은 어려움이 있었다고 고백.

"AI 제품을 출시할 때 사람들이 말해주지 않는 것들이 정말 많아요. This video 그런 부분에 대한 이야기."

1. AI 앱 개발, 튜토리얼에 없는 진짜 문제들

This video 기본적인 AI agent 개발 방법을 다루는 튜토리얼이 아닙니다. 이미 그런 The video 따로 있으니, 기초가 궁금하다면 참고하라고 안내. 대신, 실제로 AI 기능을 서비스에 적용하면서 겪은 비용, 보안, 설계 등 실전에서 부딪히는 문제들과 그 해결법을 공유.

"AI 기능을 만드는 건 기존 소프트웨어 개발과는 조금 달라요. 비용 문제, 보안 문제, 디자인 문제 등등..."

2. 비용 문제: 생각보다 훨씬 많이 든다

가장 먼저 예상치 못한 비용 문제가 있었습니다. 개발 중에는 비용을 대충만 생각했지만, 실제로 출시가 가까워지자 한 달에 $30 이상이 들고 있었습니다. 그런데 앱 구독료는 월 $10이니, 자기 사용만으로도 매달 $20씩 손해를 보는 셈이었습니다.

"앱 구독료가 한 달에 10달러인데, 제 사용만으로 30달러가 나가더라고요. 이러면 매달 20달러씩 손해죠."

비용 최적화를 위해 한 일들

시스템 prompt 최적화
- 개발 중 다양한 예외 상황을 처리하다 보니, 시스템 prompt가 8,000 token까지 길어졌습니다.
- 모든 메시지에 이 긴 prompt가 함께 전송되어 비용이 크게 증가.
- prompt를 3,000 token까지 줄였고, 앞으로 더 줄일 계획.
"시스템 prompt가 너무 길어졌다는 걸 생각 못 했어요. 한 번 인사만 해도 그 긴 prompt가 같이 전송되니까요."
대화 내역 전송 최적화
- test할 때는 메시지가 몇 개 안 되니 문제 없었지만, 실제 사용자는 2~3일 동안 50개 이상의 메시지를 주고받았습니다.
- 매번 전체 대화 내역을 보내면 비용이 폭증.
- 최근 10개 메시지만 보내는 '윈도우' 방식을 Introduction해 비용을 크게 줄였습니다.
- 과거 대화가 필요할 땐, 요약해서 보내는 방법도 고려 중.
"실제 사용해보니, 사람들이 채팅창을 며칠씩 열어두고 50개 넘는 메시지를 주고받더라고요. 이걸 다 보내면 비용이 엄청나죠."

3. 남용(Abuse) 방지: 의도치 않은 오남용도 문제

AI 기능을 남용하는 사용자를 막는 것도 중요. 의도적이든 실수든, 한 사용자가 책 한 권 분량의 메시지를 보내거나, 수백~수천 개의 메시지를 보내면 개발자가 그 비용을 모두 부담해야 .

남용 방지를 위해 Introduction한 방법들

메시지 크기 제한
- 한 메시지의 최대 크기를 10,000 token으로 제한.
"누군가 채팅창에 책 한 권을 붙여넣으면, 그 한 번에 20달러가 나갈 수도 있어요."
사용자별 전송량 제한
- 하루 100개, 한 달 1,000개 메시지로 제한.
- 실제 사용 패턴을 보면 이 정도면 충분하다고 판단.
"이 앱은 ChatGPT처럼 하루에 수천 개씩 대화하는 용도가 아니라, 명령을 보내는 용도라서 100개면 충분해요."
원격 차단 스위치
- 특정 사용자가 비정상적으로 많은 비용을 유발하면, 원격으로 해당 사용자만 AI 기능을 차단할 수 있게 .
- PostHog 같은 분석 도구로 사용자별 사용량을 monitoring.
"누가 너무 많이 쓰면 버튼 하나로 그 사람만 끌 수 있어요. 그리고 직접 연락해서 이유를 물어볼 수 있죠."
분석 시스템 Introduction
- 앱 전체와 사용자별로 token 사용량과 비용을 추적할 수 있는 시스템을 구축.
"놀라운 건, Such 분석 시스템을 처음부터 안 넣는 앱이 정말 많다는 거예요."

4. 휠을 다시 만들지 말자: 이미 있는 라이브러리 활용하기

처음에는 모든 기능을 직접 구현했지만, 영상 공개 후 많은 사람들이 이미 잘 만들어진 라이브러리가 있다고 알려줬습니다. 대표적으로 Vercel AI SDK가 있었고, 실제로 적용해보니 훨씬 안정적이고 코드도 간결해졌습니다.

"직접 만들었던 100줄짜리 코드가, Vercel AI SDK로는 10줄이면 끝나더라고요."

스트리밍, 툴 호출, 대화 상태 관리 등 여러 기능이 이미 잘 구현되어 있었습니다.
open source이고 무료라서 부담 없이 쓸 수 .
직접 구현해본 경험도 의미 있었지만, 결국 이미 검증된 도구를 활용하는 게 효율적임을 깨달았습니다.

5. 여러 모델을 조합해서 써야 한다

처음에는 하나의 AI 모델만 쓰면 될 줄 알았지만, 실제로는 여러 모델을 조합해야 .

For example, GPT-4o Mini가 대부분의 작업에서 Gemini Flash보다 성능이 좋았지만, 시간대(time zone)가 얽힌 작업은 둘 다 잘 못.
Grok 모델이 시간대 처리에 유독 강해서, 시간 관련 작업은 Grok을 따로 호출하도록 .
사용자의 입력을 먼저 저렴한 모델로 분석해서, 어떤 모델을 쓸지 결정하는 모델 선택 레이어도 Introduction.

"간단한 작업은 빠르고 싼 모델로, 복잡한 작업만 비싼 모델로 보내는 식이죠."

앞으로는 더 많은 모델을 조합해서 쓸 것 같다고 전망.

6. 작은 팁들: 실제 사용에서 느낀 점

(1) 폼 팩터(사용 환경) 고려하기

처음엔 웹에서만 개발했지만, 실제로는 모바일에서 음성 명령으로 빠르게 사용하는 경우가 많았습니다.
모바일에서 명령을 말로 입력하는 게 훨씬 편리하다는 걸 뒤늦게 깨달았습니다.

"장보기 할 때 '계란, 베이컨, 페이퍼타월 추가해줘'라고 말하면 바로 작업이 생성돼요. 이게 모바일에서 훨씬 자연스럽죠."

(2) AI 앱의 개인화와 설정 방식

기존 소프트웨어는 설정을 드롭다운이나 토글로 제공However, AI 앱은 자유로운 텍스트 입력으로 더 세밀하게 개인화할 수 .
For example, "나는 아침에 운동하고, 퇴근 후에 개인 일을 하고, 미팅 사이엔 15분 쉬고 싶다"처럼 자연어로 입력하면, AI가 이를 반영해 일정을 짜줍니다.

"Such 식으로 소프트웨어가 더 개인화될 수 있다는 게 정말 신기했어요."

(3) 특화 앱의 강점

사람들이 "ChatGPT나 Claude가 Such 기능 추가하면 어쩌냐"고 묻지만, 실제로 써보면 특화된 앱이 훨씬 편리.
For example, ChatGPT에서 일정 추가하려면 여러 번 확인을 거쳐야 However, Ellie에서는 한 번에 바로 처리.

"일반 앱과 특화 앱을 비교하면, 대부분의 경우 특화 앱이 문제를 더 잘 해결해요. AI도 마찬가지죠."

7. Conclusion: AI 앱, 예상 밖의 어려움과 조언

AI 앱을 출시하는 건 생각보다 훨씬 어렵고, 비용, 보안, 폼 팩터, 모델 선택, 기존 도구 활용, 차별화 등 다양한 고민이 필요.

"AI 제품을 만든다면, 비용 추적은 처음부터 꼭 하세요. 남용 방지 시스템도 꼭 넣고, 여러 모델을 쓸 준비도 하시고, 어떤 환경에서 쓸지 고민하세요."

Finally,, 본인이 만든 AI agent가 영상이 올라갈 즈음에는 실제로 출시되어 있을 거라며, 시청자들에게도 자신만의 AI 제품을 만들 때 겪은 문제와 팁을 공유해달라고 부탁.

"여러분이 만든 AI 제품에서 겪은 문제나 팁이 있다면 꼭 댓글로 남겨주세요. 모든 댓글을 다 읽고 있습니다!"

Key Concepts Summary

비용 최적화: prompt/대화 내역 관리, 분석 시스템
남용 방지: 메시지/사용량 제한, 원격 차단, monitoring
기존 라이브러리 활용: Vercel AI SDK 등
여러 모델 조합: 작업별로 최적 모델 선택
폼 팩터 고려: 모바일/음성 등 실제 사용 환경
AI 앱의 개인화: 자연어 입력 기반 설정
특화 앱의 강점: 일반 AI 서비스와의 차별화

This video AI 앱을 실제로 서비스에 적용할 때 실전에서 부딪히는 문제와 해결법을 솔직하게 공유해, AI 제품을 만들고자 하는 사람들에게 큰 도움이 될 만한 내용을 담고 . 🚀