Introduction: AI agent와 메모리의 중요성
The video's 시작에서 발표자인 Richmond Alake는 앞으로 10~15분 동안 AI agent의 메모리 설계에 대해 핵심적이고 실용적인 정보를 제공하겠다고 약속. He 이 정보가 앞으로 6개월 동안 매우 유용할 것이며, 믿을 수 있고, 설득력 있으며, 유능한 AI agent를 만드는 데 큰 도움이 될 것이라고 강조.
"제가 여러분께 약속드릴게요. 앞으로 10~15분 동안 드릴 정보는 앞으로 6개월간 매우 중요할 겁니다. 최고의 AI 애플리케이션, 최고의 agent를 만드는 데 여러분을 최고의 위치에 올려줄 거예요."
이 발표에서는 메모리를 중심으로, 현재의 무상태(stateless) 애플리케이션을 어떻게 상태를 가진(stateful) 시스템으로 발전시킬 수 있는지, 그리고 prompt engineering의 부담을 어떻게 줄이고, agent가 사용자와 관계를 맺을 수 있도록 할지에 대해 다룹니다.
AI agent의 진화와 메모리의 필요성
Richmond는 지난 2~3년간 AI 분야의 발전을 간단히 정리.
- 챗봇에서 시작해, 2022년 11월 ChatGPT의 등장으로 폭발적인 발전이 있었고,
- RAG(Retrieval-Augmented Generation)를 통해 챗봇에 도메인 지식을 더해 더 개인화된 응답이 가능해졌으며,
- 컴퓨트와 data의 확장으로 LLM이 추론, 도구 사용 등 새로운 능력을 갖추게 되었습니다.
- 이제는 AI agent와 agentic 시스템의 시대에 진입.
여기서 중요한 논쟁 중 하나는 "AI agent란 무엇인가?". Richmond는 이 질문이 "의식이란 무엇인가?"와 비슷하게 끝없는 논쟁이라고 말.
"agent란 무엇인가에 대한 논쟁은 의식이란 무엇인가를 묻는 것과 같아요. agent성(agenticity)은 스펙트럼."
He agent의 핵심 요소를 다음과 같이 정리.
- 환경 인식(Perception)
- 인지 능력(Cognitive Abilities, LLM)
- 행동(Action, 도구 사용)
- 메모리(단기 또는 장기)
특히 메모리가 가장 중요하다고 강조.
"agent가 반영적이고, 상호작용하며, 능동적이고, 자율적이길 원한다면, 그 모든 것은 메모리로 해결할 수 ."
인간의 기억과 AI agent 메모리의 유사성
Richmond는 인간의 기억 구조를 예로 들며, AI가 인간 지능을 모방하거나 뛰어넘으려면 반드시 메모리가 필요하다고 설명.
"가장 똑똑한 사람을 떠올려보세요. 그들의 지능을 결정짓는 건 기억력. AI가 인간 지능을 모방하려면, agent에도 반드시 메모리가 필요."
인간의 뇌에는 단기, 장기, 작업, 의미, 에피소드, 절차적 기억 등 다양한 형태의 기억이 존재. For example, 백플립을 할 수 있는 사람의 경우, 그 동작에 대한 정보는 뇌의 특정 부위(소뇌)에 저장되어 .
"여러분 중에 백플립 할 수 있는 분 있나요? 그 동작에 대한 지식은 뇌의 소뇌에 저장되어 있어요. 실제로 90%는 자신감이라고 하더군요."
In this way, agent 메모리도 다양한 형태로 구현할 수 있으며, 이를 통해 상태를 유지하고, 정보를 축적하며, 다음 행동에 반영할 수 .
agent 메모리 관리의 핵심 원칙
agent 메모리의 목표는 신뢰성, 설득력, 능력을 높이는 것. 이를 위해 메모리 관리(memory management)가 필수적.
메모리 관리의 주요 구성 요소
- 생성(Generation)
- 저장(Storage)
- 검색(Retrieval)
- 통합(Integration)
- 업데이트(Updating)
- 삭제(Deletion)
- 여기서 Richmond는 인간은 기억을 완전히 삭제하지 않으므로, 망각(forgetting) 메커니즘을 구현하는 것이 더 적합하다고 설명.
"인간은 기억을 삭제하지 않아요. 트라우마처럼 정말 잊고 싶은 기억만 예외죠. agent에도 망각 메커니즘을 구현해야 ."
특히 검색(Retrieval)이 가장 중요하며, 이 부분에서 MongoDB가 큰 역할을 한다고 강조.
MongoDB와 RAG, 그리고 agent 메모리
MongoDB는 RAG pipeline에서 핵심적인 database 역할을 하며, 다양한 검색 기능(벡터, 텍스트, 그래프, 지리정보 등)을 제공.
"MongoDB는 RAG pipeline의 핵심 database. 벡터 검색만으로는 부족해요. 다양한 검색이 필요하고, MongoDB는 그걸 모두 제공."
agent가 검색 기능을 도구로 활용할 수 있게 되면, agentic RAG로 한 단계 더 발전할 수 .
다양한 agent 메모리 유형과 설계 패턴
Richmond는 자신이 개발 중인 open source 라이브러리 Memoriz를 소개하며, 다양한 메모리 유형과 그 설계 패턴을 설명.
주요 메모리 유형
- 페르소나 메모리(Persona Memory)
- agent에 개성을 부여해 사용자와의 관계를 강화.
- MongoDB에 페르소나 정보를 저장해 활용할 수 .
"페르소나 메모리는 시스템을 더 인간적으로, 더 설득력 있게 만들어줍니다."
- 툴박스 메모리(Toolbox Memory)
- 도구의 JSON 스키마를 MongoDB에 저장해, LLM에 필요한 도구만 효율적으로 제공할 수 .
"database를 툴박스로 사용하면, 필요한 도구만 검색해서 LLM에 전달할 수 있어요."
- 대화 메모리(Conversation Memory)
- 사용자와의 대화 내역을 MongoDB에 저장해, 맥락을 유지하고 더 자연스러운 대화를 가능하게 .
"대화 메모리는 타임스탬프와 대화 ID로 관리할 수 있고, 망각 신호도 구현할 수 ."
- workflow 메모리(Workflow Memory)
- agent가 수행한 작업의 성공/실패 경험을 저장해, 다음 실행에 반영할 수 .
"실패도 경험. 그 경험을 저장해 다음 실행에 반영하면, agent가 더 똑똑해집니다."
- 에피소드, 장기, agent 레지스트리, 엔티티 메모리 등 다양한 형태의 메모리도 MongoDB로 모델링할 수 .
메모리 관리 도구와 MongoDB의 차별점
시장에는 MEGPT, ME Zero, Zep 등 다양한 메모리 관리 도구가 있지만, Richmond는 "메모리 관리에 정답은 없다"고 말. 각 프로젝트에 맞는 맞춤형 메모리 관리 시스템이 필요하며, MongoDB는 이를 위한 유연한 메모리 제공자(memory provider) 역할을 한다고 강조.
"메모리 관리에 정답은 없습니다. 여러분만의 맞춤형 솔루션이 필요하고, MongoDB는 그 기반을 제공."
Voyage AI 인수와 MongoDB의 미래 전략
MongoDB는 최근 Voyage AI를 인수해, 최고의 embedding 모델과 리랭커(re-ranker)를 제공할 수 있게 되었습니다. 이를 통해 AI 환각(hallucination) 문제를 줄이고, 개발자가 data 관리와 검색 전략에 신경 쓰지 않아도 되도록 지원할 예정.
"몇 달 후면 Voyage AI의 embedding 모델과 리랭커가 MongoDB Atlas에 통합. 이제 여러분은 data 청킹(chunking) 전략을 직접 짤 필요가 없어요."
MongoDB는 빠르고 안전하게 최고의 AI 제품을 만들 수 있도록 지원하는 데 집중하고 .
자연에서 배우는 지능 설계
발표의 마지막 부분에서 Richmond는 노벨상 수상자 Hubel과 Wiesel의 고양이 시각 피질 연구를 언급. 이 연구는 계층적 표현 학습의 원리를 밝혀냈고, 오늘날 합성곱 neural network(CNN)의 발전에 큰 영향을 주었습니다.
"자연이야말로 최고의 지능 설계자. 우리의 뇌는 가장 효과적인 지능의 형태죠. 우리는 이 원리를 AI agent 설계에 적용할 수 ."
MongoDB는 신경과학자와 개발자가 함께 협력해, AGI(범용 artificial intelligence)로 나아가는 길을 모색하고 .
Closing and Further Resources
Richmond는 자신의 open source 라이브러리 Memoriz를 확인해보라고 권하며, 발표 자료가 필요하면 LinkedIn을 통해 연락하라고 안내.
"발표 자료가 필요하시면 LinkedIn에서 저를 추가해 주세요. 언제든 메모리와 관련해 이야기 나누고 싶습니다. 감사합니다!"
Key Concepts
- agent 메모리(Agent Memory)
- 메모리 관리(Memory Management)
- MongoDB
- RAG(Retrieval-Augmented Generation)
- 페르소나/툴박스/대화/workflow 메모리
- 망각 메커니즘(Forgetting Mechanism)
- Voyage AI
- 자연에서 배우는 지능 설계
이상으로, The video's 주요 내용을 시간순으로 자연스럽게 정리.
궁금한 점이 있으면 언제든 질문해 주세요! 😊