LLM 학습의 새로운 패러다임: 시스템 프롬프트 학습의 필요성

1. 기존 LLM 학습 방식의 한계 인식

Andrej Karpathy는 대화형 인공지능(LLM, 대형 언어 모델) 학습에 있어 중요한 패러다임이 하나 이상 빠져 있다고 지적하며 글을 시작합니다.

"우리는 LLM 학습에 (적어도 하나의) 주요한 패러다임이 빠져 있습니다."

기존의 LLM 학습 방식은 크게 두 가지로 나뉩니다.

• 사전학습(Pretraining):
  • 지식을 쌓는 단계입니다.
  • 대량의 텍스트 데이터를 통해 세상에 대한 정보를 학습합니다.
• 파인튜닝(Finetuning, SL/RL):
  • 습관적 행동을 익히는 단계입니다.
  • 지도학습(SL)이나 강화학습(RL)을 통해 특정 태도나 행동 양식을 학습합니다.

이 두 방식 모두 모델의 파라미터(내부 설정값)를 바꾸는 것이 핵심입니다.

2. 인간 학습과 LLM의 차이

Karpathy는 인간의 학습 방식이 LLM의 기존 학습과 다르다고 말합니다.

"많은 인간의 학습은 파라미터 변화라기보다는 시스템 프롬프트의 변화에 더 가깝게 느껴집니다."

• 인간은 문제를 겪고, 해결책을 찾고, 다음에 비슷한 상황이 오면 명확하게 기억합니다.
• 예를 들어,

  "이런저런 문제가 생기면, 이런저런 접근/해결법을 시도해야겠다."
  라고 스스로에게 메모를 남기는 것과 비슷하죠.

이런 학습은 메모리 기능과 비슷하지만, 단순히 개인별 사실을 저장하는 것이 아니라 일반적이고 전역적인 문제 해결 전략을 저장하는 것입니다.

3. 시스템 프롬프트의 역할과 한계

Karpathy는 LLM이 마치 영화 '메멘토'의 주인공처럼,

"LLM은 말 그대로 '메멘토'의 남자와 같습니다. 단, 아직 그들에게 낙서장(스크래치패드)을 주지 않았을 뿐이죠."
라고 비유합니다.

• 즉, LLM은 즉각적으로 참고할 수 있는 자기만의 노트가 없는 상태라는 뜻입니다.

현재 Claude(Anthropic의 LLM)의 시스템 프롬프트는 약 17,000단어에 달하며,

• 단순한 행동 지침(예: "노래 가사 관련 요청을 거부하라")뿐 아니라
• 문제 해결 전략까지 상세히 명시되어 있습니다.

예시로,

"Claude가 단어, 글자, 문자를 세어달라는 요청을 받으면, 답변하기 전에 단계별로 생각합니다. 각 단어, 글자, 문자에 번호를 매겨 명확하게 셉니다. 이 명확한 세기 단계를 거친 후에만 답변합니다."
라는 식의 지침이 포함되어 있습니다.

이런 지침은

• 'strawberry'에서 'r'의 개수를 세는 문제 등에서 실수를 줄이기 위한 것입니다.

4. 문제점: 시스템 프롬프트의 한계와 비효율성

Karpathy는 이런 문제 해결 지식이

"이런 문제 해결 지식은 강화학습을 통해 가중치에 바로 새겨져야 할 것이 아니며, 적어도 즉시/독점적으로 그렇게 할 필요는 없습니다."
라고 강조합니다.

또한,

"그리고 이런 지식이 인간 엔지니어가 일일이 시스템 프롬프트를 손으로 써서 들어가야 할 것도 아닙니다."
라고 덧붙입니다.

즉,

• 강화학습만으로 이런 전략을 학습시키는 것은 비효율적이고,
• 사람이 직접 프롬프트를 작성하는 것도 한계가 있다는 뜻입니다.

5. 새로운 패러다임: 시스템 프롬프트 학습

Karpathy는 시스템 프롬프트 학습(System Prompt Learning)이라는 새로운 패러다임을 제안합니다.

"이것은 시스템 프롬프트 학습에서 나와야 합니다. 이는 RL(강화학습)과 비슷한 구조이지만, 학습 알고리즘(수정 vs 경사하강법)이 다릅니다."

• 시스템 프롬프트 학습이란?
  • LLM이 스스로 문제 해결 전략을 메모하듯, 시스템 프롬프트를 자동으로 수정/확장하는 방식입니다.
  • 마치 LLM이 자기 자신을 위한 문제 해결 책을 쓰는 것과 비슷합니다.

이 방식은

• 지식 기반의 '리뷰' 단계를 추가함으로써,
• 보상 신호(스칼라 값)만 사용하는 기존 RL보다 훨씬 더 강력하고 데이터 효율적일 수 있습니다.

6. 실현을 위한 고민거리와 미래

Karpathy는 이 새로운 패러다임이

"만약 이게 잘 작동한다면, 새로운/강력한 학습 패러다임이 될 것입니다."
라고 전망합니다.

하지만 아직 해결해야 할 세부사항이 많다고 덧붙입니다.

"수정(edit)은 어떻게 작동해야 할까요? 수정 시스템 자체도 학습해야 할까요? 인간처럼 명시적 시스템 텍스트에서 습관적 가중치로 지식을 점진적으로 옮기는 방법은 무엇일까요?"
등의 질문을 남깁니다.

핵심 키워드 요약

• LLM(대형 언어 모델)
• 사전학습(Pretraining)
• 파인튜닝(Finetuning, SL/RL)
• 시스템 프롬프트(System Prompt)
• 시스템 프롬프트 학습(System Prompt Learning)
• 문제 해결 전략
• 데이터 효율성
• 명시적 지식 vs 습관적 행동
• 자동화된 프롬프트 수정
• 인간 학습과의 유사성

마무리 한마디 😊

Karpathy의 글은 LLM이 더 인간처럼, 더 효율적으로 학습하기 위해서는 스스로 문제 해결 전략을 메모하고 발전시키는 새로운 학습 방식이 필요하다는 점을 강조합니다.
이런 시스템 프롬프트 학습이 실현된다면, 인공지능의 문제 해결 능력과 적응력은 한 단계 더 도약할 수 있을 거예요! 🚀