이 튜토리얼은 AI 스킬, 특히 클로드(Claude)를 활용하여 자신만의 맞춤형 AI 스킬을 만드는 5단계 과정을 자세히 설명합니다. 스킬 생성부터 평가 루프, 메모리 추가, 그리고 스킬 자체를 개선하는 방법에 이르기까지, AI 스킬을 효율적으로 구축하고 발전시키는 실용적인 팁과 노하우를 제공합니다. 이 과정을 통해 AI가 스스로 학습하고 개선하며, 사용자의 개인적인 지식과 취향을 반영하여 업무 효율성을 극대화하는 방법을 배울 수 있습니다.
1. AI 스킬이란 무엇이며, 스킬 구축을 위한 5단계 🚀
영상의 시작은 AI 스킬에 대한 소개와 함께, 오늘 다룰 내용의 핵심인 5가지 스킬 구축 단계에 대한 개요를 제시합니다. AI 스킬은 기본적으로 지침이 포함된 폴더이며, AI는 이를 특정 작업에 맞게 실행할 수 있습니다. 피터 양(Peter Yang)은 자신의 개인적인 지식과 취향을 재사용 가능한 스킬로 인코딩하여 시간을 절약하는 데 AI 스킬이 매우 유용하다고 강조합니다. 그는 '게시물 편집(edit-post)'이라는 가상의 스킬을 만들면서 다음 5단계 과정을 설명합니다.
- 최고의 예시와 개인적인 문맥을 활용하여 스킬 생성하기: AI에게 사용자의 개인적인 지식과 선호도를 가르치는 과정입니다.
- 스킬이 트리거되는 시점을 명확하게 정의하기: 스킬 설명을 통해 AI가 언제 이 스킬을 사용해야 하는지 정확히 알려줍니다.
- 수동 테스트 및 자체 평가(eval) 루프 구축: AI가 스스로 작업을 확인하고 개선하도록 돕는 단계입니다.
- 메모리(memory.md) 추가하여 스킬 개선하기: AI가 과거 대화를 기억하고 시간이 지남에 따라 더 나은 결과를 생성하도록 합니다.
- 스킬 에디터(skill editor) 구축하여 모든 스킬 개선하기: AI가 자체 스킬을 개선하고 'AI 찌꺼기(AI slop)'를 제거하도록 돕습니다.
피터는 클로드 코덱스(Claude Codex)를 사용하여 이 과정을 실시간으로 시연하며, 시청자에게 각 단계에 대한 자세한 지침을 제공합니다.
2. 개인적인 문맥과 예시로 스킬 만들기 📝
첫 번째 단계는 AI 스킬을 만들기 위해 사용자의 개인적인 문맥과 가장 좋은 예시들을 AI에게 제공하는 것입니다. 피터는 자신의 뉴스레터에 포함된 다양한 종류의 글(튜토리얼, 의견, 제품 관련 게시물 등)을 예시로 들어 설명합니다. 그는 세 가지 유형의 글을 담은 텍스트 파일을 미리 준비해 두었습니다.
"저는 'edit post' 스킬을 만들고 싶습니다. 이 스킬은 이 예시들을 기반으로 뉴스레터 초안이나 다른 형태의 장문 게시물을 편집하는 데 도움을 줄 것입니다. 예시를 검토하고 질문이 있다면 해주세요. 한 페이지 분량의 스킬을 만들어 봅시다."
이 과정에서 중요한 점은 AI에게 가능한 한 많은 예시와 개인적인 문맥을 제공하는 것입니다. AI는 제공된 예시를 분석하여 피터의 선호하는 스타일(예: "dear subscribers"라는 오프너, 간결한 문단, 한 줄짜리 문장 등)을 파악하고 몇 가지 질문을 던집니다. 예를 들어, 스킬이 호출될 때 무엇을 해야 하는지, 세 가지 게시물 유형을 어떻게 처리해야 하는지 묻습니다. 피터는 "초안 편집"과 "자동 감지 후 확인"이라고 답변하며 AI가 스킬의 초기 버전을 생성하도록 합니다.
이렇게 만들어진 skill.md 파일에는 게시물 유형 감지, 부족한 부분 목록화, 재작성 등의 워크플로우와 게시물 유형별 예시 링크, 스켈레톤, 음성 규칙 등이 포함됩니다. 피터는 여기서 중요한 몇 가지 팁을 공유합니다.
- 스킬 파일(
skill.md)과 개인적인 문맥 및 예시를 분리하세요.- 장점 1: AI는 매번 모든 예시를 읽을 필요 없이, 초안 게시물을 통해 관련 문맥만 로드합니다.
- 장점 2: 스킬을 공유할 때 개인 정보를 포함하지 않아도 됩니다.
- AI에게 최소한 두 개 이상의 다양한 예시를 제공하세요. 단 하나의 예시만 제공하면 AI가 해당 예시에 과도하게 맞춰져 원하는 결과를 얻지 못할 수 있습니다.
3. 스킬 트리거 조건 명확히 정의하기 🎯
두 번째 단계는 AI가 언제 스킬을 트리거해야 하는지 명확하게 명시하는 것입니다. AI 스킬은 클로드 코덱스나 다른 앱에서 질문을 받을 때, 전체 스킬 내용을 읽는 것이 아니라 스킬의 이름과 설명만 읽고 실행 여부를 결정합니다. 따라서 설명 부분에 스킬 사용 조건을 매우 명확하게 작성하는 것이 중요합니다.
"사용 시점: 피터가 초안 게시물이나 뉴스레터를 붙여넣거나, 장문 글을 편집, 제목 지정, 또는 보완해달라고 요청할 때."
현재 설정된 설명은 충분히 명확하다고 판단하여 수정하지 않지만, 이 부분을 정확하게 검토하지 않으면 스킬이 안정적으로 트리거되지 않을 수 있다고 피터는 강조합니다. 수동으로 스킬을 실행할 수도 있지만, 이 과정을 통해 AI가 자동으로 스킬을 감지하고 실행하도록 만드는 것이 목표입니다.
4. 자체 평가(Eval) 루프 구축하여 스킬 개선하기 🔄
세 번째 단계는 스킬을 수동으로 테스트하고 AI가 스스로 작업을 확인하고 개선하도록 평가(eval) 루프를 구축하는 것입니다. 피터는 이 부분이 다른 튜토리얼에서 잘 다루지 않는 중요한 부분이라고 말합니다.
먼저, 실제 게시물을 사용하여 스킬을 테스트합니다. 피터는 자신이 작성한 튜토리얼 게시물 초안을 붙여넣고, AI가 이를 '튜토리얼 스타일 게시물'로 정확하게 감지하는 것을 보여줍니다. AI는 초안을 검토하고 스폰서 블록 누락, 서두에 번호 미리보기 없음 등 개선할 점을 나열한 후, 수정된 초안을 제시합니다.
여기서 피터는 AI가 변경 사항을 더 명확하게 보여주도록 "편집할 때 변경 사항을 굵게 표시하라"는 지시를 추가합니다.
이제 자체 평가(evals) 에 대해 설명합니다. 이벌은 AI에게 자신의 작업을 확인하도록 요청하는 것입니다. 이벌에는 두 가지 유형이 있습니다.
- 점수 기반 이벌: "이 게시물이 얼마나 유용하고 실용적인가? 5점 만점에 점수를 주고 이유를 설명하라."와 같이 점수를 매기는 방식입니다. 피터는 AI가 3점, 4점, 5점 사이의 미묘한 차이를 정확히 구분하기 어렵기 때문에 이 방식은 별로 좋지 않다고 말합니다.
- 합격/불합격 검사 기반 이벌: AI에게 일련의 합격/불합격 검사를 수행하도록 요청하는 방식입니다. 피터는 이 방식이 훨씬 더 효과적이라고 강조하며, 최대 10개의 합격/불합격 검사를 생성하여
eval.md파일에 기록하도록 요청합니다.
피터는 검사 항목을 다음과 같은 범주로 나눌 것을 제안합니다.
- 서론: 독자의 주의를 끌고 간결해야 하며, 튜토리얼의 경우 YouTube 링크를 포함해야 합니다.
- 음성: AI 찌꺼기(AI slop) 없이 진정성 있는 목소리여야 합니다. (예: 대시, 'leverage', 'delve'와 같은 불필요한 단어, "이것은 X가 아니라 Y다"와 같은 AI 패턴, 짧은 문장 나열 등)
- 내용: 실용적인 통찰력을 제공하고, 도움이 되며 진정성 있는 어조여야 합니다.
- 행동 유도: 독자가 취할 명확한 행동 유도 문구(Call to Action)가 있어야 합니다.
AI는 이 지침을 바탕으로 eval.md 파일을 생성합니다. (예: "오프닝 훅이 있는가?", "간결한 첫 두세 문장이 있는가?", "YouTube 링크가 있는가?", "대시가 없는가?", "불필요한 단어가 없는가?", "AI 찌꺼기 문구가 없는가?")
이후 피터는 매우 중요한 추가 지시를 내립니다.
"skill.md에 이 평가를 실행할 때 별도의 에이전트를 사용하여 실행하도록 포함하십시오. 이렇게 하면 깨끗한 컨텍스트 창을 유지할 수 있습니다. 그리고 어떤 평가라도 실패하면, 원래 에이전트가 모든 평가를 통과할 때까지 게시물 편집을 계속하도록 하세요."
이 지시를 통해 AI는 하나의 에이전트가 게시물을 편집하고, 다른 별도의 에이전트가 평가를 실행하며, 평가에 실패하면 첫 번째 에이전트가 다시 편집하는 반복적인 루프를 형성합니다. 별도의 에이전트가 평가를 실행함으로써 이전 결과에 편향되지 않은 깨끗한 컨텍스트 창을 유지할 수 있습니다. 이 루프를 통해 AI는 모든 평가를 통과할 때까지 스스로 작업을 반복하고 개선합니다.
피터는 이 과정을 "마법"이라고 부르며, 인간이 개입하지 않아도 AI가 작업을 완료할 수 있다고 설명합니다. AI가 5번의 루프 끝에 모든 평가를 통과하는 시나리오를 보여주며, AI 찌꺼기와 대시 등이 제거되었음을 확인합니다. 물론, 평가 자체의 정확성을 보장하기 위해 여전히 인간의 감독이 필요하지만, 이러한 루프는 엄청난 효율성을 제공합니다.
5. 메모리(Memory.md) 추가하여 스킬의 자가 개선 유도 🧠
네 번째 단계는 스킬이 시간이 지남에 따라 스스로 개선되도록 memory.md 파일을 구축하는 것입니다. 이전 단계의 '평가 루프'는 스킬의 출력물을 개선하는 데 중점을 두었다면, memory.md는 AI와의 과거 대화를 기반으로 스킬 자체를 개선하는 데 사용됩니다.
피터는 AI에게 지금까지의 대화에서 얻은 교훈을 memory.md에 요약해 달라고 요청합니다. AI는 처음에는 너무 많은 내용을 담지만, 피터는 다음과 같이 피드백을 줍니다.
"memory.md에 포함하는 내용이 eval과 겹치지 않도록 하세요. memory.md는 스킬 자체를 개선하기 위한 것입니다. 그리고 각 날짜별 내용을 두세 문장으로 간결하게 요약해 주세요. 더 추가할 수도 있지만, 일반적으로 간결하게 작성하세요."
이는 메모리 파일이 너무 길어져 AI가 혼란스러워지는 것을 방지하기 위함입니다. 수정된 memory.md는 더 간결하게 "채점 에이전트와 편집 에이전트를 분리하는 것이 중요했다"와 같은 핵심 교훈을 담습니다.
피터는 메모리 기능이 필수는 아니지만, 명확한 합격/불합격 평가를 만들 수 없는 모호한 피드백(예: "목소리를 더 진정성 있게 만들어라")을 주고 싶을 때 매우 유용하다고 설명합니다. 메모리는 AI가 장기적으로 더 복잡하고 주관적인 개선 사항을 학습하도록 돕는 역할을 합니다.
6. 스킬 에디터(Skill Editor)로 모든 스킬 개선하기 🛠️
다섯 번째이자 마지막 단계는 자신만의 스킬을 구축하여 다른 스킬들을 개선하는 것입니다. 피터는 AI가 스킬을 작성할 때 'AI 찌꺼기(AI slop)'가 포함되는 경우가 많으므로, 이를 방지하고 스킬을 더 간결하고 명확하게 만드는 도구가 필요하다고 말합니다.
두 가지 방법이 있습니다.
- AI에게 대화를 기반으로 스킬을 구축하도록 요청: 지금까지의 대화를 바탕으로 AI가 스스로 스킬을 만들도록 합니다. 이 경우, AI는 스킬을 구축하는 5단계 방법을 사용하여 "스킬 구축자" 스킬을 제시합니다.
- 피터의 '스킬 에디터' 스킬을 복사하여 사용: 피터가 직접 만든 '스킬 에디터' 스킬은 AI 찌꺼기 방지, 간결성 유지, 점진적 공개(progressive disclosure) 규칙 준수 등의 추가 정보를 포함합니다.
피터는 자신의 '스킬 에디터' 스킬을 edit-post 스킬에 적용하는 과정을 보여줍니다. '스킬 에디터'를 실행하자, edit-post 스킬에서 발견된 대시(m-dashes), "X가 아니라 Y"와 같은 문구, 그리고 기타 서식 문제들을 수정하여 전체적으로 더 간결하고 명확하게 만들어 줍니다.
피터는 스킬 에디터를 주기적으로 실행하여 자신의 모든 스킬을 감사하거나, 새로운 스킬을 만들 때마다 적용할 것을 권장합니다. 그는 인간이 읽고 이해할 수 있는 간결한 스킬을 선호하며, 모든 스킬은 인간의 눈으로 검토되어야 진정으로 좋게 만들어질 수 있다고 믿습니다.
결론: 인간의 역할과 AI 스킬 활용 🌟
피터는 이 다섯 단계를 따르는 것이 중요하지만, AI가 생성하는 결과물은 80%에서 90% 정도만 완성될 뿐이라고 강조합니다. 'AI 찌꺼기'와 진정으로 좋은 결과물의 차이는 인간이 마지막 10%~20%를 검토하고 수작업으로 다듬으며 자신의 취향과 판단을 적용하는 데 달려 있습니다.
"저는 제 판단과 취향을 가능한 한 스킬에 많이 인코딩하려고 노력했지만, 여전히 놓치는 부분이 있습니다. 제가 뉴스레터 게시물을 작성하는 방식은 사람들이 요리를 만드는 방식과 비슷합니다. 저는 초안을 작성하고 아이디어를 말하는 데 많은 시간을 보냅니다. 그런 다음 AI가 이 게시물 편집 스킬과 같은 모범 사례를 사용하여 초기 편집 작업을 수행하도록 합니다. 그리고 마지막 10%~20%는 여러분과 공유하기 전에 제가 직접 읽어보고, 말이 되는지 확인하고, 제 상식을 적용하는 데 많은 시간을 보냅니다."
그는 시청자들에게 지난 한 주를 돌아보고, 많은 시간을 할애한 부분을 찾아 AI 스킬을 구축하여 작업을 간소화할 것을 권장합니다. 특히, 평가(evals)와 메모리(memory) 기능을 포함하여 스킬이 사용자의 입력을 통해 스스로 개선되고 시간이 지남에 따라 더 나아지도록 만드는 것이 중요합니다.
이 영상은 AI 스킬을 효과적으로 구축하고 활용하여 개인의 생산성을 극대화하는 방법에 대한 실질적이고 심도 있는 가이드를 제공합니다. 👍