이 글은 토스 QA Platform 팀이 어떻게 토스의 품질을 지키고, 사용자와의 약속을 이행하는지 설명합니다. 매주 수백 개의 변경 사항이 적용되는 토스 앱의 안정적인 릴리즈를 위해, 팀은 토스닥터, 토스체커와 같은 자체 개발 도구를 활용하여 스모크 테스트와 리그레션 테스트를 수행합니다. 또한, PR 분석기와 tcgen 등 AI 기반 도구를 개발하여 테스트 효율성을 극대화하고 있으며, 단순히 도구를 제공하는 것을 넘어 실질적인 품질 책임을 지향하며 토스 품질의 표준을 세우고 있습니다.

1. 토스, 매주 다시 태어나다 🔄

토스는 매주 새로운 버전으로 거듭나며, 한 번의 배포에는 평균적으로 300~400건의 코드가 변경돼요. 이렇게 많은 변화 속에서도 사용자들이 토스 앱을 안전하게 이용할 수 있도록, 품질은 토스에게 반드시 지켜야 할 가치이자 사용자와의 약속이랍니다. 급한 송금이나 대출, 결제 등 중요한 순간에 앱에 문제가 생기면 사용자의 하루가 완전히 어긋날 수 있기 때문이죠.

토스 QA Platform 팀은 바로 이 '누군가'로서, 매주 앱이 사용자 손에 닿기 전에 멈춰 서서 "이거, 정말 내보내도 괜찮을까?"라는 질문을 던진다고 해요. 올해 수많은 제품을 검증해 왔지만, 팀의 이야기를 글로 꺼내는 것은 이번이 처음이라고 합니다. 앞으로 팀이 걸어온 길과 해결해야 할 과제들을 하나씩 풀어 나갈 예정이라고 하네요! 🚀

2. 매주 토스를 내보내기 전의 철저한 검증 과정 🔎

토스 QA Platform 팀의 가장 중요한 역할은 토스 앱 릴리즈를 책임지는 것이에요. 매주 수백 개의 변경 사항이 담긴 새 버전이 배포되기 전에 다음과 같은 과정을 거쳐 품질을 꼼꼼하게 챙긴답니다.

• 스모크 테스트: 새 릴리즈 후보(Release Candidate)가 올라오면 토스닥터(Toss Doctor)를 이용해 로그인부터 탈퇴까지 핵심 기능이 제대로 작동하는지 빠르게 확인해요. 동시에 PR(Pull Request) 분석기로 변경 사항을 분석해 영향 범위 위주로 테스트를 진행하죠.
• 리그레션 테스트: 이어서 토스체커(Toss Checker)로 리그레션 테스트(Regression Test)를 수행해요. 이번 주 변경 사항이 기존에 안정적으로 작동하던 기능을 손상시키지 않았는지 서비스 전반을 점검하는 과정이랍니다.

앱이 출시된 후에도 팀의 역할은 끝나지 않아요. 크래시(Crash) 지표를 지속적으로 모니터링하면서 문제가 발생하면 신속하게 대응할지, 다음 배포에서 해결할지 판단합니다. 핫픽스(Hotfix)는 사용자에게 또 한 번의 업데이트를 요구하기 때문에, 팀은 '빨리' 해결하는 것보다 '정말 지금 필요한가'를 먼저 묻는다고 해요. 같은 문제가 반복되지 않도록 직접 만든 대시보드로 크래시와 핫픽스를 추적하는 것도 잊지 않죠.

팀은 릴리즈 업무 외에도 품질이 필요한 모든 곳에서 활약해요. QA를 처음 시작하는 팀에게는 방향을 제시하고, 사내 도구의 품질을 보증하며, QA 프로세스 설계를 돕는 등 토스 전체의 품질을 끌어올리는 역할을 하고 있답니다.

궁극적인 목표는 "누구나 쉽게 테스트 케이스를 만들고, 빠르고 정확하게 테스트할 수 있어야 한다"는 것! 이것이 토스 앱의 품질을 지키는 핵심이라고 믿고 있어요.

3. 단순 테스트를 넘어, 토스 품질의 표준을 세우다 💡

QA Platform 팀의 슬로건은 "단순 테스트를 넘어, 토스 품질의 표준을 세운다"예요. 이 표준이 왜 중요할까요? 토스 팀은 매주 새 기능을 내놓는데, 이때 품질을 판단하는 기준이 사람마다 다르면 안 되기 때문이에요. 누가 언제 보더라도 같은 기준으로 검증되어야 하죠. 그래서 팀은 표준을 다음 세 가지로 정의했어요.

1. 매번 신뢰할 수 있는 배포 (Reliable Releases, Every Time): 한 번 잘 배포하는 것은 어렵지 않지만, 매주 빠짐없이 같은 수준의 신뢰를 사용자에게 전달하는 것이 진정한 실력이죠.
2. 결함을 예리하게 짚어내는 것 (Ensure Test Quality): 테스트는 양보다 질이 중요해요. 실제 큰 사고로 이어질 수 있는 결함을 정확하게 찾아내는 것이 핵심이랍니다. 그래서 "무엇을 놓쳤나"에 집중한다고 해요.
3. 효율적으로 품질을 보장하는 것 (Assuring Quality Efficiently): 사람이 손으로 반복하는 방식으로는 매주 쏟아지는 변화를 따라갈 수 없어요. 그래서 '잘하는 것'만큼 '지치지 않는 것'도 중요한 표준으로 생각합니다.

이 세 가지를 매주 빠짐없이 지켜내는 것이 바로 토스 QA Platform 팀이 말하는 토스 품질의 표준이랍니다.

올해는 여기서 한 발 더 나아가, 테스트가 스스로 동작하는 범위를 넓혀가기로 했어요. 모든 것을 AI에 맡기겠다는 의미는 아니고요, AI가 해도 될 판단은 맡기고 사람은 정말 사람이 집중해야 할 곳에만 역량을 쏟겠다는 계획입니다.

4. 우리만의 플레이그라운드, 토션(Tossion) 🛠️

매주 늘어나는 테스트 업무량을 사람의 손으로 감당하기 어려워지자, 팀은 AI 기술을 테스트에 적극적으로 활용하고 싶었어요. 하지만 시중에 나온 도구만으로는 한계가 많았죠. 토스의 빠른 배포 속도와 일하는 방식에 맞추기 어려웠기 때문이에요.

그래서 팀은 직접 우리만의 플랫폼, 토션(Tossion)을 만들었답니다! ✨ 토션은 QA인 팀원들이 더 효과적으로 일하고, 품질에 대한 이상을 자유롭게 실험할 수 있는 '우리만의 공간'을 만들자는 생각에서 시작되었어요.

토션의 시작은 기존 상용 도구인 TestRail을 대체하는 것이었어요. 테스트 케이스 작성부터 실행, 결과 기록까지 모든 과정을 토션으로 옮겨왔죠. 이 과정에서 여러 봇들도 토스버틀러(Toss Butler)라는 하나의 봇으로 통합하여, 팀의 일하는 방식에 꼭 맞도록 새롭게 빚어냈답니다.

토션으로 옮겨오고 나니, 더 필요한 것들이 보이기 시작했어요.

• PR 분석기 (PRCheck): 매주 쏟아지는 수많은 PR을 모두 들여다볼 수 없기에, "여기를 집중해서 보라"고 짚어주는 PR 분석기를 추가했어요. 개발자가 무엇을 왜 바꿨는지, 어떤 부분에 영향을 주는지, 무엇을 테스트해야 하는지까지 버그 위험도와 테스트 우선순위를 체계적으로 확인할 수 있게 되었죠.
• tcgen: 대규모 변경이나 새 기능이 추가될 때, 높은 완성도의 테스트 케이스를 빠르게 작성해야 한다는 필요성이 커졌어요. 그래서 PRD, 디자인 문서, 기타 맥락 정보를 모아 테스트 케이스를 자동으로 생성해주는 tcgen을 만들었답니다. 덕분에 처음부터 손으로 쓰는 대신, 탄탄한 초안을 받아 검토에 집중할 수 있게 되었어요.
• 자동화 테스트 플랫폼 통합: 매뉴얼 테스트와 자동화 테스트 결과를 한곳에서 보고 싶다는 바람으로, 자동화 테스트 플랫폼을 토션에 통합했어요. 이제 같은 테스트 수행 페이지에서 두 결과를 나란히 볼 수 있게 되었죠.

• 크래시 트렌드 대시보드: 발생하는 크래시를 단순히 건수로만 보는 것이 아니라, 토스에 맞는 지표와 추세로 파악하기 위해 크래시 트렌드 대시보드를 만들었어요.
• 핫픽스 대시보드: 핫픽스를 효율적으로 통제하고, 원인을 분류하며 '재발 방지' 대책을 남기는 데 초점을 맞춘 핫픽스 대시보드도 마련했답니다.

이 모든 도구들은 "매주 쏟아지는 변화를 효율적으로 풀어내 보자"는 하나의 의지에서 뻗어 나온 결과예요. 각 도구마다 특별한 사연이 있어, 앞으로 이 시리즈에서 하나씩 자세히 소개할 예정이라고 합니다. 기대되네요! 😊

5. 우리가 놓쳤던 진짜 속마음 😮

팀은 테스트 케이스를 빠르게 만들어 제공하면 사람들이 테스트를 훨씬 쉽게 할 것이라는 가설을 세웠어요. "테스트 케이스를 좀 더 쉽게 작성할 방법은 없나요?"라는 현장의 목소리를 자주 들었기에, 이 불편함만 해소해주면 많은 사람이 좋아할 것이라고 생각했죠.

그래서 tcgen을 만들어 공개했지만, 예상과는 달리 사람들의 관심은 뜨겁지 않았어요. 분명 필요하다는 목소리가 있었는데, 왜 사용하지 않을까요? 🤔

한참을 고민한 끝에, 팀은 중요한 사실을 깨달았어요.

"사람들이 속으로 바란 건 '테스트를 쉽게 하는 것'이 아니었습니다. 누군가 빠르고 정확하게 테스트를 대신 해 주고, 그 품질까지 책임져 주는 것. 그게 진짜 속마음이었습니다."

팀은 짐을 덜어준다고 생각했지만, 사용자들에게는 새로운 숙제를 안겨준 꼴이었던 거죠. 좋은 삽을 줬다고 해서 사람들이 각자 구덩이를 파고 싶어 하는 것은 아니었던 거예요. 이 깨달음은 QA Platform 팀의 하반기 방향을 완전히 바꿔 놓았답니다.

결국 팀은 직접 테스트를 핸들링하기로 결정했어요. 사람이 매번 붙지 않아도 10배의 효율을 내고, 품질은 끝까지 책임지는 방향으로 나아가기로 한 거죠. 험난한 길이지만, 이것이 옳다고 믿고 나아가고 있습니다.

6. 그럼에도 계속되는 고민들 💭

AI 덕분에 많은 문제들을 해결했지만, 팀의 고민은 여전히 계속되고 있어요. 가설은 항상 절반은 맞고 절반은 틀리듯이, 앞에서 언급한 tcgen이 그랬죠. 게다가 AI 기술은 너무나 빠르게 발전해서 어제의 최선이 오늘은 낡은 방식이 되기도 해요. 이런 빠른 변화 속에서 QA가 익숙한 방식을 고집하는 순간, 품질을 지키기 위해 만든 도구가 오히려 변화의 속도를 늦출 수 있다는 점을 인지하고 있습니다.

그래서 팀은 '만들었다'에 안주하지 않기로 했어요. 한 번은 API 테스트를 쉽게 하려고 API Labs를 만들었지만, 방향이 맞지 않는다고 판단하자 8시간 만에 과감히 걷어냈죠. 공들여 만든 것이라도 아니다 싶으면 버리고, 언제든 방향을 바꿀 준비가 되어 있어야 한다고 생각하는 거예요.

이러한 유연한 사고방식은 시스템 설계에도 반영되어 있어요. 토션, 토스닥터, 토스체커 등 팀이 직접 만든 도구들은 완성된 결과물이 아니라, 더 나은 방법이 있다면 미련 없이 대체할 수 있도록 '언젠가 바뀔 것'을 전제로 만들어졌답니다.

AI는 다양한 문제를 해결해 주지만, '무엇이 품질인지', '무엇을 끝까지 지켜야 하는지'까지는 알려주지 않아요. 도구는 AI가 더 빨리 만들어 줄 수 있지만, 그 도구가 계속 쓸모 있도록 방향을 잡고 기준을 다시 세우는 일은 여전히 QA Platform 팀의 몫인 거죠.

7. 우리의 이야기를 시작합니다 ✍️

지금까지 토스 QA Platform 팀이 어떤 팀이고, 어떤 도구들을 만들었으며, 어떤 시도와 배움을 겪어왔는지 간략하게 소개해 드렸어요. 이제부터는 이 모든 이야기들을 하나하나 더 깊이 있게 풀어낼 예정이라고 합니다.

다음 주에도 토스는 어김없이 새롭게 태어날 거예요. 화면이 바뀌고, 수백 개의 변경 사항이 또 쌓이겠죠. 그 앞에서 QA Platform 팀은 이번 주처럼 멈춰 서서 다시 물을 것입니다.

"이거, 정말 내보내도 괜찮을까?"

누군가는 토스를 테스트하고, 토스 QA Platform 팀은 그 테스트하는 법을 만드는 특별한 팀이랍니다. 앞으로 이어질 그들의 이야기가 정말 기대되네요! 😊