Stripe는 다양한 글로벌 결제수단이 실제로 매출과 전환율에 미치는 영향을 대규모로 실험 및 분석했습니다. 실험 결과, 카드 이외의 주요 결제수단을 추가로 제공하면 평균 12%의 매출 상승과 7.4%의 전환율 개선 효과가 있음을 발견했습니다. 본 요약에서는 이 실험이 어떻게 설계·진행되었는지, 그리고 Stripe가 얻은 주요 교훈과 사용한 분석 방법, 나아가 실제 비즈니스에서 활용하는 방법까지 차근차근 설명합니다.

1. 실험의 배경과 주요 결과

Stripe는 최근 "50개 이상의 글로벌 결제수단이 실제로 고객 전환과 매출에 어떤 긍정적 영향을 주는지"에 관한 새로운 데이터를 발표했습니다.

"카드를 제외하고 추가로 하나 이상의 관련 결제수단을 노출했더니, 평균적으로 매출이 12%, 전환율이 7.4% 상승했습니다."

특히 현지에서 인기 있는 결제수단, 디지털 지갑, 은행이체 방식 등의 추가 제공이 큰 성과로 이어졌음을 강조합니다. Stripe는 이렇게 다양한 결제 방식이 얼마나 실질적으로 도움이 되는지를 자세히 알아보기 위해, 대규모 실제 실험을 진행하게 되었습니다.

2. 실험 설계 ①: 무작위지만 일관된 고객 경험 유지하기

실험의 첫 번째 목표는 결제수단을 임의로 조합해서 제공할 때, 전환율과 매출에 어떤 변화가 있는지 측정하는 것이었습니다. 이를 위해 Stripe는 "무작위화(randomization)" 알고리즘을 적용해 고객별로 일부 결제수단을 숨겼습니다.

하지만 단순히 무작위로만 제시하면 고객에게 혼란을 줄 수 있습니다. 예를 들어 한 고객이 결제 화면을 새로고침하거나 다시 방문할 때마다 결제수단이 바뀌면 신뢰와 경험 모두 저하될 수 있었죠.

Stripe는 이를 방지하고자 일관성(consistency) 을 유지하는 정책을 적용했습니다. Stripe Checkout을 쓸 때는 고유 세션 ID을 사용해 고객별로 늘 같은 결제수단 세트를 제공합니다. 한편, Payment Links는 매번 새 세션이 생성되어 어려움이 있었으나, 아래 정보를 조합해 "거의 고유한 사용자 식별자"를 만들었습니다.

• 요청 IP (같은 네트워크에서 발생하는 요청 구분)
• 브라우저 UserAgent (특정 브라우저 및 기기 구분, 동일 네트워크 내 다른 고객 구분용)
• Stripe 상점 ID (같은 고객이 여러 상점에서 구매할 때 각각 구분)
• 날짜 (하루 내 동일 고객의 반복 구매까지 포함 가능)

이 정보들을 합쳐 하나의 문자열로 만들고, 해시 함수로 이를 무작위 숫자에 할당한 뒤, 실험에서 사용되는 결제수단 조합별 고유 번호와 매칭해 일부 결제수단을 숨기는 방식입니다.

"이렇게 하면 새로고침을 하더라도 같은 고객에게 일관된 결제수단이 노출돼, 실험이 신뢰성을 유지할 수 있습니다."

3. 실험 설계 ②: 단계별 검증을 통한 표본 확보

실험에서 '충분히 많은 표본'을 확보하는 것도 중요했습니다. 지역이나 기기별 차이가 결제수단 효과에 영향을 끼치는지 알아보고 싶었기 때문입니다. Stripe는 임상시험에서 사용하는 "단계별 실험 전략(phased experimentation strategy)"을 따라 진행했습니다.

1. 1단계 — 파워 분석(Power Analysis):

   • 각 결제수단별로 통계적으로 유의미한 변화(전환율 상승)를 감지할 최소 표본량을 계산합니다.

2. 2단계 — A/A 테스트:

   • 실제 실험처리 없이, 무작위로 체크아웃 세션을 두 그룹(컨트롤, 실험군)으로 나눠 표본이 제대로 분포되는지 미리 확인합니다.

3. 3단계 — 파일럿 실험:

   • 실제 실험을 소규모로 진행하며, 각 결제수단/세그먼트별로 표본이 예상대로 모이는지 점검합니다.

"이 과정은 시간도 오래 걸리고 많은 자원이 들지만, 결과에 대한 신뢰도를 높이기 위해 내부 리소스를 아낌없이 투입했습니다."

4. 결과 분석: 인공지능 '인과적 포레스트' 모델 활용

실험 결과를 분석할 때, Stripe는 단순한 통계 분석 대신 AI를 적극적으로 활용합니다. 50개 이상의 결제수단에 200여개 국가, 다양한 산업군까지 조합하면 실험군이 200만 가지가 넘을 정도로 복잡해지기 때문입니다.

"AI로 '인과적 포레스트(카줄 포레스트)' 모델을 만들어 수백만 데이터 포인트 중 무엇이 비즈니스에 의미있는지 신속하게 찾을 수 있었습니다."

이 인과적 포레스트 모델(Causal Forest)은 데이터를 점점 더 작은 그룹(분할)으로 나누며, 각 분할마다 전환율 상승 효과를 따로 계산합니다. 예를 들어, 국가, 기기, 업종 등에 따라 각기 다른 결제수단이 실제 얼마나 전환에 영향을 주는지 정밀하게 분석합니다. 이 덕분에 Stripe는 "사용자별로 최적화된 실질적 인사이트"를 제공할 수 있습니다.

"수백 개의 인과적 트리를 구축해, 훨씬 더 세분화된 분석 결과를 사용자에게 제공할 수 있게 됐습니다."

5. 실험 결과의 실제 활용과 Stripe의 지속적 최적화 도구

Stripe는 이 실험을 통해 얻은 통찰력을 실제 결제 UX에 빠르게 반영하고 있습니다. 이제 Stripe의 Optimized Checkout Suite를 이용하면 "단일 통합만으로 40개 이상의 결제수단"을 곧바로 사용할 수 있습니다. 또, 코딩 없이 A/B 테스트를 할 수 있는 도구와, AI 기반으로 각 거래에 가장 적합한 결제수단을 고르는 시스템도 제공합니다.

"Optimized Checkout Suite에 내장된 AI 모델이 거래별로 적합한 결제수단을 자동으로 노출하여, 직접 복잡한 로직을 설정할 필요가 없어졌습니다."

자세한 정보나 Stripe 전문가와의 상담은 공식 문서를 참조하거나 Stripe와 직접 연락하면 도움을 받을 수 있습니다.

마치며

Stripe의 실험 과정과 결과는, 온라인 결제에서 다양한 결제수단 제공이 단순히 선택지가 많아지는 것이 아니라 실질적인 매출·전환율 증가로 이어진다는 것을 입증했습니다. 실험의 설계부터 AI를 활용한 분석, 그리고 실질적인 비즈니스 적용까지 꼼꼼히 진행한 Stripe의 접근 방식은 데이터 기반 성장에 관심 있는 실무자들에게 많은 인사이트를 제공합니다. 🧠🛒