이 논문은 실제 사용자의 익명 행동 데이터를 바탕으로 만든 페르소나 조건부 LLM 에이전트가, 실제 트래픽을 쓰지 않고도 A/B 테스트의 승패 방향을 예측할 수 있는지 검증한다. 40개의 이커머스 A/B 테스트에서 쌍대 비교형 점수 평가(pairwise rating)와 도메인에 맞는 행동 데이터가 특히 중요했으며, 조건에 따라 0.75~0.90의 방향 예측 정확도를 달성했다. 다만 이는 실제 실험을 대체하기보다는, 좋지 않은 후보를 미리 걸러 내고 우선순위를 정하는 저비용 사전 검토 도구로 활용하는 것이 적절하다는 결론이다.

1. 실제 A/B 테스트의 비용 문제와 연구 목표

온라인 A/B 테스트는 제품 변경이 실제로 효과가 있는지 확인하는 가장 신뢰도 높은 방법이다. 하지만 충분한 사용자 트래픽을 확보해야 하고, 실험을 구현할 엔지니어링 작업도 필요하며, 통계적으로 의미 있는 결과를 얻기까지 보통 수주가 걸린다. 이 때문에 기업은 많은 아이디어를 동시에 시험하기 어렵고, 실패 가능성이 큰 디자인에도 비용과 트래픽을 투입하게 된다.

논문은 이 문제를 줄이기 위해, 대규모 언어 모델(LLM)이 서로 다른 사용자 역할을 맡아 A/B 테스트의 반응을 미리 시뮬레이션하도록 제안한다. 핵심은 단순히 가상의 소비자를 만들어 내는 것이 아니라, 수개월간 축적된 익명화 행동 신호를 활용해 페르소나를 구성한다는 점이다. 여기에는 활동 빈도, 구매·탐색 패턴, 참여 수준, 가격 민감도, 추론된 인구통계 특성 등이 포함된다.

"데이터 기반 페르소나는 실제 행동 데이터에 근거해 만들어지며, 특정 개인을 나타내거나 재식별하기 위한 것이 아니다."

기존 연구 중 SimAB는 화면 스크린샷을 바탕으로 합성 페르소나를 생성해 A/B 테스트의 방향을 예측했지만, 실제 사용자 행동에 근거하지 않았다. 반대로 SimGym은 실제 트래픽 로그를 브라우저 에이전트에 재생하는 방식이지만, 상세 세션 로그가 필요하고 페르소나 자체를 어떻게 구성해야 하는지는 깊이 다루지 않았다.

이 연구는 그 사이의 빈틈을 겨냥한다. 즉, 실제 행동 데이터로 만든 페르소나가 얼마나 유용한지, 페르소나의 정보가 얼마나 깊어야 하는지, 다양한 사용자 집단을 얼마나 잘 포괄해야 하는지, 또 인원 수를 줄여도 성능을 유지할 수 있는지를 체계적으로 검증한다. 🎯

2. 핵심 연구 질문과 기여

연구진은 클릭률(CTR)과 구독 전환이라는 두 종류의 지표에 걸친 40개 이커머스 A/B 테스트를 벤치마크로 만들고, 다음 네 가지 질문을 검토했다.

1. 에이전트에게 어떤 방식으로 질문해야 정확도가 높아지는가?
2. 실제 행동 데이터 기반 페르소나는 합성 페르소나보다 더 나은가?
3. 한 사람당 행동 이력을 깊게 담는 것과, 더 다양한 인구 집단을 넓게 담는 것 사이에는 어떤 균형이 필요한가?
4. 전체 페르소나 집단을 얼마나 줄여도 시뮬레이션 품질이 유지되는가?

논문의 핵심 기여는 다음과 같이 정리된다.

• A/B 테스트 시뮬레이션을 구조화된 질문 과제로 정의하고, 질문 형식을 체계적으로 비교했다.
• 페르소나 데이터의 양 자체보다 도메인 정합성, 즉 실험 대상과 행동 데이터의 분야가 얼마나 잘 맞는지가 훨씬 중요하다는 점을 보였다.
• 개별 페르소나의 정보 밀도와 전체 집단의 대표성 사이의 깊이–다양성 균형을 실증적으로 분석했다.
• 페르소나 수를 약 절반으로 줄여도 품질 손실이 거의 없어, 추론 비용을 최대 2배 절감할 가능성을 확인했다.

3. A/B 테스트 시뮬레이션 프레임워크

이 프레임워크는 크게 페르소나 구성, LLM 시뮬레이션, 결과 집계와 평가의 세 단계로 이루어진다.

페르소나 구성

먼저 익명화되고 집계된 사용자 행동 기록을 LLM에 입력한다. LLM은 이 데이터를 토대로 일관된 형식의 소비자 프로필을 생성한다. 여기에는 추론된 나이·성별·소득·교육 수준 같은 인구통계 정보뿐 아니라, 브랜드 선호도, 가격 민감도, 품질 기대치, 리뷰 활용 방식, 구매 빈도, 지출 수준, 검색 후 상품 조회 비율, 조회 후 구매 비율 등이 포함된다.

또한 행동 데이터를 읽기 쉬운 서술형 프로필로 바꾼다. 예를 들어 "저가 상품을 자주 비교하고 리뷰를 신중하게 확인하는 소비자"처럼, LLM이 이후에 특정 사용자 역할을 연기할 수 있도록 행동 특성을 하나의 일관된 이야기로 정리한다.

"당신은 이제 특정 온라인 소매 고객의 페르소나를 구현합니다. 이 사람의 인구통계적 배경, 관심사, 행동 패턴에 맞추어 응답하세요."

중요한 점은 이 페르소나가 실제 개인의 복제본이 아니라는 것이다. 실제 행동 패턴을 통계적으로 반영한 합성 프로필이며, 개인 식별이나 타기팅에는 사용하지 않는다는 원칙을 명시했다.

시뮬레이션

각 A/B 테스트에서는 기존 디자인인 대조군(Control)과 변경안인 처치군(Treatment)의 시각적 화면을 페르소나 에이전트에게 보여 준다. 에이전트는 자신이 맡은 페르소나의 관점에서 두 디자인을 평가하고, 목표 지표와 관련한 점수와 이유를 반환한다.

예를 들어 CTR 실험이라면 "이 화면이 클릭하고 싶게 만드는가?"를, 구독 실험이라면 "이 화면이 가입 의향을 높이는가?"를 묻는다. 각 에이전트가 대조군과 처치군에 준 점수 차이를 모아, 실제 A/B 테스트에서 처치안이 더 좋았을지·나빴을지·영향이 거의 없었을지를 예측한다.

집계와 평가

연구의 목표는 효과 크기를 정확히 맞히는 것보다, 처치안의 효과가 양수인지 음수인지, 즉 실제 제품 의사결정에서 중요한 "출시할 만한가?"의 방향을 맞히는 것이다.

이를 위해 세 가지 지표를 사용했다.

• 정확도(Accuracy): 실제와 시뮬레이션이 같은 방향을 예측했는지 본다.
• 부호 중첩도(Sign Overlap): 둘 다 긍정 효과를 얼마나 확신하는지, 또는 둘 다 부정 효과를 얼마나 확신하는지까지 비교한다.
• 부호 바타차리야 계수(Sign Bhattacharyya): 불확실성 분포까지 고려해 두 예측이 얼마나 비슷한지 평가한다.

단순 정확도는 효과가 0에 가까울 때 작은 차이로도 결과가 맞음·틀림으로 급격히 바뀔 수 있다. 따라서 논문은 확신 수준과 불확실성까지 반영하는 두 분포 기반 지표를 함께 사용했다.

4. 질문 형식이 정확도를 좌우하는 방식

연구진은 에이전트에게 디자인을 어떻게 제시하고 답을 어떻게 받는지가 성능에 큰 영향을 준다고 보고, 네 가지 방식을 비교했다.

• 독립 이진형: 각 디자인을 따로 보여 주고, 참여 여부를 예·아니오로 답하게 한다.
• 독립 평점형: 각 디자인을 따로 보여 주고, 1~10점으로 평가하게 한다.
• 쌍대 이진형: 두 디자인을 함께 보여 주고, 각 디자인에 참여할지를 예·아니오로 답하게 한다.
• 쌍대 평점형: 두 디자인을 함께 보여 주고, 각각 1~10점으로 평가하게 한다.

쌍대 형식에서는 디자인의 좌우·앞뒤 순서가 결과에 영향을 주는 위치 편향을 줄이기 위해, 페르소나마다 제시 순서를 무작위화했다.

실험 결과, 두 디자인을 함께 보여 주고 점수를 매기게 하는 쌍대 평점형이 모든 지표에서 가장 안정적으로 우수했다. 독립형은 에이전트가 절대 점수를 일관되게 매기기 어려워 성능이 낮았다. 반면 쌍대 비교는 "둘 중 어느 쪽이 더 나은가"라는 기준점을 제공해, LLM이 비교 판단을 하도록 도왔다.

"독립 형식은 비교 맥락 없이 점수를 보정하기 어려워 성능이 낮았고, 쌍대 비교는 자연스러운 기준점을 제공했다."

쌍대 평점형은 CTR에서 0.75, 구독 테스트에서 0.80의 방향 정확도를 기록했다. 쌍대 이진형도 구독 과제에서는 강했지만 CTR에서는 성능이 떨어졌다. 따라서 이후의 주요 실험은 모두 쌍대 평점형을 기본 설정으로 사용했다.

5. 데이터 출처와 도메인 정합성의 중요성

연구진은 플랫폼 내 행동 데이터로 만든 페르소나뿐 아니라, 세 가지 공개 데이터셋으로 만든 페르소나도 비교했다. 공개 데이터는 사회과학 설문 데이터, 영화 평점 데이터, 공개 이커머스 구매 데이터로 구성됐다.

그 결과, 플랫폼 행동 데이터 기반 페르소나는 CTR에서 0.70 정확도, 구독에서도 경쟁력 있는 성능을 보였다. 그런데 공개 이커머스 데이터로 만든 페르소나는 구독 테스트에서 0.90 정확도를 기록해, 플랫폼 특화 데이터 기반 페르소나의 0.80을 오히려 앞섰다.

이는 데이터가 독점적이거나 플랫폼 내부 데이터라는 사실보다, 실험 과제와 데이터가 같은 행동 영역에 속하는가가 더 중요하다는 뜻이다. 이커머스 탐색·구매 행동은 위젯 클릭과 구독 의향을 평가하는 데 직접 관련되므로, 공개 데이터여도 충분히 강한 신호를 제공할 수 있었다.

반면 영화 평점·엔터테인먼트 취향에 기반한 Rotten Tomatoes 페르소나는 CTR에서 0.65로 어느 정도 작동했지만, 구독에서는 0.60으로 하락했다. 사회과학 설문 기반 페르소나도 양쪽 과제에서 중간 수준에 머물렀다.

"도메인 정합성은 페르소나 효과의 핵심이다. 공개 이커머스 데이터도 플랫폼 특화 페르소나와 맞먹을 수 있다."

즉, 실험 대상이 쇼핑 경험이라면 쇼핑 행동 데이터, 콘텐츠 취향을 시험한다면 콘텐츠 소비 이력처럼, 평가 대상과 잘 맞는 행동 데이터를 사용해야 한다.

6. 행동 정보의 깊이와 인구 다양성의 균형

연구진은 각각 935명으로 구성된 두 페르소나 집단을 비교했다.

딥 풀(Deep pool)은 활동 수준과 구매 이력이 풍부한 사용자를 중심으로 만든 집단이다. 각 페르소나에 더 많은 행동 정보가 있어, 세밀하고 자신감 있는 프로필을 만들 수 있다. 다만 활동적인 파워 유저 쪽으로 치우쳐, 전체 사용자 집단을 충분히 대표하지 못할 위험이 있다.

반대로 대표 풀(Representative pool)은 여러 인구·행동 집단에서 층화 표본을 뽑아 다양성을 확보한 집단이다. 개별 사용자의 행동 기록은 더 희소하지만, 전체적으로는 젊은 층, 임차인, 비대졸 사용자 등 딥 풀에 적은 집단도 포함한다.

CTR에서는 딥 풀이 대표 풀보다 유의미하게 높았다. 정확도는 각각 0.75 대 0.60이었다. 이는 행동 이력이 희소한 페르소나의 경우 LLM이 개인 특성에 근거한 판단을 하기보다, 일반적인 상식에 가까운 답변으로 돌아갈 가능성이 있기 때문으로 해석된다.

하지만 구독 테스트에서는 두 풀이 모두 0.80 정확도를 기록했고, 다른 평가 지표에서도 유의미한 차이가 없었다. 개별 프로필의 깊이가 부족해도, 다양한 인구 집단을 포함하는 것이 집단 전체 수준의 예측력에 보상 효과를 낼 수 있다는 의미다.

다만 두 풀 모두 인구 구성 편향이 남아 있었다. 대표 풀은 30~40대에 집중되고 고령층이 적었으며, 딥 풀은 상대적으로 연령이 더 퍼져 있었지만 젊은 층이 부족했다. 연구진은 이 문제가 단순 표본 추출의 문제가 아니라, LLM이 행동 데이터에서 인구통계 특성을 추론하는 과정에서 발생하는 편향일 수도 있다고 지적했다.

"행동 정보의 깊이는 CTR 정확도에서 유의미한 이점을 보였지만, 구독 테스트에서는 인구통계적 다양성이 그 차이를 상쇄했다."

7. 페르소나 수를 줄여 비용을 낮추는 방법

페르소나 수가 많아질수록 LLM 호출 비용과 처리 시간이 선형적으로 늘어난다. 연구진은 935명의 전체 풀에서 500명만 선택해도 성능을 유지할 수 있는지 검토했다.

비교한 방법은 세 가지다.

• 무작위 추출: 전체에서 균등하게 무작위로 선택한다.
• Greedy Farthest: 이미 고른 페르소나들과 가장 멀리 떨어진 페르소나를 순서대로 선택해, 특성 공간의 다양성을 확보한다.
• Kernel Herding: 선택된 부분집합의 분포가 전체 집단의 분포와 최대한 닮도록 고른다.

이 방법들은 페르소나 텍스트를 벡터로 바꾼 임베딩 공간에서 작동한다. 즉, 내용상 서로 비슷한 페르소나만 중복 선택하지 않고, 전체 집단의 다양한 특성을 유지하도록 고르는 방식이다.

500명을 선택했을 때, 모든 방법은 전체 풀과 거의 같은 성능을 유지했다. CTR에서는 전체 대비 차이가 1%포인트 이내였고, 구독에서는 같거나 더 좋은 성능도 나타났다. CTR에서는 Greedy Farthest가, 구독에서는 Kernel Herding이 가장 좋았지만, 단순 무작위 추출도 상당히 강력했다.

심지어 일부 경우에는 부분집합이 전체 집단보다 불확실성 측면에서 더 좋은 점수를 받았다. 전체 페르소나를 사용하면 지나치게 확신에 찬 예측을 만들 수 있는데, 표본을 줄이면 자연스러운 변동성이 생겨 실제 실험의 불확실성과 더 잘 맞을 수 있기 때문이다.

100명만 사용한 작은 표본에서도 CTR은 0.77~0.80, 구독은 0.82~0.86 수준으로 경쟁력 있는 결과를 냈다.

"500명으로 줄여도 거의 전체 풀 수준의 정확도를 유지하며, 최대 2배의 비용 절감 가능성을 보였다."

8. 구성 요소별 기여와 모델 간 검증

연구진은 어떤 요소가 실제 성능 향상에 기여했는지 알아보기 위해 제거 실험을 수행했다.

먼저 인구통계 정보만 사용한 페르소나는 전체 행동 프로필을 사용했을 때보다 크게 약화됐다. 특히 구독 정확도는 전체 행동 페르소나의 0.80에서 인구통계만 사용했을 때 0.30까지 떨어졌다. 이는 구독처럼 더 신중하거나 중요한 의사결정에서는 나이·소득·교육 같은 기본 속성보다, 실제 행동 이력과 구매 성향이 훨씬 중요하다는 의미다.

또한 에이전트에게 점수만 내고 이유를 설명하지 못하게 한 경우, CTR 정확도는 0.70에서 0.60으로 하락했다. 구독 정확도는 0.80으로 유지됐지만, CTR처럼 비교적 미세한 클릭 의향을 예측할 때는 페르소나에 근거해 이유를 단계적으로 생각하도록 유도하는 방식이 도움이 된다고 해석했다.

고정된 단일 소비자 페르소나를 모든 테스트에 적용한 경우도 효과가 없었다. CTR 정확도는 일반 LLM의 0.45보다 낮은 0.40, 구독은 0.65보다 낮은 0.60이었다.

"단 하나의 일반적 쇼핑객 페르소나는 페르소나가 전혀 없는 모델보다도 낫지 않았다."

이는 단순히 "소비자인 척하라"고 지시하는 것만으로는 부족하며, 다양한 사용자 집단을 반영하는 다수의 페르소나가 핵심이라는 점을 보여 준다.

연구진은 Claude Sonnet 4.5 외에도 Claude Haiku와 Claude Opus에서 질문 형식 실험을 반복했다. 모델별로 쌍대 평점형과 쌍대 이진형 중 어느 쪽이 더 나은지는 조금 달랐지만, 세 모델 모두에서 독립형보다 쌍대 비교형이 일관되게 우수했다. 따라서 "비교 맥락을 제공해야 한다"는 결론은 특정 모델 하나에만 국한되지 않는 것으로 나타났다.

9. 활용 가능성, 신뢰 범위와 재현성

연구진은 이 시스템이 실제 A/B 테스트를 완전히 대체할 수는 없다고 분명히 말한다. 대신 실무에서는 명백히 좋지 않은 후보를 사전에 제외하고, 여러 디자인 변경안을 예상 효과에 따라 정렬하는 프리스크리닝 도구로 쓰는 것이 현실적이다. 배치 추론을 쓰면 수주가 걸리는 실제 실험보다 훨씬 짧은 몇 시간 안에 시뮬레이션을 마칠 수 있다. ⚡

특히 실제 효과가 클수록 시뮬레이션 예측은 신뢰할 만했다. 반대로 효과가 거의 0에 가까우면, 아주 작은 차이만으로도 결과의 방향이 바뀌기 때문에 신뢰도가 낮았다. 따라서 이 결과는 "이 디자인을 반드시 출시해야 한다"는 이진 결론보다, "어떤 실험을 먼저 검증할 것인가"를 정하는 우선순위 신호로 보는 편이 낫다.

데이터 측면에서는 약 20건 미만의 거래 기록만 있는 사용자 페르소나에서 성능 저하가 뚜렷했다. 행동 근거가 부족하면 LLM은 개인화된 판단 대신 일반적인 추론에 의존하기 쉽다. 반대로 공개 이커머스 데이터가 플랫폼 내부 데이터와 경쟁 가능한 성능을 보였으므로, 기업 내부 로그가 없어도 연구를 시작할 수 있다는 점은 중요한 장점이다.

연구진은 독점 A/B 테스트 결과를 공개할 수는 없지만, 영화·책·농담 평점처럼 실제 선호도 순위가 있는 공개 데이터셋을 A/B 테스트 형식으로 바꿔 재현할 수 있다고 제안한다. 예컨대 두 영화의 평균 평점 차이를 실제 효과로 두고, 페르소나 에이전트가 두 영화를 평가하게 하면 A/B 테스트와 유사한 방향 예측 벤치마크를 만들 수 있다. 공개 데이터셋에서 효과 크기가 클수록 정확도가 꾸준히 높아지는 패턴도 확인했다.

10. 한계와 윤리적 고려

이 연구에는 몇 가지 중요한 한계가 있다. 우선 에이전트는 전체 웹페이지나 실제 구매 여정을 보는 것이 아니라, 고립된 스크린샷을 본다. 실제 사용자의 의사결정에는 현재 탐색 목적, 이전 세션, 페이지 주변 내용, 상품 가격, 배송 조건 등 다양한 맥락이 영향을 주지만 이런 요소들은 충분히 반영되지 않았다.

또한 실험은 단일 이커머스 영역의 40개 테스트와 CTR·구독 두 지표에 한정됐다. 다른 산업, 다단계 사용자 여정, 장기 유지율, 실제 구매금액 같은 지표에서도 같은 성능을 보일지는 아직 알 수 없다.

인구통계 정보는 사용자가 직접 제공한 것이 아니라 행동 신호를 보고 LLM이 추론한 것이다. 따라서 실제 특성과 다를 수 있으며, 특정 단서가 어떤 방식으로 주어지느냐에 따라 추론 결과가 달라질 수도 있다. LLM은 처치안을 지나치게 긍정적으로 평가하거나, 처음 제시된 항목에 영향을 받는 편향도 보일 수 있다. 쌍대 비교는 두 안에 공통으로 적용되는 긍정 편향을 어느 정도 상쇄하지만, 완전한 해결책은 아니다.

모델 일반화도 제한적이다. Sonnet 4.5를 주로 사용하고 Haiku·Opus에서 일부 재검증했지만, 다른 회사의 모델이나 전혀 다른 구조의 모델에서도 동일한 결과가 나올지는 확인되지 않았다.

윤리 측면에서 연구진은 모든 행동 데이터를 사전에 익명화·비식별화했으며, 개인식별정보는 파이프라인에 포함하지 않았다고 밝혔다. 또한 페르소나의 연령·성별·소득 같은 정보는 어디까지나 집단 수준 시뮬레이션을 위한 통계적 조건 변수일 뿐, 실제 개인의 속성으로 간주하거나 개인별 프로파일링·타기팅에 사용하지 않는다고 강조했다.

11. 결론

이 논문은 실제 행동 데이터에 근거한 페르소나를 LLM에 부여하면, A/B 테스트 결과의 방향을 비교적 정확하게 예측할 수 있다는 가능성을 제시했다. 가장 효과적인 설정은 두 디자인을 함께 보여 주고 각각 점수를 매기게 하는 쌍대 평점형 질문 방식이었으며, 정확도는 과제에 따라 0.75~0.90에 도달했다.

가장 중요한 교훈은 데이터의 양이나 독점성보다 도메인 정합성이라는 점이다. 쇼핑 관련 A/B 테스트에는 쇼핑 행동 데이터가 효과적이었고, 공개 이커머스 데이터도 플랫폼 내부 데이터에 맞먹거나 더 나은 결과를 낼 수 있었다. 또한 행동 이력이 풍부한 페르소나는 CTR 예측에서 유리했지만, 구독 예측에서는 다양한 인구 집단을 포괄하는 것만으로도 상당 부분 보완할 수 있었다.

결국 이 접근은 실제 실험을 없애기 위한 기술이라기보다, 제한된 트래픽과 시간 속에서 더 유망한 실험을 골라내기 위한 도구에 가깝다. 앞으로 더 다양한 도메인, 실제 페이지 맥락, 더 정교한 편향 보정과 공개 벤치마크가 결합된다면, A/B 테스트 전 단계의 의사결정을 빠르고 저렴하게 돕는 시뮬레이션 체계로 발전할 가능성이 있다.