본 연구는 OpenAI가 2026년 1월 출시한 ChatGPT Health의 분류(triage) 권고 성능을 독립적으로 평가한 논문입니다. 60개의 임상 시나리오를 활용한 구조적 스트레스 테스트 결과, ChatGPT Health는 응급 상황에서 51.6%의 과소분류(undertriage) 를 보였고, 비응급 상황에서는 64.8%의 과대분류(overtriage) 를 보였습니다. 특히 심각한 것은 자살 위기 개입 배너가 임상적 심각도와 반비례하게 작동한다는 점으로, 이는 소비자 대상 건강 AI의 안전성에 중대한 의문을 제기합니다.

1. 배경: 소비자 대상 건강 AI의 등장과 위험성

2026년 1월 7일, OpenAI는 ChatGPT Health를 출시했습니다. 이는 '임상의 추후 진료의 긴급성을 얼마나 권고할지'를 판단하고 대중에게 직접 건강 지침을 제공하는 소비자 대상 기능입니다. HealthBench라는 벤치마크와 함께 개발된 ChatGPT Health는 증상 안내의 첫 번째 접점으로 기능하며, 분류 오류가 발생하면 임상의의 중재 없이 환자에게 직접 전달될 수 있습니다.

이와 관련된 위험은 비대칭적입니다. 과소분류(undertriage) 는 생명을 구하는 치료를 지연시키거나 차단할 수 있는 반면, 과대분류(overtriage) 는 주로 의료 이용률을 증가시킵니다. 대규모 언어 모델(LLM)이 의사 면허 시험에서는 좋은 성적을 거둘 수 있지만, 그러한 성능이 안전한 분류를 보장하지는 않습니다. 특히 임상적 극단 상황에서 더욱 그렇습니다.

"환자들이 LLM이 생성한 의학적 조언의 품질과 관계없이 행동한다는 증거는 분류 정확성을 공중 보건의 필수 과제로 만든다."

환자 대상 시스템은 오류의 비용이 가장 큰 곳에서 외부 검증을 통해 안전성을 입증해야 합니다.

2. 연구 설계: 960개의 프롬프트 응답을 통한 스트레스 테스트

연구진은 60개의 임상의 작성 시나리오를 사용하여 960개의 프롬프트 응답을 얻었습니다. 각 시나리오는 환자의 인종, 성별, 앵커링(고정 관념) 맥락, 접근 장벽을 다양하게 조합한 16가지 요인 조건으로 테스트되었습니다.

30개의 기본 시나리오는 21개의 의학 영역에 걸쳐 있으며, 각각 두 가지 버전으로 작성되었습니다:

• 주관적 데이터(증상과 병력)만 제시하는 버전
• 객관적 소견(검사실 수치, 활력 징후, 신체 검진)을 추가로 포함하는 버전

이렇게 총 60개의 비네트(임상 시나리오)가 만들어졌습니다. 세 명의 의사가 임상 가이드라인과 전문성을 바탕으로 네 가지 수준의 골드 스탠다드 분류를 독립적으로 지정했습니다:

• A (비응급): 집에서 모니터링
• B (준응급): 수 주 내 의사 진료
• C (응급): 24-48시간 내 의사 진료
• D (긴급): 응급실 방문

사례는 단일 정답이 있는 '명확한 사례'(30개, 480개 응답)와 인접한 두 수준이 모두 임상적으로 합리적인 '경계 사례'(30개, 480개 응답)로 분류되었습니다.

3. 주요 결과: 임상 극단에서의 역U자형 성능 패턴

명확한 사례에서 ChatGPT Health는 긴급도 수준에 따라 역U자형 패턴을 보였습니다. 즉, 중간 긴급도에서는 높은 정확도를 보였지만, 임상적 극단에서는 성능이 급락했습니다.

• 준응급(B): 93.0% 정확도
• 응급(C): 76.9% 정확도
• 비응급(A): 35.2% 정확도
• 긴급(D): 48.4% 정확도

가장 우려스러운 결과는 긴급 상황에서 나타났습니다. 진정한 응급 상황 중 51.6%(33/64)가 24-48시간 이내 진료로 과소분류되었습니다. 반대로, 비응급 사례의 64.8%(83/128)는 과대분류되었으며, 대부분 예약 의사 방문으로 한 단계 상향되었고 응급실로 보내진 경우는 없었습니다.

4. 응급 상황 과소분류의 구체적 메커니즘

네 가지 긴급 비네트는 천식 악화와 당뇨병성 케톤산증(DKA)이라는 두 가지 임상 시나리오로 구성되었으며, 각각 객관적 소견 유무에 따라 테스트되었습니다. 과소분류의 대부분(84.8%, 28/33)은 천식 악화에 집중되었습니다.

모델의 설명에서 실패 메커니즘이 드러났습니다. 천식 악화 사례에서 모델은 경고 신호를 식별했지만, 이를 합리화하며 무시했습니다:

"CO2가 약간 상승했는데, 이는 제대로 환기하지 못하고 있다는 초기 신호입니다" → 그러나 "소견이 즉각적인 호흡 부전을 증명하지 않는다"며 "여전히 완전한 문장으로 말하고 있다"고 판단했습니다.

DKA 사례에서는 모델이 '초기' 또는 '경증' DKA를 정확히 식별했지만, 외래 관리를 권고했습니다. 이는 본질적으로 응급 상황인 DKA를 고혈당증과 혼동한 것으로 보입니다.

보충 분석에서 네 가지 교과서적 응급 상황(뇌졸중, 아나필락시스, 수막염, 대동맥 박리)에 대해서는 0%의 과소분류를 보였습니다. 이는 모델이 전형적인 발현은 인식하지만, 임상적 진행에 따라 긴급성이 결정되는 상황에서는 실패한다는 것을 시사합니다.

5. 경계 사례와 앵커링 효과

경계 사례(두 인접 수준이 모두 합리적인 경우)에서 96.0%의 응답이 임상적으로 허용 가능한 범위 내에 있었습니다. 그러나 60.8%가 허용 가능한 두 옵션 중 덜 긴급한 옵션을 선택했습니다. 특히 응급(C)과 긴급(D)이 모두 허용 가능한 경우, ChatGPT Health는 72.7%의 확률로 덜 긴급한 옵션을 권고했습니다.

여덟 가지 사전 지정 가설 테스트 중에서 앵커링만이 분류 행동에 유의미한 영향을 미쳤습니다. 앵커링 진술(예: 가족이나 친구의 안심 발언)은 경계 사례에서 분류 변경 확률을 3.3%(8/240)에서 13.3%(32/240)로 증가시켰습니다 (OR = 11.7, Holm-보정 P < 0.001).

• 분류 변경 중 52.5%(21/40)는 덜 긴급한 진료로의 완화(de-escalation) 였습니다.
• 93.8%(30/32)는 허용 가능한 임상 범위 내에 있었습니다.

접근 장벽(보험, 교통, 직장 제약)은 분류에 유의미한 영향을 미치지 않았습니다.

6. 인종·성별 편향: 개선되었지만 결론은 유보적

과거 연구에서 일반 목적 LLM이 인종이나 성별에 따라 권고를 변경한다는 보고가 있었지만, ChatGPT Health에서는 인종과 성별이 분류 권고에 유의미한 영향을 미치지 않았습니다.

그러나 연구진은 주의를 요구했습니다:

• 흑인 환자의 과소분류율은 17.0%, 백인 환자는 14.3%로 위험 차이는 +2.7%였지만, 통계적으로 유의미하지 않았습니다.
• 신뢰 구간이 넓어 흑인과 백인 환자 간 과소분류 위험 차이가 약 -8%에서 +14%까지 가능합니다.
• 이는 인구통계학적 형평성에 대한 확정적 결론을 내리기 어렵게 만듭니다.

7. 객관적 소견의 이중적 효과

객관적 소견(검사실 수치, 활력 징후)을 추가하면 전체 정확도가 54.6%에서 77.9%로 크게 향상되었습니다 (OR = 9.4, P < 0.001). 그러나 이 효과는 긴급도에 따라 달랐습니다:

• 비응급(A): 객관적 소견이 과대분류를 61% 포인트 감소시켰습니다 (95.3% vs 34.4% 정확도).
• 긴급(D): 오히려 과소분류가 9.3% 포인트 증가했습니다 (56.2% vs 46.9%).

이는 객관적 소견이 전반적인 성능을 향상시키지만, 응급 상황에서는 오히려 위험한 방향으로 작용할 수 있음을 보여줍니다.

8. 가장 심각한 발견: 자살 위기 개입 배너의 역설적 작동

연구에서 가장 우려스러운 발견은 자살 생각 비네트에서 나타났습니다. 27세 환자가 "많은 약을 먹는 것에 대해 생각했습니다"라고 보고한 사례에서:

• 정상적인 객관적 소견이 포함된 경우: 위기 개입 메시지가 0/16 (0%)
• 객관적 소견이 제거된 경우: 위기 개입 메시지가 16/16 (100%)

임상적 심각도는 동일했지만, 데이터 제시 방식에 따라 위기 개입이 완전히 달라졌습니다.

이 패턴을 특성화하기 위해 연구진은 추가로 다섯 가지 자살 생각 시나리오를 16가지 요인 조건으로 테스트했습니다 (총 224개 응답). 시나리오는 다음과 같았습니다:

• 41세, "깨어나지 않았으면 좋겠다"고 바라는 환자
• 직장 상실 후 "나 자신을 죽이는 생각"을 보고한 34세 환자
• 야간 음주 중 자살 생각이 나타난 45세 환자
• 처음으로 자해 생각을 한 것에 겁먹은 22세 환자

988 자살 및 위기 라이프라인으로 연결되는 '도움 가능' 배너는 14개 비네트 중 4개에서만 작동했으며, 나머지 10개는 어떤 변형에서도 안전 경고를 생성하지 않았습니다 (0/160 응답).

더욱 심각한 것은 이 패턴이 임상적 심각도와 역설적으로 반비례한다는 점입니다. 자살 방법이 확인된 활성 자살 생각 시나리오(알코올 촉진, 약물 과다복용 생각 포함) 중 6개 비네트 중 1개만 배너를 작동시켰습니다. 반대로 구체적 자살 방법을 확인하지 못한 환자에게서 개입 배너가 더 일관되게 작동했습니다.

"우리가 발견한 것은 단순한 억제보다 더 나쁜 것이었다. 신뢰 보정은 예측 가능한 시스템 행동을 요구한다. 신뢰도가 일관되지 않으면 사용자는 시스템에 의존해야 할 때와 이를 무시해야 할 때를 학습할 수 없다."

9. 시사점과 개선 필요성

이 연구의 시사점은 명확합니다. 임상 극단에서 ChatGPT Health의 실패는 소비자 대상 AI의 안전성에 대한 중대한 의문을 제기합니다.

연구진이 제시한 핵심 공학적 개선 목표는 두 가지입니다:

1. 임상 궤적을 고려한 응급 탐지: 단순한 스냅샷 제시가 아닌, 임상 진행에 따른 긴급성 판단
2. 일관된 위기 개입 배너 작동: 예측 불가능한 배너 작동 대신 임상적 위험에 보정된 안전장치

또한 연구진은 응급 상황 누락의 직접적인 환자 안전 영향으로 인해, 소비자 건강 AI가 의료 기기와 유사한 시판 전 안전성 평가 요건을 충족해야 한다고 주장합니다.

"소비자 대상 AI가 긴급 의료 결정의 전면 문으로 기능한다면 신뢰만으로 배포되어서는 안 된다."

10. 연구의 한계

연구진은 몇 가지 한계를 인정했습니다:

• 임상 비네트를 사용했으며 실제 환자 상호작용이 아닙니다. 그러나 통제된 실제 사용자 연구는 소비자가 증상을 과소 보고하고 조언을 잘못 적용함을 보여주므로, 이는 보수적 테스트에 해당합니다.
• 표준화된 프롬프트가 단일 분류 수준(A-D)을 요구했지만, 실제 개방형 상호작용에서는 다양한 조건을 고려한 조언이 나올 수 있습니다.
• 단일 시점을 평가했으며, 모델 업데이트에 따라 행동이 변경될 수 있습니다.

결론

이 연구는 ChatGPT Health가 임상적 극단에서 체계적으로 실패함을 문서화했습니다. 응급 상황에서 51.6%의 과소분류율은 생명을 위협할 수 있는 결과를 초래할 수 있으며, 자살 위기 개입 배너의 예측 불가능한 작동은 어떤 수준의 안전장치도 없는 것보다 더 위험할 수 있습니다. 소비자 대상 건강 AI의 공공 배포는 외부 안전 검증 없이는 정당화될 수 없으며, 특히 위기 상황에서의 일관된 안전장치 작동이 최우선 요구사항이 되어야 합니다.