이 영상은 2021년 노벨 경제학상 수상자 세 분(데이비드 카드, 조슈아 앵그리스트, 귀도 임벤스 교수님)의 연구 업적을 심층적으로 분석하며, 그들이 인과 추론 분야에 어떤 혁신을 가져왔는지를 설명합니다. 특히 현실 세계에서 실험이 불가능한 상황에서도 무작위 대조 실험(RCT)과 유사한 연구 디자인을 통해 신뢰성 있는 인과 관계를 밝히는 자연 실험과 도구 변수 활용의 중요성을 강조하고, 이를 잠재적 결과 프레임워크에 통합함으로써 실증 연구의 신뢰성 혁명에 기여한 점을 조명합니다.
1. 2021 노벨 경제학상 수상자 소개 및 업적의 중요성
2021년 10월, UC 버클리의 데이비드 카드(David Card) 교수님, MIT의 조슈아 앵그리스트(Joshua Angrist) 교수님, 스탠퍼드 대학교의 귀도 임벤스(Guido Imbens) 교수님이 인과 추론(Causal Inference) 에 대한 공로를 인정받아 노벨 경제학상을 수상했습니다. 이들의 수상은 그동안 이론적 기여를 중시해 온 노벨상 선정 기준을 고려했을 때, 데이터 분석에 기반한 실증 연구의 공로를 인정한 이례적인 사례로 평가됩니다. 😲 불과 2년 전인 2019년에도 빈곤 퇴치 연구에 대한 실험 연구가 노벨 경제학상을 수상했음을 상기시키며, 강연자는 이론 연구뿐 아니라 데이터 분석을 통해 현실 문제를 해결하는 연구의 중요성이 점점 커지고 있다고 강조합니다.
노벨상 발표 당시 언론에서는 수상 소식을 전했지만, 정작 수상자들이 어떤 공로로 상을 받게 되었는지 깊이 있게 조명되지 못한 점을 아쉬워하며, 이 채널의 주제인 인과 추론에 맞춰 수상자들의 연구를 심도 있게 다루고자 합니다. 이번 강의 내용은 주로 노벨상 선정 이유에 관한 46페이지 분량의 보고서를 참고했으며, 이 보고서의 내용들을 연구 사례를 중심으로 더 쉽게 설명해 나갈 예정입니다.
노벨상 선정 이유를 한마디로 요약하면, "인과 관계를 추론하기 위한 디자인 기반 접근(Design-based Approach)에 대한 공로" 라고 할 수 있습니다. 특히, 현실 세계에서 실험이 불가능한 상황에서 무작위 대조 실험(Randomized Controlled Trial, RCT)을 모방하는 연구 디자인(Research Design) 을 체계적으로 확립함으로써 인과 추론 연구에 기여했다는 점을 인정받은 것입니다.
2. 자연 실험(Natural Experiment)의 중요성 및 신뢰성 혁명(Credibility Revolution)
2.1. 자연 실험의 개념과 활용
첫 번째 핵심 키워드는 바로 자연 실험(Natural Experiment) 입니다. 인과 관계를 추론하는 가장 효과적인 방법은 무작위 대조 실험(Randomized Experiment) 이지만, 현실에서는 이러한 실험 자체가 불가능한 경우가 훨씬 많습니다. 이때 활용할 수 있는 것이 자연 실험으로, 자연적으로 발생하는 사건이나 상황을 활용하여, 직접 실험을 하지 않더라도 무작위 실험과 유사한 상황을 만들어 분석함으로써 인과 관계를 추론하는 접근 방식을 말합니다. 이를 준 실험(Quasi-Experiment) 이라고 부르기도 합니다.
이 세 분의 교수님들이 자연 실험의 창시자는 아니지만, 이들의 공로를 제대로 이해하기 위해서는 자연 실험이 주목받게 된 배경을 이해할 필요가 있습니다.
2.2. 신뢰성 혁명의 배경과 필요성
이것이 바로 두 번째 키워드인 신뢰성 혁명(Credibility Revolution) 으로 이어집니다. 이 용어는 2010년 노벨상 수상자 중 한 분인 조슈아 앵그리스트 교수님이 쓴 논문에서 유래했습니다. 이 논문은 약 30년 전인 1983년, 경제학 최고 권위 저널인 '아메리칸 이코노믹 리뷰(American Economic Review)'에 발표된 "Let's Take the Con Out of Econometrics"라는 논문에 대한 응답이라고 볼 수 있습니다. 1983년 논문에서는 계량경제학(Econometrics) 연구의 약점, 즉 "속임수" 를 없애자는 제안이 담겨 있었고, 많은 경제학자들이 이 비판에 공감했습니다. 특히 UCLA의 에드워드 리머(Edward Leamer) 교수님은 여러 통계 모델을 데이터에 맞추고 그중 가장 좋은 모델을 선택하는 방식, 즉 "모델 해킹(Model Hacking)" 에 대해 비판했습니다. 이는 분석 결과가 매우 민감하고, 인과 관계를 신뢰성 있게 분석하기 어렵기 때문입니다.
이에 대해 앵그리스트 교수님은 약 30년이 지난 시점에서, 그러한 비판이 더 이상 유효하지 않으며, 연구 디자인(Research Design) 을 통해 인과 추론 실증 연구에서 신뢰성 혁명(Credibility Revolution) 을 이루었다고 강조합니다.
2.3. 인과 추론의 어려움을 보여주는 사례들
인과 추론 데이터 분석이 얼마나 어려운지, 그리고 그것을 극복한 노력이 왜 "혁명"으로 불리는지 이해를 돕기 위해 몇 가지 사례를 소개합니다.
2.3.1. 사업 다각화와 기업 가치 연구
첫 번째 사례는 사업 다각화가 기업 가치에 미치는 영향에 관한 연구입니다. 1980년대부터 수많은 연구들이 다각화와 기업 가치 사이에 음(-)의 관계가 있다고 데이터 분석을 통해 보여주었습니다. 즉, 다각화를 하면 기업 가치가 낮아질 수 있다는 것이죠. 하지만 후속 연구에서는 이러한 결과가 다각화에 영향을 주는 내생적인 요인과 선택 편향(Selection Bias) 을 제대로 고려하지 못해서 나온 상관 관계일 뿐이라고 지적했습니다. 선택 편향을 고려하여 인과 추론을 했더니, 오히려 다각화가 기업 가치를 높인다는 반대의 결과가 나왔습니다. 이 사례는 인과 관계에 대한 깊이 있는 고찰 없는 단순한 데이터 분석이 우리의 의사 결정에 정반대의 결론을 도출하게 할 수 있음을 보여줍니다.
2.3.2. 종교가 경제 성장에 미치는 영향 연구
두 번째 사례는 종교가 경제 성장에 미치는 영향에 관한 실증 분석 연구입니다. 하버드 대학교의 로버트 배로(Robert Barro) 교수님의 초기 논문에서는 국민들의 종교 참여 활동이 경제 성장에 긍정적인 영향을 준다고 데이터 분석을 통해 보여주었습니다. 하지만 당시 프린스턴 대학교 박사 과정 학생이었던 크리스토발 영(Cristóbal Young) 교수님은 배로 교수님의 분석 결과가 통계 분석 모형의 작은 변화에도 매우 민감하게 바뀐다고 주장했습니다. 특히 도구 변수(Instrumental Variable) 활용이 잘못되었고, 결과가 분석식이나 분석 특가들에 따라 매우 다르다는 것을 보였습니다. 이는 데이터 분석 결과가 데이터 특성이나 통계 분석 모형에 따라 얼마나 민감하게 달라질 수 있는지를 보여주는 대표적인 사례입니다.
실제로 같은 데이터를 가지고 있다고 하더라도 연구자나 데이터 분석가는 여러 가지 분석 모형을 고려할 수 있고, 그중 일부만 논문에 담게 됩니다. 특히 회귀 분석에서는 통제 변수(Control Variable)의 활용에 따라 분석 결과가 달라질 수 있습니다. "그냥 한번 200만 개의 회귀 분석을 돌려봤어"라는 다소 장난스러운 제목의 논문은 통제 변수를 어떻게 포함하느냐에 따라 분석 결과가 얼마나 민감할 수 있는지를 극단적으로 보여줍니다. 이 논문에서는 경제 성장에 영향을 미치는 요인들의 효과가 얼마나 강건한지(Robust) 를 테스트했는데, 기존 연구에서 경제 성장에 영향을 미친다고 밝혔던 총 62개의 원인 변수 중 37개 변수의 효과가 통제 변수 선택에 따라 매우 민감하게 달라졌음을 보였습니다. 이러한 결과는 다중 공선성(Multicollinearity), 누락 변수 편향(Omitted Variable Bias), 혹은 역인과 관계(Reverse Causality Bias) 등 여러 요인에 기인할 수 있습니다. 비록 절반에 가까운 변수들이 강건함을 보였지만, 이러한 사례들은 회귀 분석에서 통제 변수 구성과 통계 분석 모형 활용 방식이 분석 결과에 큰 영향을 미칠 수 있음을 분명히 보여줍니다.
2.4. 신뢰성 위기 극복과 연구 디자인 중심의 인과 추론
이러한 일련의 사례들은 연구자들로 하여금 인과 추론 실증 연구와 데이터 분석의 재현성 및 신뢰성 위기를 느끼게 만들었습니다. "과연 데이터 분석을 통해 분석한 결과가 정말 믿을만하고, 그 결과가 진짜 인과 관계를 나타내는 것이 맞을까?"라는 의문이 생기기 시작한 것이죠.
이러한 배경에서 신뢰성 혁명(Credibility Revolution) 의 중요성이 부각되었고, 이 위기를 극복하기 위해 경제학자들이 선택한 방법이 바로 우리가 흔히 "루빈 인과 모델(Rubin Causal Model)" 이라고도 불리는 잠재적 결과 프레임워크(Potential Outcomes Framework) 에 기반하여, 통계 분석 모형이 아닌 적절한 연구 디자인(Research Design) 을 통해 인과 추론을 하자는 접근이었습니다.
이러한 연구 디자인 중심의 인과 추론은 데이터 분석 결과의 인과적 해석에 큰 신뢰성을 부여했고, 실증 연구와 인과 추론 데이터 분석 연구의 위상과 역할을 크게 향상시켰습니다. 이것이 바로 실증 연구 분야에서 가장 중요한 시대적 변화인 신뢰성 혁명(Credibility Revolution) 의 배경입니다. 잠재적 결과 프레임워크에 대해서는 별도 세션에서 다루었으므로, 관심 있는 분들은 해당 영상을 참고하라고 합니다.
2.5. 무작위 대조 실험(RCT)과 준 실험/자연 실험의 부상
인과 추론을 위한 가장 효과적인 연구 디자인은 앞서 언급된 무작위 대조 실험(Randomized Controlled Trial, RCT) 입니다. RCT는 사회과학에서 적용하기 쉽지 않지만, 인과 추론의 이점 때문에 최근 활용 범위가 빠르게 확대되고 있습니다. 2019년 노벨 경제학상 수상자들의 공로 역시 RCT를 활용한 빈곤 퇴치 연구였습니다. 이들은 인도나 아프리카 등지에서 무작위 현장 실험을 통해 공중 보건, 교육, 금융 서비스 등 다양한 정책의 인과적 효과성을 검증했고, 이를 바탕으로 미시적 관점의 빈곤 퇴치 정책을 고안하는 데 크게 기여했습니다.
이처럼 인과 추론을 위한 무작위 실험이 다양한 분야에 적용되고 있지만, 여전히 실험 자체가 불가능하거나 비윤리적인 경우가 훨씬 많습니다. 이러한 상황에서 신뢰성 혁명에 도입된 것이 바로 실험은 아니지만 실험과 유사한 준 실험(Quasi-Experiment) 또는 자연 실험(Natural Experiment) 입니다. 아래 그래프는 경제학 학술 논문에서 준 실험/자연 실험 방법론(DID, Regression Discontinuity, Instrumental Variables, Matching 등)들의 활용 추세가 최근 빠르게 증가하고 있음을 보여줍니다.
신뢰성 혁명은 비단 경제학에만 국한된 것이 아니라, 사회과학 전 분야에 걸쳐 일어나고 있는 가장 큰 변화 중 하나라고 할 수 있습니다. 실증 연구 및 데이터 분석 분야에서 이러한 신뢰성 혁명을 부인할 수 있는 사람은 아무도 없을 것입니다. 각 분야에서 가장 저명한 저널들에서도 인과 추론 연구가 빠르게 증가하고 있으며, 2014년 출판된 연구가 2012년 영국까지만 고려했음에도 불구하고, 지난 10년간 훨씬 더 가파르게 증가했을 것이라고 강연자는 확신합니다.
3. 노벨 경제학상 수상자들의 인과 추론 연구 공로
3.1. 현실 문제 해결에 인과 추론 적용
이러한 배경을 고려할 때, 2021년 노벨 경제학상 수상자들의 공로를 좀 더 잘 이해할 수 있습니다. 사실 이분들이 인과 추론의 개념을 도입했거나 새로운 방법론을 개발했다고 보기는 어렵습니다. 인과 추론의 핵심 프레임워크인 루빈 코잘 모델(Rubin Causal Model)이나 자연 실험, 도구 변수 등은 수십 년 전부터 활용되어 오던 방법론들이기 때문입니다. 하지만 이분들의 공로는 계량경제학이나 통계학 분야에서 연구되고 활용되던 이러한 인과 추론 프레임워크나 방법론들을 본격적으로 현실 문제 해결에 적용함으로써, 인과 추론을 위한 연구 디자인과 데이터 분석 방법론을 체계적으로 확립하는 데 기여했다는 점에 있습니다. 한마디로 요약하면, 이 세 교수님들의 가장 큰 공로는 바로 "인과 추론 분석의 현실 문제 적용 지평을 넓힌 것" 이라고 할 수 있습니다. 이들의 연구를 따라가다 보면 현재 경제학과 사회과학 전반에 걸쳐 활용되고 있는 인과 추론 방법론에 대한 큰 줄기를 조망할 수 있습니다.
3.2. 데이비드 카드(David Card) 교수님의 연구 사례: 자연 실험의 극적인 활용
데이비드 카드 교수님의 가장 대표적인 연구 중 하나이자 미디어에서도 한 번쯤 접했을 만한 것이 바로 최저 임금에 관한 연구입니다. 우리나라에서도 최저 임금 인상을 둘러싼 논란이 끊이지 않았죠. 일반적으로 경제학 이론에 따르면 최저 임금 인상은 고용 감소로 이어진다는 것이 중론이었습니다. 이러한 통념에 처음으로 반기를 든 것이 바로 카드 교수님의 유명한 논문입니다.
이 연구에서는 미국의 뉴저지주에서 1992년에 최저 임금이 $4.25에서 $5.05로 인상된 상황을 활용하여, 최저 임금 인상이 고용에 미치는 효과를 분석했습니다. 잠재적 결과 관점에서 보면, 뉴저지에서 최저 임금 인상 후의 고용률과 만약 뉴저지에서 최저 임금이 인상되지 않았다면 있었을 잠재적 고용률(반사실, Counterfactual) 간의 차이를 통해 인과적 효과를 추정할 수 있었을 것입니다. 하지만 이러한 반사실은 현실에서는 결코 관찰할 수 없으며, 이를 우리는 인과 추론의 근본적인 문제(Fundamental Problem of Causal Inference) 라고 부릅니다.
결국 자연 실험의 기본 아이디어는 바로 현실에서 관찰할 수 없는 반사실을 대신할 수 있는 비교 가능한 대상을 찾는 것입니다. 즉, 마치 반사실처럼 최저 임금이 인상되었다는 사실을 제외하고는 모든 면에서 뉴저지와 비슷하여 뉴저지 고용률 변화와 비교 가능한 대상을 찾는 것입니다.
저자들이 낸 아이디어는 바로 뉴저지와 인접해 있는 펜실베이니아주의 패스트푸드 가게들을 비교하는 것이었습니다. 특히 주 경계에 있는 가게들을 비교했는데, 서로 지리적으로 인접해 있어 동네나 주민들의 특성도 유사했고, 지리적 요인도 유사했습니다. 하지만 법적인 경계로 인해 뉴저지 패스트푸드점에서는 최저 임금이 인상되었고, 펜실베이니아 패스트푸드점에서는 최저 임금이 인상되지 않았습니다. 서로 인접해 있음에도 불구하고 말이죠.
이처럼 실제로 실험을 한 것은 아니지만, 마치 실험을 한 것과 유사하게 최저 임금 인상의 영향을 받은 뉴저지라는 처치 집단(Treatment Group) 과, 그것에 영향을 받지 않은 펜실베이니아라는 대조 집단(Control Group) 이 나뉘는 상황이 발생한 것입니다. 이러한 연구 디자인을 우리가 자연 실험이라고 부릅니다.
분석 결과를 보면, 뉴저지에서 최저 임금이 인상되었음에도 불구하고, 인접한 펜실베이니아와 비교했을 때 고용률 변화가 거의 없었으며, 결국 최저 임금 인상이 반드시 고용 감소로 이어지는 것은 아니다라는 결론을 내렸습니다. 📈 이 연구는 최저 임금과 고용이라는 현실의 중요한 문제 해결에 자연 실험이라는 상황을 극적으로 활용한 사례이며, 현실에서의 데이터는 경제학 이론과는 다를 수 있다는 것을 뒷받침하는 근거로 가장 많이 인용되는 연구 중 하나입니다.
카드 교수님의 또 다른 유명한 자연 실험 사례는 바로 이민자에 관한 연구입니다. 이민자와 난민 문제는 전 세계적으로 큰 화두입니다. 1980년에 약 12만 명의 쿠바인들이 피델 카스트로의 사회주의를 피해 미국으로 탈출한 사건을 마리엘 보트리프트(Mariel Boatlift) 라고 부릅니다. 이 사건으로 인해 미국 마이애미에 예상치 못한 대규모 이민자들이 유입되었고, 이것이 자연 실험 상황을 연출하게 된 것입니다.
이러한 이민자 유입이 과연 그 자국민들의 일자리를 빼앗아 가는지를 분석하기 위해서는, 잠재적 결과 관점에서 보면, 마이애미에서 마리엘 보트리프트 이후의 고용률과 만약 그 마이애미에서 그러한 사건이 없었다면 있었을 잠재적 고용률, 즉 반사실과 비교함으로써 인과적 효과를 분석할 수 있을 것입니다. 하지만 역사는 "만약"이라는 가정을 존재할 수 없으므로, 이러한 반사실은 현실에서 관찰 가능하지 않습니다.
따라서 자연 실험의 핵심은 바로 이러한 반사실을 대신할 수 있는 비교 가능한 대상을 찾아서 비교 분석하는 것입니다. 이 연구에서는 마리엘 보트리프트 사건에 영향을 전혀 받지 않았지만, 사회 경제적인 측면에서는 마이애미와 매우 유사한 애틀랜타, 휴스턴, 로스앤젤레스, 탬파를 비교 대상으로 삼아 고용률 변화를 비교 분석했습니다. 그 결과, 이민자 유입이 자국민 고용률을 낮추지 않는다는 결론을 내렸습니다.
만약 이러한 자연 실험이 없었다면, 우리는 어떤 특정 도시에서의 이민자 숫자와 고용률 관계를 비교할 수밖에 없었을 것입니다. 그런데 이민자가 특정 도시에 몰리게 된 데는 분명히 다른 요인들이 있었을 것입니다. 따라서 이민자가 많은 도시와 그렇지 않은 도시를 비교했을 때, 그 도시들은 이민자 숫자 외에도 서로 다른 점들이 굉장히 많을 것입니다. 그래서 그들의 고용률 차이가 진짜 이민자의 인과적 효과인지, 아니면 다른 요인에 의해 발생한 선택 편향인지를 가려내기 쉽지 않았을 것입니다.
하지만 마리엘 보트리프트 사건은 그 시점에 정확히 마이애미에만 영향을 주었고, 다른 도시에는 전혀 영향을 미치지 않았습니다. 적어도 다른 주에 있는 도시들은 단기적으로 영향을 받지 않았을 것입니다. 그래서 마치 실험과 유사한 조건이 만들어졌는데, 이 사건에 영향을 받은 마이애미라는 처치 집단과 영향을 받지 않았지만 마이애미와 유사한 대조 집단을 나눌 수 있는 자연 실험을 구성할 수 있었고, 이를 통해 합리적으로 인과 관계를 추론할 수 있었습니다.
강연자는 여기서 한 가지 강조하고 싶은 부분이 있다고 말합니다. 인과 추론을 설명하는 데 복잡한 수식이나 빅데이터 같은 것을 찾아볼 수 없었음을 지적하며, 이는 인과 추론을 위해 가장 중요한 것은 바로 현실에서 일어나고 적절한 상황을 잘 활용하여, 그것에 영향을 받은 집단과 영향을 받지 않은 집단을 효과적으로 구성할 수 있는 연구 디자인이라는 것을 이런 연구 사례를 통해 되새겨 볼 필요가 있다고 강조합니다. 👍
데이비드 카드 교수님을 비롯한 초창기 자연 실험의 선구자들은 이러한 일련의 연구들을 통해 자연 실험이 현실 문제에서의 인과 관계를 합리적으로 추론하는 데 강력한 힘을 발휘한다는 것을 보여주었고, 많은 연구자들이 자연 실험의 힘을 깨닫고 이런 방법론이 본격적으로 경제학과 사회과학 전 분야에 확산되는 계기가 되었습니다. 즉, 신뢰성 혁명(Credibility Revolution)의 방아쇠를 당긴 연구라고 평가할 수 있습니다. 동시에, 자연 실험 연구가 많아지면서 자연 실험을 인과 관계 추론에 활용할 때 어떤 점에 유의해야 하고 어떤 가정이 성립해야 하는지에 대해서도 체계적으로 정리되고 확립되기 시작했습니다.
이러한 연구 디자인과 이를 분석하는 도구들에 대해서는 별도 세션에서 자세히 다루고 있으니, 관심 있는 분들은 채널의 해당 영상을 참고하라고 합니다.
4. 도구 변수(Instrumental Variable)의 재해석 및 잠재적 결과 프레임워크와의 통합
4.1. 도구 변수의 개념과 역할
지금까지 자연 실험에 대해 이야기했지만, 인과 추론을 위한 또 다른 주요 도구로서 도구 변수(Instrumental Variable, IV) 를 빼놓을 수 없습니다. 도구 변수는 쉽게 말해, 원인 변수와 상관성을 갖지만, 원인 변수를 제외하고 결과 변수에 영향을 줄 수 있는 다른 요인들과는 모두 독립적인 변수를 말합니다. 여기서 통계적인 개념을 자세히 다루지는 않지만, 한마디로 요약하면, 결과 변수에 영향을 주는 다른 요인들과 상관 관계가 없다는 조건을 외생성(Exogeneity) 이라고 부릅니다. 그 반대는 내생성(Endogeneity) 이겠죠. 우리는 이러한 외생적인 원인 변수에 대해서만 인과 관계를 추론할 수 있습니다.
일반적으로 실험을 통해 원인 변수를 무작위로 배정하지 않는 이상, 이러한 원인 변수들은 다른 요인들과 상관 관계가 있을 수밖에 없고, 내생적인 부분과 외생적인 부분을 모두 포함하고 있습니다. 따라서 실험적 접근 없이는 내생성 문제 때문에 인과 관계를 제대로 추정할 수 없다는 정도만 기억해도 이 영상의 내용을 이해하는 데 무리가 없을 것이라고 합니다.
이러한 상황에서 도구 변수의 역할은 무엇일까요? 바로 도구 변수를 활용하여 원인 변수 중에서 오차항과 관련되지 않은 외생적인 부분만을 추정한 후에, 이 외생적인 부분만을 별도로 활용해서 인과 관계를 추론하고자 하는 것이 도구 변수를 활용한 2단계 최소 제곱법(Two-Stage Least Squares, 2SLS) 방법입니다. 원리 자체는 간단합니다.
4.2. 도구 변수와 인과 추론, 그리고 자연 실험의 관계
혹시 여러분들은 이런 도구 변수가 외생적인 부분을 활용한다는 것까지는 이해하겠지만, 이것이 앞서 언급했던 자연 실험과 무슨 상관이 있는지, 그리고 도구 변수가 정말 인과 관계를 추론하는 데 적절한 도구인지 궁금해 본 적은 없으신가요? 강연자는 개인적으로 도구 변수와 인과 추론을 공부할 때 이것이 가장 의문이었다고 합니다. 왜냐하면 잠재적 결과 프레임워크나 무작위 실험, 자연 실험 같은 방법론들은 인과 관계가 명확하게 정의되고, 그러한 인과 관계를 추론하기 위해 어떤 연구 디자인이 필요한지가 명확하기 때문입니다. 그런데 도구 변수는 인과 관계가 그렇게 명확하게 정의되지 않았습니다.
사실 도구 변수의 역사는 수십 년이 되고 거의 100년 가까이 될 정도로 매우 길며, 보시는 것처럼 도구 변수는 사실 비편향적 추정(Unbiased Estimation) 을 위한 계량 경제학적 혹은 통계적 도구로서 인식되어 왔습니다. 통계 시간에 회귀 분석에 대해 배웠다면 아마 BLUE(Best Linear Unbiased Estimator) 라는 말을 들어봤을 텐데, 이는 외생성을 만족하면 통계적으로 비편향적 추정(Unbiased Estimation)이 가능하다는 의미입니다. 결국 도구 변수(Instrumental Variable)는 그러한 비편향적인 추정을 위한 통계적인 도구라는 것입니다.
여기까지는 충분히 알겠는데, 그런데 이러한 비편향적 추정이 인과 관계와 무슨 상관이 있고, 이것은 또 자연 실험과 어떤 관계가 있을까요? 😮 강연자는 조슈아 앵그리스트 교수님과 귀도 임벤스 교수님의 가장 큰 공헌이 바로 여기에 있다고 말합니다.
4.3. 앵그리스트-임벤스 교수님의 공헌: 잠재적 결과 프레임워크에 도구 변수 통합
앞서 인과 추론을 위한 가장 대표적인 접근이 잠재적 결과 프레임워크에 기반한 무작위 실험, 준 실험, 또는 자연 실험이라고 설명했습니다. 또 잠재적 결과 프레임워크의 핵심 개념은 바로 평균 처치 효과(Average Treatment Effect, ATE) 입니다. 쉽게 말하면, 잠재적 결과 또는 반사실(Counterfactual)은 관찰 불가능하므로, 개인에 대해서는 잠재적 결과를 관찰할 방법이 없어 개별 처치 효과(Individual Treatment Effect)를 알 수 없습니다. 대신 적절한 가정 하에 처치 집단과 대조 집단의 평균을 비교함으로써 인과 관계를 추론할 수 있다는 것이 바로 ATE입니다.
그런데 앵그리스트 교수님과 임벤스 교수님은 도구 변수도 이러한 잠재적 결과 프레임워크로 이해할 수 있다는 것을 보이면서, 궁극적으로 이런 도구 변수를 잠재적 결과 프레임워크에 통합하는 데 결정적인 역할을 했다고 볼 수 있습니다. 아래의 두 논문을 통해서 말이죠.
이렇게 잠재적 결과 관점에서 도구 변수를 이해하는 것의 이점은 크게 세 가지입니다.
4.3.1. 인과적 효과 해석 조건 명확화
첫 번째는 이 도구 변수가 인과적 효과로 해석되기 위한 조건을 명확하게 하는 데 크게 기여했다는 점입니다. 사실 통계적인 관점에서 도구 변수를 보면, 도구 변수의 가정이 대부분 눈에 보이지 않는 오차항과 관련되어 있어 다소 추상적일 수밖에 없었습니다. 정확하게 테스트할 방법도 없는 상황에서 말이죠. 하지만 앵그리스트 교수님과 임벤스 교수님은 잠재적 결과 관점에서 도구 변수는 아래와 같은 다섯 가지 조건이 충족되어야 인과적인 효과를 해석할 수 있다는 것을 증명했습니다. 물론 이러한 조건들도 모두 통계적으로 검증 가능한 것은 아니지만, 적어도 어떤 실체가 있고 논리적인 방법으로 도구 변수의 적절성에 대해 평가할 수 있는 명확한 틀을 제시했다는 데 큰 의의가 있습니다. 이러한 노력을 통해 좀 더 투명하고 신뢰성 있는 도구 변수 활용에 결정적인 역할을 했다고 볼 수 있습니다.
4.3.2. 도구 변수를 자연 실험으로 체계화
두 번째는 우리가 앞서 뉴저지 최저 임금 상승이나 마이애미 마리엘 보트리프트 사건과 같이 자연 실험에서는 어떤 내생적 사건이나 외생적인 상황 조건에 의해 처치 집단과 대조 집단이 나뉜다고 설명했습니다. 이를 처치 배정(Treatment Assignment) 이라고 부릅니다. 무작위 실험에서는 랜덤하게 이러한 처치가 배정되겠죠. 그런데 도구 변수도 이러한 처치 배정 메커니즘 중 하나라는 것을 체계화함으로써, 결과적으로 도구 변수도 하나의 자연 실험이라는 것을 명확하게 했다는 데 두 번째 의미가 있다고 볼 수 있습니다. 즉, 도구 변수가 도구 변수에 의해 유도되는(induced) 처치에 대한 효과를 추정하는 인과 추론의 수단이라는 것을 증명한 것입니다.
4.3.3. 로컬 평균 처치 효과(Local Average Treatment Effect, LATE)의 개념 도입
여기서 특히 중요한 것은, 도구 변수의 추정치가 전체 집단에 대한 평균 처치 효과(ATE)가 아니고, 도구 변수에 의해 유도되는 처치의 영향을 받는 사람들에 대한 효과인 로컬 평균 처치 효과(Local Average Treatment Effect, LATE) 라는 것을 처음으로 밝혔다는 데 세 번째 의의가 있습니다.
도구 변수에 의해 처치가 유도된다고 했을 때, 잠재적 결과 관점에서 생각해보면, 편의상 도구 변수가 0 또는 1의 값만 갖는다고 가정하면, 만약 도구 변수 값이 0일 때 처치를 받을지 말지에 대한 잠재적 결과도 있을 것이고, 도구 변수 값이 1일 때 처치를 받을지 받지 않을지에 대한 잠재적 결과도 있을 것입니다. 이러한 잠재적 결과에 따라 우리는 연구 대상의 유형을 크게 네 가지로 나눌 수 있습니다.
- Always Takers(항상 처치를 받는 사람): 도구 변수의 값이 변하든 말든 항상 처치를 받는 사람들.
- Never Takers(절대 처치를 받지 않는 사람): 도구 변수의 값이 변하든 말든 항상 처치를 받지 않는 사람들.
- Compliers(순응자): 도구 변수가 1이면 처치를 받고, 0이면 받지 않았을 사람들.
- Defiers(반대자): 도구 변수가 1이면 처치를 받지 않고, 0이면 받았을 사람들.
이러한 개념은 모두 잠재적 결과로 해석하지 않고는 나올 수 없는 개념들이므로, 사실 그동안은 도구 변수 활용에 있어서 이런 유형에 대해 크게 고려하지 않았습니다. 그런데 도구 변수의 역할이 도구 변수에 의해 유도되는(induced) 처치 효과를 추정하는 것이므로, 도구 변수에 의해 유도되지 않는 Always Takers나 Never Takers는 도구 변수 추정에는 전혀 포함되지 않습니다. 결국 도구 변수에 의해 우리가 추정하는 것은 처치가 변화하는 Compliers와 Defiers에 대한 것입니다.
이를 잠재적 결과 관점에서 인과적인 효과로 해석하기 위해서는 처치를 받았을 때의 결과와 그렇지 않았을 때의 결과를 서로 비교할 수 있어야 합니다. 하지만 실험이 아니기 때문에 처치를 직접 배정할 수는 없습니다. 그러나 도구 변수의 역할이 바로 도구 변수를 통해 간접적으로 처치를 줄지 말지를 유도할 수 있다면, 우리는 도구 변수를 통해 충분히 인과 추론을 할 수 있을 것입니다. 도구 변수를 통해 처치 집단과 대조 집단을 간접적으로 배정함으로써 말이죠.
결국 도구 변수에 의해 처치가 배정되는 Compliers에서의 효과가 바로 잠재적 결과 관점에서의 인과적 효과로 해석될 수 있는 부분인데, 앵그리스트 교수님과 임벤스 교수님은 도구 변수의 반대로 움직이는 Defiers(반대자)가 Compliers에서의 인과적 효과를 상쇄하거나 방해할 수 있다는 것을 증명했습니다. 그래서 결과적으로 도구 변수의 중요 가정 중 하나로서, 이러한 Defiers가 없어야 한다는, 즉 단조성(Monotonicity) 이라는 가정을 강조했습니다. 사실 이 단조성 가정은 잠재적 결과를 도입하기 이전까지는 사람들이 고려하지 못했던 가정이었습니다.
결론적으로 보면, Defiers가 없다는 가정 하에서 도구 변수는 Compliers에서 도구 변수에 의해 유도되는 처치의 인과적인 효과를 추정할 수 있다는 것을 밝혔고, 이를 저자들은 로컬 평균 처치 효과(Local Average Treatment Effect, LATE) 라고 정의했습니다. 요약하자면, 앵그리스트 교수님과 임벤스 교수님의 가장 큰 공로는 기존에 많이 활용되던 도구 변수라는 개념을 잠재적 결과 프레임워크에 통합시켰고, 도구 변수가 처치를 유도하는 처치 배정 메커니즘이라는 것을 명확히 했으며, 이는 Compliers에서의 인과적인 효과를 추론할 수 있는 도구라는 것을 증명했다는 데 있습니다. 이를 통해 우리는 비로소 도구 변수를 처치를 유도하는 또 다른 가상의 준 실험 또는 자연 실험으로 이해할 수 있게 된 것입니다. 이제 왜 도구 변수가 어떤 준 실험, 자연 실험의 하나로 불리는지 이해가 좀 되시나요?
잠재적 결과 관점에서 LATE는 그렇게 어렵지 않게 이해될 수 있지만, 이 영상에서는 학술적인 설명이나 수식 유도가 목적이 아니므로, 관심 있는 분들을 위해 부록(Appendix)으로만 설명과 수식 유도를 남겨두고 넘어갑니다.
5. 조슈아 앵그리스트(Joshua Angrist) 교수님의 도구 변수 연구 사례
5.1. 의무 교육 규정이 소득에 미치는 영향
도구 변수를 통한 인과 추론의 사례를 몇 가지 살펴보겠습니다. 앵그리스트 교수님의 대표 연구 중 하나는 특정 나이까지 의무 교육을 받아야 하는 규정으로 인해 태어난 분기(Quarter)에 따라 학습 기간의 차이가 발생하는 상황을 도구 변수로 활용한 것입니다. 미국은 우리나라와 달리 만 나이를 기준으로 하며, 새 학기는 8월이나 9월에 시작됩니다. 따라서 봄이나 여름에 태어난 학생들은 새 학기가 시작할 때 이미 가을이나 겨울에 태어난 학생들보다 한 살이 많습니다. 그래서 특정 학년 때 태어난 분기가 다르다는 이유만으로 1, 2분기에 태어난 학생들은 의무 교육을 받아야 할 나이가 지나서 합법적으로 자퇴가 가능해집니다. 반면 3, 4분기에 태어난 학생들은 아직 생일이 지나지 않아 이 규정으로 인해 자퇴가 불가능합니다.
이러한 이유로 아래 그래프에서 보듯이 평균적으로 태어난 분기에 따라 평균 교육 연수가 달라집니다. 평균적으로 3분기나 4분기에 태어난 학생들의 교육 연수가 조금 더 높은 것을 알 수 있습니다. 각 연도마다 이러한 그룹별 차이가 바로 소득의 차이로 이어진다는 것을 도구 변수를 통해 분석한 유명한 연구가 바로 이것입니다.
이 연구에서는 결론적으로 태어난 분기를 도구 변수로 활용하여, 의무 교육 규정 때문에 교육 연수가 달라질 수 있는 사람들, 즉 Compliers에 대해서만 의무 교육이 소득에 미치는 인과적인 효과를 추정하고 있는 논문이라고 요약할 수 있습니다.
여기서 중요한 점은 도구 변수가 추정하는 것은 LATE라는 것입니다. 따라서 인과 관계를 해석할 때 주의해야 합니다. 도구 변수로 추정할 수 있는 것은 태어난 분기가 소득에 미치는 영향도 아니고, 교육 연수가 소득에 미치는 인과적 효과도 아닙니다. 교육 연수가 원인 변수이긴 하지만, 도구 변수의 역할을 다시 한번 떠올려 보면, 도구 변수인 태어난 분기와 의무 교육 규정에 의해 유도되는(induced) 교육 연수 차이의 효과를 추정할 수 있는 것이기 때문입니다. 결국 도구 변수는 의무 교육 제도가 소득에 미치는 인과적인 효과를 추정하게 되는 것입니다. 단순히 그룹 변수의 효과가 아니라요.
그리고 이때 모든 사람에 대해 추정하는 것도 아닙니다. 좀 더 정확하게는 의무 교육 규정에 의해 교육 연수가 달라질 수 있는 사람들, 즉 Compliers에 대해서만 인과적인 효과를 추정할 수 있게 됩니다. 따라서 LATE가 결코 의미 없다는 것이 아닙니다. 결국 이 연구의 목적을 생각해보면, 연구를 통해 의무 교육 정책의 효과성을 평가하는 것이기 때문에, 우리는 Compliers, 즉 의무 교육 규정에 의해 교육 연수가 달라질 수 있는 사람들에 대해서만 인과 관계를 분석해서 추론하는 것이 적절할 것입니다. 그러므로 도구 변수 추정 결과를 해석할 때 확대 해석해서는 안 되고, 이러한 LATE를 고려해서 제대로 해석해야 한다는 것이 앵그리스트 교수님과 임벤스 교수님 논문의 가장 큰 시사점이라고 합니다.
5.2. 무작위 실험에서의 순응 문제 해결: 베트남 전쟁 참전 연구
앵그리스트 교수님의 또 다른 연구도 도구 변수 활용의 중요한 사례를 보여주는데, 도구 변수는 무작위 실험에서의 이중 불순응(Double Noncompliance) 문제를 해결하는 도구가 될 수도 있습니다. 사실 우리가 무작위 실험을 통해 처치 집단과 대조 집단을 무작위로 배정하더라도, 사람인지라 마음대로 강제할 수 없는 부분이 있습니다. 그렇기 때문에 경우에 따라서는 처치 집단에 배정되더라도 처치를 제대로 받지 않는 사람도 있을 것이고, 대조 집단에 배정되었더라도 다른 경로를 통해 처치를 구해서 받게 되는 사례도 없지 않을 것입니다. 이러한 상황을 이중 불순응(Double Noncompliance) 이라고 하는데, 이러한 상황에서 처치 배정(Treatment Assignment)을 도구 변수로 활용하면, 처치에 순응하는 사람들, 즉 Compliers에 대해서는 인과 관계를 효과적으로 추정할 수 있다는 것을 보였습니다. 개념 자체가 크게 어렵지는 않습니다.
대표적인 사례가 바로 베트남 전쟁 참전이 소득에 미치는 인과적인 효과에 대한 연구입니다. 미국에서 베트남전 당시, 태어난 생년월일을 기준으로 제비뽑기를 해서 징병 우선순위를 정했다고 합니다. 이것은 순전히 랜덤하게 배정된 것이겠죠. 그리고 이러한 결과에 순순히 따르는 사람들이 물론 대다수였겠지만, 그렇지 않은 사람들도 분명히 있었을 것입니다. 징병 우선순위와 상관없이 무조건 참전하겠다고 결심한 Always Taker, 반대로 무조건 참전을 거부할 Never Taker, 그리고 징병 우선순위가 높으면 참전을 거부하고, 낮으면 참전하는 Defier 같은 청개구리 유형도 있을 것입니다. 하지만 Defiers는 현실에서 그렇게 많지는 않을 것이므로, 단조성(Monotonicity) 가정이 충분히 성립하는 상황이라고 볼 수 있습니다.
이때 도구 변수를 활용하면, 적어도 이러한 로터리(제비뽑기)에 의한 징병에 순응하는 Compliers에 대해서는 베트남 참전이 소득에 미치는 인과적인 효과를 추정할 수 있을 것입니다. 이것이 바로 LATE입니다. 비록 LATE이긴 하지만, 우리가 참전의 영향을 분석하고 이에 대한 적절한 보상 정책을 수립하는 것이 주 목적이라고 한다면, 이러한 Compliers에서의 인과 관계를 분석하는 것도 충분히 의미가 있을 것입니다.
5.3. 인과 추론 연구의 다른 사례 (추천 영상)
또 다른 사례는 사회 제도가 경제 성장에 미치는 영향에 관한 연구인데, 이는 앞서 살펴본 자연 실험과 도구 변수 활용의 매우 좋은 사례입니다. 강연자의 '인과 추론 연구의 끼' 첫 번째 주제로 다루었던 연구라고 합니다. 관심 있는 분들은 아래 두 영상을 참고하여 자연 실험과 도구 변수를 어떻게 창의적으로 활용하고 있는지 보시기를 추천합니다.
시간 관계상 도구 변수에 대해 자세히 다루지는 못했지만, 이 영상의 목적이 노벨 경제학상 수상자들의 인과 추론에 대한 공로를 재조명하는 것이므로, 혹시 더 자세한 내용에 관심 있는 분들은 도구 변수에 대한 별도 세션 영상들을 참고해 보라고 합니다.
6. 노벨상 수상자의 또 다른 공로자: 앨런 크루거(Alan Krueger) 교수님
지금까지 연구들을 살펴보면서 사실 절대 빠뜨릴 수 없는 인물이 있는데, 바로 고(故) 앨런 크루거(Alan Krueger) 전 프린스턴 대학교 교수님입니다. 앨런 크루거 교수님은 앞서 설명드렸던 대표 논문들에서 보시는 것처럼 조슈아 앵그리스트 교수님이나 데이비드 카드 교수님과 관련된 연구를 굉장히 많이 수행한, 어쩌면 이 노벨상 수상의 또 다른 공로자입니다. 하지만 안타깝게도 몇 해 전 운명을 달리하셨습니다. 😭 노벨상은 생존 인물에게만 수여한다는 규정상 수상자 명단에 빠졌지만, 아마 살아계셨다면 이번 노벨 경제학상을 함께 수상했을 것이라는 데 어느 누구도 의심하지 않기 때문에, 짧게라도 언급할 필요가 있다고 말하며 강연자는 애도를 표합니다.
7. 연구 디자인 중심 인과 추론의 한계와 과제
모든 연구가 완벽할 수는 없을 것입니다. 따라서 연구 디자인 중심의 인과 추론에 대해서도 여러 비판이 있는 것도 사실입니다. 노벨상 공로를 찬양 일색으로 끝내는 것도 좋지만, 좀 더 균형 잡힌 시각을 갖기 위해 어느 정도 한계점도 함께 살펴보는 것이 의미가 있을 것이라고 합니다.
7.1. 외부 타당성(External Validity)에 대한 비판
연구 디자인 중심의 인과 추론에 대한 가장 대표적인 비판은 바로 외부 타당성(External Validity)에 대한 비판입니다. 즉, 어떤 특정 상황에서의 연구 디자인 결과가 과연 다른 상황에도 적용 가능한지에 대한 의구심입니다. 예를 들어, 앞서 살펴본 논문에서 1990년대 초반 뉴저지와 펜실베이니아의 패스트푸드 산업에서의 결과를 과연 우리나라 현실에 그대로 적용할 수 있을까요? 다소 회의적일 수밖에 없을 것입니다. 🤔
그래서 이러한 연구 디자인 중심의 인과 추론 연구에서 특히 중요한 것은 바로 인과 추론 결과에 대한 종합, 즉 메타 분석(Meta-analysis) 이 아닐까 생각한다고 합니다. 메타 분석에 대해서도 서머 세션에서 다루었지만 아쉽게도 영상이 공개되지는 못했다고 하니, 자료를 참고해 보라고 합니다.
7.2. 연구 주제 편중 경향에 대한 비판
두 번째 비판은 무작위 실험, 준 실험, 자연 실험과 같은 연구 디자인이 가능한 주제에 연구가 편중되는 경향이 있다는 것입니다. 강연자는 개인적으로 이러한 관점에 대한 가장 대표적인 비판이 바로 '괴짜 경제학(Freakonomics)' 이라는 책에 대한 비판이라고 생각합니다. '괴짜 경제학'은 전 세계적으로 가장 많이 팔리고 많이 알려진 경제학 대중서라고 할 수 있습니다. 이 책에서 저자들은 다양한 인과 추론 연구 및 자연 실험 연구 등을 통해 밝혀진 흥미로운 사례들을 소개하고 있습니다.
이러한 책에 대해 더 많은 사람들이 경제학이나 데이터 분석, 인과 추론 같은 연구의 대중화에 앞장섰다고 칭찬하기도 하지만, 일부 비판자들은 최근 경제학자들이 "굉장히 중요한 문제에 집중하기보다는, 아주 작지만 기발하고 똑똑한 연구(Cute and Clever Work)에 집중하고 있다" 는 비판을 하기도 합니다.
강연자는 개인적인 생각으로 최근의 연구 트렌드를 보면 이러한 무작위 실험이나 자연 실험이 가능한 연구에 다소 편중되는 경향이 있다는 것은 어느 정도 사실이라고 생각한다고 말합니다. 하지만 이것은 인과 추론 자체에 대한 비판이라기보다는, 어쩌면 연구자들의 태도(Attitude)에 관한 것이고, 모든 연구자들이 풀어야 할 과제가 아닐까 생각한다고 덧붙입니다.
8. 마무리: 인과 추론 연구의 현재와 미래
그래도 최근에는 많은 연구자들이 중요한 현실 문제 해결을 위해 이러한 인과 추론 연구 디자인을 활용하고 있습니다. 따라서 인과 추론 연구가 현실 문제 해결에 어떻게 적용될 수 있는지 궁금하신 분들에게 하버드 대학교의 경제학 개론 강의를 추천합니다. 🧑🏫 하버드 경제학 강의 중에서 가장 인기 있는 강좌로 알려져 있으며, 학부 1학년들이 주로 듣는 개론 과목이므로 그렇게 어렵지 않고 경제 배경 지식을 크게 요구하지 않는다고 합니다. 이 강의에서 특히 오늘 살펴본 연구 디자인, 즉 인과 추론을 위한 연구 디자인의 교과서적이고 훌륭한 연구 사례들을 많이 소개하고 있기 때문에, 아마 여러분들도 많이 흥미를 느끼실 것이며, 강연자가 개인적으로 가장 좋아하는 강의이기도 하다고 합니다.
그 외에도 오늘 다뤘던 내용들에 대해 좀 더 공부하고 싶은 분들을 위해 다음과 같은 서적들을 추천합니다:
- 조슈아 앵그리스트 교수님과 요른 스텝슨(Jörn-Steffen Pischke) 교수님이 쓴 '고수들의 계량경제학(Mostly Harmless Econometrics)' 과 '대체로 해롭지 않은 계량경제학(Mastering 'Metrics)' . 이 두 책의 내용은 거의 비슷하며, 신뢰성 혁명의 모든 철학과 정신이 담겨 있는 교과서라고 볼 수 있습니다. 후자가 같은 내용에 대해 좀 더 수직적인 설명을 포함하고 있다는 정도의 차이만 있습니다.
- 귀도 임벤스 교수님과 루빈 코잘 모델을 창시한 도널드 루빈(Donald Rubin) 교수님이 함께 쓴 'Causal Inference' . 이 책도 매우 훌륭하여 인과 추론을 공부하는 데 큰 도움이 될 것이라고 합니다.
그리고 매년 열리는 인과 추론 서머 세션 박사 과정도 오늘 다뤘던 모든 내용들과 궤를 같이하고 있습니다. 개인적으로 이러한 신뢰성 혁명의 중심에 있는 인과 추론을 위한 연구 디자인에 관한 어쩌면 거의 유일한 한글 강의 자료라고 생각한다고 합니다. 오늘 다뤘던 내용들에 대해 좀 더 관심이 있고 공부하고 싶은 분들에게 이 서머 세션의 자료들과 영상들이 도움이 되기를 바라면서 강연을 마칩니다.