심슨의 역설의 역설

이번 글은 인과 그래프 관점에서 심슨의 역설을 다루는 것으로 인과 그래프에 대한 얕은 사전지식을 요구합니다.

심슨의 역설은 데이터를 다루는 많은 사람들이 좋아하는 개념입니다. 적용할 때는 GROUP BY 구문에 컬럼을 추가만 하면 끝이라 간단합니다. 간단하지만 중요도는 굉장히 높은 내용이기 때문에 늘 염두해두고 데이터를 작게 쪼개 보려 합니다.

다만 이번 글에서는 심슨의 역설이 제대로 작동하지 않는 상황에 대해 얘기해보려고 합니다. “제대로 작동하지 않는다”는 말은 “나눠도 딱히 효과가 없다”가 아니라 “나누면 효과를 잘못 추정한다”입니다. 그러니까 이런 상황에서는 데이터를 쪼개는 작업을 안 해도 되는 게 아니라 하면 안 되는 것이죠.

심슨의 역설

우선 심슨의 역설에 대해 가볍게 알아보겠습니다. 심슨의 역설 가장 유명한 사례 중 하나는 UC Berkeley 대학원의 성별에 따른 합격 차별 사례입니다. 사진은 위키피디아에서 가져왔습니다.

남성 지원자는 44% 합격했는데, 여성 지원자는 35% 합격한 것을 보고 성차별이라는 주장이 있었습니다. 그런데 학과별 합격률을 보니 오히려 대부분의 학과에서 여성 지원자의 합격률이 높았습니다.

합쳤을 때 남성의 합격률이 높게 나타난 것은 전반적으로 합격률이 높은 학과에 남성 지원자가 많았고, 전반적으로 합격률이 낮은 학과에 여성 지원자가 많았기 때문이었죠.

이런 스토리와 함께 심슨의 역설은 유명해졌고 데이터를 쪼개보는 것의 중요성, 자세히 보는 것의 중요성을 강조하는 대표적인 개념이 되었습니다.

자 그러면…

---

인과 그래프로 심슨의 역설 다시 보기

대학원 성차별 케이스를 인과 그래프로 보면 처음 우리의 생각은 이런 형태였습니다.

그러나 지원 학과라는 개념을 추가하니 그래프 형태가 바뀌었습니다. 성별에 따라 지원하는 학과가 달랐고 지원 학과에 따라 합격율이 차이났던 것이죠.

이 때 성별의 합격에 대한 인과효과를 측정하려면 지원 학과를 통제해야 합니다. 따라서 심슨의 역설 사례처럼 지원 학과로 그룹을 더 잘게 나누어 보는 게 필요하겠죠. 하지만 인과 그래프 기준으로 통제(위 상황에서는 그룹을 더 잘게 나누는 것)하면 되는 케이스가 있고 안 되는 케이스도 있습니다. 상황별로 예시를 들면서 설명드리겠습니다.

통제해야 하는 케이스

우선 성별에 따른 대학원 합격 상황은 chain 구조라고 불립니다. X -> M -> Y 의 형태이죠.

Confounder(Fork) 구조도 살펴보겠습니다.
상관관계는 인과관계가 아니다 할 때 가장 유명한 사례 중 하나가 ‘아이스크림 판매량’과 ‘상어습격으로 인한 사망자 수’ 사이의 상관관계일 것입니다. 이를 인과 그래프로 나타내면 다음과 같을 겁니다. 누가 원인인지 모르겠으니 일단 쌍방으로 표시했습니다.

그런데 사실 둘 사이의 상관성이 높게 나타나는 것은 여름에 아이스크림 먹는 사람이 많고 동시에 해변/바다로 물놀이 가는 사람이 많아서 그렇겠죠. 즉, 계절이라는 공통의 속성이 양쪽에 영향을 주는 것입니다. 이를 인과그래프로 나타내면 다음과 같습니다.

이 형태는 공통으로 교란을 주는 제3의 변수가 있다하여 교란변수(Confounder)가 있다고 하고, 포크처럼 생겼다고 하여 Fork 구조라고도 합니다. 이 상황에서도 대학원 성차별 케이스에서 지원학과를 통제했던 것처럼 계절 변수를 통제해야 합니다. 봄여름가을겨울로 나누어 월별 ‘아이스크림 판매량’과 ‘상어습격 사망자 수’를 비교하면 상관성이 나타나지 않을 겁니다.

위 두 구조라면 심슨의 역설이 적용됩니다. 하지만 아래 설명드릴 케이스에서는 오히려 열심히 쪼개어 보면 볼 수록 잘못된 결론으로 이르게 됩니다. 통제하면 안 되는 케이스를 보시죠.

심슨의 역설의 역설

그래프 형태 기준으로 통제하면 안 되는 경우는 3가지가 있습니다.
한 가지는 collider 구조입니다.

담대한 성격의 사람은 아닌 사람에 비해 스타 플레이어가 될 가능성이 높습니다. 부담감을 이겨내야 성적을 낼 수 있으니까요. 또한, 당연하게도 운동 신경 좋은 사람이 아닌 사람에 비해 스타 플레이어가 될 가능성이 높죠.
그런데 어떤 저널리스트가 스타 플레이어들의 데이터를 모아 담대함과 운동 신경 사이의 관계를 파악했다고 해볼까요? 결과는 놀랍게도 담대함과 운동신경은 음의 상관관계가 있다가 됩니다.

사실 담대함과 운동신경 자체는 상관이 없고, 각각 스타 플레이어가 되는데 기여하는 요소지만 스타 플레이어들만 놓고 비교하니 음의 상관관계가 있는 것처럼 보이는 것이죠. 따라서 이런 경우 스타 플레이어 변수를 통제하면 안 됩니다.

---

다음 케이스는 M-bias입니다. 흡연이 폐암에 끼치는 영향을 분석하는데 쪼개보면 뭐가 나오지 않을까 생각하며 우연히 발견한 안전벨트 사용 여부 변수를 추가했다고 해보겠습니다. 그런데 사실 인과그래프가 아래와 같았다고 가정하겠습니다.

안전벨트 사용 여부를 발견하지 않았다면 사실 그대로 흡연과 폐암 사이의 인과관계를 밝힐 수 있었을 겁니다. 그런데 우연히 추가한 안전 벨트로 인해 ‘사회적 규범에 대한 태도’와 ‘안전과 건강에 대한 태도’라는 새로운 정보 흐름이 열리면서 오히려 잘못된 인과관계를 추정하게 될 수 있습니다.

참고로 위 그래프에서 o로 표기된 것은 관측치는 없지만 인과적으로 영향을 끼칠 수 있는 가상변수를 나타내는 것입니다.

마지막 통제하면 안 되는 대표적 케이스는 별도로 전하고 싶은 메시지가 있어 아래에서 따로 설명 드리겠습니다.

통제 할까 말까는 아직도 어렵다

구글에서는 성차별로 인한 임금격차를 조사하였습니다. 남녀 사이의 임금격차가 있다하여 조사를 했는데 결과가 일반적 성차별 케이스와 다르게 다수의 남직원도 추가 임금보상급을 받았다는 내용이었습니다.¹

제가 Udemy에서 수업 들은 Paul Hünermund 교수님은 이 케이스가 잘못된 인과 그래프 때문에 발생했다고 하였는데요. 수업에서 가상으로 사용한 데이터를 가져와봤습니다.

심슨의 역설 사례처럼 남녀 뿐만 아니라 매니저 여부도 나누어 보면 오히려 남성보다 여성이 많은 급여를 받고 있음을 알 수 있습니다. 그러면 대학원 사례처럼 남녀로만 볼 때는 여성이 차별 받는 것처럼 보였지만 여성 매니저가 적어 발생한 해프닝으로 보면 될까요? 그렇지 않습니다(라고 강의에서 들었습니다). 인과 그래프로 보겠습니다.

해당 강의에서 설명한 인과 구조는 위 그림처럼 생겼습니다. 이 경우 직접적 성별에 따른 급여 인과효과 추정을 위해서 매니저 직급 여부는 제거해야 합니다. 간단히 회귀식으로 설명하자면 다음과 같습니다.

매개효과를 측정하는 게 아닌 직접적 인과효과를 측정하려는 목적이기 때문에 매니저 여부를 추가하면 alpha값이 아닌 alpha1을 구하게 되어 빼야 하는 거죠.

그런데 다시 첫 시작이었던 대학원 성차별 케이스를 생각하면 성별 -> 지원 학과 -> 합격 구조와 같은 구조여야 하지 않나 생각이 됩니다.

둘의 차이는 성별 -> 합격/급여가 직접적으로 연결되었는지 여부입니다. 안타깝게도 이런 부분은 데이터만 가지고 연결하는 것이 옳다 아니다 얘기하기 어렵습니다. 선 연결 여부에 따라 결과가 180도 달라지는데 선 연결 여부를 데이터로 얘기하기 어렵다면 어떤 얘기를 할 수 있을까요?

이런 점이 이론적으로 완벽한 인과 그래프 모델의 약점이자 한계점 같습니다. 이 부분은 제가 좋아하는 인과추론의 데이터 과학 채널에서도 같은 이야기를 하십니다. 그래프 구조가 문제시 될 때는 도메인 전문가의 도움을 받아야 한다는 것도 도메인 전문가는 저 선을 이어야 할지 끊어야 할지 알고 있을까 생각해보면 참 어려운 문제 같습니다.

---

결론이 좀 맥 빠지지만 두 줄 요약 해보겠습니다.

1. 되도록 데이터를 세분화해 보는 것이 좋지만 세분화 해서 보면 안 되는 상황도 있다.
2. 인과 그래프(구조화된 인과 모델)는 최근 각광받는 방법이지만, 아직 문제되는 상황이 많이 있다. 고급 기법도 중요하지만 실험의 소중함을 잃지 말자.

---

참고자료

https://stanford.library.sydney.edu.au/archives/win2018/entries/paradox-simpson/

https://www.researchgate.net/publication/342011658_Causality_Confounding_and_Simpson’s_Paradox

https://ftp.cs.ucla.edu/pub/stat_ser/r414.pdf