[사실은x마부작침] 여론조사 ‘낮이밤져' '밤이낮져?'…조사 시간 다르면 1위도 달랐다?

선거 때마다 여론조사는 늘 도마 위에 오릅니다. 여론조사 결과, 정말 믿을 만하느냐는 의구심입니다. 심지어 자신이 지지하는 후보의 지지율이 낮게 나오면, 표본이 작다, 응답률이 낮다, 비난 댓글도 가득합니다. 자연히 언론사들도 욕을 먹습니다.

물론 SBS 팩트체크 「사실은팀」은 단순히 특정 후보 지지자들의 정치 편향 때문에 괜한 공격을 받고 있다는 식의 억울함은 없습니다. 사실 여론조사는 정치 공간에서 중요한 '플레이어' 역할을 하고 있습니다. 우리는 여론조사 결과를 보고 '대세'를 가늠할 때가 많고, 자연히 대세에 편승하는 '밴드왜건' 효과가 나타나기도 합니다. 여론조사는 우리의 선택 '의향'을 묻는 데 그치는 게 아니라, '선택' 그 자체에 영향을 미칠 수 있음을 의미합니다. 유권자들이 여론조사를 예민하게 바라보는 건 당연합니다. 더군다나 여론조사 결과가 제각각인 측면도 분명히 있습니다. 

「사실은」팀은 여론조사 '방식'에 주목하고 싶습니다. 먼저 의뢰 기관과 조사 기관의 정치적 성향, ARS로 조사하는지 아니면 전화 면접원이 직접 전화를 걸어 묻는지, 안심 번호로 했는지 혹은 무작위 전화걸기(RDD)로 했는지 등에 따라 유불리가 달리 나타날 수 있기 때문입니다.

그런데, 조사 방법에 따라 어떻게 달라지는지, 팩트체크 하기가 쉽지 않습니다. 어떻게 해야 하나 고민하던 찰나, 역시 대한민국 데이터 저널리즘의 끝판왕 「마부작침」팀이 있습니다.

과연, 조사 방법에 따라 여론조사 결과는 어떻게 달라지는지, 「마부작침」의 분석 냉철한 분석을 보겠습니다.

이번 대통령 선거만큼 여론조사가 대중의 관심을 받은 적이 있었을까요? 아마 없었을 겁니다. 이유는 간단합니다. 대선 주자 1, 2위 후보의 지지율 차이가 계속해서 오차 범위 안에서 쫓고 쫓다 보니 여론조사 결과가 모두의 관심일 수밖에 없는 것이죠. 

어쨌든 길었던 여론조사 대장정은 지난 2일에 마침표를 찍었습니다만, 「마부작침」은 현행 여론조사에 한 가지 궁금증이 생겼습니다. 바로 조사 방법이 여론조사 결과에 영향을 주는지 말입니다. 과연 이걸 통계적으로 증명할 수 있을까요?
<선거여론조사기준 제 10조>에 따르면 조사 기관은 조사 의뢰자, 기관, 지역 등 자세한 내용을 중앙선거여론조사심의위원회 사이트에 올리도록 되어 있습니다. 먼저 조사 방법부터 보면 크게 8개로 구분되는데 그중 가장 많이 활용되는 건 두 가지입니다. ‘자동전화응답(ARS)’과 ‘전화면접조사' 입니다. 녹음된 기계음으로 전화를 받았다면 ARS 방식이고 조사관이 직접 육성으로 물어봤다면 후자인 ‘전화면접조사'에 해당됩니다.

그런데, 조사 방식에 따른 대선 후보의 지지율이 다를 수 있다는 건 여론조사에 조금이라도 관심이 있는 분들은 아실 겁니다. 모르는 분들을 위해서 짧게 정리하면 ARS 방식은 주로 낮 시간에 조사가 진행되는 경우가 많은데 그러다 보니 가정주부나 노인층의 응답률이 높은 편이고 지루한 기계음을 견딜 만큼 선거에 관심이 많은 ‘정치 고관여층'일 가능성이 큽니다. 실제로 이번 대선 여론조사에서도 국민의힘 윤석열 후보가 더불어민주당 이재명 후보보다 ARS에서 지지율이 더 높게 나오는 경향이 보였죠. 

반면에 전화 면접은 조사원이 직접 물어보며 답변을 받다 보니 다양한 계층이 응답할 가능성이 높습니다. ARS에 비해서 다양한 답변을 받을 수 있기 때문에 특정 표집이 집중되지 않은 이재명 후보에게 유리한 것이죠. 이 같은 조사 방식에 따른 보수와 진보의 상이한 응답 결과는 여론조사에서 익히 알려진 사실입니다.

그렇다면 실제로 ARS와 전화 면접 방식이 지지율에도 영향을 미쳤을까요? 「마부작침」은 데이터 분석 기업 언더스코어와 함께 데이터를 통해 살펴봤습니다.

저희가 ARS 조사가 윤석열 후보에게 유리했을지를 따져보기 위해 베이지안(Bayesian Statistics) 분석으로 효과 크기(effect size)를 측정해 보니, ARS만 사용한다고 가정했을 때 윤석열 후보는 이재명 후보보다 3.8%p 더 앞선다는 결과가 나타났습니다. 즉, 통계적으로 ARS는 윤석열 후보에게 분명히 유리했다는 건데, 이는 사실이었습니다.
  그런데 「마부작침」은 여론조사 결과에 영향을 미치는 또 다른 ‘변수'를 주목했습니다. 바로 어느 시간대에 조사 했는지를 밝히는 ‘조사 시간'입니다. 

모든 여론조사 기관은 공직선거법상 조사를 마치면 중앙선거여론조사심의위원회 사이트에 올려야만 합니다. 조사기관명, 의뢰자, 등록일, 지역, 대상 등 조사와 관련된 세부적인 사항들을 확인할 수 있는데 그중에서 눈여겨 본 게 바로 ‘조사 시간'입니다. 
" data-captionyn="Y" id="i201644434" src="https://static.sbsdlab.co.kr/image/thumb_default.png" class="lazy" data-src="//img.sbs.co.kr/newimg/news/20220307/201644434.png" style="display:block; margin:20px auto" v_height="165" v_width="434">
실제 여론조사심의위원회 홈페이지에 등록된 결과를 같이 볼까요? (글번호 9100) 위 그림에서 조사 시간대는 2월 28일 낮 1시부터 밤 8시 5분과 다음 날인 3월 1일에는 오전 10시부터 오후 5시 35분에 걸쳐 조사를 진행했습니다. 이런 경우 오전, 오후, 밤에 걸쳐 조사를 진행했는데 이를 비율로 구해보면 오전 17.65%, 오후 64.71%, 저녁 17.65%로 계산해 나타낼 수 있습니다. 

이를 토대로 「마부작침」은 2021년 6월 5일부터 2022년 3월 2일까지 전국 대상으로 진행된 대선 여론조사 582개를 대상으로 시간대 별 후보들의 지지율이 달라지는지 분석해 보니 실제로 ‘시간대'에 따른 차이가 여론조사 결과에 직접적인 영향을 미치는 것으로 나타났습니다.
「마부작침」은 다른 외생변수(조사방식, 가중치 등)를 통제하고 동일 조건에서 따져보니 조사 시간대가 오전인 경우 이재명 후보가, 오후 시간대는 윤석열 후보에게 유리하다는 통계적 유의미성을 발견했습니다. 그래프상 x축의 오른쪽으로 갈수록 지지율이 높음을 의미하고 두 후보 간의 그래프가 멀수록 그 차이가 크다는 의미인데요. 즉, 전체 조사 시간 중 오후 조사 시간의 비중이 높을수록 82.6% 확률로 윤석열 후보에게 더 유리했습니다. 반대로 아침에 전화를 하면 이재명 후보가 미약한 수준에서 유리하다고 나왔지만 통계적으로 큰 의미가 있었던 건 아니었습니다. 

이 같은 여론조사 결과가 시간대에 따라 정반대의 결과가 나오다 보니 유권자에게 혼동을 유발합니다. 가령 지난 3월 2일에 조원씨앤아이(일요신문 의뢰)와 미디어리서치(OBS 의뢰) 여론조사 결과를 보면 두 조사 모두 ARS로 진행됐는데 오전에 조사를 한 미디어리서치(오전 28.6%)에서는 이재명 45% 윤석열 44.9%로 이재명 후보가 앞섰지만 오후에 조사한 조이씨앤아이(오전 0%)는 이재명 42.1%, 윤석열 44.9%로 윤석열 후보가 높게 나옵니다. 정반대의 결과가 나온 거죠. 

조금 더 분석해 보니 오후 조사 비중이 10% 증가할 때마다 윤석열 후보 지지율이 0.27%p 씩 더 유리하게 나온 결과도 조사 시간이란 변수가 여론조사 결과에 실제로 영향을 준다는 통계적 뒷받침으로 나타납니다. 이를 바탕으로 극단적인 상황을 가정하면 오후에만 진행한 조사는 오전과 저녁에만 한 조사보다 윤석열 후보가 2.7%p 더 높게 나올 수 있다는 뜻입니다. 

결국 조사 기관과 의뢰자가 혹여나 ‘나쁜' 의도를 가진다면 입맛에 맞는 조사 결과가 나올 수 있는 가능성이 존재합니다. 「마부작침」은 조사 시간대를 오전,오후, 밤으로 구분해 편차를 구해봤습니다. 시간대 별로 조사 시간이 일정하지 않았다는 걸 보여주는 지표입니다. 
먼저, 오후 시간대에 조사 시간 편차가 가장 컸던 곳은 리얼미터로 편찻값은 13.7이였고, 오전 시간대에 조사한 비율이 일정하지 않았던 곳은 코리아정보리서치로 10.3이었습니다. 저녁 역시 리얼미터가 편찻값 14.4로 가장 높게 나왔습니다. 즉, 리얼미터의 경우 시간대별 조사 시간 배분이 가장 일정치 않았다는 뜻이기도 합니다. 

오전, 오후, 저녁의 편차 평균을 내보면 리얼미터가 11.9로 가장 높았고 코리아정보리서치(10.7), 미디어토마토(8.7) 등 순으로 나타났습니다. 가장 편차가 작았던 건 입소스가 2.6으로 시간대별 조사 시간이 일정했습니다. 

시간대 편차가 컸을 때 생기는 문제는 뭘까요? 전문가들은 ‘일관성'을 지적합니다. 입소스 이찬복 상무는 “아무래도 추이를 봐야하는 여론조사에서는 불가피한 이유가 아니라면 조사 시간대가 일관성 있는 게 좋다"라고 말했습니다. 여론조사에서 하우스 이펙트(House effect)란 말 들어보셨나요? 여론조사를 수행하는 기관이 가진 성향에 따라 여론조사 결과가 편향성을 가진다는 뜻인데요. 이는 조사 기관에 따라 응답자 계층이 달라지거나 문답에 편향성이 생길 수 있기 때문에 여론조사에서는 중요한 변수입니다. 
하지만 이번 대선 여론조사에서는 기존에 알려진 하우스이펙트 외에도 조사 의뢰자(언론사, 학회, 중앙선거관리위원회 등)가 보수적 성향일수록 이재명 후보에게 더 불리했습니다. 매우 보수적인(리커트 5점) 기관에서 의뢰한 여론조사는 매우 진보적인(리커트 1점) 기관에서 의뢰한 조사보다 평균적으로 이재명 후보 지지율이 1%p 더 불리하게 조사됐습니다. 

쉽게 설명하면, 기존의 하우스 이펙트는 조사 기관의 편향성에 따라 여론조사 결과가 다르게 나타났지만 이번 분석에서는 이와 별개로 조사 의뢰자의 정치 성향이 여론조사 결과에 영향을 줬다는 겁니다. 

이번 분석을 맡은 언더스코어 강태영 대표는 ""특정 여론조사의 ARS 사용 여부나 유선전화 비율은 유권자가 알기도 쉽고, 그 효과 역시 잘 알려져 있다. 그러나 중앙여론조사심의위원회에서 특별히 규제하지 않고, 언론에서도 크게 다루지 않았던 영역이 조사 결과에 영향을 줄 수 있다" 라며 "특히 이번 분석은 조사기관이 불규칙한 조사 시간으로 인해 의도하지 않은 편향을 낳을 수도 있다는 걸 시사한다"라고 말했습니다. 


「사실은」팀은 "조사기관이 불규칙한 조사 시간으로 인해 의도하지 않은 편향을 낳을 수도 있다"는 강태영 대표의 말을 주목하고자 합니다.

언론사들이 지지율 추이 분석 기사를 쓸 때, 무작정 온갖 여론조사 결과를 모아서 시간대 별로 나열하지는 않습니다. 동일한 여론조사 기관을 기준으로 삼습니다. 동일한 여론조사 기관은 일반적으로 '같은' 조사 방법을 쓰기 때문입니다. 조사 방법에서 나오는 차이를 어느 정도 상쇄할 수 있다는 전제가 깔렸습니다. 

하지만, 여기에는 보통 '시간대'가 제외돼 있습니다. 동일한 여론조사 기관이 '다른' 시간대에 조사한다면, 우리가 생각하는 것 이상으로 오차가 발생할 수 있지만, 별 고려 대상이 되지 않습니다.

늘 의심 받고 공격 받는 여론조사 결과, 그 신뢰성을 위해서라도 하나하나 보완해 나갔으면 좋겠습니다. 제도적 보완이 그 출발점이 될 겁니다. 현행 여론조사 신고 기준은 다음과 같습니다.
 
조사 시간은 단순 신고 사항으로 돼 있습니다. 「사실은」과 「마부작침」팀은 여론조사 시간대에 대한 어느 정도의 일관성을 유지할 수 있도록, 규율을 검토해보는 방식을 조심스럽게 제안해 봅니다.

팩트체크 「사실은」팀과 데이터저널리즘 「마부작침」팀, 「마부작침」팀과 「사실은」팀의 '콜라보'는 대선 이후, 나아가 6월 지방선거까지 쭉 이어집니다. 

시청자 여러분, 대한민국의 미래를 위해, 소중한 한 표, 꼭 행사하세요!

(글·구성 : 이경원, 배여운 / 디자인 : 안준석 / 데이터분석 : 언더스코어 / 리서치 : 강동용)