[사실은] 윤 대통령 지지율 내렸다? 올랐다? 확인해보니…

지난주 한미정상회담 이후, 엇갈린 두 여론조사가 발표됐습니다. 대표적인 정례 여론조사 기관인 한국갤럽과 리얼미터의 조사 결과였습니다.

한국갤럽의 여론조사를 보도한 언론은 윤석열 대통령의 지지율이 소폭 하락했다는 점을 강조했습니다. 지난주(4월 3째주) 대비 긍정 의견이 1%p 하락했고, 부정 의견이 3%p 상승했다는 내용이었습니다. 반면, 리얼미터를 보도한 언론 보도는 정반대였습니다. 지난주 대비 긍정 의견이 1.9%p 올랐고, 부정 의견이 2.1%p 떨어졌다는 겁니다.

비슷한 기간의 여론조사였지만, 하나는 올랐고, 다른 하나는 떨어졌다는 내용입니다. SNS에서는 자신의 정치적 성향에 유리한 조사 결과를 공유하는 사람들도 많았습니다. "여론조사 결과가 널 뛰고 있다"는 보도도 나왔습니다.

과연 뭐가 맞는 걸까요. '메타 분석'이라는 기법을 통해, 가늠해 보려 합니다. SBS 팩트체크 사실은팀과 데이터저널리즘 마부작침팀이 함께 분석했습니다.

.
먼저, 두 여론조사를 꼼꼼히 살펴보겠습니다.

한국갤럽 여론조사는 지난달 25일부터 사흘간 진행됐습니다. 4월 3째주 긍정과 부정 의견이 각각 31%와 60%였는데, 4월 4째주에는 30%와 63%였습니다. 

전화면접 방식으로 조사했고, 표본오차는 95% 신뢰수준에 ±3.1%였습니다.


다음으로 리얼미터 여론조사의 조사 기간은 좀 더 깁니다. 24일부터 닷새 동안 진행됐습니다. 4월 3째주 긍정과 부정이 각각 32.6%와 64.7%에서, 4월 4째주는 각각 34.5%와 62.6%였습니다. 

ARS 방식으로 조사했고, 표본오차는 95% 신뢰수준에 ±2.0%였습니다.


그런데 두 여론조사의 '조사 기간'을 주목할 필요가 있습니다. 사실, 4월 말은 하루하루 여론을 요동치게 하는 일들이 많았습니다.

4월 24일은 "100년 전 일로 일본에 무조건 무릎 꿇으라는 건 받아들일 수 없다"는 윤석열 대통령의 워싱턴포스트(WP) 인터뷰 발언이 논란이 됐습니다. 그 다음 날인 25일은 윤 대통령 인터뷰 내용에 대한 여당의 지원 사격이 되레 역풍을 맞았습니다. 국민의힘 유상범 수석대변인이 "언론이 원래 인터뷰를 오역했다"고 주장했는데, 인터뷰 당사자였던 워싱턴포스트 기자가 자신의 SNS에 인터뷰 원문을 게시하며 반박에 나섰습니다.

26일 밤에는 한미 정상회담이 열렸고, 그 다음 날 새벽 워싱턴 선언으로 이어졌습니다. 만찬 자리에서는 윤 대통령이 부른 노래 '아메리칸 파이'가 화제가 됐습니다. 한미정상회담 결과에 대한 평가는 주로 27일 저녁과 다음 날인 28일에 이어졌습니다.

정리하면 다음과 같습니다.


이런 상황을 감안하면, 25일~27일 진행된 한국갤럽 여론조사는 25일과 26일 윤석열 대통령의 '일본 무릎' 발언의 여파가 컸다고 볼 수 있습니다. 27일 여론조사는 오전 10시부터 오후 6시까지 진행됐는데, 한미정상회담에 대한 평가가 시작되는 시점이라 그 영향력은 제한적입니다.


반면, 리얼미터 여론조사 기간인 24일~28일은 윤 대통령의 일본 무릎 발언과 한미정상회담에 대한 평가가 모두 반영된 것으로 볼 수 있습니다. 27일 새벽 워싱턴 선언이 나온 뒤 오전까지는 주요 내용을 전달하는 속보 기사가 많았고, 27일 저녁 방송사의 메인뉴스, 다음날 조간신문에 평가에 대한 정리된 보도가 이어졌습니다. 아무래도 28일 조사는 한미정상회담 평가의 성격이 짙을 수밖에 없습니다.

물론, 한국갤럽과 리얼미터도 이런 상황을 고려해 해석하고 있습니다. 하지만, 특정 여론조사를 단편적으로 보도하는 언론의 관행, 여기에 정치적 성향이 뚜렷한 일부 사람들이 특정 여론조사에 대한 해석을 과장하고 공유하면서 오해가 생긴 걸로 읽힙니다.
 
그렇다면, 윤 대통령의 지지율 추세는 어떻게 볼 수 있을까요.

SBS 팩트체크 사실은팀은 미국의 통계전문가 네이트 실버가 고안한 방식을 활용해 보려고 합니다. 네이트 실버는 수많은 여론조사의 결과 값을 평균을 내 하나의 지수로 만드는, 이른바 '메타 분석' 방식을 선보여 유명세를 떨쳤습니다. 여론조사들의 단순 평균을 내는 것은 아니고, 다양한 통계적 변수를 활용해 '가중 평균'(Weighted Averaging)을 매긴 뒤 하나의 지수를 뽑아내는 식입니다. 수많은 여론조사 속에 담긴 '평균적인' 흐름을 짚어낸 결과물이라고 할 수 있습니다. 이 방식을 준용해 한미정상회담 이전과 이후의 추이를 비교하면 될 것 같습니다.

다음은 4월 한 달 동안 중앙여론조사심의위원회에 등록된 41개 여론조사의 가중 평균을 매겨 메타 분석을 한 결과입니다. SBS 데이터저널리즘 마부작침팀의 도움을 받았습니다.


네이트 실버의 가중평균 방법론에 따른 메타 분석 결과, 윤 대통령 지지율은 4월 2째주까지 하락세를 보이다가, 이후에는 올라가는 추세를 보인다고 말할 수 있습니다. 4월 마지막 주에는 한미정상회담이 지지율 상승을 견인했다는 해석이 여럿 있는데, 사실은팀과 마부작침팀의 메타 분석도 이를 뒷받침하고 있습니다.

다만, 위 표에 나타난 숫자는 지지율이 아니라 '지수'로 봐야 합니다. 여론조사 결과가 아닌, 그 결과를 통계적 기법을 통해 재가공한 것이기 때문입니다.


하버드대 비즈니스스쿨의 마이클 휠러 교수는 "여론조사 보도의 오류는 통계 분석보다 해석에서 더 심각하게 발생하고 있다"고 말했습니다. 여론조사 방식의 통계적 문제점보다, 이를 해석하고 전달하는 방식에서 오류가 더 많이 만들어진다는 겁니다.

이번에도 비슷한 경우인 것 같습니다. 우리가 여론조사를 볼 때, 구체적인 조사 날짜와 시간보다는 아무래도 '4월 3주차', '4월 4주차', 이런 말들에 눈길이 가게 됩니다. 큰 이벤트가 있고, 그 이벤트의 영향을 여론조사를 통해 가늠하기 위해서는 조사 시간 정보를 명확히 넣어야 할 필요가 있습니다. 그렇지 않으면 이번처럼 착시가 생길 수 있습니다.

요즘같이 진영 갈등이 극심한 시기, 정치적으로 여론조사 결과를 악용하는 경우도 많아졌습니다. 통계를 보고 해석을 하는 게 아니라, 해석을 위해 통계를 끼워다 맞추는 일도 잦습니다. '여론조사 도구화' 문제입니다. 총선도 1년 앞으로 다가온 시점, 여론이 왜곡되는 일을 방지하기 위해 보다 정확한 분석이 요구됩니다. SBS 사실은팀은 데이터저널리즘팀 마부작침과 함께, 여론조사와 여론조사 보도를 모니터 하고 지속적으로 팩트체크 해보려고 합니다. 주기적으로 메타 분석도 해보려고 합니다. 여론조사 도구화에 대한, 대안 보도에 기여했으면 좋겠습니다.

(작가 : 김효진, 인턴 : 여근호, 염정인)