[취재파일] 20억짜리 대입 '찍기'인가?…'5점 척도'라니

시험시작 5분도 안 돼 고3 아이는 책상에 엎드리더니 이내 '드르렁' 소리까지 냈습니다. 수학 30문제를 푸는 데 5분 걸렸을 리는 없고, 시험 끝나고 아이를 불렀습니다. 10여 년 전 제가 일선 고등학교에서 교사를 할 때 일입니다. 아이는 답안지 ③번에 일렬로 줄을 세웠더군요. "선생님, 어차피 풀어도 몰라요, 그냥 다 찍는 게 더 맞출걸요. 모를 땐 3번이잖아요!"
위에 있는 '선호도' 설문은 각종 여론조사, 사회조사에 자주 등장하는 '리커트 척도'를 쓴 겁니다. 리커트 척도는 현재 사회조사나 여론조사에서 광범위하게 사용되는 가장 검증되고 안정적인 모형으로 평가받고 있습니다. 4점, 5점, 7점 등이 있는데 보통 5점 척도를 평균 내는 방식으로 가장 많이 씁니다.

예를 들어 네모 안에 '연예인', A-B-C-D에 '방탄소년단-엑소-트와이스-블랙핑크' 이름을 넣는다면, "광고 모델로서 각각 연예인에 대한 호감도는 어떻습니까"라는 설문이 가능하겠지요.

● 잘 모를 땐 ③번일까?

그런데 네모 안에 '공론화 척도', 알파벳 부분에 '보가더스 척도-거트만 척도-리커트 척도-서스톤 척도', 질문이 "공론화 척도로서 각 척도에 대한 지지도는 어떻습니까"라고 한다면 어떻게 해야 할까요. 전문영역을 이렇게 묻다니, 대략난감합니다. 잘 모를 땐 3번이란 말도 생각납니다.

장점도 많긴 하지만, '리커트 척도' 설문 모형은 이렇게 전문 영역의 설문조사나 첨예한 정책 결정에는 대체로 잘 쓰지 않는 편이기도 합니다.
이번 '대입제도 공론화 결과'에 쓰인 설문 모형을 요약한 겁니다. 앞서 보신 설문 모형과 거의 비슷합니다. 처음에 보신 설문 모형의 네모 부분에 '대입제도 개편', 알파벳 부분에 의제1(정시 45% 이상), 의제2(전과목 절대평가), 의제3(대학 자율), 의제4(정시 확대·학생부종합 축소)가 들어간 것으로 보실 수 있습니다.
● 책임 피하고 싶었나?…'5점 척도'라니

"지지도 조사는 4가지 의제에 대해 5점 리커트 척도 조사로 이루어졌으며…"

대입제도 공론화위원회가 낸 보도자료를 보며 두 눈을 의심했습니다. 리커트 척도? 5점 척도를 썼다고? 여론조사·사회조사를 공부하고 있는 연구자로서, 여론조사를 분석해서 보도하는 기자 입장에서 '무책임하다'는 말이 입 밖으로 나올 것만 같았습니다.
조사 결과는 위의 표와 같습니다. 빨간 네모로 표시된 전체 결과를 보면 5점 만점에 '의제1' 3.40점, '의제2' 3.27점, '의제3' 2.99점, '의제4' 3.14점입니다. 반올림하면 모두 3점으로 수렴되는 숫자들입니다. 파란 네모로 표시된 성별·연령별·지역별 결과도 대부분 3점을 전후로 하는 수치들입니다. 3점이라고 표현되는 보기 ③번은 '보통이다'입니다. 각각의 의제에 대한 지지도를 각각 묻고 있는 설문 모형 자체가 안고 있는 본질적 문제를 공론화위는 못 본 걸까요? 안 본 걸까요?

"모를 땐 3번을 찍는다." 괜히 나온 말이 아닙니다. 통계학이나 사회학, 사회조사, 여론조사 기초 교과서에도 나오는 것으로 '가장 무난하고(=③보통이다) 원만한 중앙 위치를 선택하려는 경향'을 '집중화 경향' 혹은 '집중화 오류'(error of central tendency)라고 합니다. "평가자가 평가 대상을 잘 모를 때, 또는 평가자가 책임 회피의 수단으로 비슷한 점수를 줄 때 나타나는 현상"이라고도 합니다. (이해하기 쉽게 쓴 행정학용어사전, 하동석, 2010 / 사회복지학사전, 이철수, 2009 등)

● 결론을 내려고 하긴 했던 걸까?

5점 척도 혹은 리커트 척도가 내재한 문제 중 하나가 바로 '집중화 경향'입니다. 주의할 점은 이번 공론화의 경우 응답자의 집중화 경향 문제는 아니라는 겁니다. 공론화위의 조사 설계 자체를 다시 살펴봐야 될 듯합니다. 5점 리커트 척도를 채택했다니, 교과서에도 나오는 '책임 회피'라는 말이 눈에서 떠나질 않습니다.
위의 예시들은 '집중화 경향'을 낮추거나 회피하기 위해 답변을 할당하거나 분배하는 방식으로 쓰는 설문입니다. 보기로 제시된 것들을 서로 비교해서 순위를 정하거나 비율을 정하는 방식인데요. 공론화위원회가 정말 결론을 내고 싶었다면, 5점 리커트 척도 대신 4개의 의제를 서로 비교하는 '비교척도'로 설문을 구성할 수도 있었을 겁니다.

공론화위는 "의제1과 의제2가 각각 1위, 2위였으나, 통계적으로 유의미한 차이는 없었다"라며 결론을 내지 못했다고 밝혔습니다. 대입제도를 두고 우리 사회의 극심한 의견 차이 때문에 '결론을 내 달라'고 만든 게 공론화위입니다. 그런데 "대입제도는 이렇게 결정하기 어렵다는 걸 보여준 시민들의 정확한 판단에 소름이 돋는 기분"이었다며, 결론을 못 낸 것이 당연하다는 듯한 모습도 보였습니다. 반성이나 책임감은 보이질 않았습니다.

● 20억짜리 교육의 미래, '하청에 재하청' 정답일까?

대입제도개편 공론화에는 지금까지 20억여 원의 정부 예산이 투입된 걸로 전해졌습니다. 정부는 대입제도 공론화를 위해 예비비 17억 원과 국가교육회의 예산 10억 원 등 총 27억 원을 책정했고, 이 중 20억 원 정도가 집행된 걸로 알려졌습니다.

공론화위가 현재 중3 학생들에게 적용될 입시제도를 끝내 결론 못 낸 것을 두고 의제1부터 4까지 각각의 안에 대해 분석하거나 비판하는 경우가 많습니다. 여기에서는 입시안 시나리오 자체에 대한 평가는 차치하고, 분석 공론화 설문 모형만 보더라도 과연 '해결 의지'가 있었는지 책임감은 있었는지 의문이 생긴단 말씀을 드리고 싶었습니다.

공론화를 비롯한 여론조사와 각종 통계 기법들의 존재 이유는 복잡한 사회 현상에 '판단의 준거'를 제시하기 위해서입니다. 답 찾기가 어려울 때, 결정하기가 어려울 때, 해결로 가는 여러 갈래 길 중에서 가장 설득력 있는 길로 안내하는 길라잡이 역할을 하는 겁니다. 공론화위는 그 역할을 하지 못했다고 스스로 고백한 것과 다름없습니다.

당초 공론화위가 출범할 때부터 비판이 많았습니다. 교육의 미래를 결정해야 할 교육부가 책임을 떠넘겼다는 겁니다. '교육부→국가교육회의→공론화위원회'로 떠넘겨진 대입제도 결정은 '하청에 재하청'이란 비아냥을 듣기도 했습니다. 그런데 대입제도 결정이 '원청' 교육부로 다시 돌아왔습니다. 하청에 재하청 끝에 원청으로 '책임 돌려막기' 하고 있는 교육 당국을 보며, 우리 아이들의 미래가 돌려막기 되고 있다는 생각에 착잡해집니다.