특집
한국리서치 김춘석 이사는 17년 동안 여론조사 업계에서 일했다. 지난해 3월부터 올해 2월까지 경기도선거관리위원회 선거 여론조사 공정심의위원을 맡았다. 여론조사 분야에서 잔뼈가 굵은 김 이사도 이번 총선 결과를 예측하지 못했다. 그는 선거 여론조사의 ‘실패’를 반성하면서도, 그 원인이 업체들의 과실만은 아니라고 말했다. 김춘석 이사에게서 20대 총선 결과와 여론조사 전반에 대한 업계의 변을 들었다.
20대 총선 결과를 예상했나?
예상치 못했다. 선거 전 마지막 조사에서 ‘여대야소’가 흔들릴 수 있다는 신호가 나오긴 했지만 그에 반하는 정보도 워낙 많아서 확신할 수 없었다. 선거 이틀 전 나가기로 했던 총선 예측 방송 출연을 취소했다. 자신이 없어서였다.
경합 지역으로 조사된 곳 외에도 완전히 틀린 결과가 나온 곳이 있다.
공직선거법에 선거 6일 전부터 여론조사 공표를 금지한 조항 탓도 있다. 서울의 한 선거구는 일주일 사이 지지도가 10%포인트 이상 뒤바뀌었다. 이 결과가 공표됐다면 ‘여론조사가 적중했다’고 했을 것이다. 이번 선거는 공표 금지 기간에 ‘표심’이 바뀐 곳이 많았다. 사실 공표 금지 기간 6일은 결과가 뒤집히기에 충분한 시간이다.
같은 날이나 하루 격차를 두고 발표된 여론조사 간에도 결과가 크게 다른 사례는 어떻게 설명되나?
조사별로 검토를 해봐야 하겠으나 아마도 둘 중 하나 이상은 올바른 프로세스를 거치지 않았을 것이다. 조사의 타당성을 검증할 절차가 여럿 있다. 설계·방법·표본 추출·자료 처리 등이다. (선거) 결과만 놓고 ‘모든 여론조사가 잘못됐다’고 비판할 게 아니라, 어떤 조사의 어디가 어떻게 잘못됐는지 검증해야 한다.
젊은 층 표본을 찾기 힘들어서 생기는 일인가?
그렇다. 집 전화가 없는 가구가 늘고 있다. 전화가 있더라도 20~30대는 여론조사 시간에 집에 없다(공직선거법 제108조 10항에 따르면 ‘오후 10시부터 다음 날 오전 7시까지 전화 선거 여론조사를 실시할 수 없다’). 이를 ‘커버리지(coverage)가 떨어진다’고 표현한다. 유선 전화의 커버리지는 60% 정도로 알려져 있다. 사람 수만 채우기 위해 정체불명의 DB를 가져다 써도 제재하기가 쉽지 않다. 이런 DB를 자세히 들여다보면 특정 후보 지지 응답이 높은 경우가 잦다.
20, 30대 커버리지가 떨어진 것이 어제오늘 일은 아니다. 대비할 수 없었나?
전국 단위 선거에서는 크게 문제가 없었다. RDD 방식(무작위 전화 걸기)으로 휴대전화 조사가 가능하다. 010 다음 번호를 무작위로 생성해 조사하면 된다. 반면 특정 지역구만 가려내야 하는 총선 여론조사에서는 이 방식을 쓸 수 없다. 010으로 시작하는 임의의 휴대전화 번호가 강남갑 지역 유권자의 것일 확률이 얼마나 되겠나?
2012년 때보다 악화된 건가?
응답률이 떨어졌다는 게 큰 문제다. 여론조사 전화를 받자마자 끊어버리는 사람들이 늘었다. 4년 전에 비해 ARS(자동응답) 조사가 많이 늘어서다. ARS는 상대적으로 저렴한 비용에 전화를 더 많이 돌릴 수 있다. 자영업자 분들은 몇 번이나 여론조사 전화가 왔다며 욕을 하기도 한다.
ARS에 대한 피로감 때문에 응답률이 떨어져 여론조사가 제대로 안 된다는 말인가?
ARS 조사로 나온 결과 자체가 문제다. 선관위에 등록된 여론조사 가운데 40%가 ARS 조사다. 한국조사협회 차원에서 꾸준히 하는 말이지만, ARS는 과학이 아니다. 점쟁이와 다를 바가 없다. ARS 업체의 조사 결과와 한국조사협회 산하 조사기관의 결과는 구분해서 판단해야 하는데, 묶여서 비난받고 있다.
ARS 조사와 일반 조사에 차이가 있나?
표본의 대표성이 문제다. 초등학교에 다니는 딸이 ARS 여론조사 전화를 받았다. “선생님의 나이는 어떻게 되십니까?”라는 질문에 ‘60대’를 택했다. 자기 학교 선생님을 생각한 것이다(웃음). 여론조사원이 직접 걸었다면 목소리를 듣고 걸렀을 표본들이 ARS 조사에서는 여과 없이 집계된다.
ARS 방식의 여론조사만 실제 총선 결과와 달랐던 것은 아니지 않나?
그렇다. 여론조사가 틀렸다는 게 오해라는 말은 아니다. 업계 전반이 반성해야 한다. 그러나 진단을 제대로 해야 올바른 처방이 나온다. ARS 업체들의 무분별한 조사가 업계 전체를 혼탁하게 만들고 있다는 것은 사실이다.
다음 선거를 앞두고 여론조사는 어떻게 바뀌어야 하나?
ARS 때문에 생긴 혼탁한 조사 여건이 개선되길 기대한다. 실제 결과에 근접한 결과를 얻기 위해서는 여론조사 공표 금지 기간을 줄이거나 아예 없애야 한다. 공표 금지 기간은 지지율 역동성이 가장 큰 기간이다. 또한 안심번호가 도입되길 바란다.
안심번호에 대한 업계 시각은 어떤가?
조금씩 다를 수 있겠지만 도입해야 한다고 본다. 그 외에는 모집단 대표성을 개선하기 어려운 구조다. 응답률에 영향을 주는 피로감도 줄어들 수 있다. 안심번호 생성 비용은 일종의 진입 장벽이 되어 무분별한 조사가 줄어들 것이다. 지금 성행하는, 조사원 1명이 녹음해 기계로 돌리는 ARS 업체들은 없어지지 않겠나?
안심번호는 왜 진작 도입되지 않았나? 업계에서 적극 요구하지 않았나?
논의는 되었다. 그러나 업체들이나 조사협회 차원에서 공동으로 행동에 나선 적은 없다. 사실 안심번호가 도입될 것이라고 상상을 못했다. 개인정보 보호 문제에 둔감한 우리나라니까 논의라도 된 거지, 외국은 어림없다. 분명 안심번호가 도입되면 휴대전화로 여론조사 전화가 더 많이 올 것이다. 개인적으로는 이게 최선인지 잘 모르겠다. 다만 ‘여론조사의 정확성을 높인다’는 당면한 목적에서 보면, 지금으로선 안심번호 도입이 가장 타당한 길이다.
선거 여론조사뿐 아니라 다른 여론조사의 신빙성을 의심하는 시각도 있다. 가령 대통령 지지율이나 정책 찬반 여론조사는 믿을 만한가?
전국 단위 여론조사는 휴대전화 RDD 방식을 쓸 수 있기에 커버리지에 문제가 없다. 다만 조사 시점이나 적정성 문제는 생길 수 있다. 이슈에 대한 여론이 충분히 형성된 이후의 조사인지 아닌지에 따라 결과가 크게 다르다. 그러나 이번에 부각된 총선 여론조사의 한계에서는 자유롭다. 내년에 있을 대선 여론조사도 마찬가지다.
이대로 갔을 때 같은 문제가 반복되는 시점은 2020년 총선인가?
아마 2018년 지방선거부터 터질 것이다.