[현장] 질문도, 표본도… '리얼미터 신뢰성' 놓고 격론

"한국의 여론조사는 아직 신뢰할 정도에 이르지 못했다."

이용구 중앙대학교 응용통계학과 명예교수(前 중앙대 총장)이 1일 오전 10시 서울 종로빌딩 3층에서 미디여연대·바른사회시민회의 공동 주최로 열린 토론회 '여론조사와 민심의 괴리, 신뢰위기의 여론조사'에서 "여론조사 질문에 답하지 않은 특정 성향의 집단 비율이 더 높다면 이 여론조사의 표본은 '편향성'을 띠게 된다. 여론을 심각하게 왜곡할 수 있는 것"이라며 이같이 말했다.

이 교수는 "일반적으로 현재 집권당과 같은 성향의 사람들이 여론조사에 더욱 적극적으로 응답하고, 야당 성향 사람들은 보다 소극적으로 응답하는 성향이 있다"고도 지적했다.

이날 토론회 기조발제를 맡은 이 교수는 표본의 대표성, 설문 문항의 공정성을 여론조사 신뢰성을 판단할 수 있는 기준으로 제시했다. 표본의 대표성은 여론조사 질문에 답한 응답자(표본)가 전체 유권자를 얼마나 대표할 수 있는지가 핵심이다. 조사 질문지가 특정 대답을 유도하는 내용으로 작성되지 않아야 해당 여론조사가 신뢰할 수 있다고도 했다.

우선 표본의 편향성 여부는 19대 대통령선거(대선) 때 어느 후보에게 투표했는지를 알면 파악할 수 있다. 이 교수는 그 사례로 문재인 대통령 취임 2주년을 기념해 한겨레신문이 한국리서치에 의뢰한 조사 결과를 들었다.

5월 7일 발표된 이 조사에 의하면, 응답자 중 19대 대선 때 문 대통령에게 투표했다는 비율은 64.9%였다. 홍준표 후보를 찍었다는 응답자는 13.1%, 안철수 후보 9.8%로 조사됐다. 그러나 19대 대선 당시 실제 득표율은 문 대통령 41.1%, 홍 후보 24.0%, 안 후보 21.4%였다. 문 대통령 지지자들 23.8%가 여론조사에 과다 응답한 것이다. 이는 '특정 성향'(문 대통령 지지자)을 가진 사람들의 응답이 표본에 더 많이 포함됐다는 의미다.

특히 이 교수는 한국갤럽과 리얼미터의 조사 결과 값에 대해 의구심을 표했다. 한국갤럽이 9월 17~19일 조사해 27일 발표한 조사 결과(1000명, 응답률 17%, 95% 신뢰수준의 최대 허용오차 ±3.1%) 민주당 지지율은 38%, 한국당 24%였다. 같은달 16~20일 조사해 23일 발표된 리얼미터 조사 결과(3010명, 응답률 6.6%, 95% 신뢰수준의 최대 허용오차 ±1.8%)에선 민주당 지지율 38.1%, 한국당 32.5%였다. 민주당 지지율 차이는 0.1%P에 불과했지만, 한국당 지지율 차이는 무려 8.5%P였다.

이를 두고 이 교수는 "95% 신뢰수준 하에서 최대 허용오차를 고려하면 한국당 지지율에 대한 두 조사 결과 차이는 매우 신뢰할 수 없는 결과"라며 "자신있게 말할 수 있는건 두 조사 중 하나가 틀렸던지, 아니면 둘 다 엉터리"라고 지적했다. 오차 범위 내에서 두 여론조사 결과가 있어야 하는데, 한국당 지지율 차이(8.5%P)는 오차 범위를 벗어났다는 이유에서다.

그는 "(정치·사회 관련해 조사를 자주 시행하는) 리얼미터는 19대 대선때 누구를 지지했는지도 여론조사할 때 함께 조사하고 있는데 이를 발표하지 않는다"며 "표본 수가 1000명에 미치지 못하는 경우도 많다"고 지적했다. 이어 "여론조사 결과를 발표할 때는 (앞에서 설명한) 이런 표본 편향성을 보정해서 밝혀야 한다"고 덧붙였다.

이석우 미디어연대 공동대표도 이 교수 지적에 동의했다. 이 대표는 "대부분 근래 나오는 여론조사 중 여론조사 응답자의 60% 정도가 다 문재인 대통령을 지난 대선 때 지지했던 사람들"이라며 "이 샘플(표본)을 가지고 모든 여론조사에 반영해서 발표하고 있어, 샘플(표본)이 편향된 건 거의 확실하다"고 말했다.

전문가들은 조사 질문 방식도 문제삼았다. 이용구 교수는 지난해 리얼미터가 조사해 발표한 '소득주도성장' 질문을 소개하며 "질문을 이렇게 편향적으로 하면 안 된다"며 "아주 악의적인 편향 여론조사의 사례"라고 했다. 당시 리얼미터는 '소득주도성장이 △의료·주거·교육·통신 등 가계지출 경감 △최저임금의 단계적 인상과 영세 상공인 지원 등 사회 안전망 확충을 통해 소득을 높이고 성장을 추진하는 것'이라고 설명한 뒤 이에 대한 의견을 물었다.

서요한 여론조사기관 '공정' 대표도 발제 초반부터 '질문이 대답을 유도하는 건 맞다'고 했다. 그는 "리얼미터에서 5·18 관련 설문조사를 세차례 했는데, 2월 15 cbs 의뢰로 한 여론조사 질문에 포함된 표현을 보면 나치 유대인 대학살과 5·18을 동일선상에 놓고 한다"며 "질문이 답변 유도하는 사례 중 하나"라고 설명했다.

전문가들은 '한국 여론조사 신뢰성을 아직 담보하기 이르다'고 공통된 의견을 냈다. 이 교수는 "결론적으로 우리나라 여론조사는 아직도 신뢰할 정도에 이르지 못했다"며 "다만 여론 흐름이 어떠한가, 추세를 파악할 수 있는 정도"라고 했다.

아울러 이날 토론회에서는 tbs의 여론조사 의뢰가 방송법 위반이라는 지적도 나왔다. 이석우 대표는 "tbs는 발표일 기준으로 2017년 7월26일 여론조사기관 '리얼미터'에 '전국 정례조사 7월4주 주중 집계'라는 이름의 정치 여론조사를 매주 1~2회씩 의뢰했다"며 "이후 계속 진행하며 현재까지 193회 여론조사를 실시했는데, 이는 서울특별시 산하 기관임을 고려하면 방송법 위반이 명백하다"고 비판했다.

한편 이날 토론회는 미디어연대(공동대표 이석우·조맹기·황우섭)와 바른사회시민회의(공동대표 김태우·박인환·이영조·조동근·최병일) 주최로 열렸다. 발제자로는 이용구 중앙대 교수, 이석우 대표, 서요한 '공정' 대표가 참석했다. 박인환 대표가 좌장을 맡았다. 위에서 언급한 모든 여론조사와 관련, 자세한 사항은 중앙선거여론조사심의위원회 홈페이지를 참조하면 된다.