통계 전문가 4인 "여론조사 지극히 의도적… 증거 드러나"

문재인 정부 들어 여론조사 전문기관 '리얼미터'와 '한국갤럽'이 발표한 조사 결과에 대해 국민적 의구심이 증폭되고 있다. 조국(54) 법무부장관이 후보자 시절 '사모펀드(PEF)' '웅동학원 무변론 패소' '자녀 입시 비리' 등 각종 의혹을 받는데도 임명 찬성 지지율은 오히려 오르는 기현상이 잇달아 발생했다.

이런 가운데, 리얼미터와 한국갤럽의 여론조사가 '지지율을 왜곡했다'는 근거가 처음으로 나왔다. <관련기사; [단독] '지지율 왜곡' 학술증거 처음 찾았다> 여론조사의 표본 구성에서 편향성이 발생해 대표성이 떨어진다는 것이다. 본지는 '지지율 왜곡'에 대한 통계 전문가 4인의 의견을 들어봤다. 인터뷰에 응한 전문가 4인은 정치적으로 민감한 사안임을 감안해 모두 익명을 요구했다.

A교수는 한국갤럽(이하 갤럽)과 리얼미터 모두 표본의 정확도에 문제가 있다고 밝혔다. 여론조사 결과에서 상관계수가 나오면 안 된다는 이유에서다. 그는 이런 이유로 리얼미터와 갤럽의 여론조사 결과가 대표성을 띠기 어렵다고 말했다.

10일 김종석 자유한국당 의원이 조사해 발표한 2017년 5월~올해 9월까지 중앙선거관리위원회에 보고된 리얼미터와 갤럽의 '여론조사 대표성 분석 결과'에 따르면 여당 지지율과 응답률 간 상관계수는 리얼미터의 경우 -0.4686, 갤럽은 0.4870으로 나타났다. 같은 기간 리얼미터와 갤럽의 평균 응답률은 각각 5.82%, 16.53%였다.

A교수는 "상관계수가 나온다는 것 자체가 문제인데, 아마 다른 조사를 돌려봐도 상관계수가 나올 것 같다"며 "조사를 제대로 할 수 있는 자금의 부족함, 시간적 여유 부족 등 다양한 배경이 만들어낸 우리나라 여론조사의 한계인 것 같다"고 설명했다.

이어 "샘플(표본) 정확도에 어느 정도 문제가 있을 순 있다"면서 "신뢰성을 볼 때 반드시 응답률이 10%가 돼야 하는 건 아니다"라고 덧붙였다. "응답률이 높다고 여론조사의 신뢰성이 있다고 단언할 수 없다"는 것이다.

B교수는 응답률로 보면 한국갤럽(이하 갤럽) 조사 결과가 (리얼미터에 비해) 더 신뢰성이 있다고 봤다. 기본적으로 평균 응답률이 높아야 여론조사의 신뢰성이 있다는 게 그 이유다.

김종석 의원의 발표에 따르면 리얼미터와 갤럽의 평균 응답률은 각각 5.82%, 16.53%였다. 같은 기간 여당 지지율과 응답률 간 상관계수는 리얼미터의 경우 -0.4686, 갤럽은 0.4870으로 나타났다.

B교수는 "리얼미터의 경우 상관계수가 낮은데, 응답률이 높아질수록 여당 지지율이 낮아진다는 걸 의미한다"며 "애초에 표본조사 대상자를 추출할 때 여당 지지에 편중되거나, 야당 지지에 편중되는 등의 문제가 있던 것으로 해석된다"고 말했다.

이어 "아무리 샘플링(sampling·표본추출)에 다소 차이가 있다고 해도 같은 내용에 대해 정반대의 결과가 나오는 건 의문"이라며 "갤럽이 여당 지지 가능성이 높은 지역 주민을, 리얼미터는 그 반대 지역을 대상으로 했을 가능성도 있다"고 부연했다.

B 교수는 이런 다양한 이유를 근거로 이번 결과에 대한 신뢰성 담보 여부를 판단할 수 없다고 했다. 

C교수는 이번 연구결과가 흥미롭다고 했다. '유권자를 대표해야 한다면서 응답률에 따라 조사 결과가 달라지면 문제가 있다'는 이유에서다. C교수는 "이 결과에서 얻을 수 있는 결론은 응답률이 10% 미만일 때는 응답률이 높을수록 여당 지지율이 감소하고, 응답률이 10% 이상일 때는 응답률이 높을수록 여당 지지율이 증가한다는 점"이라고 지적했다.

그러면서 응답률의 경우, 휴대폰과 집전화 구성 비율을 봐야 한다고 설명했다. C교수는 "보통 휴대폰 비율이 높으면 응답률이 낮은데, 리얼미터는 휴대폰 비율이 높은 것 같다"며 "휴대폰 소지자는 여당 지지 경향이 높고 집전화 응답자는 야당 지지 경향이 높다"고 분석했다. 이어 "최근 50:50에서 90:10으로 휴대폰 비율을 굉장히 높이는 경향이 있다"고 부연했다. 휴대폰 RDD(random digit dialing·무작위 전화 걸기) 비율이 높은 리얼미터 조사 방법에 의구심을 표하는 대목이다.

C 교수는 '그렇다고 갤럽 여론조사가 더 신뢰가 간다는 건 아니다'고도 말했다. 다만 여론조사 편향성을 따질 때 전체 표본이 모집단을 대표하는지가 중요하다고 강조했다. 또 전체 표본을 조사하지 못해서 불거지는 문제, 즉 일부 표본의 편향성 문제는 '응답률에 따라 결과가 달라지면 대표적으로 응답률에 따른 편향이 나타난 것이라고 보인다'고도 말했다.

특히 그는 "(이번 조사 결과의 경우) 대표성·편향성을 문제 삼을 수 있는데, 응답하기 전 표본을 얼마나 대표성 있게 뽑았느냐가 관건"이라며 "갤럽이 응답률이 높으니 더 신뢰할 수 있을 듯하고, 과거에 성향상 리얼미터가 여당 쪽 선호도가 다소 높은 듯하다"고 했다.

갤럽과 리얼미터의 조사를 두고 "지극히 의도적이라고 판단된다"고 평한 전문가도 있다.

D교수는 "리얼미터는 응답률이 2~6%인데, 갤럽은 14~16%"라며 "현재 응답률의 크기가 여론조사 신뢰도에 영향을 끼치지는 않는다"고 지적했다. 이어 "두 기관의 응답률이 크게 차이가 나도 문제를 삼지 않지만, 여당 지지율이 응답률 크기에 따라 같이 움직인다면 표본의 편향이 있는 것으로 보인다"고 지적했다.

한편 중앙선거여론조사심의위원회는 2017년 '유･무선전화 비율 등 바람직한 여론조사 방법에 관한 연구'라는 제목의 연구용역 결과보고서를 발표했다.

이 보고서에는 '조사방법에 따라 그 방법이 후보자 지지에 미치는 영향의 크기와 방향이 다르고, 응답률 역시 그 영향의 방향이 다르게 나타나는 반면, 유선전화 비율은 그 비율이 높을수록 문재인 후보 지지율에 일관되게 부정적 영향을 미치는 것으로 나타났다'는 내용이 담겼다. 유무선 및 무선 ARS 방식에서 문재인 후보 지지율을 낮게 측정하는 경향이 있었다고도 기재했다.

'여론조사 방법 및 전략에 따라 유권자들의 실제 여론이 왜곡될 수 있음을 의미한다'는 지적도 이 보고서에 담겼다.