못 믿을 여론조사…'편향된 표본'이 원인이었다

대통령선거·국정지지율 등 각종 여론조사 결과를 두고 '신뢰성 논란'이 확산되고 있다. 여론조사 전문기관의 조사 결과가 전체 여론을 대표할 수 없다는 지적이다.  

여론조사의 신뢰성 문제가 확산된 계기는 조국(54) 법무부장관과 관련해서다. 조 장관이 후보자 시절 일부 여론조사기관이 실시한 조사 결과는 제각각이었다. 같은 사안을 두고 이뤄진 조 장관에 대한 조사 결과는 최대 12%P나 차이가 나기도 했다. 이 같이 상이한 여론조사 결과가 나온 이유로 낮은 응답률, 휴대폰 RDD(Random Digit Dialing·무작위 전화걸기)와 같은 조사방식 등이 거론됐다.  

전문가들의 말을 종합하면, 여론조사의 신뢰성에 영향을 끼치는 핵심 요인은 '표본의 편향성'이다. 여론조사를 실시할 때 전체 집단(모집단·유권자)에서 무작위로 표본을 골라, 이 표본을 상대로 조사를 실시한다. 표본이 왜곡·편향되지 않아야 표본에 따른 조사도 전체 집단을 대표할 수 있는 '대표성'을 가진다. 

이때 두 변수(여당지지율·응답률) 사이에서 '유의미한 상관관계'가 나타나면 편향성이 있다고 한다. 편향성은 상관계수를 보고 판단할 수 있다. 상관계수는 지지율과 응답률 간 연관성을 보여주는 지표다. 이 상관계수가 0에 가까울수록 여론조사의 신뢰성이 높아진다. 반대로 상관계수가 1 혹은 -1로 나온다면, 그 여론조사 결과는 왜곡·편향됐다고 본다. 한국 유명 여론조사기관의 여론조사에서는 이 '표본의 편향성'이 나타났다.    

그 근거는 지난 10일 본지가 입수한 '문재인 정부 출범 이후 중앙선거관리위원회에 보고된 리얼미터와 갤럽의 여론조사 대표성 분석 결과 자료'(자유한국당 김종석 의원실)에 담겼다. 이 자료는 두 여론조사기관이 2017년 5월~2019년 9월 발표한 여론조사 중 '여당 지지율과 응답률 간 상관관계를 분석한 결과'다. <관련기사; [단독] '지지율 왜곡' 학술증거 처음 찾았다>

김 의원실의 분석 결과, 리얼미터와 갤럽의 상관계수는 각각 -0.4686, 0.4870이었다. 상관계수가 양(+)의 수가 나온다는 건 두 변수인 '여당 지지율'과 '응답률'이 같은 방향으로 움직인다는 의미다. 서로 반대 방향으로 움직이는 상태를 '음(-)의 상관관계'라고 한다. 지지율이 높을수록 응답률도 높아지면 양(+), 반대라면 음(-)의 상관관계를 보이는 것이다. 리얼미터는 응답률이 낮을수록 여당 지지율이 올라갔고, 갤럽은 응답률이 높을수록 여당 지지율도 같이 높아졌다. 같은 기간 리얼미터와 갤럽의 평균 응답률은 각각 5.82%, 16.53%였다.

이런 '상관계수' 문제는 해외 유명 논문에서도 등장한다. Robert M. Groves는 '무응답 비율과 편향성(Nonresponse Rates and Nonresponse Bias in Household Surveys)'이라는 논문에서 "지지율과 같은 관심변수와 응답률 간 상관관계가 있으면 ‘무응답 편향’이 발생한다"고 분석했다. 이 같은 연구 결과는 Ho and de Leeuw(1994), Cook et al.(2000), Groves(2006) 등의 연구에서도 공통적으로 나타났다.

통계 전문 A 교수는 "여론조사 결과에서 상관계수가 나오면 사실 그 조사는 대표성·신뢰성이 없다고 볼 수 있고, 잘못 실시된 조사"라면서도 "비용문제 등을 감안하면 우리나라 대부분 여론조사기관의 조사 결과에서 상관계수가 나올 것"이라고 설명한 바 있다. 

아울러 전문가들은 설문 내용, 조사 방식, 응답률 등도 여론조사 신뢰성에 영향을 미친다고 지적했다. 여론조사의 정확한 문제 진단을 위해 표본을 공개하면 된다는 의견도 있다. 

이번 여론조사 문제는 조국 법무장관 사태 이후 확산됐다. 조 장관 일가와 관련된 의혹이 커지는 와중에도 문재인 대통령의 국정지지율은 올라갔다. 특히 비슷한 시기 이뤄진 두 여론조사기관의 결과가 최대 12%P나 벌어진 경우도 있었다.  

지난 8월 말 중앙일보 조사연구팀과 리얼미터가 실시한 조사 결과, 조 장관 찬성에 답한 응답률은 12%P나 벌어졌다. 중앙일보 조사연구팀이 8월23~24일 만19세 이상 남녀 1000명을 대상으로 조사한 결과 조 장관 임명 찬성에는 27.2%, 반대 60.2%였다. 반면, 리얼미터가 tbs 의뢰로 8월28일 조사한 결과 조 장관 임명 찬성은 39.2%, 반대 54.5%였다. 

조 장관의 국회 인사청문회(9월6일) 뒤에 실시한 한국리서치(7일)와 리얼미터(9일) 조사 결과, 조 장관 임명 찬성 응답률의 차이는 8%P나 벌어졌다. 한국리서치가 7일 '일요진단 라이브' 의뢰로 1003명에 대해 여론조사한 결과 조 장관 반대에는 49%, 찬성에는 37%가 답했다. 리얼미터 결과는 반대 51.8%, 찬성 45%였다. 

한편 리얼미터는 주간·주중 등 매주 두 차례 여론조사를 발표하고, 여론조사 횟수는 총 237회였다. 매주 한 차례 여론조사 결과를 발표하는 갤럽은 총 108회의 여론조사 결과를 발표했다. 여론조사 결과에 대한 자세한 사항은 중앙선거여론조사심의위원회 홈페이지를 참조하면 된다.