리얼미터 여론조사, 왜 이상한가 했더니… '극단적 가중치' 반복해서 적용됐다

지난달 23일 서울시 여론조사심의위원회(여심위)는 모 기관이 발표한 여론조사 결과에 '공표 불가' 방침을 내렸다. 

이 여론조사기관은 '차기 서울시장후보 적합도'를 묻는 조사를 통해 박영선 중소벤처기업부장관이 나경원 전 국민의힘 의원을 오차범위 내에서 앞섰다고 이날 발표했다. 이 조사 결과는 50여 언론사가 일제히 기사화하며 무차별 확산했다.

서울시 여심위가 삭제를 권고하자 대부분의 언론사는 관련 기사를 삭제했다. 

당시 여심위가 문제 삼은 것은, 이 조사에서 적용한 일부 지역의 할당 가중값 배율(가중치)이었다. 가중치가 지나치게 작거나 커서 조사 결과의 객관성이 크게 떨어진다는 지적이었다. 

현재 중앙선거여론조사심의위원회가 고시한 바에 따르면, 선거 여론조사에서 가중치는 성별·연령별·지역별 모두 0.7에서 1.5 사이가 돼야 한다. 가중치가 이 범위를 벗어날 경우 해당 선거 여론조사 결과를 공표·보도해서는 안 된다. 

가중치를 0.7~1.5 범위로 유지해야 한다는 것은, 남성 500명을 조사하기로 목표를 세웠다면 최소 333명을 조사해야 하며 714명을 넘어서도 안 된다는 뜻이다. 응답자 수가 이 범위에서 하나라도 벗어나면 이 조사는 쓸모없게 된다. 물론 목표대로 조사를 완료하는 것이 가장 바람직하다. 그렇게 되면 가중치는 '1'이 된다.

가중치가 '1'에서 멀어질수록 표본의 대표성이 떨어져 해당 조사는 객관성이 부족해진다. 성별·연령별·지역별(권역별) 등 항목에서 각 가중치가 얼마나 '1'에 근접했는가는 여론조사의 신뢰성을 좌우하는 중요한 요소라는 것이 전문가들의 설명이다. 

그런데도 중앙 여심위가 1을 벗어난 가중치를 허용한 것은 여론조사에 응답하는 사람들의 비율이 극히 적기 때문이다. 특히 정치 관련 여론조사는 응답률이 5%에 그치는 경우가 다반사다. 

본지가 만난 여론조사업체 관계자들은 이구동성으로 이 같은 어려움을 호소하며, 적어도 여심위가 허용한 범위만큼은 가중치를 적용할 수 있어야 한다는 의견을 냈다. 0.7 또는 1.5와 같은 극단적 가중치를 내더라도 조사의 타당성을 인정하고 발표할 수 있게 해야 한다는 것이다. 

실제로 많은 선거 여론조사는 0.74, 0.77, 1.44 등의 가중치를 두면서 허용된 가중치 범위를 간신히 통과해 발표된다. 

하지만 유사한 주제의 여론조사에서 가중치가 허용 경계에 가깝게 나오는 현상이 반복되는 것은 문제가 있다는 지적이다. 대표적으로 리얼미터가 월간 정례적으로 시행하는 '차기 대선주자 선호도 조사'에서 이 같은 문제점이 발견됐다.

위 표는 리얼미터가 지난 8월24일부터 28일까지 5일간 조사해 9월1일 발표한 차기 대선주자 여론조사 결과에 포함된 것이다. 표는 성별·연령별·권역별로 적용한 가중치를 보여준다.

표에 따르면, 전체 가중치(가중값 배율)는 1에 근접한 0.98로 문제가 없다. 하지만 세부항목별로는 조사의 신뢰도를 떨어뜨리는 가중치가 확인된다. 예를 들어 '남성'에 적용된 가중치인 0.79, '50대' 가중치 0.73, '60대' 0.77, '서울' 0.77, '제주' 0.73 등은 각 항목에서 목표할당 수보다 지나치게 많은 응답을 받았다는 뜻이다. 

반대로 '만18세 이상-29세 이하'의 가중치인 1.43, '70세 이상' 1.39 등은 목표 할당 수에 비해 응답률이 크게 떨어졌다는 뜻이다. 물론 모두 여심위가 인정한 가중치 범위에서 벗어나지 않아 발표하는 데는 지장이 없다.

그렇다면 9월에 시행한 같은 조사는 어땠을까. '남성'의 가중치는 0.75로 8월 조사보다 더 상황이 나빠졌다. '50대'는 0.74, '60대'는 0.73으로 60대의 가중치는 역시 8월보다 더 벌어졌다. 특히 '서울'은 가중치가 0.70으로 허용치를 간신히 통과했다. 

10월 조사도 상황은 비슷했다. '남성'과 '여성'은 각각 0.73, 1.44로 전월보다 나아지지 못했다. '50대' '60대' 역시 각각 0.75와 0.74였고, '서울'은 0.72로 역시 허용치를 간신히 통과하는 수준이었다.

이와 관련, 익명을 요구한 한 여론조사업체 대표는 "RDD(Random Digit Dialing) 방식을 사용하면 안심번호(가상번호)를 사용할 때보다 정확도가 떨어지는 경우가 많다"며 "그러나 RDD 방식을 사용해 가중치가 한두 번 양 극단으로 쏠릴 수는 있어도 그와 같은 가중치가 반복되는 것은 조사의 신뢰성 확보에 도움이 되지 않는다"고 지적했다.

이 대표는 이어 "같은 주제를 정기적으로 조사하는 과정에서는 다음 차수에서는 가중치가 선관위의 최대 허용범위인 0.7이나 1.5에 근접하지 않도록 하는 것이 좋다"며 "지속적으로 최대 허용범위 경계에 근접한다면 조사의 신뢰성을 위한 개선 노력이 부족하다는 비판을 피할 수 없다"고 말했다. 

다른 여론조사업체 대표 역시 "가중치 범위를 벗어나지 않기 때문에 0.7이나 1.5를 가중치로 두는 것 자체는 문제가 없다. 하지만 특정 항목에서 가중치가 극단으로 쏠렸다면 다음 조사에서는 이를 개선하는 것이 맞다"고 지적했다.  

이처럼 가중치가 0.70까지 벌어진 것은 표집방법과도 관련 있다. 전국단위 조사에서 모집단을 추리는 표집방법에는 통신사를 통해 가상번호를 받는 방식과 무작위로 번호를 생성하는 RDD(Random Digit Dialing) 방식이 있다. 리얼미터의 8·9·10월 대선주자 선호도 조사에서는 모두 무작위 생성방식인 RDD 방식을 사용했다. 

'가상번호 방식'이란 성별·연령별·권역별로 실제 존재하는 전화번호를 가상화해 선관위를 통해 각 이동통신사가 여론조사기관에 제공하는 방식이다. 예를 들어 '지역별·성별·연령별 인구비율에 맞게 선관위에 요청하면 선관위는 각 이동통신사를 통해 요청 번호를 제공한다. 다만 가상번호는 가상번호 생성비가 따로 책정돼 요금이 부과되므로, 비용부담이 클 수 있다. 

반면, RDD 방식은 조사기관이 스스로 전화번호를 생성하기에 비용이 거의 들지 않는다. 무작위로 번호를 추출해 전화를 걸어보는 식이다. 이 경우에는 해당 번호가 남성인지 여성인지, 거주지는 어느 지역인지, 나이는 몇 살인지 조사기관이 모르는 상태에서 진행된다. 이러한 이유 때문에 가상번호 방식에 비해 가중값의 차이가 존재할 수밖에 없다.

이와 관련해 한 여론조사업체 대표는 "RDD 방식은 무작위로 전화를 거는 방식이다 보니 아무래도 안심번호 방식보다 정확성이 떨어진다. 하지만 RDD 방식 역시 엄연히 허용되는 방식"이라며 "RDD 방식으로 조사해도 선관위가 허용하는 최대 범위의 가중치에 근접하지 않게 만들 수 있으며, 조사의 신뢰성을 위해서는 그와 같은 노력을 지속적으로 기울여야 한다"고 말했다.

본지는 이 같은 문제점과 관련, 리얼미터에 서면으로 의견을 물었지만 답을 받지 못했다. 지난달 27일 의견을 묻는 전자우편을 보낸 뒤 30일 경영지원팀에 전화로 재차 확인을 요청했지만, 이날까지 답변을 듣지 못했다.

다만, 중앙선거여론조사심의위원회는 30일 통화에서 "가중값 배율이 0.7과 1.5 사이에 있다면 공표 요건을 충족해 발표하는 데는 지장이 없다"고 밝혔다. 

위원회 관계자는 "조사관리 차원에서 표집을 더 낫게 할 수 있고, 여론조사 전문가들 사이에서는 가중치가 반복적으로 벌어지는 것이 문제라고 지적할 수 있다"며 "하지만 허용범위를 충족한다면 위원회 규정 위반은 아니다"라고 말했다.