野 "'MBC 1위 선정' 사실 알리기 싫었나?"여론조사 전문가 "통계적 의미 없는 자료"
  • ▲ 여론조사 전문가 A씨는
    ▲ 여론조사 전문가 A씨는 "'로이터저널리즘연구소'의 '디지털뉴스 리포트'는 이메일 설문조사라는 한계가 있어 '표본오차'를 구하기 어렵다"고 주장했다. ⓒ사진=픽사베이
    최근 더불어민주당 등 야권에서 '한국언론진흥재단이 MBC 뉴스의 신뢰도를 가장 높게 평가한 해외 연구소의 여론조사결과를 애써 감추려 한다'며 '언론 진흥이 아닌, 통제가 이뤄지고 있다'고 비판하고 있으나, "거론된 조사결과는 '비확률 표본추출(Non-probability sampling)' 방식으로 얻어진 것이라, '표본오차'를 구할 수 없어 애당초 '서열화'가 불가능한 자료"라며 "'오차범위' 표기도 없이 언론사 서열을 매긴 자료를 공공기관인 언론재단이 배포하지 않은 것은 당연하다"는 지적이 제기됐다.

    여론조사 전문가 A씨는 20일 뉴데일리와의 인터뷰에서 "국내에서는 영국 옥스퍼드대 부설 '로이터저널리즘연구소(Reuters Institute for the Study of Journalism)'의 '디지털뉴스 리포트'를 매우 권위 있는 자료처럼 여기는 경향이 있으나 이 자료는 '패널조사'로 이뤄진 것"이라며 "조사 방법은 간편하고 경제적이나 '표본추출로 인한 오차'를 추정하기 어렵다는 맹점을 안고 있다"고 설명했다.

    "쉽게 말해 '로이터저널리즘연구소'가 여론조사기관 '유고브'와 손을 잡고, 국내 여론조사회사가 보유한 패널들에게 '이메일'을 보내 설문조사를 진행한 것"이라고 부연한 A씨는 "자발적인 참여자를 대상으로 실시한 패널조사로 '확률적 표본추출'에 기반하지 않아, 표본오차를 구할 수 없는 조사 방식"이라고 밝혔다.

    A씨는 "'확률 표본추출(Probability sampling)' 방식은 확률에 기반해 표본을 추출하기 때문에 오차를 계량화하는 게 가능하지만, '비확률 표본추출' 방식은 그렇지 않다"며 "보통 가설 등을 수립할 때 쓰는 방식으로 도출된 결과를 갖고 순위를 매기는 건 곤란하다"고 강조했다.

    로이터저널리즘연구소도 해당 조사가 비확률 표본추출 방식으로 진행돼 오차범위를 계산하는 게 불가능하다고 밝히고 있다.

    '2024 디지털뉴스 리포트' 6페이지 'methodology'를 보면 아래와 같은 문단이 나온다.

    "The use of a non-probability sampling approach means that it is not possible to compute a conventional ‘margin of error’ for individual data points. However, differences of +/- 2 percentage points (pp) or less are very unlikely to be statistically significant and should be interpreted with a very high degree of caution."

    이는 "비확률 표본추출 방식을 사용한다는 것은 개별 데이터 포인트에 대한 오차범위를 계산하는 것이 불가능하다는 것을 의미한다"며 "특히 ±2% 포인트 이하의 차이는 통계적으로 유의미할 가능성이 거의 없으므로 매우 주의해서 해석해야 한다"는 뜻으로 해석된다.  

    로이터저널리즘연구소가 발행한 '2024 디지털뉴스 리포트'에 따르면 △MBC 57% △YTN 56% △JTBC 55% △SBS 54% △KBS 51% 순으로 한국 방송 매체별 신뢰도가 집계됐다. 이어 '불신도' 조사에선 △MBC 22% △YTN 17% △JTBC 19% △SBS 19% △KBS 25%로 집계됐다. "±2% 포인트 이하 차이는 통계적으로 무의미하다"는 로이터저널리즘연구소의 설명을 그대로 적용하면, 'MBC의 신뢰도가 1위'라고 단정할 수 없는 수치가 나온 것이다.

    A씨는 "또한 로이터저널리즘연구소가 공개한 자료에 따르면 온라인 조사로 한국 성인 2015명으로부터 응답을 받아 집계한 것으로 나오는데, 정작 '응답률'이 얼마인지는 공개되지 않았다"고 지적했다.

    A씨는 "국내 인터넷 및 방송 심의규정은 '국민적 관심사에 관한 여론조사결과를 보도할 때에는 △피조사자의 선정 방법 △표본의 크기 △조사 지역·일시·방법 △표본오차율 △응답률을 밝혀야 하고, 여론조사결과가 오차범위 내에 있는 경우에는 이를 사전에 명확히 밝혀야 하며, 이를 밝히지 않고 서열화 또는 우열을 묘사해서는 안 된다'고 명시하고 있다"며 "따라서 표본오차율과 응답률이 나오지 않은 로이터저널리즘연구소의 리포트를 인용해 'MBC의 신뢰도가 1위'라는 언론 보도가 이어질 경우, 각종 심의규정에 저촉될 소지가 있다"고 덧붙였다.