최근에 실시된 각종의 정당 지지도 여론조사나 대선 후보 지지도 여론조사 등에서 그 결과를 믿을 수 없다는 얘기들이 주변에서 많이 나오고 있다.

현재 중앙선거관리위원회(선관위) 선거여론조사심의위원회(여심위)에 등록되어 있는 여론조사기관은 79개로 대단히 많고 이들 기관들 간의 과당경쟁으로 일부 여론조사기관이 졸속으로 저렴하게 여론조사를 실시하다보니 공정하게 여론조사를 하지 못해 신뢰성이 떨어진 경우가 허다하다. 또한 염려스러운 것은 어떤 정치적인 편향성을 가지고 한쪽을 밀어주려는 의도에서 소위 ‘통계적 왜곡’을 감수하고 여론조사를 실시하는 경우도 있어 보인다. 한 사례를 들어보자.

부정적이고 주관적인 문항으로 한쪽에 편파적

지난 12월 27일 KBS는 메인뉴스에서 “다가올 총선에서 정부의 실정(失政)보다 보수 야당을 심판해야 한다는 의견이 우세하다”고 보도했다. 정부 실정 심판론 찬성자 비율은 36.4%(반대 54.3%)이고, 보수 야당 심판론에 찬성한다는 응답자가 전체의 58.8%(반대 31.8%)로 나타났다는 것이다.

즉, 보수 야당 심판론이 정부 실정 심판론보다 압도적으로 우세한 것이 국민의 뜻이라는 의미이다. 이 여론조사는 KBS의 의뢰에 의해 여론조사기관인 한국리서치가 실시한 것이다. 그런데 이 여론조사의 질문을 보면 보수 야당 심판론을 유도한 것으로 보여 공정하지 않은 조사였음을 알 수 있다.

이 여론조사의 설문지를 보면 “자기반성 없이 정부의 발목만 잡는 보수 야당에 표를 주지 말아야 한다는 주장에 대해 어떻게 생각하십니까?”라고 질문한 것이다. ‘자기반성 없이’, ‘정부의 발목만 잡는 보수 야당’ 이라는 부정적 표현이 질문 자체에 포함되어 있어 보수 야당을 심판하는 것이 옳은 것처럼 유도하고 있다. 반면에 여당 관련 조사에서는 “문재인 정부의 실정을 심판하기 위해 여당인 더불어민주당에 표를 주지 말아야 한다는 주장에 대해 어떻게 생각하십니까?”라고 질문했다. 이 질문에는 부정적 표현은 없고 객관적으로 의견을 물어본 것이다. 

이 질문지를 객관적으로 공정하게 하려면, 보수 야당 관련 조사에서는 “문재인 정부의 실정을 심판하기 위해 보수 야당에 표를 주어야 한다는 주장에 대해 어떻게 생각하십니까?”라고 질문하든가, 아니면 “문재인 정부의 정책을 계속 지지하기 위해 보수 야당에 표를 주지 말아야 한다는 주장에 대해 어떻게 생각하십니까?”로 질문했어야 했다.

여심위가 고시한 ‘선거여론조사기준’ 제6조(질문지의 작성 등)에는 “누구든지 피조사자의 응답이 특정 정당 또는 후보자에게 편향될 수 있는 다음 각 호의 내용으로 질문지를 작성하거나 질문하여서는 아니 된다. 1. 주관적 판단이나 편견이 개입된 어휘나 표현, 2. 특정 정당 또는 후보자에 대하여 긍정적 또는 부정적 이미지를 유발할 수 있는 내용 등”으로 되어 있다.

이에 근거하여 여심위는 지난 1월 16일 “KBS가 야권에 불리한 여론조사를 뉴스로 내보낸 것은 공직선거법 위반에 해당한다”고 밝혔다. 선관위가 이 여론조사를 ‘편향적 여론조사’라고 판단한 것이다. 총선이 얼마 남지 않은 시점에서 선관위가 공영방송의 편파적인 여론조사 보도에 제동을 건 것은 매우 다행스러운 일이다.이와 같이 질문지에서 결과를 유도하려는 여론조사 시도는 과거에도 무수히 많이 있어 왔다. 

한 예를 들어보자. 2017년 4월 사드 배치와 관련된 여론조사(내일신문이 의뢰하여 디오피니온 여론조사기관에서 실시함)에서 한 질문이다. “최근에 고고도 미사일 사드를 기습배치하면서 정치권에서는 논란이 되고 있습니다. 선생님께서는 차기 정부의 부담을 덜어주기 위하여 배치를 감행했다는 주한 미군과 정부의 입장에 대해서 얼마나 공감하십니까?” 이 질문을 보면 “기습”, “감행”, “ 얼마나 공감하십니까?” 등의 주관적인 용어를 사용하면서 응답자가 사드 배치에 대해 반대하도록 유도한 질문으로 볼 수 있다. 이런 질문은 대표적으로 질문의 객관성과 공정성을 위반한 경우로 볼 수 있다.

위에서 여론조사의 신뢰성을 떨어뜨리는 질문지 작성의 편향성 문제를 들어 봤다. 여론조사는 대부분 전수조사가 아닌 표본조사로 행해지므로 표본조사에는 불가피하게 통계적인 표본오차(sampling error)가 수반된다. 표본오차는 모집단을 전수조사하는 대신에 표본을 조사함에 따라 발생하는 불가피한 통계적 오차이다. 그런데 여론조사를 기획하거나 실시하는 과정에서 비표본오차(non-sampling error)가 발생해 여론조사의 신뢰성을 떨어뜨릴 수 있다. 그러면 어떤 비표본오차의 유형들이 여론조사의 신뢰성을 떨어뜨리고 있는가? 대표적인 유형들로는 다음과 같은 것들이다.

① 질문지 작성의 편향성
② 표본의 대표성 미흡 혹은 무응답 무시에서 오는 오류
③ 조사단위의 누락이나 조사원의 부족한 자질과 정치적 편향성
④ 기타 표본추출방법이나 조사방식에서 오는 오류 등

이들이 대표적인 여론조사기관이 자초하는 비표본오차이며, 이런 오차를 줄이는 것이 여론조사의 신뢰성을 높이는 지름길이다.

표본의 대표성 미흡을 살펴보자. 조사 대상 전체를 모집단이라 하고, 여기서 조사의 대상으로 추출하는 집단을 표본 추출틀(혹은 표본 집단)이라고 한다. 표본 추출틀에서 조사를 실시하여 응답한 사람을 응답자(피조사자)라고 하고, 모든 응답자들을 최종 표본(혹은 간단히 표본)이라고 한다. 표본 추출틀이 모집단을 대표할 수 있도록 설계되어 있지 못하면 표본의 대표성이 확보되지 못한 것이다.

예를 들면 어떤 지역에서 정당 지지도 조사를 하는데 그 지역 모집단의 연령대 인구비율, 성별 비율, 지역 특수성 등을 고려하여 표본 추출틀 설계를 해야 한다. 이런 비율이 제대로 반영되지 못한 표본 추출틀이라면 표본의 대표성이 미확보된 것이다. 여심위에서 고시한 ‘선거여론조사기준’에도 “누구든지 특정 정당 또는 특정 후보자에게 유리하거나 불리한 결과를 가져올 수 있는 표본 추출틀을 사용하여서는 아니 된다”라고 되어 있다.

미국은 여론조사가 가장 발전된 국가이나 초기에는 여론조사에서 심각한 오류가 많이 발생했다. 우리에게도 교훈이 되므로 대표적인 표본의 대표성 미흡 사례를 살펴보자. 1936년의 미국 대통령 선거에서 루스벨트는 현직 대통령으로 재선을 위해 출마한 민주당 후보였고, 랜든은 도전자로서 공화당 후보였다. 그 당시 리터러리 다이제스트(Literary Digest)사는 대표적인 여론조사기관으로 다음과 같은 여론조사를 실시했다. 전화번호부와 자동차 등록대장에서 1000만 명을 임의 추출해 표본 추출틀로 하고, 이들에게 모의투표 용지를 발송했으며, 이 가운데 230만 명이 회신을 했다. 

따라서 표본 크기는 230만이나 되는 방대한 조사였다. 이들을 기초로 분석한 결과 랜든 후보가 3:2로 압승할 것으로 예측됐고 이를 발표했다. 그러나 투표 결과는 루스벨트 후보가 62% 득표로 압승했고, 48개주 가운데 46개 주에서 이기는 압도적인 결과였다. 왜 이런 결과가 발생했을까? 첫째, 표본 추출틀을 전화번호부와 자동차 등록대장에서만 추출한 것이 가장 큰 오류였다. 그 당시 미국 사회에서 전화 또는 자동차를 소유하는 것은 상류층이었고 상류층은 공화당을 지지하는 성향이 강했다. 즉, 표본 추출틀을 편향되게 뽑아 표본의 대표성이 상실된 것이다.

선거 여론조사 때 특정후보 선호하는 표본추출로 불신 자초

다음으로 무응답 무시에서 오는 오류이다. 여론조사에서 응답자의 분포가 모집단과 차이가 많이 나면 표본의 대표성이 미흡하다고 볼 수 있다. 보통 여론조사 응답 비율이 10% 정도이므로 응답자 1000명을 얻기 위해서는 표본 추출틀을 1만 명 이상 구해야 한다. 표본 추출틀이 연령별, 성별, 지역별 등으로 잘 설계되어 있다고 하더라도, 응답한 사람들의 대부분이 어떤 정치적인 이념으로 편중되어 있고, 응답하지 않은 사람들은 다른 정치적인 이념으로 편중되어 있다면, 응답자만 가지고 분석한 결과는 전혀 모집단을 대표할 수 없는 결과를 얻게 된다.

즉, 응답자 분포가 당초의 표본 추출틀 설계와 맞지 않은 경우가 발생한 것이고 이런 경우는 허다하다. 이런 경우에는 가중치를 사용, 보정하거나 무응답자를 무시하지 말고 무응답자가 어떤 성향을 가진 것인지 별도로 조사 반영해야 한다.

정당 지지율에 대한 비교적 최근 언론기관들의 조사를 살펴보자. 지난 12월 30-31일 전국적으로 여론조사를 실시하고 1월 초(2?3일)에 소위 ‘신년 여론조사’로 발표한 결과이다. 이들 대부분 조사의 표본 크기는 1000?1500명 사이이므로 표본오차의 크기는 여론조사들 간에는 별로 큰 차이가 없다.

위의 여론조사 결과를 보면 조사 시기는 동일한데도 불구하고 더불어민주당과 자유한국당의 지지율 차가 많다. 최소 3.3%에서 최대 21.0%까지 난다. 확실히 조사에서 무언가 잘못되었다. 차이가 가장 많은 한겨레신문의 조사 결과를 상세히 들여다보자.

이 조사는 한겨레신문이 ㈜한국리서치에 의뢰하여 조사한 것으로 19세 이상 전국 남녀 1000명을 표본으로 한 것이다. 이 조사의 상세한 내용을 여심위에 등록된 내용으로 살펴보면 표본 추출틀은 3만6057명을 대상으로 했다. 이 중 유선전화번호를 임의번호걸기(RDD)로 25% 추출해 유선전화 면접을 시도하고, 나머지 75%는 통신사가 제공하는 휴대전화 가상번호를 사용해 무선전화 면접을 실시했고, 최종 응답자가 1000명인 셈이다. 응답자 중 399명이 더불어민주당을 지지했고 189명이 자유한국당을 지지한 셈이다.

그런데 이 조사에서 지지도 조사 이외에 다른 질문으로 “선생님께서는 지난 2017년 누구에게 투표하셨습니까?”를 물어 봤고 1000명 중에서 56.0%가 문재인에, 18.9%가 홍준표에 투표했다고 답했다. 지난 대선 당시 문재인 후보는 41.1%의 득표율을 보였고, 홍준표 후보는 24.0%의 득표율을 보였다. 따라서 이 비율과 유사하게 표본이 구성되었다면 편향성이 없는 것이다. 그러나 이 조사의 표본 1000명 중에서 560명이 더불어민주당 지지자들이고, 189명만 자유한국당 지지자들이라고 볼 수 있다. 표본 자체가 당연히 더불어민주당 지지율이 높이 나올 수 밖에 없는 편향된 표본이며 표본의 대표성이 미흡한 경우이다. 한겨레신문의 여론조사 결과는 당연히 믿을 수 없는 잘못된 지지율을 보이고 있다.

또한 편향된 여론조사 결과를 주는 다른 원인으로, 조사단위의 누락이나 조사원의 미숙 등이다. 여론조사기관이 시간에 쫓기다 보니 표본 집단에게 모두 질문하지 않고 늘 대답을 잘 해주는 ‘일부 응답자’들에게만 질문하는 경우이다. 이런 경우는 일부 응답자가 편향되어 있다면 당연히 결과도 잘못된다. 또 다른 원인으로는 조사원들의 부족한 자질과 정치적 편향성이다. 질문자들이 충분한 교육을 받지 않고 여론조사를 하다 보면 응답자의 기분을 상하게 할 수도 있고, 질문자가 스스로 대답을 유도할 수도 있다. 이런 질문자들로 인해 여론조사의 결과가 신뢰성과 공정성을 잃는 것이다.

편향된 여론조사 결과를 주는 마지막 주요 원인으로 표본추출방법과 조사방식을 들 수 있다. 대표적인 표본추출방법으로는 컴퓨터로 전화번호부에서 임의번호걸기(RDD)로 무작위 추출하는 방법과 통신사로부터 휴대전화번호를 제공 받아 무작위 추출하는 방법이 있다. 조사방법으로는 전화면접조사가 있고 전화 자동응답조사(ARS)가 있다.

앞에서 한겨레신문 조사는 유선전화번호를 임의번호걸기(RDD)로 25% 추출하여 유선전화 면접을 시도하고, 나머지 75%는 통신사가 제공하는 휴대전화 가상번호를 사용하여 무선전화 면접을 실시한 것이다. 일반적으로 무선전화는 젊은 층의 응답률이 높고, 유선전화는 가정주부나 장년층의 응답률이 높다. 한겨레신문 조사에서는 응답자 1000명 중에서 유선전화 응답자는 94명(9.4%), 무선전화 응답자는 906명(90.6%)으로 큰 차이가 있다. 이러한 차이가 지지율 차로 나타날 수 있으며 편향된 여론조사 결과를 초래하는 것이다.

여론조사 결과를 읽을 때 특히 유의해야 할 항목으로 표본오차이다. 여론조사에서 특정 후보에 대해 어떤 시점에서 실제 지지율을 추정해 발표할 때에 보통 “95% 신뢰수준에서 표본오차는 몇 %이고, 표본의 크기는 얼마이다” 라고 발표하는 것을 볼 수 있다.

여기서 표본오차를 최대허용 표본오차 혹은 오차한계라고 부른다. 예를 들어 한 후보의 ‘지지율 추정치는 30.5%이고 95% 신뢰수준에서 표본오차는 3.1%’이라 하자. 이 의미는 여론조사가 행해진 시점에서 이 특정 후보의 실제 지지율은 구간(30.5±3.1%), 즉 (27.4~33.6%) 안에 있고, 실제 지지율이 이 신뢰구간에 포함되어 있을 확률이 95%라는 것이다. 두 후보 간의 지지율 신뢰구간이 서로 겹치지 않으면 ‘통계적으로 유의한 차이가 없다’라고 흔히 말한다. 따라서 표본의 크기가 1000명인 경우에는 두 후보 간에 지지율 차이가 6.2% 이상 차이가 나야만 ‘통계적으로 유의한 차이가 있다’라고 말할 수 있다.

<표 1>에서는 동일 시점에서 표본크기 1000명 정도로 정당 지지율을 조사한 결과이므로 두 정당 간의 지지율 차이가 6.2% 이상이면 두 정당 간에는 통계적으로 유의한 격차가 있다고 볼 수 있다. 그러나 이런 결론은 표본오차만 존재할 때 사용가능하고 만약 비표본오차가 존재한다면 이런 결론은 믿을 수 없는 것이다.

여기서 3.1%라는 표본오차의 크기는 여론조사를 실시하는 표본 크기의 제곱근에 역비례하는 것으로 통계학에서는 증명되어 있다. 이 표본오차의 크기는 표본의 크기가 커지면 점점 작아지며 표본 크기가 1000명인 경우는 3.1%, 2000명인 경우는 2.2%, 4000명인 경우는 1.5%가 된다.

이제 총선이 눈앞에 다가왔다. 선거 관련 여론조사가 신뢰성, 공정성 등의 문제점을 많이 내포하고 있지만 그래도 국민의 여론을 읽는 중요한 방법이므로 이를 금할 수 없다. 따라서 여론조사의 신뢰성과 공정성을 제고할 수 있도록 국민이 깊은 관심을 가지고 들여다봐야 하며 여심위는 더 날카로운 눈으로 여론조사들을 지켜봐야 한다. 여심위에서 고시한 ‘선거여론조사기준’은 잘 작성되어 있다고 생각한다. 단, 이를 얼마나 엄격히 준수하도록 여심위가 여론조사기관들을 감시하느냐가 관건이 될 것이다. 

특히 여심위는 여론조사기관들이 비표본오차들(질문지 작성의 편향성, 표본의 대표성 미흡, 조사단위의 누락, 표본추출방법이나 조사방식의 적합성 등)이 발생하지 않도록 감독을 해야 한다. 또한 여론조사기관들은 스스로의 여론조사의 신뢰성을 높이는 부단한 노력을 경주해야 한다.

국민으로부터 여론조사의 신뢰성을 확보하는 것이 앞으로도 여론조사의 가치를 높이는 길이 될 것이다. 또한 여론조사가 우리나라의 정치를 국민의 뜻에 맞게 올바르게 가도록 촉구하는 중요한 매체 역할을 하기 위해서도 신뢰성과 공정성이 확보되어야 할 것이다.