최근에 실시되고 있는 여론조사에서 윤석열 대통령의 국정수행 지지율과 국정수행 부정 평가율, 그리고 각 정당의 지지율에 대해 의문을 표시하는 사람들이 많다. 그러면 여론조사는 어떻게 이뤄지고, 그 결과는 얼마나 신뢰성이 있고, 여론조사 결과의 신뢰성을 떨어뜨리는 요인들은 무엇인가? 우선 최근 윤 대통령의 국정 지지율, 부정 평가율과 각 당의 지지율에 대한 대표적인 여론조사 결과를 <표 1>에서 살펴보자. 

조사 방식으로는 전화면접방식(CATI)과 자동응답방식(ARS)으로 나뉜다. <표 1>의 결과를 살펴보면 윤 대통령 지지율은 31%에서 35% 사이 (평균은 32.7%)에 있음을 알 수 있고, 정당으로 국민의힘 지지율도 윤 대통령의 지지율과 매우 유사하다. 그러나 더불어민주당 지지율은 30%에서 52%까지 큰 차이를 보이고 있어 변동성이 매우 큼을 인지할 수 있다. 이런 지지율 조사에 대한 표본의 크기는 대부분 1,000개 이고, 이때 표본오차는 ±3.1p이고, 여기서 p는 퍼센트 포인트를 나타낸다.   

<표 1>에서 대표적인 여론조사 5개 업체의 최근 결과를 살펴봤는데 대통령의 지지율이나 부정 평가율 등은 한 시점에서 그 비율을 보는 것도 중요하지만 몇 주 간에 걸쳐 지지율 변화추이를 보는 것도 중요하다. 대표적으로 리얼미터가 2월 3주부터 4월 3주까지 조사한 윤 대통령의 지지율과 부정 평가율에 대한 그래프를 보면 <그림 1>과 같다. 

이 그래프를 보면 지지율은 30% 초반으로 약간씩 떨어지는 현상을 보이고 있고, 부정 평가율은 60% 중반으로 조금씩 상승하고 있음을 볼 수 있다. 그러나 윤 대통령 방미한 기간에 조사한 리얼미터조사(4월 24∼28일)에서는 윤 대통령 지지율이 약간 반등하여 34.5%가 되고, 국민의힘 당 지지율도 조금 반등하여 35.2%를 기록하였다. 윤 대통령 방미 후 조사한 한국갤럽 조사(5월 2∼4일)에서도 윤 대통령 지지율은 33.0%, 국민의힘 지지율도 35.0%로 리얼미터 조사와 비슷하다.       
다음으로 당 지지율에 대한 추이를 살펴보자. <그림 2>에서 지난 4월 1주부터 5월 1주 사이에 변화를 보면 국민의힘 지지율은 32% 근처에서 큰 변화는 없으나 최근인 5월 1주에 35%까지 반등하여 상승세를 조금 탄 것으로 보인다. 이와 반면에 민주당 지지율은 계속 국민의힘 지지율보다 약간 높은 지지율을 유지하다가 5월 1주에는 국민의힘에 역전되어 32%를 기록하고 있다. 

이는 ‘정권 견제’ 여론이 50% 수준으로 ‘정부 지원론’보다 높은데도 불구하고 민주당 지지율이 최근에 32% 수준으로 떨어져 국민의힘에 역전됐다는 결과가 나오고 있다. 이는 단적으로 윤석열 정부를 지지하지 않으면서도 민주당을 대안으로 여기지 않는 국민들이 계속 늘고 있다는 의미이다. 그 원인으로는 ‘이재명 대표의 사법 리스크’가 길어지면서 ‘전당대회 돈 봉투’ 사건 등에 민주당이 제대로 대응하지 못한 것이 중도층 이탈을 불러온 것으로 분석할 수 있다.    

이런 지지율 조사에 대한 통계학적인 측면을 살펴보기로 하자. 여론조사에서 대통령이나 정당 지지율에 대해 어떤 시점에서 실제 지지율(전 국민 유권자(이를 모집단이라고 부름)를 조사할 때 얻어지는 값) p(비율)를 추정해 발표할 때 보통 “표본의 크기는 얼마이고, 95% 신뢰수준에서 최대허용 표본오차는 몇 %이다” 라고 발표하는 것을 볼 수 있다. 여기서 최대허용 표본오차를 간단히 표본오차 혹은 오차한계라고 부른다. 이 문장의 의미는 

(표본에 의한 p의 추정비율) ±
(표본오차)

구간(이를 신뢰구간이라고 부름)이 실제 비율 p를 포함하고 있을 확률이 95%라는 뜻이다. 표본오차의 크기는, 여론조사를 실시하는 표본의 크기를 n이라고 할 때, n의 제곱근에 역비례하는 것으로 통계학에서는 증명되어 있다. 95% 신뢰수준에서 실제 지지율 p에 대한 추정의 표본오차는 ‘1.96 x [p(1-p)/n]의 제곱근’으로 구한다. 여기서 p의 값을 모르고 있으므로, 전혀 사전 지식이 없을 때는 0.5를 사용하고, 만약 어느 정도의 정보가 있을 때는 그 값을 대입할 수도 있다. 만약 0.5를 사용한다면 이 표본오차는 ‘1.96 x [0.25/n]의 제곱근’이 된다.     

예를 들어, 어떤 여론조사에서 p값에 대한 정보가 없고, 표본의 크기가 1,000 이고, 대통령의 지지율이 32.6%가 나왔다면, 대통령의 실제 지지율의 표본오차는 

1.96 x [0.25/1,000}의 제곱근 = 1.96 x 0.016 = 0.031

으로, 3.1%가 되는 셈이다. 이 경우에는 참 지지율 p는 32.6% ± 3.1%로 (29.5, 35.7)% 안에 들어 있을 확률이 95%인 것이다. 표본오차의 크기는 표본의 크기가 커지면 점점 작아지며, 1,000명인 경우가 3.1%, 2,000명이면 2.2%, 4,000명이면 1.5%가 된다.

질문지 작성의 편향성이 여론조사 신뢰성 떨어뜨려

그러나 실제 여론조사에서는 참 지지율 p의 추정치가 여론조사 기관마다 큰 차이가 날 수도 있고, 신뢰도가 상당히 떨어지는 경우가 흔하다. 왜 그럴까? 현재 중앙선거관리위원회(선관위) 여론조사심의위원회(여심위)에 등록되어 있는 여론조사 업체의 수는 2023년 4월 28일 현재 88개로 대단히 많고, 이 기관들 간의 과당경쟁으로 인하여, 일부 여론조사 기관들이 졸속으로 저렴하게 여론조사를 실시하다 보니 객관적으로 공정하게 여론조사를 하지 못하여 신뢰성이 떨어진 경우가 허다하다. 또한 염려스러운 것은 여론조사 기관이 어떤 정치적 편향성을 가지고 한 쪽을 밀어주려는 의도에서 소위 ‘통계적 왜곡’을 감수하고 여론조사를 실시하는 경우도 있는 것으로 보인다. 

88개의 여론조사업체 중에는 지난 2년간 한 차례도 여론조사를 하지 않은 조사업체도 많고, 분석 전문 인력이 1명밖에 없는 업체 등 전문성이 턱없이 부족한 업체도 다수 있다. 이들 업체는 응답률이 5% 미만인데도 그 결과를 공개하는 관행도 문제이다. 최근 응답률이 저조한 것은 사실이나 응답률이 최소 10%는 되어야 하고, 응답률이 낮은 경우에는 이를 보정해 주는 작업도 해야 한다. 그러나 전문성이 결여된 영세 업체들은 이런 활동을 제대로 못해 신뢰성을 떨어뜨리고 있는 것도 현실이다. 장제원 국민의힘 의원은 이런 문제점을 개선하기 위해 작년 11월 공직선거법 개정안을 대표 발의했지만 이 법안은 여전히 국회 행정안전위원회에 계류돼 있다. 이 개정안에는 정치 현안에 대한 여론조사도 선거 여론조사로 포함해 선관위 규제를 받도록 하는 내용이 담겼다. 

현재는 ‘정당지지’ 관련 항목이 없으면 선관위 심의를 받지 않고 공표할 수 있다. 응답률 5% 미만 조사의 공표를 금지하는 내용과 1년 이상 조사 결과를 발표하지 않는 업체는 등록이 취소되는 내용 등도 포함되어 있다. 선관위는 지난해까지는 동의했지만, 올 2월 과잉 규제 우려가 있다며 부정적인 의견을 밝혔다. 그러나 여론조사의 신뢰성을 높이는 방안에 대해서는 진지한 정치적 노력이 필요해 보인다. 

여론조사는 표본조사로 행해지므로, 표본조사에는 불가피하게 통계적인 표본오차(sampling error)가 수반된다. 표본오차는 모집단을 전수조사 하는 대신에 표본(sample)을 조사함에 따라 발생하는 불가피한 통계적 오차로, 이는 오차범위로 명시하고 받아들인다. 

그런데 여론조사를 기획하거나 실시하는 과정에서 비표본오차(non-sampling error)가 발생하여 여론조사의 신뢰성을 떨어뜨릴 수 있다. 경우에 따라서는 비표본오차가 표본오차를 능가하여 도무지 믿을 수 없는 결과가 발생하기도 한다. 그러면 어떤 비표본오차의 유형들이 여론조사의 신뢰성을 떨어뜨리고 있는가? 대표적인 유형들로는 다음과 같은 것들이다. 

① 표본추출방식이나 조사방식에서 오는 차이
② 질문지 작성의 편향성
③ 표본의 대표성 미흡 혹은 무응답 무시에서 오는 차이
④ 조사단위의 누락이나 조사원의 부족한 자질과 정치적 편향성

첫째, 표본추출방식과 조사방식에서 오류를 들 수 있다. 대표적인 표본추출방법으로는 컴퓨터로 전화번호부에서 임의번호걸기(RDD)로 무작위 추출하는 방법과, 통신사로부터 휴대전화번호를 제공 받아 무작위 추출하는 방법이 있다. 조사방식으로는 전화 면접조사(CATI)가 있고, 전화 자동응답조사(ARS)가 있다. 일반적으로 무선전화는 젊은 층의 응답률이 높고, 유선전화는 가정주부나 장년층의 응답률이 높다. 이러한 표본추출방식과 조사방식의 차이가 지지율의 차이로 나타날 수 있으며, 편향된 여론조사 결과를 초래할 수도 있다. 구체적인 예를 들면, <표 1>에서 리얼미터는 자동응답조사를, 한국리서치는 전화면접 방식을 택하였다. 자동응답방식은 기계 녹음으로 질문하기 때문에 응답자가 거짓으로 답변하더라도 가려내기 힘들다. 

반면 조사원이 직접 질문하는 전화면접보다 솔직하게 답을 끌어내 ‘샤이층’의 민심까지 반영할 수 있다는 주장도 있다. 그러나 전화 면접조사는 자동응답 방식 조사보다 높은 응답률을 가지지만 조사비용이 많이 드는 것이 흠이고, 질문자의 편향성이 개입될 수 있는 소지가 있다.   

둘째, 질문지 작성의 편향성을 들어보자. 대표적 사례로, 문재인 정부 당시인 2019년 12월 27일 KBS는 메인 뉴스에서 “다가올 총선에서 정부의 실정(失政)보다 보수 야당을 심판해야 한다는 의견이 우세하다”고 보도했다. 정부 실정 심판론 찬성자 비율은 36.4%(반대 54.3%)이고, 보수 야당 심판론에 찬성한다는 응답자가 전체의 58.8%(반대 31.8%)로 나타났다는 것이다. 즉, 보수 야당 심판론이 정부 실정 심판론보다 압도적으로 우세한 것이 국민의 뜻이라는 의미이다. 
이 여론조사는 KBS의 의뢰에 의하여 여론조사 기관인 한국리서치가 실시한 것이다. 그런데, 이 여론조사의 질문을 보면 보수 야당 심판론을 유도한 것으로 보여 공정하지 않은 조사였음을 알 수 있다. 

이 여론조사의 질문지를 보면 “자기반성 없이 정부의 발목만 잡는 보수 야당에 표를 주지 말아야 한다는 주장에 대해 어떻게 생각하십니까?”라고 질문한 것이다. ‘자기반성 없이’, ‘정부의 발목만 잡는 보수 야당’ 이라는 부정적 표현이 질문 자체에 포함되어 있어, 보수 야당을 심판하는 것이 옳은 것처럼 유도하고 있다. 반면에 여당 관련 조사에서는 “문재인 정부의 실정을 심판하기 위해 여당인 더불어민주당에 표를 주지 말아야 한다는 주장에 대해 어떻게 생각하십니까?”라고 질문했다. 

이 질문에는 부정적 표현은 없고 객관적으로 의견을 물어본 것이다. 이 질문지를 객관적으로 공정하게 하려면, 보수 야당 관련 조사에서는 “문재인 정부의 실정을 심판하기 위해 보수 야당에 표를 주어야 한다는 주장에 대해 어떻게 생각하십니까?”라고 질문했어야 했다.

여심위가 고시한 ‘선거여론조사기준’ 제6조(질문지의 작성 등)에는 “누구든지 피조사자의 응답이 특정 정당 또는 후보자에게 편향될 수 있는 다음 각 호의 내용으로 질문지를 작성하거나 질문하여서는 아니 된다. ① 주관적 판단이나 편견이 개입된 어휘나 표현, ② 특정 정당 또는 후보자에 대하여 긍정적 또는 부정적 이미지를 유발할 수 있는 내용 등” 으로 되어 있다. 이에 근거하여 여심위는 2020년 1월 16일 “KBS가 야권에 불리한 여론조사를 뉴스로 내보낸 것은 공직선거법 위반에 해당한다”고 밝혔다. 선관위가 이 여론조사를 ‘편향적 여론조사’라고 판단한 것이다.      

 셋째, 표본의 대표성 미흡과 무응답 무시를 살펴보자. 표본이 조사하는 대상인 모집단을 대표하는 데 미흡하다면 대표성이 확보되지 못한 것이다. 예를 들면, 어떤 지역에서 정당 지지도 조사를 하는데, 그 지역 모집단의 연령대 인구 비율, 성별 비율, 지역 특수성 등을 고려하여 표본을 설계해야 하는데, 이런 비율이 제대로 반영되지 못한 표본이라면 표본의 대표성이 미흡한 것이다. 여심위에서 고시한 ‘선거여론조사기준’에도 “누구든지 특정 정당 또는 특정 후보자에게 유리하거나 불리한 결과를 가져올 수 있는 표본을 사용하여서는 아니 된다”라고 되어 있다. 

보수 성향 응답자 무응답 비율 높아

다음으로 무응답 무시에서 오는 차이이다. 여론조사에서 응답자의 분포가 모집단과 차이가 많이 나면 표본의 대표성이 미흡하다고 볼 수 있다. 보통 여론조사 응답 비율이 10% 정도이므로, 응답자 1,000명을 얻기 위해서는 초기 표본(이를 표본 추출틀이라고 부름)을 1만 명 이상 구해야 한다. 표본 추출틀이 연령별, 성별, 지역별 등으로 잘 설계되어 있다고 하더라도, 응답한 사람들의 대부분이 어떤 정치적인 이념으로 편중되어 있고, 응답하지 않은 사람들은 다른 정치적인 이념으로 편중되어 있다면, 응답자만 가지고 분석한 결과는 전혀 모집단을 대표할 수 없는 결과를 얻게 된다. 
즉, 응답자 분포가 당초의 표본 설계와 맞지 않은 경우가 발생한 것이고 이런 경우는 허다하다. 이런 경우에는 가중치를 사용하여 보정하여 주거나, 무응답자를 무시하지 말고 무응답자가 어떤 성향을 가진 것인지 별도로 조사하여 반영해 줘야 한다.   

마지막으로 편향된 여론조사 결과를 주는 다른 원인으로, 조사단위의 누락이나 조사원의 미숙 등이다. 여론조사 기관이 시간에 쫓기다 보니 표본 추출틀에게 모두 질문하지 않고, 늘 대답을 잘 해주는 ‘일부 응답자’들에게만 질문하는 경우이다. 이런 경우는 일부 응답자가 편향되어 있다면 당연히 결과도 잘못된다. 
또 다른 원인으로는 질문자의 부족한 자질과 정치적 편향성이다. 질문자가 충분한 교육을 받지 않고 여론조사를 하다 보면 응답자의 기분을 상하게 할 수도 있고, 질문자가 스스로 대답을 유도할 수도 있다. 이런 질문자로 인하여 여론조사의 결과가 신뢰성과 공정성을 잃는 것이다. 

앞에서 살펴본 바와 같이 여론조사에는 표본오차와 비표본오차가 같이 존재하며, 이로 인하여 여론조사 결과의 신뢰성이 대두되고는 한다. 여론조사가 오늘날 정치에 미치는 영향이 매우 크므로 여론조사 업체들은 여론조사의 신뢰성을 높이는 부단의 노력을 경주해야 할 것이다. 여론조사의 신뢰성을 확보하는 것이 앞으로도 여론조사의 가치를 높이는 길이 될 것이다. 

정치권도 여론조사 결과에 신경을 안 쓸 수는 없지만, 그 결과에 너무 일희일비하지 말고, 먼 장래를 내다보고 꿋꿋한 자세로 의연하게 나아가는 태도를 가질 필요가 있다. 필자의 생각에는 윤 대통령의 지지율과 국민의힘 지지율이 약간 저평가되어 있다고 생각한다. 

일반적으로 우파를 대표하는 보수층은 좌파를 대표하는 진보층보다 무응답 비율이 조금 더 높은 것으로 평가되고 있다. 따라서 이러한 무응답 비율을 감안하여 조정한다면 현재의 윤 대통령 지지율(평균 32.7%)은 5% 정도 높은 37∼38% 근처가 아닌가 판단하고 있다. 그러나 아직도 40%에는 못 미치는 결과는 확실하며, 국가의 밝은 미래를 위해서도 윤 대통령은 국민의 지지율을 끌어 올리는 ‘고품격의 정치’를 겸손하게 실천해 나가기를 소망한다.