염가로 속성으로 후려치기?

여론조사의 낮은 신뢰도는 업계의 열악한 환경과 정치적 이해가 결합된 구조적 문제

▣ 류이근 기자[e-mail]
▣ 사진 박승화 기자 [e-mail]

2002년 3월14일치 1면. “한나라당 이회창 총재와 민주당 이인제 고문의 선두를 의미하는 대세론이 민주당 노무현 고문의 약진으로 사실상 무너진 것으로 나타났다.” 와 TNS 소프레스의 정기 여론조사는 ‘노풍’을 점화시켰다. 양자 대결을 할 경우 노 후보가 이회창 한나라당 총재를 41.7% 대 40.6%로 앞섰다는 조사 결과가 나왔다. 이튿날 광주에서 민주당 경선이 열렸다. 이인제 고문은 음모론을 제기했다. 여론조사 기관이 설문 문항을 교묘히 배치해 광주 경선을 앞두고 노 후보의 지지율을 급상승시켰다는 게 주장의 핵심이었다. TNS는 조사 설문지를 공개했다. 음모론은 실체가 없는 것으로 드러났다.

광고

설거철이면 우후죽순처럼 생겨나

광고

5년도 지난 일이다. 하지만 ‘과거’가 아니다. 12월19일 대선을 불과 넉 달 앞둔 ‘현재’ 문제다. 사실상 여론조사로 한나라당 대선 후보가 된 이명박 전 서울시장 쪽은 당내 경선을 앞두고 여러 여론조사 기관의 조사 결과를 문제 삼아왔다. 박근혜 전 대표 쪽도 마찬가지였다. 이제 여론조사의 결과를 놓고 정치권이 시비를 벌이는 건 선거철의 친숙한 풍경이 됐다. ‘다행히’ 대부분의 경우 의혹은, 의혹으로 그쳤다. 때론 개연성이 크지만, 증거가 없다.

정치인들이 여론조사에 사활을 거는 건 여론조사가 갖는 영향력 때문이다. 이론적으로 여론조사가 실제 유권자에게 어떤 영향을 미치는지 학계와 조사전문가들 안에서 논란이 있지만, 정치적 태도가 막판까지 불확실한 투표자들이 많은 경선 국면에선 영향력이 예상 외로 클 수 있다. 대한민국은 지금 여론조사 방식으로 대통령 후보를 뽑는 ‘독특한’ 민주주의를 실험할 정도다. 그래서 정치권은 조사 결과를 놓고 불리할 경우 종종 조사 결과의 조작, 조사기관의 정치적 편향성 의혹 등을 제기하며 과민하게 반응한다. 의혹은 또 여론조사의 커진 영향력과 조사기관의 낮은 신뢰성의 간극에서 필연적으로 비롯될 수밖에 없다. 지난 5월부터 8월까지 선관위가 25개 여론조사 기관에서 자료를 제출받아 검사한 것이 이러한 조사 업계의 낮은 신뢰도 수준을 보여준다.

정치 여론조사 기관에 대한 낮은 신뢰도는 구조적 요인에서 비롯된다. 낮은 단가, 조사기관의 난립, 전문성 부족, 내·외부의 검증 시스템 미비, 급조된 조사, 조사 원칙 미준수 등 업계를 둘러싼 환경은 조사기관의 신뢰를 위협하고 있다. 여기에 여론조사를 무리하게 정치적 홍보 수단으로 활용하려는 정치권의 이해가 결합되면서 문제가 증폭된다. 언론은 그 정점에 서 있다.

이슈 터진 다음날 성급하게 조사

광고

2005년 자동응답시스템(ARS)을 활용한 한 여론조사 업체는 라디오 방송 프로그램에 정기 여론조사를 제공했다. 프로그램 담당 PD는 “신생업체라 망설였지만 공짜여서 제안을 받아들였다”고 말했다. 조사전문가들은 ARS 방식의 정치 여론조사 활용의 논란과는 별도로, 저가로 뽑아낸 조사 결과의 질이 떨어질 수밖에 없다고 지적한다. 특히 언론의 경우 조사 업체들에 저가로 조사를 의뢰한다.언론을 통해 홍보 효과를 거둘 수 있는 조사 업체의 처지와, 방송사와 대형 신문사를 제외하곤 대체로 재정이 열악한 언론사의 조사 욕구가 맞아떨어져, 정상 가격의 60~70%를 밑도는 가격으로 조사가 실행되기 일쑤다. 선거철 반짝 특수를 기대하고 우후죽순처럼 생겨났다가 흔적도 없이 사라지는 조사 업체들의 문제도 크다. 주로 ARS 조사 업체들인데 조사 업계 전반의 신뢰를 해치고, 난립으로 인한 가격 구조까지 왜곡한다. 전문성 부족은 말할 것도 없다. 업체마다 사정이 다 다른 전화 면접원의 숙련도 등도 조사 결과에 영향을 미치는 무시 못할 요소다.

8월10일 오전 10시 청와대는 남북 정상회담 개최를 발표했다. 이날 오후부터 언론은 일제히 남북 정삼회담에 대한 여론조사 결과들을 쏟아내기 시작했다. 한귀영 한국사회여론연구소(KSOI) 연구실장은 “한국에선 국민들의 인식이나 태도가 제대로 무르익지 않았는데도 너무 성급하게 조사하는 경향이 있다”며 “정삼회담 발표 당일 ‘정상회담이 이번 대선에 어떤 영향을 미칠 것으로 보냐’는 등 국민에게 정치평론가적 의견까지 묻는 조사는 문제”라고 지적했다. 빠른 조사 결과를 원하는 한국적 조사 풍토가 빚어낸 현상이다. 웬만한 조사는 당일치기로 끝낸다. 관행이다. 조사전문가들은 표본을 추출해 대표성을 제대로 살리려면 전화 다시 걸기 등 2~3일 동안 조사를 벌여야 한다고 말한다. 조사 원칙과 관련된 중요한 부분이지만 비용 상승 등의 이유로 거의 지켜지지 않고 있다. 조사 결과에 대한 사전 또는 사후 검증 장치의 부족도 조사기관과 조사 결과의 공신력을 떨어뜨린다. 신뢰할 만한 내부 검증 시스템을 갖추는 게 최선이겠지만 아니라면 여론조사의 공개와 배포에 관한 법률을 제·개정하고 프랑스처럼 여론조사위원회를 설치해 여론조사 결과의 공정성과 질을 담보하는 장치를 마련하는 것도 고려해볼 수 있다. 여론조사는 조사 업계가 안고 있는 구조적 문제에도 불구하고 과학이란 외피와 전문 영역이란 울타리 안에서 비교적 외부의 ‘검증’으로부터 자유롭다.

은 정치 여론조사 시장에서 이름이 꽤 알려지고 나름대로 신뢰성도 갖춘 것으로 평가받는 TNS, 미디어리서치, KSOI, 한길리서치 등 조사 업체에 정치 여론조사의 조작 가능성을 물어봤다. 이구동성으로 “불가능하다”고 답변했다. 하지만 중앙선관위는 지난해 5·31 지방선거에서 조사 결과를 조작하는 등 여론조사의 조사 및 공표와 관련해 공직선거법을 위반한 25건의 사례를 단속했다. 결코 적지 않은 수치다. 물론 구멍가게 수준의 조사 업체들이 주로 말썽이었다. 이름을 밝히지 말아달라고 요청한 중견업체의 조사전문가는 “조작이라고 보지 않지만, 조사전문가들은 조사 결과를 몇%씩 움직일 수 있는 나름의 노하우를 다 갖고 있다”며 “다만 그걸 드러내놓고 쓰지 않을 뿐이고, 썼더라도 전문가가 아니면 잡아내기 어렵다”고 말했다.

노하우는 ‘마술’이다. 가장 대표적인 게 문항 구성이다. 한나라당 경선에서 20%를 차지하는 여론조사의 설문항을 놓고 ‘지지도’(누구를 지지하나?)를 확인하는 방식으로 물을 것인지 ‘선호도’(누가 좋다고 생각하나?)로 할 것인지 박근혜와 이명박은 사생결단식의 대립을 보였다. 이명박 캠프는 지지도 방식은 박근혜 쪽에 유리한 방식이고, 박근혜 캠프에선 선호도는 이명박 쪽에 유리한 방식이라고 맞섰다. 설문항을 어떻게 짜느냐에 따라 결과가 달라질 수 있다는 것을 웅변한다. 물론 조사전문가들은 투표가 임박한 상황에서 지지도와 선호도의 차이가 수렴되고, 실제 차이가 나타난다 하더라도 얼만큼 어느 쪽으로 유리하게 작용할지 쉽게 장담할 수 없다고 말한다. 하지만 지난 2002년 노무현과 정몽준의 후보 단일화 과정에서 실시한 설문항은 실제 노 후보 쪽에 유리하게 작동했다는 게, 당시 노 후보 쪽에서 조사 책임을 맡았던 인사나 조사전문가들의 공통된 지적이다. 이 밖에도 일반인들은 쉬이 눈치챌 수 없으나 설문항의 순서, 문항 재질문, 예시의 순서, 조사 시간대 등에 따라 조사 결과가 달라진다. 예를 들면 낮 시간대에 집으로 전화를 걸 경우 통계청 인구 분포보다 50~60대 인구가 상대적으로 많이 잡힌다. 50~60대 지지층이 견고한 박근혜 전 대표의 경우 다른 후보에 비해 상대적으로 유리한 시간대다.

몇 % 정도는 조작할 수 있는 마술?

한국의 정치 여론조사 기관들이 지닌 구조적 문제점도 적잖이 있겠지만 더 큰 문제는 외적 변수들이다. 여론조사 의뢰인이자 조사 결과를 정치적 수단으로 활용하는 정치권은 종종 ‘빈약한’ 근거로 조사 결과를 정쟁거리로 키운다. 한나라당이 경선의 여론조사 의뢰를 10여 곳의 조사업체에 보냈으나, 3곳만이 조사를 맡겠다고 한 것도 말 많고 탈 많은 정치권과 거리를 두려는 업체들의 고민이 낳은 결과다. 홍형식 한길리서치 소장은 “‘이쪽 편이다, 저쪽 편이다’라는 구설에 하도 시달려, 아예 사무실을 여의도에서 홍익대 입구 쪽으로 옮겼다”고 말했다. 조사기관의 정치적 편향성 논란은 끊이지 않는다. 어느 정치인과 어느 업체의 사장이 친하다는 식이 대부분으로, 근거가 없는 경우가 많다. 하지만 둘의 부적절한 관계가 실제 의혹을 키우는 측면도 있다. 선거철 조사 업체들은 특정 후보와 몇 개월씩, 때론 1년 이상 계약을 맺는다. 동시에 언론을 통해 공표되는 여론조사를 맡는 곳이 대부분이다. 대표적으로 국내 최대 조사업체인 한국 갤럽은 이명박 캠프와 장기 계약을 맺었으면서, 한동안 의 의뢰를 받아 공표되는 여론조사를 실시했다. 이상일 TNS 코리아 이사는 “후보가 어떻게 하면 이길 수 있는지 등을 포함한 컨설팅이 계약에 포함됐다면 조사를 의뢰받은 팀과 회사 내 다른 일반 조사팀이 완벽하게 분리돼야 맞다”고 말했다. 유·무형의 방식으로 의뢰인인 후보에게 유리하게 조사가 진행되거나 분석돼 결과로 발표될 수 있기 때문이다. 미국의 경우 여론조사 업체는 일반 언론사가 의뢰한 여론조사와 선거 컨설팅을 동시에 하지 않는다.

여론조사를 어디까지 믿을 것인가? 고전적인 이 물음은 여론조사를 어떻게 하는가(조사기관), 어떻게 활용하는가(정치권), 어떻게 보도하는가(언론)라는 우리 현실에 대한 물음에서 답이 나온다.

		이것만은 따져가며 보세요

응답자 선정 방식·오차범위 등 여론조사 결과에 대한 몇가지 지식들

▣ 이화주 기자 한겨레 여론조사 담당 [e-mail]

12월 대통령 선거를 앞두고 각종 여론조사 결과들이 언론과 인터넷 포털을 통해 쏟아져나오고 있다. 그러나 과연 수많은 조사 결과들을 믿을 수 있는지 혼돈스럽기만 하다. 모든 여론조사를 불신할 필요는 없다. 여론조사에 대한 몇 가지 지식을 가지고 있다면 스스로 믿을 만한 여론조사 결과를 고를 수 있고, 그 결과가 무엇을 말하는지 이해할 수 있다. 다음은 여론조사 결과를 볼 때 따져봐야 할 것들이다.
‘응답자 선정 방식’이 과학적인가
한국조사연구학회에선 ‘과학적인 조사와 비과학적인 조사의 두드러진 차이는 응답자 선정 방식에 달려 있다’고 말한다. 과학적인 조사는 확률·통계적 방법에 기반해 응답자를 찾는다. 이런 조사들은 응답자 선정 방식을 설명할 때 ‘확률적 표집’ 또는 ‘무작위 추출’이라는 표현을 쓴다. 반면, 비과학적 조사는 응답자들이 자발적으로 조사에 참여한다. 대표적으로 인터넷 웹사이트에 띄워져 있는 온라인 투표가 그것이다. 한국조사연구학회에선 자동응답시스템(ARS) 조사 방식 또한 ‘응답자 선정을 통제할 수 없으며’ ‘응답률이 저조’하다는 점에서 문제가 있다는 의견을 보인다.
‘오차범위’를 어떻게 봐야 할까
전 국민을 대상으로 1천 명을 조사했는데, 결과가 같지 않다면? ㄱ조사에선 A후보 지지율이 31%인데, ㄴ조사에선 28%라면? 둘 중 어느 조사도 틀리지 않다. 여론조사 기사를 읽다 보면 ‘95% 신뢰수준에서 오차범위는 ±3.1%포인트(1천 명 조사)’라는 표현이 나온다. 이 말은 ㄱ조사를 같은 방식으로 100번 조사하면 95번은 A후보 지지율이 27.9∼34.1% 사이에서 나온다는 의미이다. ㄴ조사에선 24.9∼31.1%가 될 것이다. 두 조사의 결과치는 모두 오차범위 안에 있다.
‘지역·연령·직업 등 계층’에 대한 해석
‘수도권 52%, 경상권 40%로 수도권이 더 높다’란 말이 맞을까. 그것은 수도권과 경상권의 응답자 수에 따라 맞을 수도, 맞지 않을 수도 있다. 언론사의 전 국민 여론조사는 1천 명을 대상으로 하는 경우가 많다. 이때 수도권과 경상권의 응답자 수는 대략 424명, 243명 정도이다. 그렇다면 각각의 오차범위는 수도권 ±4.8%포인트, 경상권은 ±6.3%포인트가 된다. 그러므로 전 국민 1천 명 조사에서 수도권 52% 대 경상권 40%는 의미 있는 차이가 아니다. 다만 응답률이 높고 낮은 경향성 정도로만 해석하는 것이 적절하다.
‘조사 질문항’에 따른 차이
비슷한 시기에 두 언론사에서 여론조사 기사가 났다. ㄱ언론사에서 A후보와 B후보 지지율이 각각 44.1%, 21.6%라 했고, ㄴ언론사는 A후보 38.8%, B후보 20.1%라 보도했다. 왜 이런 차이가 날까. ㄱ조사에선 ‘차기 대통령으로 누가 가장 낫다고 생각하십니까?’로 물었고, ㄴ조사에선 ‘오늘이 대통령 선거일이라면 누구에게 투표하겠습니까?’로 물었다. 이렇듯 구체적인 질문 표현 방식에 따라 조사 결과가 다르게 나타날 수 있다. 기사 제목만 보면 왜 차이가 났는지 알기 어렵다. 기사를 보면서 질문 문항을 비교해보는 것이 필요하다.
‘조사기관과 조사의뢰기관’은 누구인가
누가 어떤 목적으로 여론조사를 의뢰했는지, 조사기관은 누구인지 알려지지 않은 조사는 신뢰성이나 정확성을 의심해볼 만하다. 여론조사를 가장한 ‘푸시 폴’(Push Poll)일 수 있기 때문이다. 최근 일부 이익집단 등에서 여론조사 형식을 빌려 자신의 입장을 홍보하는 경우가 있다. 푸시 폴은 다른 합법적인 여론조사와 구분해야 한다.

광고