이강인 선수가 올린 첫 번째 사과문

이강인을 대표팀에 발탁시킬지 말지를 알아보는 여론조사에서 반대가 40.7% 찬성이 46.9%로 찬성 의견이 6.2%p정도 더 높게 나왔는데 표본 수는 526명이고 응답률은 4.3%였다.

그랬더니 수많은 네티즌들은 "응답한 사람 수가 20여 명, 즉 526명 중의 4.3%라고 오해하고 있었다. 이것은 농담으로 쓴 것은 아니고 많은 국민들이 응답률을 그렇게 오해한다.

그러나 사실은 응답률 4.3%가 526명이라는 뜻이다. 일단 그렇고 그럼 그 4.3%의 응답률인 여론 조사는 믿을만한가?

이번 조사는 5일 전국 만 18세 이상 526명을 대상으로 조사한 결과이고 응답률은 4.3%이다. 조사방법은 무선 RDD(96%)·유선 RDD(4%) 표집틀을 통한 자동응답조사 방식이다. 통계보정은 2024년 1월 말 행정안전부 주민등록 인구통계를 활용해 성별, 연령대별, 권역별로 가중치를 부여했고, 표본오차는 전체 응답자 기준 95% 신뢰수준에서 ±4.3% 포인트다

결론만 먼저 말하자면 믿을만하다. 응답률이 낮은 것은 현대 여론조사에서 문제가 안된다. 여론조사 기법의 향상으로 얼마든지 극복할 수 있기 때문이다.

먼저, 알아둬야 할 사항이 있다. 한국에서의 응답률은 국제기준(AAPOR, American Association for Public Opinion Research)의 응답률과는 다르다는 점이다.

한국에서 응답률이란 사실은 '협조율'을 뜻한다. 즉 ‘전화 연결이 된 사람들’만을 대상으로 하며, 그중에서 ‘끝까지 설문에 응답한 사람들’의 비율이 협조율이다, 한국에서 실시되는 여론조사에서는 이 협조율을 응답률이라고 한다.

그러나 국제기준의 응답률은 다르다. 국제기준의 응답률(미국에서 말하는 응답률)은 전화연결 여부를 불문하고 총전화통화시도수 중에서 끝까지 설문에 응답한 사람들의 비율을 말한다.

즉 국제(미국)에서 말하는 응답률이라는 것은 표본 수를 총통화시도수로 나눈 것이다. 즉 '응답률 = 표본 수 / 총통화시도 수' 이다. 이때 총통화 시도에는 부재 중일 때 통화를 시도한 수까지 포함시킨다.

예를 들어 표본 수가 1,000명이고 응답률이 10% 라면 부재 중일 때 통화한 것까지 포함해 총통화를 시도한 수가 10,000명이라는 뜻이다.

그래서 이 응답률 개념이 국제기준과 달라서 문제가 지적되자 중앙선거여론조사심의위원회는 위해 '접촉률'을 공개하고 있으며, 접촉률과 응답률(협조율)을 통해 국제기준(미국여론조사협회)의 응답률을 산출할 수 있도록 하고 있다.

접촉률 × 응답률(협조율) = 국제 기준(AAPOR) 응답률

여론조사를 할 때 전화를 하면 '부재중'등 실제로 통화가 불가능한 경우가 약 60% 이상은 나온다. 총통화 수에서 부재중 등 연결불가능 수를 제외한 한국기준 응답률은 국제기준 응답률보다 그만큼 더 높다.

즉 국제기준, 총 10,000명에게 여론조사를 위해 통화를 시도하면 대략 4,000명 정도가 통화 연결이 된다. 여기서 다시 3,000명 정도는 이런저런 이유로 여론조사에 대한 답변을 거부하고 1,000명 정도가 응답을 하고, 최종적으로 표본 수 1,000에 응답률 10% 정도로 나오는 게 일반적이다.

답변을 거부하는 피조사자는 여론조사 내용이나 방법에 대해 불만이나 어떤 문제의식을 가지고 있을 수도 있다고 보아서 여론조사를 할 때 응답률은 여론조사 표본의 대표성( Representativeness)에 영향을 준다고 생각할 수도 있다.

선진국에서는 응답률에 관해 특별히 제한하지 않는다. 과거 일부 선진국의 경우는 응답률이 30%를 밑돌면 표본의 대표성을 확신할 수 없다고 보아서 여론조사 결과 자체를 스스로 공표하지 않는 경우가 있었다고 한다. 응답률이 낮다고 해서 여론조사 결과를 전적으로 불신한다는 뜻이 아니다. 응답률이 낮음에도 불구하고 발표하는 경우도 있다.

우리나라의 경우는 2007년 8월부터 선관위가 여론조사 결과를 발표할 때 응답률을 반드시 공표하도록 의무사항으로 만들었다. 그러나 선진국의 경우처럼 응답률이 30%를 밑돌 때는 여론조사 결과를 발표하지 않는다거나 하면서 응답률로 표본의 대표성을 엄격히 문제 삼는 일은 없었다.

그런데 응답률이 30%를 밑돌면 여론조사 결과를 발표하지 않는 관행은 옛날이야기다. 요즘은 선진국의 경우, 여론조사를 하면 응답률은 평균 9% 이하로 나온다. 이것은 집 전화로 조사할 때도 그렇고 모바일(핸드폰)으로 조사해도 마찬가지다. 모두 평균 9% 이하다.

퓨 리서치 센터의 자료에 따르면 미국의 경우 1997년의 응답률은 36%였으나 2010년대 들어 9%로 급감했고 현재는 더 감소해 6% 이하로 떨어졌다.

또 지난 2020년 기준 한국의 총선 여론조사 2199개의 응답률(한국기준 응답률) 평균치는 9.1%였다고 한다 1000명의 응답자 수를 확보하기 위해 평균 9100명에게 조사를 시행했다는 뜻이다. (1000명 중에 9.1%가 응답했다는 뜻이 아니다)

한국의 응답률이라는 것이 선진국 기준의 응답률에 비하면 응답률의 수치가 과도하게 높게 나온다는 것을 알 수 있다. 그래서 그런지 한국에서는 낮은 응답률의 설문조사 공표를 제한하자는 입법이 계속 시도되어왔다.

최근에는 장제원 의원(국민의힘·부산 사상구)이 2022년 11월, '공직선거법 개정안'을 발의했다. 개정안 중에는 응답률 5% 미만의 여론조사 공표를 금지시키는 내용도 있었다. 2024년 3월 현재 해당 법안은 국회 소관위 심사 중이다.

현대 여론조사에서 응답률이 저조한 현상 (9% 미만이 대부분)에 대해서는 다음의 논문과 리포트를 참조하시길 바란다. 대부분의 나라에서 여론조사 응답률 9% 미만은 기본으로 깔고 여론 조사 결과를 받아들인다.

Assessing the Representativeness of Public Opinion Surveys - Andrew Kohut, Scott Keeter

Polling matters - Frank Newport

퓨 리서치 센터는 ‘2020년 선거 여론조사 가이드’를 통해 “응답률이 높을수록 조사 정확성이 높아지는 것은 아니었다”며 “미국에서 1997년·2003년·2012년·2016년에 실시된 퓨 리서치 센터 연구를 보면 응답률과 조사 정확도 사이에 (특정한) 관계를 거의 발견할 수 없었다”고 설명했다.

사회가 다원화되고 복잡해지며 개인의 프라이버시가 더더욱 중요한 가치로 떠오르게 되면서 여론조사의 응답률이 앞으로 오를 가망도 거의 없다. 여론 조사 전화를 받아보셨을 텐데 필자 같은 경우는 여론조사 전화를 바로 끊어버린다.

그래서 요즘 여론조사는 낮은 응답률을 기본으로 전제하고 시도된다.

응답률이라는 것이 '표본 수 / 총통화시도 수'이기 때문에 응답률이 낮다는 것으로 바로 여론조사의 대표성에 대한 신뢰를 부정하는 것은 논리의 비약이다. '이왕이면' 여론조사에 대해서 많은 사람들이 관심이 많아서 응답을 하면 '좋다'는 정도로 이해하면 된다.

다만 특수한 설문조사의 경우에는 매우 높은 수준의 응답률을 요구하기도 한다. 예를 들어 조건부가치측정법(CVM : Contingent Valuation Method)에서는 응답률이 70% 이상일 것을 요구한다.

그런 특수한 여론조사를 제외하고서는 일반적으로는 응답률이 낮다는 이유로 여론조사의 정확도를 문제 삼지 않는다.

여론조사의 신뢰를 높이려면 응답률을 높이기보다는 표본추출방법의 합리성과 객관성을 확보하는 데에 주력해야 한다.

평판경제신문 발행인 겸 기자. 레마코리아 대표이사. 문화정책학·과학기술정책학 박사 과정 재학 중, 김대중 전 대통령의 정치경제사상을 연구하면서 정치적 자유주의와 경제적 자유주의를 통합하는 포스트자유주의 이론 체계를 구축하고 있다.

평판경제신문 이승훈 jake.seunghoon@gmail.com 이승훈의 기사 더보기

저작권자 ⓒ 평판경제신문, 무단 전재 및 재배포 금지