9월 12일부터 22일까지 조사된 대통령 지지율이 30.6%부터 47.5%까지 있었습니다. 선거여론조사는 공표하기 전에 중앙선거여론조사심의위원회 홈페이지에 등록해야 합니다(공직선거법 제108조). 그래서 누구나 결과표 원본을 받아 볼 수 있습니다. 7월 말부터 9월 23일까지 등록된 전국 조사 89건과, 그중 결과표 20건을 읽어봤습니다.
대통령 지지율을 검색하면 날마다 다른 숫자가 나옵니다. 어떤 기사는 30%대 최저라고 하고, 같은 주 다른 기사는 40%대 반등이라고 합니다. 한쪽이 거짓말을 하는 건 아닙니다. 결과표를 펴 보면 두 숫자는 서로 다른 사람들에게, 서로 다른 방식으로 물은 답이었습니다.
같은 주에 등록된 조사들은 몇 %였습니까?
9월 12일부터 22일까지 조사된 전국 조사 가운데 결과표에서 대통령 국정운영(직무) 평가를 찾을 수 있었던 12건을 모았습니다. 중간에 변수가 하나 있습니다. 9월 18일 오전 10시 대통령 기자회견입니다. 그래서 기자회견 전과 뒤로 나눴습니다.
기자회견 전 다섯 건은 35.0%에서 37.8% 사이에 모였습니다. ARS 두 곳, 전화면접(한국갤럽) 한 곳, 앱과 인터넷 패널 두 곳이었는데 방법이 달라도 3%p 안에 있었습니다. 기자회견 뒤 일곱 건은 30.6%에서 47.5%까지 벌어졌습니다. 전화면접 두 곳이 42.0%와 47.5%로 위에, ARS 다섯 곳이 30.6~40.9%로 아래에 있었습니다.
눈에 걸린 건 마지막 두 줄입니다. 9월 21~22일, 같은 이틀에 같은 ARS 방식으로 물은 두 회사가 30.6%와 40.9%를 냈습니다. 차이 10.3%p입니다. 표본 1,000명짜리 조사 두 개의 차이가 우연으로 벌어질 수 있는 폭은 95% 신뢰수준에서 ±4.2%p 정도입니다. 10.3%p는 그 폭의 두 배가 넘습니다. 방법이 같아도 회사마다 다른 무언가가 있다는 뜻입니다.
같은 회사가 같은 주에 두 방법으로 물으면 어떻게 됩니까?
방법의 차이만 떼어 보려면 회사와 날짜를 같게 놓아야 합니다. 등록 목록에 그런 조사가 하나 있었습니다. 여론조사꽃은 매주 같은 이틀 동안 무선 전화면접 1,000명과 무선 ARS 1,000명을 따로 조사해 두 결과표를 함께 등록합니다. 제177차 전화면접 결과표와 제170차 ARS 결과표에 7월 17일부터 9월 18일까지 10주 추이가 실려 있습니다.
| 조사 첫날 | 전화면접 긍정 | ARS 긍정 | 차이 |
|---|---|---|---|
| 7/17 | 61.4% | 51.9% | +9.5%p |
| 7/24 | 58.9% | 49.3% | +9.6%p |
| 7/31 | 56.6% | 46.8% | +9.8%p |
| 8/7 | 53.8% | 47.1% | +6.7%p |
| 8/14 | 53.5% | 40.9% | +12.6%p |
| 8/21 | 51.4% | 42.0% | +9.4%p |
| 8/28 | 49.5% | 41.8% | +7.7%p |
| 9/4 | 47.1% | 41.9% | +5.2%p |
| 9/11 | 45.7% | 37.3% | +8.4%p |
| 9/18 | 47.5% | 40.7% | +6.8%p |
10주 내내 전화면접이 높았습니다. 평균 8.6%p, 가장 작을 때 5.2%p, 가장 클 때 12.6%p였습니다. 두 표본의 차이가 우연인지 매주 따져 봤는데, 10주 모두 95% 신뢰구간 밖이었습니다. 같은 회사, 같은 주, 같은 질문인데 방법만 바꾸면 대통령 지지율이 이만큼 움직입니다.
다만 이것을 순수한 방법 효과라고 부르기엔 한 가지가 걸립니다. 결과표의 조사 시각을 보면 전화면접은 첫날 오후 1시쯤, ARS는 첫날 저녁 6시부터 시작합니다. 저녁에 전화를 받는 사람과 오후에 받는 사람이 다를 수 있습니다. 결과표만으로 이 둘을 가를 수는 없었습니다.
ARS와 전화면접은 무엇이 다릅니까?
등록된 89건의 조사 개요를 방법별로 모았습니다. 89건 중 64건(71.9%)이 ARS였습니다. 전화면접은 21건, 앱·인터넷 패널은 4건이었습니다. 우리가 뉴스에서 보는 지지율의 대부분은 ARS 숫자라는 뜻입니다.
| 방법 | 등록 건수 | 응답률 중앙값 | 접촉률 중앙값 | 20대 가중 배율 |
|---|---|---|---|---|
| 무선 ARS | 64건 | 2.95% | 22.2% | 1.25배 |
| 무선 전화면접 | 21건 | 10.5% | 34.8% | 1.02배 |
응답률은 전화가 연결된 사람 가운데 끝까지 답한 비율입니다. ARS는 연결된 100명 중 3명, 전화면접은 10명 남짓이 답했습니다. 접촉률까지 곱하면 차이가 더 커집니다. 적격 번호 1,000개에 전화를 걸면 끝까지 답하는 사람이 ARS는 약 6명, 전화면접은 약 42명입니다. 20대 가중 배율은 20대 응답자 한 명의 답을 몇 명분으로 쳐 줬는지입니다. ARS는 20대가 적게 잡혀 한 명을 1.25명분으로 셌습니다.
인터넷 패널은 응답률을 셈하는 방식이 달라(한 곳은 96.5%로 적혀 있습니다) 표에서 뺐습니다.
그래서 ARS에는 어떤 사람이 남습니까?
결과표에는 ‘매우 잘하고 있다’부터 ‘매우 잘못하고 있다’까지 네 칸이 따로 적혀 있습니다. 그 칸을 나란히 놓으니 방법의 차이가 숫자보다 먼저 보였습니다.
ARS 다섯 곳은 응답자의 72.6~79.8%가 ‘매우’라고 답했습니다. 전화면접 두 곳은 47.0%와 49.3%, 앱·인터넷 패널 두 곳은 37.5%와 38.1%였습니다. ‘잘하는 편’, ‘잘못하는 편’이라고 답하는 미지근한 사람이 ARS에는 다섯 명 중 한 명, 전화면접과 패널에는 절반입니다.
정당 지지도에서도 같은 모양이 나왔습니다. 여론조사꽃 10주 평균으로 ‘지지 정당 없음’이 전화면접은 13.3%, ARS는 3.3%였습니다. 국민의힘 지지는 전화면접 33.5%, ARS 37.9%였습니다. 9월 18~19일 ARS에서는 국민의힘(42.6%)이 더불어민주당(40.9%)을 앞섰고, 같은 주 전화면접은 민주당 43.4%, 국민의힘 36.4%였습니다.
저는 이렇게 읽습니다. 녹음된 목소리가 정치 질문을 시작하면 대부분은 끊습니다. 끝까지 번호를 누르는 사람은 정치에 할 말이 많은 사람입니다. 조사원이 말을 거는 전화면접에는 ‘글쎄요, 그냥 그런 편이죠’라고 답하는 사람이 더 남습니다. 한국갤럽도 결과표 첫 장에 ‘정치 고관심층 위주 조사는 전체 여론을 왜곡합니다’라는 자기 글 제목을 걸어 두었습니다. 전화면접을 하는 회사의 주장이니 그만큼 걸러 들어야 하지만, 위의 ‘매우’ 비율은 그 주장과 같은 방향을 가리킵니다.
가중치를 주면 그 차이가 없어지지 않습니까?
등록 89건의 가중값 산출 방법은 모두 성별·연령·지역이었습니다. 정당 지지나 과거 투표로 추가 가중한 조사는 한 건도 없었습니다. 20대가 적게 잡히면 20대 한 명을 1.25명분으로 늘려 줍니다. 그런데 늘려 주는 건 그 20대 응답자의 답입니다. ARS에 끝까지 남은 20대는 여전히 정치에 할 말이 많은 20대입니다. 나이는 맞출 수 있어도 열의는 맞출 수 없습니다.
통계학과 시절 처음 배운 것 중 하나가 무응답 편향이었습니다. 표본을 아무리 크게 뽑아도 답하지 않는 사람이 답하는 사람과 다르면 숫자가 한쪽으로 기웁니다. 표본오차 ±3.1%p는 이 기울기를 재지 않습니다. 결과표 첫머리에 적힌 그 숫자는 우연의 크기일 뿐입니다.
그럼 어느 숫자를 믿어야 합니까?
정답이 몇 %인지 저는 모릅니다. 여론조사의 채점표는 선거 하나뿐이고, 대통령 국정 평가는 선거로 채점되지 않습니다. ARS가 여론을 과장한다고 단정할 수도, 전화면접이 조용한 다수를 더 잘 잡는다고 단정할 수도 없습니다. 제가 말할 수 있는 건 두 숫자가 서로 다른 물건이라는 것까지입니다.
그래서 저는 두 가지만 지킵니다. 첫째, 서로 다른 조사를 섞어 오르내림을 읽지 않습니다. 여론조사꽃의 두 방법은 높이가 8.6%p 달랐지만 10주 동안 전화면접은 13.9%p, ARS는 11.2%p 내려 방향이 같았습니다. 둘째, 한 조사의 한 주 등락도 크게 읽지 않습니다. 같은 10주 동안 두 방법이 같은 방향으로 움직인 주는 아홉 번 중 여섯 번이었습니다. 한국갤럽의 표현을 빌리면 ‘표본오차보다 훨씬 작은 변동에 의미를 부여하는 행위는 해석이 아니라 허구’입니다.
정치인도 유인으로 움직입니다. 여러 조사가 한 주에 열 개씩 쏟아지면 누구든 자기에게 유리한 숫자를 고를 수 있습니다. 저는 보수라서 30%대 숫자가 반가운 쪽 사람입니다. 그래서 그 숫자를 볼 때 결과표의 조사 방법 칸부터 봅니다. 반대편도 40%대 숫자를 볼 때 같은 칸을 봐 주면 좋겠습니다.
하나는 고맙다고 적어 둡니다. 결과표를 공표 전에 등록하게 한 제도 덕분에 저 같은 사람도 응답률, 조사 시각, 가중 배율까지 원본으로 읽을 수 있었습니다. 같은 주에 두 방법을 나란히 돌려 둘 다 공개하는 회사가 있었기에 방법의 차이만 따로 떼어 볼 수 있었습니다. 그 회사를 어떻게 보든, 그 설계는 이 글에서 가장 쓸모 있는 자료였습니다.
같은 대통령, 같은 주, 같은 질문에도 누가 전화를 끝까지 받느냐에 따라 8.6%p가 움직였습니다. 여론조사는 여론을 재는 자이기도 하지만, 그 자를 끝까지 붙잡고 있는 사람들의 목소리이기도 합니다. 참고로 저는 ARS 전화가 오면 끝까지 누르는 쪽입니다. 오늘 글로 보면 제 답은 반쯤 걸러 들으셔야 합니다.
자주 묻는 질문
대통령 지지율은 왜 조사마다 다르게 나오나요?
조사 방법(ARS·전화면접·인터넷), 회사, 질문 문구, 조사 날짜가 다르기 때문입니다. 같은 회사가 같은 주에 두 방법으로 물은 여론조사꽃 10주치에서 전화면접이 ARS보다 평균 8.6%p 높았고, 같은 ARS·같은 날끼리도 회사에 따라 10.3%p까지 벌어졌습니다(2026년 9월 기준).
ARS 여론조사와 전화면접 조사는 무엇이 다른가요?
ARS는 녹음된 음성에 번호를 눌러 답하고, 전화면접은 조사원이 직접 묻습니다. 7월 말~9월 등록 89건에서 응답률 중앙값은 ARS 2.95%, 전화면접 10.5%였고, ARS 응답자는 72.6~79.8%가 ‘매우’로 답해 전화·패널(37.5~49.3%)보다 훨씬 강하게 답했습니다.
어느 여론조사를 믿어야 하나요?
어느 방법이 맞는지는 선거 결과로만 채점됩니다. 서로 다른 조사를 섞어 비교하기보다 한 조사의 추이를 보는 편이 안전합니다. 여론조사꽃의 두 방법도 높이는 달랐지만 10주 방향은 같았습니다(전화면접 −13.9%p, ARS −11.2%p).
