AD
YTN라디오(FM 94.5) [YTN 뉴스FM 슬기로운 라디오생활]
□ 방송일시 : 2023년 4월 20일 (목요일)
□ 진행 : 이현웅 아나운서
□ 출연: 김봉신 조원씨앤아이 부대표
* 아래 텍스트는 실제 방송 내용과 차이가 있을 수 있으니 보다 정확한 내용은 방송으로 확인하시기 바랍니다.
◇ 이현웅 아나운서(이하 이현웅): 정치권에서 특히나 선거를 앞두고 있는 시점이라면 더 민감하게 받아들이는 이슈 중 하나가 바로 ‘여론조사’입니다. 여야 모두 유리한 여론조사는 잘 이용하다가도 불리하면 그 공정성을 의심하는, 말 그대로 달면 삼키고 쓰면 뱉는 그런 모습을 보이곤 하는데요. 윤석열 대통령도 최근 관련 발언이 있었죠. “여론조사 내용과 과정은 모두 공개되어야 한다, 질문 내용과 방식도 과학적이고 공정해야 한다”며 여론조사 공정성을 강조하기도 했습니다. 그렇다면 여론조사, 어떻게 공정하게 이루어지고 있는지 전문가와 함께 알아보겠습니다. 김봉신 조원씨앤아이 부대표 연결하겠습니다. 안녕하십니까?
◆ 김봉신 조원씨앤아이 부대표(이하 김봉신): 안녕하십니까.
◇ 이현웅: 반갑습니다. 요즘 여론조사 정말 많이 나오고 있고요. 일단 여론조사라는 개념부터 정리를 해보면 어떻게 정의해 볼 수 있겠습니까?
◆ 김봉신: 사회 현안에 대해서 다수의 의견을 알아보기 위해 규정된 모집단에서 대표성 있게 충분히 표본을 추출해 인식과 태도를 물어서 통계적으로 집계하는 과정이 되겠습니다.
◇ 이현웅: 저희는 늘 결과 위주로 받아 보다 보니까, 이 조사가 어디서부터 어떻게 시작이 되고 어떤 과정을 통해서 거쳐 만들어지는지 궁금한 분들이 상당히 많거든요. 예를 들어 한 주제를 여론조사 해야겠다라고 계획을 세운다면 그 과정이 어떻게 됩니까?
◆ 김봉신: 크게 보면 의뢰하는 과정이 있고요. 그리고 조사기관이 실사를 하고 분석을 하는 과정 그리고 마지막으로 공표하는 과정이 될 텐데요. 중간에 조사, 실사를 하고 분석하는 과정이 상당히 세분화되어 있습니다. 이슈를 문항으로 만들고요. 그러고 나서 그 문항을 시스템에 넣습니다. 전화면접조사라면 ‘캐티’라는 시스템에 넣게 되고요. 그러고 나서 그렇게 업로딩이 되면 서버에서 전화번호를 무작위로 뿌려주게 됩니다. 이 과정에서 면접원은 자신이 받은 번호가 몇 번인지 모른 상태에서 전화가 연결이 되고, 그리고 서버에서 등장하는 설문 문항을 체계적으로 조사를 해서 마지막에 취합 후 자료 처리를 해서 그다음에 통계표를 만들고 보고서를 쓰게 됩니다.
◇ 이현웅: 시스템에 넣는다고 하셨는데, 그 시스템에 넣으면 뭔가 문항이 더 공정해지게 만들어지는 겁니까?
◆ 김봉신: 그렇죠. 전화면접조사를 하게 되면 한두 명이 할 수가 없어서 수십 명이 동시에 전화를 걸게 되는데, 면접원마다 말투가 다르다든지 읽어주는 방식이 좀 다르면 면접원 바이어스(bias)라고 해서 결과가 영향이 있습니다. 일률적으로 조사를 할 수 있도록 문구도 조정을 하고, 그리고 어떨 때는 어떻게 읽어라, 번갈아 읽을 때는 어떻게 읽어라 이런 것들이 전부 다 지시 사항이 들어가 있는 상황에서 조사를 진행하게 됩니다.
◇ 이현웅: 지금 전화 조사를 예를 들어서 말씀해 주셨는데, 방식이 또 어떤 것들이 있죠?
◆ 김봉신: ARS가 있고 온라인 조사가 있는데요. ARS조사 같은 경우에는 성우가 음성 녹음을 합니다. 그리고 서버에서 회선을 타고 발송이 되는데, 이 경우에는 아무래도 응답률이 낮아지게 되겠죠. 응답을 독려할 수가 없어서 듣는 사람이 좀 바쁘다 싶으면, 녹음된 음성이면 금방 끊게 됩니다. 그리고 온라인 조사 같은 경우에는 많은 분들이 아시다시피 웹 페이지, 웹 설문이 이메일이나 또는 문자 등의 방법을 통해서 전송이 되면 그 링크를 클릭해서 들어가서 설문에 응답하게 됩니다.
◇ 이현웅: 그렇군요. 여론조사 계율을 늘 보다 보면 응답률도 나오고 또 표본오차도 나오고 하는데, 이거는 어떻게 집계가 되는 겁니까?
◆ 김봉신: 우리나라에서는 중앙선거여론조사심의위원회에서 이야기하고 있는 정해준 응답률, 산식은 만약에 조사 대상자 2만 명에게 전화를 걸어서 1만 명과 통화에 성공을 했다. 그런데 최종 그중에서 1천 명이 응답을 해서 받았다라고 하면 통화에 성공한 1만 명 중에 1천명이기 때문에 응답률은 10%가 되고요. 그리고 표본오차는 무한 모집단, 그러니까 무한히 많은 사람 중에서 추출한다라는 가정 하에 표본을 얼마, 몇 명을 추출했느냐에 따라서 결정이 되는데. 산식은 이건 통계학을 전공하시는 학자분들이 결정해 놓으신 그 산식을 따르게 됩니다. ±1.96 × √ 표본 수 분의 2,500 이 정도면 최대 허용 표본오차다 해서 이야기를 하고 있고요. 이때 1천 명 정도 보통 추출이 되는데, 이때는 ±3.1%p로서 찬반의 격차가 6.2%p가 넘어야 무엇이 더 우세하다, 이렇게 이야기할 수 있죠.
◇ 이현웅: 그렇군요. 보통 응답률이 좀 낮은 여론조사 같은 경우는 그 결과에 대해서 신뢰성이 떨어진다는 얘기들을 하는데, 그 응답률이 낮다고 보는 기준도 있을까요?
◆ 김봉신: 어느 특정 숫자로 이렇게 이야기하기는 어려운데요. 보통 10% 정도 수준, 그러니까 전화면접조사로는 요새는 조금 더 낮아져서 8%에서 아주 높을 때는 20% 정도, 전화 면접이고요. 그리고 ARS조사는 3% 수준에서 더 낮기도 한데. 이렇게 응답률이 낮아지면, 그러면 전화를 해서 안 받으면 계속 전화번호를 생성해서 계속 전화를 해서 받는 사람 위주로 응답이 됐다는 뜻입니다. 그러면 아무래도 바쁘지 않은 분들, 경제활동을 하지 않으시는 분들 아니면 어떤 사회 현상에 굉장히 관심이 많은 분들만 추려서 조사를 하는 듯하게 나오는 거죠. 그래서 가급적 전화면접조사 같은 경우에는 전화를 했는데 안 받으시면 또 다시 전화를 해서 양해를 구하고 응답을 해 주십사 이렇게 말씀을 드려서, 응답을 받아서 응답률을 높였을 때에 조금 바쁘신 분들이나 응답하시기 곤란한 분들도 모두 다 응답을 해 주십사 이야기를 하는 거죠. 그래서 조금 관심이 덜한 분들의 의견도 취합을 하는 거죠. 그래서 대표성이 높아지게 됩니다, 응답률이 높으면.
◇ 이현웅: 그렇군요. 그러면 또 표본도 굉장히 뽑는 게 중요할 것 같은데, 표본 조사 대상은 어떤 과정을 통해서 추리게 되나요?
◆ 김봉신: 그러니까 저희가 개념적으로 있는 모집단에 접근을 하기 위해서는 추출틀이라는 게 있어야 하는데요. 모집단에 접근하기 위해 그분들한테 전화를 건다고 하면 전화번호 리스트 이런 게 필요한 겁니다. 그 추출틀이 모집단 전체를 잘 대표할 수 있어야 과학적인 조사가 되는 건데요. 이 경우에 우리나라에서는 무작위로 전화번호를 생성하는 ‘랜덤 디지트 다이얼링(Random Digit Dialing)’이라는 방식이 있고요. 또는 통신3사로부터, 이것도 선거여론조사인 경우 중앙선거여론조사심의위원회를 통해서 통신3사에 어떤 일정 금액을 지불하고 가상번호를 받는 그런 추출틀이 있습니다. 이렇게 추출틀을 받거나 생성을 하면 그 내에서는 무작위로 작위성을 배제해서 전화를 걸게 되는 것이죠.
◇ 이현웅: 그러면 말씀해 주신 첫 번째 랜덤으로 전화를 하는 경우에는 성별이나 연령대 이런 것들은 어떻게 구분이 됩니까?
◆ 김봉신 그게 랜덤으로 전화번호를 생성하기 때문에 전화를 거는 순간에는 성별이나 연령대 또는 지역도 잘 알 수 없을 경우가 있습니다. 모바일 같은 경우에. 그래서 전화를 받은 분한테 ‘스크리닝 퀘스천(Screening questions)’이라고 해서 물어보게 되는 것이죠. 남성인지 여성인지 이런 것들을 물어봐서, 연령대가 어떻게 되는지 물어봐서 그러면 ‘여성 30대 경기도 거주’ 이런 식으로 정해져 있는 만큼을 추출하게 됩니다.
◇ 이현웅: 그렇군요. 알겠습니다. 이런 여론조사 방식, 앞서서 ARS 방식 그리고 인터넷 온라인 방식 등등 말씀해 주셨는데, 이런 방식에 따라서도 결과에 영향이 있을 것 같은데 어떻습니까?
◆ 김봉신: 영향이 좀 있습니다. ARS 같은 경우에는 말씀드렸다시피 녹음된 성우 음성이 발송되기 때문에 관심이 되게 높은 분들 또 정치 관여도가 높은 응답자 중심으로 추출이 됩니다 응답률이 약간 낮다고 말씀드렸는데요. 그렇다 보니까 어떤 정당을 굉장히 강하게 지지하시는 분들이 많이 들어오시기 때문에 전체적으로 ARS에서는 양대 정당의 지지도가 상당히 높다거나, 그래서 무당층은 과소 표집된다거나, 이럴 수가 있겠죠. 그래서 그 결과로 보면 전화 면접에서는 어느 정당의 지지도가 2~30%밖에 안 되는데 왜 ARS에서는 50%에 가깝느냐, 이렇게 말씀하시는데 ARS 응답자분들이 조금 더 관여도가 높은 분들이 많습니다.
◇ 이현웅: 그렇군요. 그런데 들어보니까 전화 거는 거 그리고 그거 취합해서 데이터로 또 분석하고 만들어 내는 거, 만만치 않을 것 같은데 주 단위로도 나오고요. 때때로 굉장히 빠르게 진행이 되잖아요. 힘들지 않으신가요? 비용은 만만치 않을 것 같은데 어떻습니까?
◆ 김봉신: 힘들어도 직업이라 해야죠. 비용은 1천 명 기준으로 봤을 때 전화면접 조사가 세금 별도로 1만 2천 원 정도입니다. 한 표본에요. 그래서 1,200만 원이니까 1,200~1,300만 원 정도 보시면 될 것 같고요.
◇ 이현웅: 저희가 보는 여론조사 하나 나오는 데까지 그 정도 드는 겁니까?
◆ 김봉신: 그렇죠. 이게 전체의 견적액인데, 여기서 실제로 그 내에서는 얼마의 직접비가 드는지는 회사마다 관리하는 방식이 다르죠.
◇ 이현웅: 그렇군요. 앞서서 말씀해 주신 여러 가지 장치들이 있는 것 같습니다마는 특히나 정치적인 내용들 위주로 여론조사 할 때는 그 결과 값에 대해서 민감하실 수밖에 없을 것 같아요. 공정한 결과를 위해서 가장 경계하는 건 뭡니까?
◆ 김봉신: 일단은 하나의 문항에서 문구가 제대로 들어가야 되는데요. 유도성 질문이 되지 않기 위해서 ‘찬성하느냐’라고 묻지 않고 ‘찬성하느냐, 반대하느냐’를 양쪽을 다 묻는다든지, 이와 같이 공정성을 맞춰줘야 하는 게 있고요. 그다음에 전체 설문지를 봤을 때에는 어떤 특정 성향의 응답자분들이 되게 싫어할 만한 질문을 과도하게 많이 집어넣어서 그분들을 중간에 떨궈내는 그런 작업이 되면 안 됩니다. 그래서 어떤 보수 성향 분들이 싫어하는 질문만 넣는다거나 아니면 진보 성향 분들이 싫어하는 질문을 반복적으로 넣어서 그분들을 덜 잡게 되면, 이건 결과에 영향이 있습니다. 또 전체적으로 봤을 때 시간대도 오후 시간에서부터 저녁 시간대까지 이렇게 고루 분산을 시켜주는 게 좋겠습니다.
◇ 이현웅: 그렇군요. 저희가 매주 언론을 통해서 대통령 지지율이 공개가 되는데, 실제로 질문할 때 ‘대통령 지지합니까?’ 이렇게 물어보는 건 아닌 거죠?
◆ 김봉신: 그렇습니다. ‘대통령이 대통령으로서의 일을 얼마나 잘하고 있다고 보시느냐’, ‘잘못하고 있다고 보시느냐’ 이렇게 잘잘못을 묻게 됩니다.
◇ 이현웅: 그래서 '긍정평가', '부정평가' 이런 식으로 말을 하는 겁니까?
◆ 김봉신: 예. ‘긍정률’, ‘부정률’이라고 이야기를 하고요. 그래서 이거는 지지도하고는 다르고. 순수하게, 그러니까 긍정평가하느냐, 부정평가하느냐와 무관하게 순수하게 지지 또는 선호 이런 것을 묻는 문항을 병행해서 묻기도 합니다.
◇ 이현웅: 알겠습니다. 유독 정당 같은 경우는 지지 여부로 묻기도 하잖아요. 대통령은 이렇게 일을 잘하고 있냐, 못하고 있냐 물어보는 이유가 따로 있나요?
◆ 김봉신: 정당은 한 문항으로 여러 정당 중에 하나를 골라달라라고 해서 선택한 빈도를 지지도로 치환해서 관리를 하는 것이고요. 그런데 대통령은 대통령이 여러 명이 아니기 때문에 현 대통령에 대해서 얼마나 잘하는지, 잘못하는지를 묻게 됩니다. 그런데 지지도가 아닌 이유는, 지지하느냐를 물으면 사실 일을 잘 못한다고 평가를 하지만, 그래도 마음속에 지지하시는 분들이 있을 수 있거든요. 그렇지만 당장 중요한 건 국민 삶에는 지지하느냐보다는 사실은 일을 잘하고 있느냐, 못하고 있느냐 이게 더 중요하기 때문에 잘잘못 평가로 묻게 됩니다.
◇ 이현웅: 알겠습니다. 이게 질문을 만드는 것도 쉽지 않을 것 같은데, 최근에 양곡관리법 개정안 여론조사에서 질문에 대해서 문제 삼는 경우가 있었습니다. 당시 한국갤럽 여론조사였는데 ‘쌀값 안정화, 농가 소득 보장을 위해서 찬성한다’, ‘쌀 공급과잉과 정부 재정 부담이 늘어나니까 반대한다’ 이런 질문이었다고 합니다. 문제가 있다고 보시나요? 어떻습니까?
◆ 김봉신: 유도성 질문은 전혀 아닌 것 같고요. 두 선택지가 비교적 정확하게 현안을 반영하고 있다고 볼 수 있겠습니다.
◇ 이현웅: 그러면 공정성을 기했다라고 보고 계신가요?
◆ 김봉신: 공정한 조사라고 볼 수 있겠습니다.
◇ 이현웅: 알겠습니다. 그리고 또 근로시간 유연화와 관련해서 지금 의견을 수렴하겠다고 밝힌 상황이고요. 일대일 대면조사, FGI 집단 심층 면접, 표본여론조사 이런 방식들로 조사를 한다고 하는데, 이런 방식들을 이용하면 일반적인 여론조사보다 조금 더 세밀하게 조사가 가능한 겁니까?
◆ 김봉신: 이 중에서 독특한 것은, 세 번째 말씀하신 표본여론조사라는 게 지금 실제로 한국갤럽 등 여론조사 기관들이 다수가 진행하는 방식이 표본 추출을 해서 여론조사를 하는 것이니, 이 세 가지 방식 중 하나가 바로 지금 하고 있는 조사입니다. 그래서 세밀한 조사라고 했을 때 일대일 면접조사나 포커스 그룹 인터뷰, 그러니까 표적 집단 심층 면접 이 두 가지를 해야 된다라고 만약에 누군가가 말씀을 하신다면 그것도 나름 의미는 있는데요. 그렇다고 해서 세 번째 표본 추출을 해서 지금 한국갤럽이 질문하듯이 하는 조사가 뭔가 문제가 있다거나 비과학적이거나 세밀하지 않다거나 하는 것은 아닙니다. 다만 집단 심층 면접을 통해서 조사를 하게 되면 2시간 정도 토론하는 방식으로 조사를 하기 때문에, 이거는 정량적으로, 통계적으로 이야기하기보다는 어떤 특정 응답하시는 분의 있는 깊이 있는 인식 같은 것을 추적할 수 있다는 장점은 있는 거죠. 그런데 지금 근로시간 유연화와 관련해서 만약에 정부가 이와 같이 여러 가지 방식을 통해서 조사를 한다면 굉장히 환영할 만한 일입니다. 다만 지금까지 조사가 된 것들이 있지 않습니까? 그게 비과학적이거나 세밀하지 않은 조사라고 하기에는 좀 어렵습니다. 과학적인 조사 방식을 지금까지 취해 왔다고 볼 수 있고요. 아까 양곡관리법 관련해서도, 어떤 결과를 가정하고 세부 문항을 설문에 선택지를 제시할 수 없기 때문에 현안을 제시하는 것은 전혀 문제가 없고요. 그리고 조사 방법에서도 문제가 없다고 보여집니다.
◇ 이현웅: 우리 청취자분들이 앞으로 많은 여론조사를 접하게 될 텐데, 이 흐름이나 그 내용을 결과값을 정확하게 읽기 위해서는 어떤 게 필요한지 마무리 말씀 좀 부탁드리겠습니다.
◆ 김봉신: 일단은 여러 가지 조사들이 모두 다 여론조사라고 해서 비교가 되니 혼동이 있을 것 같습니다. 그래서 저는 청취자 많은 분들께서 전화면접조사를 중심으로 한번 보시고, ARS 조사는 전 국민의 의견보다는 되게 관심이 많은 분들의 의견이 다수 포함이 되고 있기 때문에 국민 여론조사라고 하기보다는 고관여자 의견이다, 이렇게 좀 이해를 하시는 게 좋겠습니다. 그리고 지금 현재 나와 있는 전화면접 여론조사들이 굉장히 과학적인 방식을 통해서 지금 진행하고 있기 때문에 안심하고 보셔도 좋지만, 가장 좋은 것은 하나의 조사의 추이를 비교하는 것들이 비교하시면서 보시면 더 좋겠습니다.
◇ 이현웅: 알겠습니다. 오늘 말씀 여기까지 듣겠습니다. 고맙습니다.
◆ 김봉신: 감사합니다.
◇ 이현웅: 지금까지 김봉신 조원씨앤아이 부대표와 함께했습니다.
YTN 이은지 (yinzhi@ytnradio.kr)
[저작권자(c) YTN 무단전재, 재배포 및 AI 데이터 활용 금지]
□ 방송일시 : 2023년 4월 20일 (목요일)
□ 진행 : 이현웅 아나운서
□ 출연: 김봉신 조원씨앤아이 부대표
* 아래 텍스트는 실제 방송 내용과 차이가 있을 수 있으니 보다 정확한 내용은 방송으로 확인하시기 바랍니다.
◇ 이현웅 아나운서(이하 이현웅): 정치권에서 특히나 선거를 앞두고 있는 시점이라면 더 민감하게 받아들이는 이슈 중 하나가 바로 ‘여론조사’입니다. 여야 모두 유리한 여론조사는 잘 이용하다가도 불리하면 그 공정성을 의심하는, 말 그대로 달면 삼키고 쓰면 뱉는 그런 모습을 보이곤 하는데요. 윤석열 대통령도 최근 관련 발언이 있었죠. “여론조사 내용과 과정은 모두 공개되어야 한다, 질문 내용과 방식도 과학적이고 공정해야 한다”며 여론조사 공정성을 강조하기도 했습니다. 그렇다면 여론조사, 어떻게 공정하게 이루어지고 있는지 전문가와 함께 알아보겠습니다. 김봉신 조원씨앤아이 부대표 연결하겠습니다. 안녕하십니까?
◆ 김봉신 조원씨앤아이 부대표(이하 김봉신): 안녕하십니까.
◇ 이현웅: 반갑습니다. 요즘 여론조사 정말 많이 나오고 있고요. 일단 여론조사라는 개념부터 정리를 해보면 어떻게 정의해 볼 수 있겠습니까?
◆ 김봉신: 사회 현안에 대해서 다수의 의견을 알아보기 위해 규정된 모집단에서 대표성 있게 충분히 표본을 추출해 인식과 태도를 물어서 통계적으로 집계하는 과정이 되겠습니다.
◇ 이현웅: 저희는 늘 결과 위주로 받아 보다 보니까, 이 조사가 어디서부터 어떻게 시작이 되고 어떤 과정을 통해서 거쳐 만들어지는지 궁금한 분들이 상당히 많거든요. 예를 들어 한 주제를 여론조사 해야겠다라고 계획을 세운다면 그 과정이 어떻게 됩니까?
◆ 김봉신: 크게 보면 의뢰하는 과정이 있고요. 그리고 조사기관이 실사를 하고 분석을 하는 과정 그리고 마지막으로 공표하는 과정이 될 텐데요. 중간에 조사, 실사를 하고 분석하는 과정이 상당히 세분화되어 있습니다. 이슈를 문항으로 만들고요. 그러고 나서 그 문항을 시스템에 넣습니다. 전화면접조사라면 ‘캐티’라는 시스템에 넣게 되고요. 그러고 나서 그렇게 업로딩이 되면 서버에서 전화번호를 무작위로 뿌려주게 됩니다. 이 과정에서 면접원은 자신이 받은 번호가 몇 번인지 모른 상태에서 전화가 연결이 되고, 그리고 서버에서 등장하는 설문 문항을 체계적으로 조사를 해서 마지막에 취합 후 자료 처리를 해서 그다음에 통계표를 만들고 보고서를 쓰게 됩니다.
◇ 이현웅: 시스템에 넣는다고 하셨는데, 그 시스템에 넣으면 뭔가 문항이 더 공정해지게 만들어지는 겁니까?
◆ 김봉신: 그렇죠. 전화면접조사를 하게 되면 한두 명이 할 수가 없어서 수십 명이 동시에 전화를 걸게 되는데, 면접원마다 말투가 다르다든지 읽어주는 방식이 좀 다르면 면접원 바이어스(bias)라고 해서 결과가 영향이 있습니다. 일률적으로 조사를 할 수 있도록 문구도 조정을 하고, 그리고 어떨 때는 어떻게 읽어라, 번갈아 읽을 때는 어떻게 읽어라 이런 것들이 전부 다 지시 사항이 들어가 있는 상황에서 조사를 진행하게 됩니다.
◇ 이현웅: 지금 전화 조사를 예를 들어서 말씀해 주셨는데, 방식이 또 어떤 것들이 있죠?
◆ 김봉신: ARS가 있고 온라인 조사가 있는데요. ARS조사 같은 경우에는 성우가 음성 녹음을 합니다. 그리고 서버에서 회선을 타고 발송이 되는데, 이 경우에는 아무래도 응답률이 낮아지게 되겠죠. 응답을 독려할 수가 없어서 듣는 사람이 좀 바쁘다 싶으면, 녹음된 음성이면 금방 끊게 됩니다. 그리고 온라인 조사 같은 경우에는 많은 분들이 아시다시피 웹 페이지, 웹 설문이 이메일이나 또는 문자 등의 방법을 통해서 전송이 되면 그 링크를 클릭해서 들어가서 설문에 응답하게 됩니다.
◇ 이현웅: 그렇군요. 여론조사 계율을 늘 보다 보면 응답률도 나오고 또 표본오차도 나오고 하는데, 이거는 어떻게 집계가 되는 겁니까?
◆ 김봉신: 우리나라에서는 중앙선거여론조사심의위원회에서 이야기하고 있는 정해준 응답률, 산식은 만약에 조사 대상자 2만 명에게 전화를 걸어서 1만 명과 통화에 성공을 했다. 그런데 최종 그중에서 1천 명이 응답을 해서 받았다라고 하면 통화에 성공한 1만 명 중에 1천명이기 때문에 응답률은 10%가 되고요. 그리고 표본오차는 무한 모집단, 그러니까 무한히 많은 사람 중에서 추출한다라는 가정 하에 표본을 얼마, 몇 명을 추출했느냐에 따라서 결정이 되는데. 산식은 이건 통계학을 전공하시는 학자분들이 결정해 놓으신 그 산식을 따르게 됩니다. ±1.96 × √ 표본 수 분의 2,500 이 정도면 최대 허용 표본오차다 해서 이야기를 하고 있고요. 이때 1천 명 정도 보통 추출이 되는데, 이때는 ±3.1%p로서 찬반의 격차가 6.2%p가 넘어야 무엇이 더 우세하다, 이렇게 이야기할 수 있죠.
◇ 이현웅: 그렇군요. 보통 응답률이 좀 낮은 여론조사 같은 경우는 그 결과에 대해서 신뢰성이 떨어진다는 얘기들을 하는데, 그 응답률이 낮다고 보는 기준도 있을까요?
◆ 김봉신: 어느 특정 숫자로 이렇게 이야기하기는 어려운데요. 보통 10% 정도 수준, 그러니까 전화면접조사로는 요새는 조금 더 낮아져서 8%에서 아주 높을 때는 20% 정도, 전화 면접이고요. 그리고 ARS조사는 3% 수준에서 더 낮기도 한데. 이렇게 응답률이 낮아지면, 그러면 전화를 해서 안 받으면 계속 전화번호를 생성해서 계속 전화를 해서 받는 사람 위주로 응답이 됐다는 뜻입니다. 그러면 아무래도 바쁘지 않은 분들, 경제활동을 하지 않으시는 분들 아니면 어떤 사회 현상에 굉장히 관심이 많은 분들만 추려서 조사를 하는 듯하게 나오는 거죠. 그래서 가급적 전화면접조사 같은 경우에는 전화를 했는데 안 받으시면 또 다시 전화를 해서 양해를 구하고 응답을 해 주십사 이렇게 말씀을 드려서, 응답을 받아서 응답률을 높였을 때에 조금 바쁘신 분들이나 응답하시기 곤란한 분들도 모두 다 응답을 해 주십사 이야기를 하는 거죠. 그래서 조금 관심이 덜한 분들의 의견도 취합을 하는 거죠. 그래서 대표성이 높아지게 됩니다, 응답률이 높으면.
◇ 이현웅: 그렇군요. 그러면 또 표본도 굉장히 뽑는 게 중요할 것 같은데, 표본 조사 대상은 어떤 과정을 통해서 추리게 되나요?
◆ 김봉신: 그러니까 저희가 개념적으로 있는 모집단에 접근을 하기 위해서는 추출틀이라는 게 있어야 하는데요. 모집단에 접근하기 위해 그분들한테 전화를 건다고 하면 전화번호 리스트 이런 게 필요한 겁니다. 그 추출틀이 모집단 전체를 잘 대표할 수 있어야 과학적인 조사가 되는 건데요. 이 경우에 우리나라에서는 무작위로 전화번호를 생성하는 ‘랜덤 디지트 다이얼링(Random Digit Dialing)’이라는 방식이 있고요. 또는 통신3사로부터, 이것도 선거여론조사인 경우 중앙선거여론조사심의위원회를 통해서 통신3사에 어떤 일정 금액을 지불하고 가상번호를 받는 그런 추출틀이 있습니다. 이렇게 추출틀을 받거나 생성을 하면 그 내에서는 무작위로 작위성을 배제해서 전화를 걸게 되는 것이죠.
◇ 이현웅: 그러면 말씀해 주신 첫 번째 랜덤으로 전화를 하는 경우에는 성별이나 연령대 이런 것들은 어떻게 구분이 됩니까?
◆ 김봉신 그게 랜덤으로 전화번호를 생성하기 때문에 전화를 거는 순간에는 성별이나 연령대 또는 지역도 잘 알 수 없을 경우가 있습니다. 모바일 같은 경우에. 그래서 전화를 받은 분한테 ‘스크리닝 퀘스천(Screening questions)’이라고 해서 물어보게 되는 것이죠. 남성인지 여성인지 이런 것들을 물어봐서, 연령대가 어떻게 되는지 물어봐서 그러면 ‘여성 30대 경기도 거주’ 이런 식으로 정해져 있는 만큼을 추출하게 됩니다.
◇ 이현웅: 그렇군요. 알겠습니다. 이런 여론조사 방식, 앞서서 ARS 방식 그리고 인터넷 온라인 방식 등등 말씀해 주셨는데, 이런 방식에 따라서도 결과에 영향이 있을 것 같은데 어떻습니까?
◆ 김봉신: 영향이 좀 있습니다. ARS 같은 경우에는 말씀드렸다시피 녹음된 성우 음성이 발송되기 때문에 관심이 되게 높은 분들 또 정치 관여도가 높은 응답자 중심으로 추출이 됩니다 응답률이 약간 낮다고 말씀드렸는데요. 그렇다 보니까 어떤 정당을 굉장히 강하게 지지하시는 분들이 많이 들어오시기 때문에 전체적으로 ARS에서는 양대 정당의 지지도가 상당히 높다거나, 그래서 무당층은 과소 표집된다거나, 이럴 수가 있겠죠. 그래서 그 결과로 보면 전화 면접에서는 어느 정당의 지지도가 2~30%밖에 안 되는데 왜 ARS에서는 50%에 가깝느냐, 이렇게 말씀하시는데 ARS 응답자분들이 조금 더 관여도가 높은 분들이 많습니다.
◇ 이현웅: 그렇군요. 그런데 들어보니까 전화 거는 거 그리고 그거 취합해서 데이터로 또 분석하고 만들어 내는 거, 만만치 않을 것 같은데 주 단위로도 나오고요. 때때로 굉장히 빠르게 진행이 되잖아요. 힘들지 않으신가요? 비용은 만만치 않을 것 같은데 어떻습니까?
◆ 김봉신: 힘들어도 직업이라 해야죠. 비용은 1천 명 기준으로 봤을 때 전화면접 조사가 세금 별도로 1만 2천 원 정도입니다. 한 표본에요. 그래서 1,200만 원이니까 1,200~1,300만 원 정도 보시면 될 것 같고요.
◇ 이현웅: 저희가 보는 여론조사 하나 나오는 데까지 그 정도 드는 겁니까?
◆ 김봉신: 그렇죠. 이게 전체의 견적액인데, 여기서 실제로 그 내에서는 얼마의 직접비가 드는지는 회사마다 관리하는 방식이 다르죠.
◇ 이현웅: 그렇군요. 앞서서 말씀해 주신 여러 가지 장치들이 있는 것 같습니다마는 특히나 정치적인 내용들 위주로 여론조사 할 때는 그 결과 값에 대해서 민감하실 수밖에 없을 것 같아요. 공정한 결과를 위해서 가장 경계하는 건 뭡니까?
◆ 김봉신: 일단은 하나의 문항에서 문구가 제대로 들어가야 되는데요. 유도성 질문이 되지 않기 위해서 ‘찬성하느냐’라고 묻지 않고 ‘찬성하느냐, 반대하느냐’를 양쪽을 다 묻는다든지, 이와 같이 공정성을 맞춰줘야 하는 게 있고요. 그다음에 전체 설문지를 봤을 때에는 어떤 특정 성향의 응답자분들이 되게 싫어할 만한 질문을 과도하게 많이 집어넣어서 그분들을 중간에 떨궈내는 그런 작업이 되면 안 됩니다. 그래서 어떤 보수 성향 분들이 싫어하는 질문만 넣는다거나 아니면 진보 성향 분들이 싫어하는 질문을 반복적으로 넣어서 그분들을 덜 잡게 되면, 이건 결과에 영향이 있습니다. 또 전체적으로 봤을 때 시간대도 오후 시간에서부터 저녁 시간대까지 이렇게 고루 분산을 시켜주는 게 좋겠습니다.
◇ 이현웅: 그렇군요. 저희가 매주 언론을 통해서 대통령 지지율이 공개가 되는데, 실제로 질문할 때 ‘대통령 지지합니까?’ 이렇게 물어보는 건 아닌 거죠?
◆ 김봉신: 그렇습니다. ‘대통령이 대통령으로서의 일을 얼마나 잘하고 있다고 보시느냐’, ‘잘못하고 있다고 보시느냐’ 이렇게 잘잘못을 묻게 됩니다.
◇ 이현웅: 그래서 '긍정평가', '부정평가' 이런 식으로 말을 하는 겁니까?
◆ 김봉신: 예. ‘긍정률’, ‘부정률’이라고 이야기를 하고요. 그래서 이거는 지지도하고는 다르고. 순수하게, 그러니까 긍정평가하느냐, 부정평가하느냐와 무관하게 순수하게 지지 또는 선호 이런 것을 묻는 문항을 병행해서 묻기도 합니다.
◇ 이현웅: 알겠습니다. 유독 정당 같은 경우는 지지 여부로 묻기도 하잖아요. 대통령은 이렇게 일을 잘하고 있냐, 못하고 있냐 물어보는 이유가 따로 있나요?
◆ 김봉신: 정당은 한 문항으로 여러 정당 중에 하나를 골라달라라고 해서 선택한 빈도를 지지도로 치환해서 관리를 하는 것이고요. 그런데 대통령은 대통령이 여러 명이 아니기 때문에 현 대통령에 대해서 얼마나 잘하는지, 잘못하는지를 묻게 됩니다. 그런데 지지도가 아닌 이유는, 지지하느냐를 물으면 사실 일을 잘 못한다고 평가를 하지만, 그래도 마음속에 지지하시는 분들이 있을 수 있거든요. 그렇지만 당장 중요한 건 국민 삶에는 지지하느냐보다는 사실은 일을 잘하고 있느냐, 못하고 있느냐 이게 더 중요하기 때문에 잘잘못 평가로 묻게 됩니다.
◇ 이현웅: 알겠습니다. 이게 질문을 만드는 것도 쉽지 않을 것 같은데, 최근에 양곡관리법 개정안 여론조사에서 질문에 대해서 문제 삼는 경우가 있었습니다. 당시 한국갤럽 여론조사였는데 ‘쌀값 안정화, 농가 소득 보장을 위해서 찬성한다’, ‘쌀 공급과잉과 정부 재정 부담이 늘어나니까 반대한다’ 이런 질문이었다고 합니다. 문제가 있다고 보시나요? 어떻습니까?
◆ 김봉신: 유도성 질문은 전혀 아닌 것 같고요. 두 선택지가 비교적 정확하게 현안을 반영하고 있다고 볼 수 있겠습니다.
◇ 이현웅: 그러면 공정성을 기했다라고 보고 계신가요?
◆ 김봉신: 공정한 조사라고 볼 수 있겠습니다.
◇ 이현웅: 알겠습니다. 그리고 또 근로시간 유연화와 관련해서 지금 의견을 수렴하겠다고 밝힌 상황이고요. 일대일 대면조사, FGI 집단 심층 면접, 표본여론조사 이런 방식들로 조사를 한다고 하는데, 이런 방식들을 이용하면 일반적인 여론조사보다 조금 더 세밀하게 조사가 가능한 겁니까?
◆ 김봉신: 이 중에서 독특한 것은, 세 번째 말씀하신 표본여론조사라는 게 지금 실제로 한국갤럽 등 여론조사 기관들이 다수가 진행하는 방식이 표본 추출을 해서 여론조사를 하는 것이니, 이 세 가지 방식 중 하나가 바로 지금 하고 있는 조사입니다. 그래서 세밀한 조사라고 했을 때 일대일 면접조사나 포커스 그룹 인터뷰, 그러니까 표적 집단 심층 면접 이 두 가지를 해야 된다라고 만약에 누군가가 말씀을 하신다면 그것도 나름 의미는 있는데요. 그렇다고 해서 세 번째 표본 추출을 해서 지금 한국갤럽이 질문하듯이 하는 조사가 뭔가 문제가 있다거나 비과학적이거나 세밀하지 않다거나 하는 것은 아닙니다. 다만 집단 심층 면접을 통해서 조사를 하게 되면 2시간 정도 토론하는 방식으로 조사를 하기 때문에, 이거는 정량적으로, 통계적으로 이야기하기보다는 어떤 특정 응답하시는 분의 있는 깊이 있는 인식 같은 것을 추적할 수 있다는 장점은 있는 거죠. 그런데 지금 근로시간 유연화와 관련해서 만약에 정부가 이와 같이 여러 가지 방식을 통해서 조사를 한다면 굉장히 환영할 만한 일입니다. 다만 지금까지 조사가 된 것들이 있지 않습니까? 그게 비과학적이거나 세밀하지 않은 조사라고 하기에는 좀 어렵습니다. 과학적인 조사 방식을 지금까지 취해 왔다고 볼 수 있고요. 아까 양곡관리법 관련해서도, 어떤 결과를 가정하고 세부 문항을 설문에 선택지를 제시할 수 없기 때문에 현안을 제시하는 것은 전혀 문제가 없고요. 그리고 조사 방법에서도 문제가 없다고 보여집니다.
◇ 이현웅: 우리 청취자분들이 앞으로 많은 여론조사를 접하게 될 텐데, 이 흐름이나 그 내용을 결과값을 정확하게 읽기 위해서는 어떤 게 필요한지 마무리 말씀 좀 부탁드리겠습니다.
◆ 김봉신: 일단은 여러 가지 조사들이 모두 다 여론조사라고 해서 비교가 되니 혼동이 있을 것 같습니다. 그래서 저는 청취자 많은 분들께서 전화면접조사를 중심으로 한번 보시고, ARS 조사는 전 국민의 의견보다는 되게 관심이 많은 분들의 의견이 다수 포함이 되고 있기 때문에 국민 여론조사라고 하기보다는 고관여자 의견이다, 이렇게 좀 이해를 하시는 게 좋겠습니다. 그리고 지금 현재 나와 있는 전화면접 여론조사들이 굉장히 과학적인 방식을 통해서 지금 진행하고 있기 때문에 안심하고 보셔도 좋지만, 가장 좋은 것은 하나의 조사의 추이를 비교하는 것들이 비교하시면서 보시면 더 좋겠습니다.
◇ 이현웅: 알겠습니다. 오늘 말씀 여기까지 듣겠습니다. 고맙습니다.
◆ 김봉신: 감사합니다.
◇ 이현웅: 지금까지 김봉신 조원씨앤아이 부대표와 함께했습니다.
YTN 이은지 (yinzhi@ytnradio.kr)
[저작권자(c) YTN 무단전재, 재배포 및 AI 데이터 활용 금지]