조사표 설계의 중요성

▲ 이재형 박사

어느 고위 정책당국자가 공학자, 경영학자, 경제학자를 불러 내년도 경제성장률이 어느 정도 될 것으로 예측하는지 물어보았다. 먼저 공학자가 최근 기술발전 상황과 이것이 경제에 미칠 영향을 설명하고, 내년에는 3%쯤 경제가 성장할 거라고 대답했다. 경영학자는 최근 기업환경을 설명하고, 역시 3%쯤 성장이 예측된다고 답했다. 마지막에 경제학자 차례가 되자, 다른 사람에게 모두 나가라고 한 뒤 고위 정책당국자에게 다가가 주위 눈치를 살피며 나지막하게 말했다. “몇 %로 대답할까요?” 40년도 넘은 경제학과 학부생 시절에 들었던 유머라 정확히 기억나지 않지만 대략 그런 내용이었다. 

그런데 몇 년 전 우연한 자리에서 여론조사회사 사람들을 만났는데, 그 세계에서는 주인공이 경제학자 대신 여론조사 인사로 바뀌어 있었다. 물론 웃자고 하는 얘기지만, 그러면 경제학자나 여론조사기관은 왜 그렇게 적당주의로 대답하는 경향이 있을까? 그것은 아마 이 두 분야에서 사회 문제를 인식하고 해법을 찾는 고유한 특성에서 비롯된 것이 아닐까 생각한다.

경제학에서는 복잡한 경제현상을 단순화해 문제 해결책을 찾는다. 그러려면 수많은 가정이 필요하다. 예를 들어 경제원리로는 가격이 오르면 수요는 줄어들어야 한다. 그런데 현실에서는 아파트 가격이 내릴 때는 거래가 뜸하다가 가격이 오르기 시작하면 아파트를 사겠다고 난리다. 아파트 거래는 가격뿐 아니라 사람들의 부동산 시세 전망, 이자율, 교육환경 등 수많은 요인에 따라 결정된다. 아파트 가격이 아파트 수요에 미치는 영향을 알기 위해서는 아파트 거래에 영향을 주는 다른 요소를 배제할 필요가 있다. 그래서 경제학의 분석에서는 늘 ‘다른 조건이 동일하다면’(ceteris paribus)이라는 가정이 따른다. 가정을 다르게 하면 경제분석의 결과도 당연히 달라진다. 

질문순서만 바꿔도 달라지는 여론조사 결과

여론조사도 마찬가지라 생각한다. 조사대상자(sample)를 어떻게 선정하는가, 질문항목을 어떻게 구성하고 표현하는가, 어떤 조사방법을 채택하는가. 심지어 조사표의 질문순서나 조사표의 모양을 달리하는 것만으로도 응답자는 다른 대답을 할 수 있다. 이처럼 응답자의 대답은 현실(fact)과 관계없이 수많은 요인에 영향을 받을 수 있기 때문에 여론조사 종사자들 스스로 응답에는 많은 가변적 요소가 있으리라 생각하는 것 같다.

나는 연구원이라는 직업의 특성상 여론조사나 통계조사의 응답 요청을 받는 때가 많다. 조사기관은 주로 정부기관이나 공공기관 또는 민간단체인데, 대부분 민간 조사회사가 조사대행을 맡고 있다. 통계의 중요성을 늘 역설하는 나로서는 가능하면 성의있게 응답하려고 한다. 그런데 응답을 할 때마다 느끼는 것은 많은 질문지들이 적당주의나 비논리적으로 구성돼 있다는 점이다. 질문 내용이 무엇인지 정확히 알기 어려운 경우가 있는가 하면, 여러 개 질문을 하면서 한 대답을 요구하는 경우, 병렬적인 관계가 아닌 항목으로 응답의 내용을 구성하는 경우, 응답 항목이 모든 응답을 포괄하지 못하는 경우 등 문제를 지적하자면 끝이 없다.

얼마 전 미국의 저명 리서치 기관의 조사를 대행한다는 회사로부터 설문조사를 요청받은 적이 있었다. 정치·경제·사회부터 과학·종교·윤리에 이르기까지 광범위한 내용에 관한 조사였다. 그 가운데 이러한 형태의 질문항목이 여러 개 있었다. “우리경제의 생산성은 국제적으로 어느 정도라 생각하는가?” “우리나라의 민주주의는 국제적으로 어느 정도 수준이라 생각하는가?” 세계 여러 국가들과 비교하여 우리나라의 성취 정도를 묻는 질문이었다. 그런데 응답 항목이 이상했다. [① 세계 최고이다. ② 잘하는 편이다. ③ 낮은 편이다. ④ 가장 낮다]로 구분돼 있었다. 나는 우리 경제의 생산성도 높고, 민주주의 수준도 높다고 생각하지만, 그렇다고 해서 세계 최고라고 하기는 어렵다고 생각했다. 그래서 ‘세계 최고’의 의미가 무엇이냐고 조사원에게 물었다. 조사원은 그에 관해서는 교육받은 바 없기 때문에 말할 수 없다고 했다.

응답자가 조사기관이 묻는 의도를 알기 어려워 어떻게 대답해야 좋을지 망설이는 경우도 많다. 조사기관이 무엇을 생각하고 그 질문을 했는지 읽어내기 어렵기 때문이다. 예를 들면 “당신은 법을 무조건 지켜야 된다고 생각합니까”라는 질문을 받았을 때, 조사자가 염두에 두고 있는 법률이 무엇인지 알기 어렵다. 법에는 ‘도둑질을 하지 않아야 한다, 폭행을 하지 않아야 한다’처럼 인간이 사회생활을 할 때 사회기능 유지를 위해 필요한 최소한의 법이 있는가 하면, 집시법처럼 국민의 기본권을 제한하는 법도 있다. 도로교통법처럼 국민 대부분이 일상적으로 위반하면서도 거의 죄의식을 갖지 않는 법이 있는가 하면, 부동산 거래 등 경제생활 과정에서 내게 손해가 된다고 생각하는 법도 있다. 과거 유신시대 긴급조치처럼 인간의 신념과 양심, 국민의 기본권을 억압하는 악법도 있다. 위와 같은 질문에는 응답자가 생각하는 ‘법’이 무엇인가에 따라 대답이 달라질 수 있다.

예를 들어보자. 금년 초 나는 우리나라 경제운영과 관련한 전문가 여론조사에 응답한 적이 있다. 질문항목 가운데 정부가 추진하는 재벌개혁에 관한 의견을 묻은 항목에서 “재벌개혁을 위해 경제성장을 희생할 수 있는가”라는 질문항목이 있었다. 나는 이 질문에 대답하기가 조금 곤란했다. 왜냐하면 재벌개혁을 해야 하는 데는 찬성하지만, 그것이 경제성장에 마이너스 효과를 갖는다고는 생각하지 않기 때문이다. 또 ”현정부가 추진하는 재벌개혁에 찬성하는가“라는 질문에도 응답을 망설이는 사람이 적지 않을 것이다. 어떤 사람은 정부의 재벌규제 정책이 너무 과도하다고 생각해서, 다른 사람은 정부의 재벌개혁이 불충분하다고 생각해서 반대할 수도 있기 때문이다.

▲ 조사표의 질문순서나 조사표의 모양을 달리하는 것만으로도 응답자는 다른 대답을 할 수 있다. ⓒ Pixabay

참여정부 말기의 지지율은 왜 참담했을까?

2006년 참여정부 시절 정책기획위원회에서 위탁받은 정부정책 평가 여론조사 연구에 참여한 적이 있다. 이 조사에서는 학자, 언론인 등 전문가를 대상으로 정치·경제·사회 전반의 정부정책에 관한 지지 여부를 조사했다. 당시 참여정부의 지지율은 20% 언저리에 머무는 참담한 수준이었는데 나는 무엇 때문에 정부에 반대하는 사람들 비중이 압도적으로 높은지 궁금하던 차에 좋은 기회라 생각하고 연구에 참여했다. 나는 경제 분야를 담당하여 설문지 작성과 응답결과에 관해 분석했다. 경제 분야는 20개 질문항목으로 구성했는데, 나는 모든 조사항목을 아래와 같은 식으로 설계했다. ”정부의 부동산 정책에 찬성하십니까?“ ”반대한다면 그 이유는 무엇입니까? ① 규제가 너무 강해서 ② 규제가 너무 약해서. 즉 정부정책에 찬성하는 사람은 일단 수용하고, 반대하는 사람에게는 그 이유를 물은 것이다.

회수된 질문지를 분석해보니 흥미로운 결과가 나왔다. 질문항목은 재정지출, 세금, 성장과 분배의 균형, 재벌정책, 공기업 민영화, 부동산, 외국인 주주의 경영참여, 농산물 개방, 국책사업의 추진방식, 경기부양 방식, 규제개혁, 한미 FTA, 강남 재개발, 국민연금, 재벌총수 비리, 노사정책 등 경제 전 분야에 걸쳐 있었는데, 대부분 항목에서 정부의 정책지지율은 15-30% 선에 머물러 있었다. 그런데 반대 이유를 물어보니, 대개 ”너무 지나치다“는 의견과 ”너무 약하다“는 의견이 비슷한 비율로 나왔다. 즉, 정부 정책이 너무 과도하다고 생각하건, 너무 약하다고 생각하건 자기 생각과 다르다면 반대한다는 의견을 내놓은 것이다. 이러한 상황에서는 정부가 어떤 정책을 선택하더라도 평균 30% 선 지지를 얻는 데 그칠 수밖에 없다. 정책적 메시지를 얻고자 하는 조사에서는 정책을 찬성하고 반대하는 원인을 정확히 포착할 수 있게 조사표가 설계돼야 의미 있는 결과를 얻게 된다. 

통계조사나 여론조사는 질문항목과 응답내용이 제대로 구성돼 있다고 하더라도 질문지 모양이나 양식, 질문순서 등 다양한 요인에 따라 대답이 달라질 수 있다. 응답자가 질문지를 받아들었을 때 모든 조사항목에 동일하게 긴장감을 유지할 수는 없다. 질문지가 길어지면 응답자의 피로감도 높아지고, 질문항목을 메워 나가면서 관련 지식도 얻게 된다. 질문지를 받아들었을 때 특정 위치에 있는 항목에 더 많은 관심이 가서 주의를 기울이는 경향도 있다.

통계나 여론조사는 정부나 기업 등 조사주체가 사회현상을 정확히 파악해 적절한 대응방안을 마련하기 위해 실시한다. 그러니 조사주체의 의도가 조사대상자들에게 정확하게 전달될 수 있도록 질문항목을 구성하고, 조사표를 작성하는 것이 무엇보다 중요하다. 그렇지 못하면 앞서 소개한 유머처럼 왜곡된 조사결과를 얻게 되고, 그에 기반한 대응 역시 번지수를 잘못 짚는 어리석음을 범하게 된다. 

조사대상자와 소통하며 만들어야 하는 조사표

질문 항목 구성, 조사표 설계 등이 조사의 정확성과 신뢰성의 확보에 이처럼 중요한데도 우리나라에서는 관심이 그다지 높지 않다. 선진국 통계기관이나 유명한 조사회사들은 조사설계를 과학적이고 체계적으로 하기 위해 내부조직과 시설을 도입하고 운영한다. 우리나라는 이 분야가 아주 초기단계에 머물고 있는 실정이다. 통계청 소속 통계연구소인 통계개발원에서 몇 년 전 우리나라에서 처음으로 ‘조사표 연구센터’를 설립해 국가통계 조사의 조사표 개선을 위한 컨설팅을 하고 있다. 이 센터에서는 인지면접실, 시선추적실험실, 관찰분석실 등의 시설과 첨단 기자재를 갖추고 희망하는 기관에는 질문항목과 조사표의 개선에 도움을 준다.

여기서는 조사표에 관한 컨설팅 요청이 오면 조사의 대상이 되는 계층 사람들을 10-20명 정도 조사표 분석을 위한 실험참가자로 선발해 제안된 조사표에 응답하도록 하고, 응답 이유를 심층 인터뷰를 통해 분석한다. 이와 동시에 조사표에 관한 시선추적 실험도 실행해 조사대상자가 조사표에 어떻게 반응하는지도 조사한다. 이를 통해 제안된 조사표가 갖는 문제점을 하나하나 분석해 조사기관이 갖는 의도가 조사대상자에게 명확히 전달되게 함으로써 조사의 정확성을 높인다. 

몇 가지 개선사례를 살펴보자. 국가인권위원회가 실시하는 ‘국가인권실태조사’ 통계 사례이다. 이 통계는 조사대상 가구로 선정된 가구의 가구원 전부가 각각 조사표에 응답해야 하는 조사이다. 그런데 조사표의 조사대상자 구분에 ‘가구주 응답자’라는 항목이 있는데, 이는 응답자가 가구주인지 여부를 묻는 질문이다. 그런데 실험에 참가한 많은 응답자들이 혼란을 느낀 것으로 나타났다. 가구를 대표하여 응답하라는 내용인지, 주민등록상 세대주를 의미하는 것인지, 가장(家長)을 의미하는 것인지 대부분 실험참가자가 혼란을 겪은 것이다. 결국 어떻게 물어야 혼란이 없을지를 실험참가자와 소통하면서 질문항목을 개선했다. 

당초 조사표에는 ”1년전과 비교하여 인권상황이 개선되었다고 생각하는가“라는 조사항목이 있었다. 이에 대해 대다수 실험참가자들은 ‘인권이라는 것이 1년 동안 체감할 수 있는 정도로 크게 바뀌는 것인가’라고 의문을 제기했다. 당초 질문에는 ”변화가 없다“고 응답한 사람들도 기간을 좀더 길게 하면 응답을 바꿀 의향이 있다고 밝혀, 비교기간을 좀더 늘리는 쪽으로 조사표를 수정했다. 또 ”사회적 권력을 소유하는 것이 중요한가“라는 질문에는 응답자들이 저마다 생각하는 ”사회적 권력“의 의미가 다른 것으로 나타났다. 중요하다고 응답한 사람들은 사회적 권력을 본인에게 도움이 되는 권력이나 사회 내 질서, 상하관계 유지 등을 위한 권력으로 이해했다. 반대로 중요하지 않다고 응답한 사람들은 사회적 권력을 정치권력, 직장 내 권력, 가정 내 권력 등으로 응답해 평등과 반대되거나 그와 유사한 강압적 성격의 권력으로 이해했다.

▲ "1년 전과 비교해 인권상황이 개선되었는가"라는 질문에 대다수 실험참가자들은 "인권이 1년 동안 체감할 수 있는 정도로 크게 바뀌는 것인가"라는 의문을 제기했다. ⓒ Pixabay

범죄피의자 얼굴 공개에 관한 ‘고무줄 여론’ 

한국법제연구원이 조사하는 ‘국민 법의식 조사’ 사례를 보자. 범죄 피의자의 얼굴을 공개하는 것에는 실험참가자 다수가 찬성 의견을 표시했다. 그런데 그럴 경우 피의자의 가족이 피해를 당할 수도 있다는 설명을 추가했다. 그랬더니 찬성자 중 여러 사람이 반대로 의견을 변경했다. 국가보안법 존폐에 관해 ”폐지하여야 한다“라는 응답과 ”‘아직은’ 존속하여야 한다“는 의견이 팽팽하게 나타났다. 이 응답에서 ”아직은“이라는 말을 제외하니, ”존속하여야 한다“라고 응답한 사람 중 대다수가 ”폐지하여야 한다“로 의견을 변경했다. 시위나 집회의 자유에 관해서는 ”교통혼잡이나 소음이 발생할 경우 제한할 수 있다“와 ”민주주의의 기본적 권리이므로 보장되어야 한다“는 문항에서 ”제한할 수 있다“를 ”제한해야 한다“로 변경했더니 ”제한할 수 있다“라고 대답한 실험참가자 중 1/3 정도가 ”보장되어야 한다“로 응답을 바꿨다. 

이처럼 통계조사나 여론조사에서는 질문이나 응답항목의 표현을 조금만 달리해도 조사대상자의 응답은 얼마든지 달라질 수 있다. 통계조사나 여론조사에서 조사대상자들에게 좀더 정확하고 분명한 응답을 얻으려면 과학적 분석에 기반해 적절한 질문과 응답항목을 선정해야 한다. 조사기관과 응답자간 소통을 넓히는 것이 무엇보다 중요하며, 정부기관은 물론 민간조사회사들도 소통에 각별한 관심을 가질 필요가 있다. 

* ‘국가인권실태조사’ 사례는 백선미·박선희(2019)의 <국가인권실태조사 조사표 개발 연구: 인지면접>, ‘국민법의식조사’ 사례는 최준영·박선희(2019)의 <국민법의식조사 조사표 개선연구: 인지면접> 보고서 내용을 참고했다.

편집 : 정재원 기자