쓰레기 자료로 혁신학교 비난하면 쓰레기 기사된다

조선일보의 상상력의 끝은 어디일까? 사실 조선일보의 기사를 기사로 본다는 것 자체가 넌센스가 되어버린 상황이지만 하도 황당한 기사가 있어 한 마디 거들어 본다.

기사의 제목은 "전교조가 주도하는 혁신학교 일진있다 응답비율 더 높아"다. 저작권법을 위해 링크는 걸어두지만 굳이 가서 보지는 않기 바란다. 눈 버린다. (눈 버리는 링크)

이 기사의 요지는 이렇다.

1. 혁신학교는 전교조와 진보교육감이 추구하는 학교 모델이다.
2. 이들은 혁신학교가 인성교육을 강화하여 학교폭력 없는 평화로운 학교를 만든다고 주장한다.
3. 그런데 이번 교과부의 조사 결과에 따르면 혁신학교의 응답율이 21.4%로 24.5%인 일반학교보다 떨어지는데다 일진학생 있다 응답률이 26.6%로 일반학교 23.6%보다 높고, 학교폭력 피해 당한적 있다는 응답도 13.7%로 일반학교 12.2%보다 높다.
4. 따라서 전교조와 진보교육감의 주장은 개뻥이다.
5. 개인, 가정, 사회 등 다양한 요인을 외면하고 학교유형과 교육과정의 변화만으로 학교폭력을 막을 수 있다는 단순한 접근은 근본적 처방이 될 수 없다(교총 대변인)

그런데 이 기사를 쓴 기자에게 들려줄 말이 있다. 사회조사방법론의 속담같은 말인데 바로 GIGO(Garbage in Garbage out)란 말로, 들어간 것이 쓰레기이면 나온 것도 쓰레기, 즉 애초 투입된 원자료의 수준이 낮다면 그 결과물에 대해서는 왈가왈부 하지 말라는 뜻이다.

사회조사에서 IN에 해당되는 요인은 모집단 설정, 표집틀 설정, 표집, 측정도구, 응답률, 응답의 질 등이 해당된다. 이 부분에서 문제가 많은 자료는 아무리 정교하고 엄밀한 방법을 동원하여 분석한다 하더하도 전혀 신뢰할 수 없는 결과만 나올 뿐이다. 따라서 이렇게 나온 결과를 놓고 어느게 높다, 낮다 따지는 것 자체가 무의미하다.

이번 학교폭력 관련 교과부의 조사가 그렇다. 대부분의 신문과 언론은 이미 이번 조사가 부실하게 진행되어 국고 26억만 낭비했음을 지적하고 있다.

우선 20%대에 불과한 응답률이 문제다. 만약 표집 조사이며 그 표집과정이 확률표집방법을 충실히 따랐다면 전체의 2%만 조사해도 문제 될 것이 없다. 하지만 이번 경우는 모든 학교 모든 학생을 전수조사하기로 했는데 20%대만 응답한 것이다. 따라서 어떤 특정한 집단만 응답하고, 특정한 집단은 응답하지 않았을 가능성이 높다. 이런 경우 통계학적 용어로 자료수집에서 체계적 오류가 누적되었을 가능성이 크다. 그렇다면 표집이 아주 잘 되었을 경우에도 표집오차가 +/-3% 인데, 이 경우에는 표집오차가 어느정도일지 상상이 가지 않는다.

다음은 자료 수집을 위한 측정 도구의 문제다. 이번 조사는 학교폭력을 어떻게 정의하는지 일진을 어떻게 정의하는지 충분한 합의가 없이 이루어졌다. 학생에 따라서는 욕설을 애교라고 생각할수도 폭력이라고 생각할수도 있으며, 일진을 상대적 개념(학교에서 어쨌든 제일 센 학생)으로 혹은 절대적 개념(어떤 일정 수준 이상의 폭력배)으로 생각했을 수도 있다. 따라서 이번 조사 도구의 타당도에 대한 어떠한 정보도 주어지지 않는 이상 이 조사 결과를 가지고 논의하는 것은 무의미하다.

따라서 혁신학교의 1진학생 있다 응답률이 일반학교보다 낮더라도 학교폭력이 덜한것이 아니며, 높다 해서 더한 것도 아니다. 한 마디로 이 조사 결과로 나온 수치는 모두 아무런 의미가 없다. 설사 의미가 있다 하더라도 혁신학교의 26.6%가 일반학교의 23.6%보다 높다고 단정 지으려면 이 3%의 차이가 표집오차 범위 밖에 있음이 증명되어야 한다. 즉 아주 간단한  카이제곱 검정이라도 거쳐야 한다. 하지만 애초에 수집과정이 엉망진창인 자료인지라 표집오차가 +/- 3% 보다 훨씬 더 클 것이 자명하다. 통계학에서 이 오차 범위 안에서 발생하는 차이는 차이가 적다고 하지 않는다. 다만 그 차이가 아무 의미가 없다고 말할 뿐이다. 하물며 학교폭력 피해를 당한 적 있다는 응답률 13.7%가 12.2% 보다 높다는 주장은 더 말할 필요도 없다.

게다가 이 기자는 "혁신학교가 원래 학교폭력 등 문제가 많은 학교들을 위주로 지정했다."라는 말을 빈말로 흘려듣고 있다. 하지만 이 말이야 말로 사태의 핵심이다. 원래 출발점이 달랐다면 그 결과의 차이는 더더욱 의미가 없기 때문이다. 따라서 정히 혁신학교가 학교폭력에 미치는 영향을 주장하고 싶다면 시점을 둘이나 셋으로 나누어서 학교폭력 응답률의 증감 정도를 놓고 비교했어야 했다.

만약 애초에 이 조사의 목적이 혁신학교와 일반학교가 학교폭력과 관련하여 의미있는 차이가 없을 것이라는 영가설 검정을 목표로 한 것이었다면 그건 받아들일 수 있다. 하지만 혁신학교가 "더 높다"라는 주장은 절대로 성립될 수 없는 것이다. 하지만 사실은 "차이가 없다"는 주장도 받아들일 수 없다. 차이가 있는데, 워낙 수집과정과 수집도구가 엉망이라 나타나지 않았을 수 있기 때문이다.

이런 조선일보식 주장이 문제가 있음은 조선일보가 인용한 교총 대변인의 말속에서 잘 드러난다. 학교폭력은 다양한 심리적, 사회적 변인의 상호작용 결과다. 따라서 혁신학교 때문에 학교폭력이 줄어든다는 말은 성립되기 어렵다. 하지만 마찬가지로 이 조선일보 기사처럼 혁신학교 때문에 학교폭력이 늘어난다는 말은 더욱 성립되기 어렵다. 만약 각종 인구사회학적 변인들을 공변량으로 투입했을 경우 혁신학교라는 변인이 유의미하게 학교폭력을 감소시킬 가능성은 여전히 남아있기 때문이다.

또한 교총 대변인의 말은 한가지 큰 문제점을 가지고 있는데, 학교유형과 교육과정의 변화만으로는 학교폭력 문제를 해결할수는 없지만, 근본적인 처방과 유일한 처방은 다르기 때문이다. 즉 혁신학교, 학교혁신만으로는 학교폭력 문제를 해결할 수 없을지 몰라도, 학교폭력을 줄이는 여러 요인들 중 가장 중요한 요인일 가능성 역시 여전히 남아있기 때문이다.

하지만 이 모든 가정은 다 의미 없다. 왜냐하면 애초에 이 조사 결과 수집된 원자료가 엉터리이기 때문에 이걸 아무리 가공해서 자료를 생산한다 하더라도 그 결과 역시 엉터리일수 밖에 없기 때문이다. 심지어 동아일보조차 이번 교과부 학교폭력 조사 결과를 가지고 어떤 기사도 생산하지 않고 있다. 엉터리 자료로 쓴 기사는 엉터리 기사가 될 수 밖에 없기 때문이다. 조선일보는 자중하기 바란다. 

주인장이 쓴 책들  셀프 스폰서: 부정변증법의 저서들

이 블로그의 인기 게시물

이른바 숙의민주주의에 대하여(1)

민주시민은 책을 읽는다

학종보다 더 걱정되는 것은 학종 다음의 셀프학종