[시험과답] 사는 곳으로 성적을 결정했다

가난한 지역 공립학교 학생들에게 낮은 점수 준 알고리즘, 실패한 실험이 남긴 과제

A레벨 성적이 발표된 뒤 “당신의 알고리즘은 나를 모른다”며 시위에 나선 고등학생들. 연합뉴스

이 전례 없는 시대에 벌어지는 일은 다 거대한 ‘사회적 실험’ 같다. 일부러 계획해서 한다면 이 막대한 비용과 혼란을 감당할 만한 국가는 하나도 없을 것이다. 그러나 지금은 거의 모든 나라가, 사회 각 영역에서 크고 작은 실험을 한다. 코로나19로 국가고사를 볼 수 없게 되자, 공정한 평가를 위해 영국 정부가 마련한 방법과 그 과정도 꼭 사회적 실험 같다. 애초 계획은 실패했다. 대신 다른 과제를 알려줬다.

엘리트주의적 발상의 계획 수정

지난 3월 영국 정부는, 올해 GCSE(중등교육일반자격증)와 A레벨 국가시험을 취소하겠다고 발표했다. (우리로 치면 대학수학능력시험이 취소된 것과 비슷하다.) 대신, 학생을 가르친 담당 교사가 ‘시험을 치렀다면 이 학생이 받았을 만한 점수’를 제출하고 그것을 기준으로 GCSE와 A레벨 성적을 주기로 했다(제1306호 ‘담당 교사가 수능 점수를 매긴다면’ 참조). 8월에 학생들은 드디어 성적표를 받았다. 그런데 예상치 못한 일이 벌어졌고, 이 시험 결과를 둘러싸고 영국 사회는 한동안 큰 홍역을 치렀다.

영국의 시험제도는 우리와 다르다. 여기서는 학교 교육과정 단계를 마칠 때마다 국가고사를 본다. 이 시험은 모두 ‘자격’ 시험이다. 시험의 최종 관리도 오프퀄(Ofqual)이라는 ‘자격시험감독청’에서 한다. 중학교를 졸업할 때는 모든 학생이 GCSE 시험을 본다. 과목 성적은 1점에서 9점까지 등급으로 준다. 4점 미만이면 낙제다. 낙제해도 졸업은 할 수 있지만 그 과목의 자격증은 못 받는다. 영어·수학 GCSE가 없으면 진학과 취업에 어려움이 많다. (원하면 재시험을 볼 수 있다.) 일반계 고등학교를 졸업할 때는 A레벨이라는 시험을 본다. 보통 세 과목을 보는데 학생이 선택할 수 있다. (고등학교 2년 동안 이 과목만 공부한다.) 대학에 가려면 A레벨 성적이 필요하다. 9월에 입학인데 A레벨 성적이 8월에 발표되기 때문에, 대학은 보통 교사가 준 ‘예상 성적’을 보고 입학생을 조건부로 미리 선발해놓고 나중에 공식 성적이 나오면 합격을 최종 확정한다. 모든 것이 정상적으로 되었다면 올해도 이 과정을 거쳤을 거다.

8월13일 A레벨 성적이 발표됐다. 놀랍게도 학생의 40%가 담당 교사가 준 점수보다 낮은 점수를 받았다. 더 큰 문제는, 성적이 낮아진 학생 대부분이 가난한 지역 공립학교 학생이라는 것이었다. 엘리트 사립학교 학생들의 성적은 큰 차이가 없거나 더 높아진 경우도 있었다. 9월 대학 개강을 앞두고 조건부 입학 허가를 받은 학생들의 최종 입학이 취소되는 사례가 속출했다. 학생들은 혼란에 빠졌다.

애초 계획대로 교사의 평가를 따랐으면 좋았을 텐데, 보수당 정부가 ‘성적 인플레’를 우려해 계획을 수정한 것이 화근이었다. ‘교사는 아무래도 인정상 자기 학생의 성적 등급을 관대하게 매길 거다. 그러면 전반적으로 성적이 올라가고, 실력에 따른 변별이 흐려질 거다. A레벨 성적으로 입학생을 뽑는 대학은 우수 학생을 유치하기 어려워지고, A레벨 시험의 권위가 떨어질 수도 있다.’ 다분히 엘리트주의적 발상인데, 평가의 가장 주요한 기능이 ‘변별’이라고 여기면 이렇게 생각할 수 있다. 이 논리에 따라서 이런 결론에 도달했다. ‘학교 차이가 엄연히 존재하는데, 교사의 평가를 그대로 쓸 수는 없다. 교사가 준 성적에 학교 변인을 넣어 통계적으로 조정하자. 그래서 예년의 성적 분포와 일관성을 유지하고, 학생들에게 자기 수준에 맞는 객관적으로 정확한 등급을 주어야겠다.’ 그래서 만든 것이 알고리즘이다.

교육부 장관, 상처와 혼란에 사과

오프퀄은 각 학교에, 교사가 매긴 학생의 평가등급뿐만 아니라, 같은 등급을 받은 학생들의 석차를 표시해서 제출하라고 했다. 예컨대 A를 받은 학생이 10명이면 1부터 10까지 일련번호를 매기는 것이다. 여기에 해당 학교의 지난 3년 동안 A레벨 (혹은 GCSE) 성적 자료를 투입해 알고리즘을 돌렸다. 결국 학교 변수가 최종적으로 개별 학생의 성적에 영향을 미치게 되었다. 교사가 아무리 좋은 등급을 줬어도, 지난해까지 학업 성취가 낮았던 학교에 다닌다는 이유로 등급이 낮아진 학생이 대거 생겨났다. 실제 가장 큰 피해를 본 학생들은 학업 성취가 낮은 학교에 다니는 영리한 학생들이었다.

성적이 발표되고 이틀 뒤, 주말에 런던에서 고등학생들의 대규모 항의시위가 있었다. 팻말에 이런 말을 적고 행진했다. ‘이건 계급주의이다’ ‘가난함≠멍청함’ ‘사는 곳이 나의 성적을 결정하지 않는다’ ‘공립학교에 정의를!’ ‘선생님이 제일 잘 안다’ ‘보수당이 아니라 교사를 믿어라’ 노동당도 보수당 정부를 거세게 비난하며, 알고리즘 성적을 폐기하고 원래 교사가 준 평가로 돌아가야 한다고 주장했다.

반대 여론이 거세지자, 교육부는 월요일에 “정책 유턴”을 선언했다. 알고리즘 성적을 포기하고, 원래 교사가 준 성적으로 돌아갔다. (단 알고리즘이 준 성적이 더 높은 경우는 그대로 두었다.) 8월20일 발표하기로 한 GCSE 성적도 교사가 평가한 성적으로 하겠다고 했다. 교육부 장관은 젊은이들에게 준 상처와 혼란에 대해 사과했다. 이 사태에 책임을 지고 오프퀄 알고리즘 책임자는 사임했다. 교육부 장관도 사임해야 한다는 여론이 높다.

결과적으로 ‘성적 인플레’가 오긴 했다. GCSE 시험의 경우, 2019년에는 7점(A) 이상을 받은 학생이 전체의 20%였는데 올해는 25%가 되었다. 4점 미만으로 낙제한 학생은 2019년 30%였는데 올해는 20%로 낮아졌다. 그래도 이 결정이 옳다. ‘우수한 학생을 면밀히 가려내는 것’과 ‘취약계층 학생이 부당하게 낮은 성적을 받지 않도록 하는 것’ 사이에 하나를 선택해야 한다면, 후자가 훨씬 교육적이다.

차갑게 드러난 감추고 싶은 현실

일단은 해피엔딩이다. 학생들은 불의한 현실에 저항했고 이겼다. 정부는 사과했고 학생들은 대부분 평소보다 좋은 성적을 받았다. 사람들은 알고리즘이 데이터를 종합해서 학생의 성적을 ‘결정’하는 이 디스토피아적 상황을 경험하면서, 우리가 어떤 세계에 살고 있는지를 새삼 실감했다. 그리고 ‘유턴’을 지지했다. 유턴해서 돌아온 자리에는 ‘사람(교사)에 대한 신뢰’가 있었다. 한편, 교육과 관련한 계층 불평등 문제를 다시 주목하게 됐다. 사실 알고리즘이 가난한 학생들의 성적을 낮게 준 것은, 없는 현실을 만들어낸 게 아니라 감추고 싶은 현실을 차갑게 드러낸 측면이 있다. 실제 그들의 성적은 상대적으로 낮다. 저소득 계층의 교육 지원이 중요한 이슈가 됐다. 더욱이 그들은 코로나19로 인한 학습 결손의 피해도 가장 심각하게 겪고 있다. 교육에서 정의·공정·평등의 문제가 다시 제기됐는데 그걸 푸는 것은, 알고리즘이 아니라, 사람들의 몫이다.

이스트본(영국)=이향규 <후아유> 저자