매사추세츠주에서 AI 기반 채점 오류로 약 200개 학군의 1,400개 MCAS 에세이가 잘못 평가되어 일부 학생이 0점을 받는 등 성적이 뒤바뀌었다. 주 교육부는 모든 에세이를 재채점하고 데이터를 수정했으며, 이번 오류는 전체 시험의 극히 일부에 불과하다고 밝혔다.

 

 

 

 

AI 채점 오류로 매사추세츠 학생 수백 명 성적 뒤바뀌어

약 1,400개 MCAS 에세이 잘못 채점… 주 교육부, 모든 점수 재조정 완료

 

 

 

 

매사추세츠(Massachusetts)주에서 시행되는 종합평가 시스템인 매사추세츠 종합평가(MCAS) 에세이 시험에서 인공지능(AI) 기반 채점 오류가 발생해 약 200개 학군의 학생들이 잘못된 점수를 받았던 것으로 밝혀졌다. NBC 보스턴(NBC Boston)의 최근 보도에 따르면, 이 채점 오류로 약 1,400개의 시험이 부정확하게 평가되었으며, 일부 에세이는 원래 1-7점 척도에서 6점을 받을 만한 글이 “0점”으로 채점되기도 했다.

 

주 초중등교육부(Department of Elementary and Secondary Education, DESE)는 NBC10 보스턴에 모든 에세이가 재채점되었고, 해당 학군에 통지가 완료되었으며, 관련 데이터는 8월까지 모두 수정되었다고 밝혔다. 주 전역의 MCAS 성적은 지난달 말 공개되었으며, 코로나19 시대의 학습 손실이 여전히 주 전역의 학년별 학습 수준에 “도전 과제”로 남아 있음을 보여주었다.

 

DESE는 이번 채점 오류가 “일시적인 기술적 문제”로 발생했으며, 전체 약 75만 개의 MCAS 에세이 중 극히 일부 사례에 불과하다고 설명했다. MCAS 시험에서 AI는 지난 2년간 채점 지원 역할을 해왔으며, DESE는 약 10%의 에세이를 인간 채점자가 다시 확인하고 재평가하여 채점의 일관성을 유지하고 있다고 덧붙였다.

 

이번 채점 오류는 매사추세츠 주민들이 지난해 고등학교 졸업생의 MCAS 시험 통과 기준을 졸업 요건으로 설정하는 안을 압도적으로 거부한 직후 발생했다는 점에서 주목된다. 지난해 주민투표에서 약 60%의 유권자가 20년간 시행되어 온 기준 통과 요건을 막았다.

 

한편, 주 K-12 졸업위원회(State K-12 Graduation Council)는 새로운 졸업 요건을 마련 중이며, 핵심 과목에서 학생의 고등학교 졸업 자격을 판단할 수 있는 ‘과목별 종료 평가(end-of-course assessments)’를 일부 부활시키는 방안을 검토하고 있다. 위원회의 초안 권고안에는 “주가 설계, 시행, 채점을 담당해 매사추세츠 전역에서 통일된 기준을 제공”하는 과목별 종료 평가가 포함될 예정이다.

 

이번 사건은 AI 기반 평가의 편의성과 효율성 뒤에 잠재적 오류 가능성이 존재함을 보여주는 동시에, 학부모와 교육 당국이 표준화된 시험과 평가 기준에 대한 신뢰를 재검토하게 만드는 계기가 될 것으로 보인다.