서울시교육청 개발 시스템 기반

66개 실천학교서 3만건 학습데이터 축적

문항 개발·채점 결과 처리 체계·교원 연수 공동 추진

"평가 기준 통일성 높일 것" 기대


서울시교육청이 부산시교육청, 인천시교육청과 함께 AI 서·논술형 평가지원시스템을 공동 운영한다. AI 기반 서·논술형 평가를 실제 학교 현장에 적용할 수 있는 체계를 3개 시도교육청이 함께 구축한다는 점에서 공정성과 신뢰도를 높이고 미래형 평가 체계 안착에 힘을 보탤 것으로 기대된다.

25일 서울시교육청에 따르면, 이번에 공동 운영하는 시스템은 서울시교육청이 개발한 AI 서·논술형 평가지원시스템 '채움AI'다. 이 시스템은 서·논술형 평가의 자동 채점을 지원하는 도구로, 학생 답안을 기계적으로 점수만 매기는 데 그치지 않고 교과별 맞춤 채점과 피드백을 제공하도록 설계됐다.

서울시교육청은 이 시스템을 지난해 개발한 뒤 66개 실천학교에서 공통 문항과 루브릭을 적용해 약 3만건의 AI 학습 데이터를 축적했다. 운영 결과 인간 채점자와의 일치도를 나타내는 QWK가 0.8 이상을 기록해 실제 평가 활용이 가능한 수준의 신뢰도를 확보했다. QWK는 두 평가자의 채점 결과가 얼마나 일치하는지를 보여주는 지표로, 일반적으로 0.7 이상이면 실제 평가에 활용 가능한 수준으로 본다.

채움AI의 특징은 범용 인공지능 모델이 아니라 서·논술 채점 전용 모델을 자체 개발했다는 점이다. 이에 따라 채점의 정확성과 일관성을 높였고, 과목 특성에 맞춘 평가 지원도 가능하다는 게 서울시교육청 설명이다. 단순한 자동화 도구가 아니라 서·논술형 평가 확대에 필요한 기반 시스템으로 활용하겠다는 의미다.

3개 교육청은 이번 공동 운영을 통해 △평가 데이터 구축과 채점 결과 처리 체계 마련 △서·논술형 평가 문항 공동 개발 및 검토 △교원 연수 등을 함께 추진할 계획이다. 교육청 간 공통 기준을 마련하고 데이터를 축적해 시스템을 더 정교화하는 한편, 학교 현장에서의 활용성도 높이겠다는 구상이다.

서울시교육청은 이번 협력이 학생의 사고력과 표현력을 평가하는 미래형 평가 체계를 확산하는 계기가 될 것으로 보고 있다.

서울시교육청 관계자는"AI 기술을 활용한 서·논술형 평가는 학생의 사고력과 표현력을 평가하는 미래형 평가의 중요한 방향"이라며 "특히 시도교육청이 함께 시스템을 운영하면 평가 기준의 통일성과 채점 신뢰도를 높이는 데 도움이 될 것으로 기대하고 있다"라고 밝혔다.

한편 서울시교육청과 부산시교육청, 인천시교육청은 26일 부산에서 AI 서·논술형 평가지원시스템 공동 운영을 위한 업무협약을 체결할 예정이다.