Research · 김길재
서·논술형 자동채점과
문항 자동 생성 연구
엠에이치리서치는 연구 책임자 김길재를 중심으로 서·논술형 채점의 자동화와 수능형 문항 자동 생성을 연구합니다.
연구 결과는 KCI 논문과 공공기관 프로젝트로 이어졌습니다.
01서·논술형 자동채점
사람 채점자와 얼마나 일치하는지가 기준입니다
자동채점은 평균 일치도가 아니라 문항별, 점수대별 일치도로 도입 여부를 가립니다.
한국교육과정평가원 자동채점 AI 지원 프로그램 개발·개선과 KCI 논문이 이 원칙 위에 있습니다.
-
01
서·논술형 자동채점 AI 지원 프로그램 개발·개선
한국교육과정평가원 · 2025.
문항별 일치도 검증으로 도입 가능 문항을 가립니다. -
02
생성형 AI 자동채점과 피드백의 신뢰도 검증
청람어문교육 · 2025.
생성형 AI 채점이 사람 채점과 어디서 어긋나는지 검증했습니다. -
03
채점자질을 활용한 인공지능 기반 글쓰기 자동채점 방안 탐색
청람어문교육 · 2023.
채점자가 실제로 보는 자질을 모형에 넣는 설계를 제안했습니다. -
04
서·논술형 자동채점의 도입 가능성 판정 기준
인사이트.
문항별·점수대별 일치도로 도입 여부를 판정하는 절차입니다.
02수능형 문항 자동 생성
문항을 만들게 하는 것보다 걸러내는 기준이 어렵습니다
수능형 국어 문항을 생성형 AI로 만들 때 작은 규모의 미세조정이 어디까지 품질을 올리는지, 어디서 한계가 오는지를 단계별로 분석했습니다.
생성 문항의 검토 기준과 데이터 증강 방법도 함께 다룹니다.
03채점자 훈련 · 채점 신뢰도
자동채점 전에 사람 채점의 흔들림을 잽니다
채점자의 엄격성과 일관성을 다국면 Rasch 모형으로 진단하고, 기준 채점과 비교하며 연습하는 채점자 훈련 서비스를 개발했습니다.
같은 방법이 라벨링 기준의 품질 관리에도 쓰입니다.
자동채점이나 문항 생성을
검토하고 있다면
문항과 답안 자료의 형태만 알려 주시면 어떤 검증이 필요한지, 어느 단계부터 가능한지 검토해 답장드립니다.
검토 및 견적 비용은 발생하지 않습니다.