[연구의 필요성]
자동화된 에세이 채점 기술 (Automated Essay Scoring; AES)은 학습자의 작문 능력을 평가하고 피드백을 제공하는 중요한 기술로 자리 잡고 있다. 최근 연구들은 특정 문항(prompt)에 종속적인 평가에서 벗어나, 새로운 문항에서도 일반화가 가능한 교차 문항(cross-prompt) AES 시스템 구축에 집중하고 있다. 이는 실제 교육 환경에서 다양한 주제의 에세이를 효과적이고 일관되게 평가하기 위한 필수적인 발전이다. 하지만, 기존 방법들은 여전히 특정 문항의 에세이-점수 데이터를 기반으로 학습되기 때문에, 새로운 문항에 대한 일반화된 에세이 표현을 얻는 데 어려움이 있다. 특히, 문법 및 문장 유창성과 같은 비 문맥적(prompt-agnostic) 특성에서 낮은 성능을 보이는 한계가 존재한다. 이에 본 연구는 문법 오류 교정(Grammar Error Correction; GEC)을 활용한 문항 일반화 AES 모델을 제안하며, 원본 및 교정된 에세이를 비교 학습함으로써 보다 일반적인 작문 특성을 효과적으로 학습하도록 설계했다.

[포스텍이 가진 고유의 기술]
본 연구에서는 자동화된 에세이 채점 시스템의 문항 일반화 성능을 향상시키기 위해, 문법 오류 교정을 활용하여 원본과 교정된 에세이를 모델 내부적으로 비교하고 학습하는 문법 인식 기반 교차 문항 자동 에세이 채점 시스템(Grammar-aware Cross-Prompt Automated Essay Scoring; GAPS)을 제안한다. GAPS는 문법적으로 보정된 작문 텍스트를 효과적으로 활용하여 문항 독립적인(prompt-agnostic) 작문 특성을 직관적으로 포착할 수 있도록 설계되었으며, 원본 및 교정된 에세이 간의 정보 공유(Knowledge Sharing) 메커니즘을 도입하여 모델이 보다 일반화된 평가 기준을 학습하도록 유도한다. 이를 통해 기존 모델이 성능 저하를 보이던 문법(Conventions), 문장 유창성(Sentence Fluency) 등의 비 문맥적 특성뿐만 아니라, 내용(Content), 서사성(Narrativity) 등의 의미적 요소의 채점까지 개선하는 효과를 달성한다.

[연구의 의미]
제안된 방법은 교차 문항 환경에서 기존 문항 종속적 학습의 한계를 극복하기 위해, 문항 독립적인 문법적 요소를 모델이 내부적으로 포착하도록 설계하여 일반화 능력을 향상시켰다. 이를 통해 AES 모델이 새로운 문항에서도 일관된 성능을 유지할 수 있도록 하였으며, 문법 및 문장 유창성과 같은 비 문맥적 특성뿐만 아니라 내용 및 서사성과 같은 의미적 요소까지 균형 있게 평가할 수 있음을 실험적으로 검증하였다. 본 연구는 AI 기반 자동 평가 시스템의 확장성을 높이는 데 기여할 수 있으며, 향후 지능형 교육 시스템, 온라인 학습 플랫폼, 언어 평가 도구 등 다양한 응용 분야에서 실질적으로 활용될 가능성을 제시한다.

[연구결과의 진행 상태 및 향후 계획]
현재 본 연구에서는 GEC 성능에 대한 의존성을 따로 다루거나 최적화하지 않고, 보편적인 transformer 기반의 GEC 모델을 활용하였다. 하지만, 향후 다양한 GEC 모델을 최적화하여 도입하는 추가 연구를 통해 AES의 채점 품질을 더욱 향상시키고자 한다. 특히, GEC 모델의 품질이 AES 성능에 미치는 영향을 분석하고, GEC 품질이 낮거나 불완전한 경우에도 강건한 평가가 가능한지 검증할 계획이다. 또한, 현재 실험된 영어 데이터셋뿐만 아니라 다국어(Multilingual) 환경에서도 GAPS의 적용 가능성을 검토할 예정이다.

[성과와 관련된 실적]
본 연구는 자연어 처리 분야의 최우수 학회 NAACL 2025 Findings에 발표될 예정이다.

[성과와 관련된 이미지]