[연구의 필요성]

기존 Reading Comprehension(RC) 문항 생성 연구는 문항을 자연스럽게 생성하는 데에는 성과를 보였지만, 목표 난이도에 맞게 세밀하게 제어하는 데에는 한계가 있었다. 특히 단일 프롬프트 기반 방식은 어휘 수준, 지문 길이, 문장 길이, 추론 복잡도와 같은 여러 feature constraint를 동시에 안정적으로 만족시키지 못하였고, 그 결과 생성된 문항이 의도한 난이도 수준에서 벗어나는 문제가 있었다. 따라서 여러 난이도 관련 특성을 함께 만족시키면서도 실제 난이도가 단계적으로 상승하도록 통제할 수 있는 새로운 생성 방식이 필요하였다.

[포스텍이 가진 고유의 기술]

본 연구는 MAFIG라는 멀티에이전트 기반 문항 생성 프레임워크를 제안하였다. MAFIG는 Drafter, Evaluator, Planner, Reworder, Editor, Refiner로 구성되며, 지문 생성과 선택지 생성의 두 단계를 거치면서 각 단계마다 생성–평가–수정 과정을 반복 수행하는 구조이다. 이를 통해 문항이 지정된 feature constraint를 엄격하게 만족하도록 유도한다. 또한 단순히 문항을 생성하는 데 그치지 않고, 실제 난이도가 점진적으로 증가하도록 8단계 difficulty-calibrated feature constraint sequence를 설계하였다. 즉, feature를 맞추는 기술과 난이도 상승 구조를 함께 제안한 점이 핵심이다.

[연구의 의미]

이 연구의 의미는 RC 문항 생성에서 난이도 제어를 추상적인 level 지시가 아니라, 해석 가능한 feature constraint의 정밀한 만족 문제로 구체화하였다는 점에 있다. 실험 결과 MAFIG는 baseline보다 훨씬 높은 constraint satisfaction과 difficulty alignment를 보였으며, 인간 평가에서도 인접 난이도 단계 간 차이를 가장 잘 드러냈다. 이는 “조건을 정확히 만족시키는 것이 실제 난이도 제어 성능으로 이어진다”는 점을 실증적으로 보여준 결과이다. 따라서 본 연구는 향후 자동 문항 생성 시스템이 단순히 문항을 만들어내는 수준을 넘어, 교육적 의도에 맞게 난이도까지 정교하게 설계할 수 있는 가능성을 제시한 연구라 할 수 있다.

[연구결과의 진행 상태 및 향후 계획]

본 연구는 ACL 2026에서 발표될 예정이다.

[성과와 관련된 실적]

Seonjeong Hwang, Jun Seo, Hyounghun Kim, Gary Geunbae Lee, A Multi-Agent Framework for Feature-Constrained Difficulty Control in Reading Comprehension Item Generation, ACL 2026

[성과와 관련된 이미지]