[연구의 필요성]

객관식 빈칸(cloze) 문제는 영어 독해 및 언어 이해 능력을 평가하는 데 널리 사용되지만, 학습자의 수준에 맞는 오답 선택지(distractor)를 자동 생성하는 것은 여전히 어려운 문제이다. 기존 자동 생성 방식은 정답과 지나치게 유사하거나, 반대로 너무 쉬운 선택지를 생성하는 경우가 많아 문제 난이도를 정교하게 제어하기 어렵다. 특히 개인화 학습 환경에서는 학습자의 수준에 따라 다양한 난이도의 문제를 제공하는 것이 중요하지만, 기존 방법은 난이도 조절 기능이 제한적이며, 난이도 정보가 포함된 학습 데이터셋 또한 부족하다. 따라서 별도의 수작업 없이도 난이도를 조절하며 자연스럽고 교육적으로 적절한 distractor를 생성할 수 있는 기술이 요구된다.

[포스텍이 가진 고유의 기술]

본 연구에서는 distractor 생성 난이도를 제어하기 위해 정보 제한(Information Restriction) 기반 생성 기법과 멀티태스크 학습 전략을 결합한 새로운 프레임워크를 제안하였다. 특히 정답 생성 모델(answer generator)의 attention score를 활용하여 문맥에서 중요한 단어를 선택적으로 제거하고, 제거 비율에 따라 다양한 난이도의 distractor를 생성하는 방식이 핵심이다. 높은 attention을 가진 정보를 제거할수록 더 다양하고 어려운 distractor가 생성되며, 이를 통해 난이도를 유연하게 제어할 수 있다. 또한 여러 QA 모델의 ensemble과 Box-Cox 정규화를 활용하여 distractor의 난이도를 자동 분류하였고, 생성 모델은 hard/easy 난이도를 동시에 학습하는 multitask learning 구조를 통해 정답과 distractor의 차이를 보다 정교하게 이해하도록 설계되었다. 이 과정은 별도의 대규모 추가 데이터 구축 없이 기존 데이터셋을 자동 증강하여 활용 가능하다는 점에서 차별성을 가진다.

[연구의 의미]

본 연구는 difficulty-controllable distractor generation 문제를 해결하기 위해, 난이도를 자동 조절할 수 있는 distractor 생성 프레임워크를 제안하였다. 제안한 방법은 기존 CLOTH 데이터셋의 distractor 수를 평균 3개에서 12개 이상으로 확장하였으며, easy/hard 난이도를 명확히 구분할 수 있는 데이터셋을 구축하였다. 또한 실험 결과, 제안 모델은 GPT-4o보다 distractor 난이도 제어 성능에서 우수한 결과를 보였으며, hard distractor 생성 정확도는 최대 73.25%, easy distractor 생성 정확도는 64.23%를 기록하였다. 인간 평가에서도 생성된 hard distractor가 실제 학습자에게 더 높은 혼동 효과를 유발함을 확인하였다. 이는 생성형 AI를 활용한 적응형 교육 시스템(adaptive learning) 구축 가능성을 보여주는 중요한 성과이며, 향후 개인 맞춤형 문제 생성 및 자동 평가 시스템에 폭넓게 활용될 수 있다.

[연구결과의 진행 상태 및 향후 계획]

본 연구는 ACL 2026에 채택되었으며, 현재 distractor 생성 데이터셋과 학습 모델 모두 공개되어 후속 연구에 활용 가능하도록 제공되고 있다. 또한 Gemma 2 9B 기반뿐 아니라 다양한 소형 언어 모델(sLLMs)에서도 성능 검증을 완료하였다. 향후 연구진은 continuous difficulty control과 같은 보다 세밀한 난이도 조절 기법을 추가하고, 영어 교육 외 다양한 도메인 및 문제 유형으로 확장하여 범용적인 교육용 생성 AI 시스템으로 발전시킬 계획이다. 또한 실제 학습자 반응 데이터를 활용한 적응형 난이도 최적화 연구도 진행할 예정이다.

[성과와 관련된 실적]

ACL 2026 Main Conference

 Seokhoon Kang, Yejin Jeon, Seonjeong Hwang, Gary Geunbae Lee 

[성과와 관련된 이미지]