[연구의 필요성]
최근 수 년간 기계 번역 (machine translation) 시스템들의 성능이 지속적으로 향상되면서, 기계 번역 결과를 개선하기 위해 개발된 자동 포스트에디팅 (automatic postediting) 시스템들은 일정 품질 이상의 고품질 기계 번역 결과는 더이상 고치지 못하는 한계에 봉착했다. 이러한 딥 러닝 기반의 자동 포스트에디팅 (APE) 모델의 성능을 개선하기 위해서는 포스트에디팅을 수행할 언어의 문법을 모델에 주입할 필요가 있는데, 현재까지 언어학적 지식을 딥 러닝 모델에 주입하는 방법은 구문 분석 등을 위한 학습 데이터를 활용하는 데에 한정되어 있었으며 설득력 있는 이론이 아니라 개별 연구자의 직관적 발상과 자의적 가설에 기초한 것이었다.

[포스텍이 가진 고유의 기술]
본 연구는 독어학 (german linguistics) 분야에서 오랜 기간 연구되어 온 이론인 Feldermodell을 딥 러닝 모델에 내재된 셀프 어텐션 (self-attention) 확률 분포와 연결지어 재해석한다. 구체적으로는 딥 러닝 모델의 셀프 어텐션 확률 분포의 왜도(skewness)를 최대화하는 정칙화(regularization) 함수를 제안하며, 그 결과로서 기존 최고 성능의 APE 모델을 더욱 개선할 수 있음을 실험을 통해 확인할 수 있었다.

[연구의 의미]
본 연구는 고품질 기계 번역 결과의 APE라는 어려운 과제에 있어서 기존 최고 성능의 APE 모델을 개선했다는 점에서 일차적인 의의가 있고, 또한, 언어학적인 지식을 수학적으로 해석하여 딥 러닝 모델의 심층부에 반영하는 새로운 관점을 제시했다는 데에서 보다 일반적인 의의가 있다.

[연구결과의 진행 상태 및 향후 계획]
본 연구는 자연어 처리 분야의 최우수 학회인 ACL 2023에서 발표될 예정이다. 향후 이를 확장하여 기계 번역, 다언어 APE 등 관련 연구 분야에 폭넓게 응용할 계획이다.

[성과와 관련된 실적]
Baikjin Jung, Myungji Lee, Jong-Hyeok Lee, and Yunsu Kim. Bring More Attention to Syntactic Symmetry for Automatic Postediting of High-Quality Machine Translations. 2023. In ACL 2023, Toronto, Canada. Association for Computational Linguistics.

[성과와 관련된 이미지]