[곽수하 교수] Robust Promptable Video Object Segmentation

[연구의 필요성] 프롬프트 기반 영상 객체 분할(Promptable Video Object Segmentation, PVOS)은 사용자가 첫 프레임에서 점·박스·마스크 등으로 지정한 객체를 이후 모든 프레임에 걸쳐 자동으로 추적·분할하는 기술로, 자율주행, 로봇 비전, 영상 편집, 재난·국방 모니터링 등 다양한 응용 분야에서 핵심적인 역할을 한다. 최근 메타(Meta)가 공개한 SAM2(Segment Anything Model 2)는 PVOS 분야에서 인상적인 제로샷 성능을 보이며 주목받고 있으나, 본 연구에서 분석한 결과 SAM2를 비롯한 최신 모델들은 안개, 비, 눈, 야간, 모션 블러와 같이 실제 환경에서 흔히 발생하는 영상 손상(corruption) 상황에서 성능이 크게 저하되는 것으로 나타났다. 이는 안전이 필수인 자율주행·로봇 분야로의 실용화에 큰 걸림돌이 되어 왔다. 기존의 강건한(robust) 영상 분할 연구들은 대부분 정지 이미지에 초점이 맞춰져 있어, 시간에 따라 손상 강도가 변하고 같은 장면 안에서도 객체마다 손상 정도가 다른(예: 안개 속에서 멀리 있는 차량은 거의 보이지 않지만 가까운 보행자는 선명한) 비디오 특유의 복잡한 손상 패턴을 다루지 못한다는 한계가 있었다. 이에 따라 영상의 시간적 흐름과 객체별 손상 차이를 동시에 고려할 수 있는 새로운 방법론과, 이를 체계적으로 평가할 수 있는 벤치마크의 필요성이 대두되었다. [포스텍이 가진 고유의 기술] 본 연구에서는 악조건 영상에서의 프롬프트 기반 객체 분할(RobustPVOS)이라는 새로운 연구 문제를 정식으로 정의하고, 이를 위한 종합 벤치마크와 새로운 강건화 방법론을 함께 제안하였다. 먼저 벤치마크 측면에서, 실세계에서 촬영된 안개·눈·비·야간 영상 351개 클립(약 16,840프레임)에 2,543개의 객체 분할 마스크를 직접 정밀 주석하여 세계 최초의 RobustPVOS 평가 데이터셋을 구축하였으며, 학습용으로는 8종의 손상(노이즈·블러·안개·비·눈 등)을 시간에 따라 자연스럽게 변하도록 합성한 약 47,000여 클립(170만 프레임, 390만 객체 마스크) 규모의 대규모 데이터셋을 함께 공개하였다. 방법론 측면에서는 'MoGA(Memory-object-conditioned Gated-rank Adaptation, 기억-객체 조건부 게이트형 저차원 적응)'를 제안하였다. MoGA의 핵심 아이디어는 영상 분할 모델이 본래 가지고 있는 '객체 메모리(memory bank)'를 강건화의 신호로 재해석한 것이다. 영상 속에서 추적되는 각 객체에 대해 이전 프레임들의 정보를 누적해 저장하는 객체 포인터를 활용하여, 모델 내부의 미세한 보정 부품(rank-1 component)을 객체별로 다르게 선택적으로 활성화하도록 게이트(gate) 메커니즘을 학습시킨다. 이를 통해 같은 장면 안에 있는 객체라도 손상 정도에 따라 서로 다른 강건화 경로를 적용하면서도, 메모리에 누적된 정보를 통해 영상 전체에 걸쳐 일관된 분할 결과를 유지할 수 있다. [연구의 의미] 본 연구는 영상 객체 분할 모델의 강건성을 다루는 새로운 연구 영역을 개척했다는 점에서 중요한 의의를 갖는다. 특히 기존 강건화 연구들이 정지 이미지에만 초점이 맞춰져 있어 시간에 따라 변하는 손상과 객체별 손상 차이를 동시에 다루지 못했던 한계를 근본적으로 해결하였으며, 모델이 본래 가지고 있던 객체 메모리 자체를 강건화의 조건 신호로 재해석함으로써 영상 기반 인식 모델의 새로운 강건화 방향을 제시하였다. 또한 객체별로 차별화된 적응 경로를 적용하면서도 메모리를 통해 시간적 일관성을 유지하는 설계는 다중 객체가 등장하는 복잡한 실세계 영상에서 특히 효과적임을 입증하였다. 실험 결과, MoGA는 실세계 악조건 벤치마크(MVSeg-adv, ACDC-Video)와 합성 손상 벤치마크(YouTube-VOS-C) 모두에서 기존 SAM2 대비 일관된 성능 향상을 달성하였으며, 영상 복원 기반 방법(URIE, AirNet)이나 프레임 단위 강건화 방법(GaRA)보다 우수한 성능을 보였다. 특히 SAM2 전체 8,090만 개 파라미터 중 단 1.1M(약 1.4%)만 학습하고도 SAM2 전체 재학습(full fine-tuning) 대비 GPU 메모리 12% 절감과 동등 이상의 정확도를 달성하여, 학술적 가치뿐 아니라 산업 현장 적용 가능성도 입증하였다. 본 연구가 공개하는 벤치마크와 데이터셋은 향후 자율주행, 로봇 비전, 재난 현장 영상 분석 등으로 확장될 수 있는 중요한 기술적 토대를 제공한다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 컴퓨터비전 분야 최우수 국제학술대회 CVPR 2026에 게재 승인되었다. 향후에는 자율주행·로봇 등 실제 응용 도메인을 위한 강건성 확보, 이벤트 카메라·LiDAR 등 다중 센서 환경으로의 강건화 기술 확장, 그리고 Google 및 ETH Zürich와의 국제 공동연구를 지속 발전시킬 계획이다. [성과와 관련된 실적] Sohyun Lee, Yeho Gwon, Lukas Hoyer, Konrad Schindler, Christos Sakaridis, Suha Kwak, "Robust Promptable Video Object Segmentation", IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026. [성과와 관련된 이미지]

[곽수하 교수] Exploring State-Space Models for Data-Specific Neural Representations

[연구의 필요성] 생성형 AI, 영상 스트리밍, 메타버스 등 초대용량 시각 데이터 활용이 증가하면서, 데이터를 더 효율적으로 압축하고 복원할 수 있는 AI 기반 표현 기술의 중요성이 커지고 있다. 기존 신경망 기반 압축 기술은 데이터의 연속적인 구조를 충분히 반영하지 못하는 한계가 있었다. [포스텍이 가진 고유의 기술] 연구팀은 최근 주목받는 상태공간모델(SSM)을 시각 데이터 압축 문제에 처음으로 접목하고, 이를 다차원 데이터에 적용 가능한 구조인 S3K(Structured State-Space Kernel)로 확장했다. 특히 라플라시안 피라미드 기반 LPNet-S3K 구조를 통해 이미지·동영상·3차원 데이터 압축 성능을 동시에 향상시켰다. [연구의 의미] 이번 연구는 상태공간모델이 단순한 시퀀스 처리 모델을 넘어 데이터 압축과 연속 신호 표현에도 효과적으로 활용될 수 있음을 처음으로 체계적으로 제시했다는 데 의미가 있다. 또한 기존 CNN·Transformer 중심의 압축 구조와 차별화된 새로운 AI 압축 패러다임을 제안했다. [연구결과의 진행 상태 및 향후 계획] 현재 이미지·동영상·3차원 데이터셋에서 기존 최신 기법 대비 우수한 복원 성능을 검증했으며, 국제학회 ICLR 2026에 채택됐다. 향후에는 연산 효율 최적화와 전용 디코더 개발을 통해 실제 영상 스트리밍 및 생성형 AI 시스템에 적용 가능한 방향으로 연구를 확장할 계획이다. [성과와 관련된 실적] - ICLR 2026 논문 채택 - Kodak, CLIC2020, UVG, DAVIS, Objaverse 등 다양한 벤치마크에서 성능 검증 - 기존 NeRV 계열 모델 대비 높은 영상 복원 성능 및 압축 효율 달성 [요약] 본 연구는 생성형 AI 시대에서 중요성이 커지는 ‘효율적 데이터 표현’ 문제를 다루고 있으며, 향후 AI 영상 압축, 실시간 스트리밍, 메타버스 및 멀티모달 AI 시스템 등 다양한 산업 분야로의 확장 가능성이 높다. [성과와 관련된 이미지]

[이근배 교수] Difficulty-Controllable Cloze Question Distractor Generation

[연구의 필요성] 객관식 빈칸(cloze) 문제는 영어 독해 및 언어 이해 능력을 평가하는 데 널리 사용되지만, 학습자의 수준에 맞는 오답 선택지(distractor)를 자동 생성하는 것은 여전히 어려운 문제이다. 기존 자동 생성 방식은 정답과 지나치게 유사하거나, 반대로 너무 쉬운 선택지를 생성하는 경우가 많아 문제 난이도를 정교하게 제어하기 어렵다. 특히 개인화 학습 환경에서는 학습자의 수준에 따라 다양한 난이도의 문제를 제공하는 것이 중요하지만, 기존 방법은 난이도 조절 기능이 제한적이며, 난이도 정보가 포함된 학습 데이터셋 또한 부족하다. 따라서 별도의 수작업 없이도 난이도를 조절하며 자연스럽고 교육적으로 적절한 distractor를 생성할 수 있는 기술이 요구된다. [포스텍이 가진 고유의 기술] 본 연구에서는 distractor 생성 난이도를 제어하기 위해 정보 제한(Information Restriction) 기반 생성 기법과 멀티태스크 학습 전략을 결합한 새로운 프레임워크를 제안하였다. 특히 정답 생성 모델(answer generator)의 attention score를 활용하여 문맥에서 중요한 단어를 선택적으로 제거하고, 제거 비율에 따라 다양한 난이도의 distractor를 생성하는 방식이 핵심이다. 높은 attention을 가진 정보를 제거할수록 더 다양하고 어려운 distractor가 생성되며, 이를 통해 난이도를 유연하게 제어할 수 있다. 또한 여러 QA 모델의 ensemble과 Box-Cox 정규화를 활용하여 distractor의 난이도를 자동 분류하였고, 생성 모델은 hard/easy 난이도를 동시에 학습하는 multitask learning 구조를 통해 정답과 distractor의 차이를 보다 정교하게 이해하도록 설계되었다. 이 과정은 별도의 대규모 추가 데이터 구축 없이 기존 데이터셋을 자동 증강하여 활용 가능하다는 점에서 차별성을 가진다. [연구의 의미] 본 연구는 difficulty-controllable distractor generation 문제를 해결하기 위해, 난이도를 자동 조절할 수 있는 distractor 생성 프레임워크를 제안하였다. 제안한 방법은 기존 CLOTH 데이터셋의 distractor 수를 평균 3개에서 12개 이상으로 확장하였으며, easy/hard 난이도를 명확히 구분할 수 있는 데이터셋을 구축하였다. 또한 실험 결과, 제안 모델은 GPT-4o보다 distractor 난이도 제어 성능에서 우수한 결과를 보였으며, hard distractor 생성 정확도는 최대 73.25%, easy distractor 생성 정확도는 64.23%를 기록하였다. 인간 평가에서도 생성된 hard distractor가 실제 학습자에게 더 높은 혼동 효과를 유발함을 확인하였다. 이는 생성형 AI를 활용한 적응형 교육 시스템(adaptive learning) 구축 가능성을 보여주는 중요한 성과이며, 향후 개인 맞춤형 문제 생성 및 자동 평가 시스템에 폭넓게 활용될 수 있다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 ACL 2026에 채택되었으며, 현재 distractor 생성 데이터셋과 학습 모델 모두 공개되어 후속 연구에 활용 가능하도록 제공되고 있다. 또한 Gemma 2 9B 기반뿐 아니라 다양한 소형 언어 모델(sLLMs)에서도 성능 검증을 완료하였다. 향후 연구진은 continuous difficulty control과 같은 보다 세밀한 난이도 조절 기법을 추가하고, 영어 교육 외 다양한 도메인 및 문제 유형으로 확장하여 범용적인 교육용 생성 AI 시스템으로 발전시킬 계획이다. 또한 실제 학습자 반응 데이터를 활용한 적응형 난이도 최적화 연구도 진행할 예정이다. [성과와 관련된 실적] ACL 2026 Main Conference Seokhoon Kang, Yejin Jeon, Seonjeong Hwang, Gary Geunbae Lee [성과와 관련된 이미지]

[이근배/김형훈 교수] Mixture-of-Experts with Intermediate CTC Supervision for Accented Speech Recognition

[연구의 필요성] 현재 음성인식 시스템은 주로 소수의 고자원 발화 데이터에 기반해 학습되기 때문에, 다양한 억양을 가진 화자에 대해서는 성능 저하가 크게 발생한다. 특히 강한 비원어민 억양이나 학습에 포함되지 않은 새로운 억양에서는 인식 오류가 더욱 두드러지며, 이는 실제 서비스 환경에서 접근성과 공정성 문제로 이어진다. 논문에서도 기존 accent-agnostic 방식은 일반적 강건성은 높이지만 강한 억양이나 unseen accent에 한계가 있고, accent-specific 방식은 성능은 좋지만 추론 시 accent label이 필요해 확장성이 떨어진다고 지적한다. [포스텍이 가진 고유의 기술] 음성인식 모델 구조와 학습 방법을 함께 설계하여, 전문화(specialization) 와 일반화(generalization)를 동시에 달성하는 MOE-CTC를 제안했다. 이 방법은 FastConformer 기반 ASR에 sequence-level Mixture-of-Experts를 삽입하고, 각 expert에 intermediate CTC supervision을 부여해 단순히 억양을 구분하는 것이 아니라 실제 전사 품질이 좋은 expert로 라우팅되도록 학습한다. 또한 학습 초반에는 accent-aware routing으로 expert specialization을 유도하고, 이후 accent-agnostic training으로 전환하여 추론 시 accent label 없이도 unseen accent까지 대응 가능한 구조를 구현했다. [연구의 의미] 본 연구는 단순히 특정 억양에 맞춘 적응 모델이 아니라, 보지 못한 새로운 억양까지 일반화 가능한 ASR 구조를 제시했다는 점에서 의미가 크다. MCV-ACCENT 벤치마크에서 MOE-CTC는 모든 모델 크기 설정에서 기존 FastConformer 및 관련 MoE 변형보다 더 낮은 WER를 기록했으며, 특히 seen accent에서는 최대 29.3%, unseen accent에서는 최대 27.8%의 상대적 WER 감소를 달성했다. 이는 expert routing을 단순한 분류가 아니라 전사 품질과 직접 연결했을 때, 실제 음성인식 성능 개선으로 이어질 수 있음을 보여준다 [연구결과의 진행 상태 및 향후 계획] 본 연구는 ACL 2026에서 발표될 예정이다. [성과와 관련된 실적] ACL 2026 Main Conference Wonjun Lee, Hyounghun Kim, Gary Guenbae Lee / Mixture-of-Experts with Intermediate CTC Supervision for Accented Speech Recognition [성과와 관련된 이미지]

[이근배/김형훈 교수] A Multi-Agent Framework for Feature-Constrained Difficulty Control in Reading Comprehension Item Generation

[연구의 필요성] 기존 Reading Comprehension(RC) 문항 생성 연구는 문항을 자연스럽게 생성하는 데에는 성과를 보였지만, 목표 난이도에 맞게 세밀하게 제어하는 데에는 한계가 있었다. 특히 단일 프롬프트 기반 방식은 어휘 수준, 지문 길이, 문장 길이, 추론 복잡도와 같은 여러 feature constraint를 동시에 안정적으로 만족시키지 못하였고, 그 결과 생성된 문항이 의도한 난이도 수준에서 벗어나는 문제가 있었다. 따라서 여러 난이도 관련 특성을 함께 만족시키면서도 실제 난이도가 단계적으로 상승하도록 통제할 수 있는 새로운 생성 방식이 필요하였다. [포스텍이 가진 고유의 기술] 본 연구는 MAFIG라는 멀티에이전트 기반 문항 생성 프레임워크를 제안하였다. MAFIG는 Drafter, Evaluator, Planner, Reworder, Editor, Refiner로 구성되며, 지문 생성과 선택지 생성의 두 단계를 거치면서 각 단계마다 생성–평가–수정 과정을 반복 수행하는 구조이다. 이를 통해 문항이 지정된 feature constraint를 엄격하게 만족하도록 유도한다. 또한 단순히 문항을 생성하는 데 그치지 않고, 실제 난이도가 점진적으로 증가하도록 8단계 difficulty-calibrated feature constraint sequence를 설계하였다. 즉, feature를 맞추는 기술과 난이도 상승 구조를 함께 제안한 점이 핵심이다. [연구의 의미] 이 연구의 의미는 RC 문항 생성에서 난이도 제어를 추상적인 level 지시가 아니라, 해석 가능한 feature constraint의 정밀한 만족 문제로 구체화하였다는 점에 있다. 실험 결과 MAFIG는 baseline보다 훨씬 높은 constraint satisfaction과 difficulty alignment를 보였으며, 인간 평가에서도 인접 난이도 단계 간 차이를 가장 잘 드러냈다. 이는 “조건을 정확히 만족시키는 것이 실제 난이도 제어 성능으로 이어진다”는 점을 실증적으로 보여준 결과이다. 따라서 본 연구는 향후 자동 문항 생성 시스템이 단순히 문항을 만들어내는 수준을 넘어, 교육적 의도에 맞게 난이도까지 정교하게 설계할 수 있는 가능성을 제시한 연구라 할 수 있다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 ACL 2026에서 발표될 예정이다. [성과와 관련된 실적] Seonjeong Hwang, Jun Seo, Hyounghun Kim, Gary Geunbae Lee, A Multi-Agent Framework for Feature-Constrained Difficulty Control in Reading Comprehension Item Generation, ACL 2026 [성과와 관련된 이미지]

[이근배/김형훈 교수] Can LLMs Estimate Cognitive Complexity of Reading Comprehension Items?

[연구의 필요성] Reading Comprehension(RC) 문항의 난이도를 사전에 추정하는 것은 적절한 학습 자료 제공과 균형 잡힌 평가 문항 구성을 위해 중요하다. 그러나 기존의 난이도 추정은 대개 시험 시행 후 학습자 응답을 바탕으로 하는 CTT나 IRT에 의존해, 문항 개발 단계에서의 사전 분석에는 한계가 있다. 대안으로 전문가 판단이 활용되지만 비용과 시간이 많이 들고 평가자 간 편차도 존재한다. 또 기존 NLP 기반 접근은 문장 길이, 어휘 친숙도, 의미 유사도 같은 표면적 특성은 다룰 수 있어도, 실제 정답 판단 과정에서 요구되는 인지적 부담은 충분히 포착하지 못한다. 이 논문은 RC 문항의 난이도를 설명하는 핵심 요인으로 Evidence Scope와 Transformation Level에 주목하며, 이러한 인지적 특성들이 기존 도구로 자동 추출하기 어려워 지금까지는 인간 주석에 의존해 왔다고 지적한다. 따라서 확장 가능하고 자동화된 방식으로 RC 문항의 인지적 복잡도를 측정할 수 있는 새로운 방법으로서 LLM의 활용 가능성을 탐색한다. [포스텍이 가진 고유의 기술] 본 연구에서느 LLM이 RC 문항의 인지적 복잡도를 추정할 수 있는지 체계적으로 검증했다. 이를 위해 두 가지 인지 차원인 Evidence Scope와 Transformation Level을 정의하고, 해당 기준으로 776개의 RC 문항을 전문가가 직접 주석한 ReCo 벤치마크를 구축했다. Evidence Scope는 정답 판단에 필요한 근거가 단일 문장인지, 여러 문장인지, 혹은 근거가 불충분한지를 구분하며, Transformation Level은 근거 문장과 진술문 사이의 변형 정도를 word matching, paraphrasing, inference 등으로 세분화했다. GPT-4o를 포함한 8개의 instruction-tuned LLM을 대상으로 zero-shot, one-shot, few-shot, CoT, self-consistency 등 다양한 설정에서 실험하여, LLM이 인간의 인지적 판단을 어느 정도 근사할 수 있음을 보였으며, 특히 일부 오픈소스 모델(Qwen2.5-32B, Mistral-24B)은 특정 설정에서 GPT-4o와 비슷하거나 더 나은 성능을 보였다. 또한 단순한 정답 예측을 넘어, falsifiability judgment, evidence sentence counting, paraphrasing detection, phrase reordering detection 같은 세부 하위 과제를 통해 모델의 강점과 한계를 분석했다. [연구의 의미] 이 연구는 RC 문항 난이도 분석을 단순한 표면 언어 특성이나 정답률 예측이 아니라, 문제 해결 과정에서 요구되는 인지적 복잡도를 중심으로 접근했다는 점에서 의미가 크다. 실험 결과 LLM은 Evidence Scope 분류에서 최고 Macro F1 74.8, 3-level Transformation Level 분류에서 최고 82.0을 기록해, 전문가 수준에는 못 미치지만 인지 복잡도 추정 도구로서 충분한 가능성을 보여주었다. 동시에 연구는 LLM이 정답은 맞히더라도 자신이 실제로 어떤 근거 문장을 사용했는지, 혹은 문장 재배열 같은 미세한 구조 변형을 제대로 인식하지 못하는 경우가 많다는 점도 밝혔다. 이는 향후 문항 난이도 추정, 난이도 제어형 문항 생성, 교육용 NLP 시스템의 해석 가능성 향상에 중요한 기반이 될 수 있다. 또한 일부 오픈소스 모델이 상용 모델에 필적하는 성능을 보였다는 점은, 교육 평가 분야에서 보다 접근 가능한 분석 도구 개발 가능성을 시사한다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 ACL 2026에서 발표될 예정이다. [성과와 관련된 실적] Seonjeong Hwang, Hyounghun Kim, Gary Geunbae Lee, Can LLMs Estimate Cognitive Complexity of Reading Comprehension Items?, ACL 2026 [성과와 관련된 이미지]

[옥정슬/이근배 교수] Adaptive Planning for Multi-Attribute Controllable Summarization with Monte Carlo Tree Search

[연구의 필요성] 본 연구는 다중 속성 제어 요약(multi-attribute controllable summarization)의 한계를 해결하기 위한 필요성에서 출발합니다. 기존의 요약 모델들은 길이, 주제, 화자, 구체성 등 다양한 속성을 동시에 만족시키는 데 어려움을 보이며, 특히 속성 간 상호 의존성으로 인해 하나의 속성을 개선하면 다른 속성이 저하되는 문제가 발생하였습니다. 또한 기존 접근 방식은 속성별로 개별적인 파인튜닝을 요구하는 경우가 많아 새로운 속성 조합이나 다양한 사용자 요구에 유연하게 대응하기 어렵습니다. 이러한 한계는 실제 응용 환경에서 요구되는 복합적인 조건을 충족하는 요약 생성에 큰 제약이 되며, 따라서 추가 학습 없이도 여러 속성을 동시에 효과적으로 제어할 수 있는 새로운 방법론의 필요성이 제기되었습니다. [포스텍이 가진 고유의 기술] 본 연구에서는 이러한 문제를 해결하기 위해 PACO라는 프레임워크를 제안하였으며, 이는 요약 생성 문제를 순차적 계획(planning) 문제로 재정의합니다. PACO는 Monte Carlo Tree Search(MCTS)를 활용하여 다양한 속성 제어 순서를 탐색하고, 각 단계에서 필요한 속성만 선택적으로 조정함으로써 점진적으로 최적의 요약을 생성합니다. 이 과정에서 각 노드는 하나의 완성된 요약을 의미하며, 각 행동은 특정 속성을 조정하는 것을 의미합니다. 또한 본 방법은 별도의 추가 학습 없이 기존 대형 언어모델을 그대로 활용하는 training-free 방식으로 설계되어 높은 실용성과 확장성을 가집니다. 더불어 속성을 deterministic과 non-deterministic으로 구분하고 이에 맞는 보상 함수를 설계함으로써 보다 정교한 속성 제어를 가능하게 합니다. [연구의 의미] 기존에는 요약을 단일 단계의 생성 문제로 접근했다면, 본 연구는 이를 순차적 의사결정 문제로 재해석하여 계획 기반 접근을 도입하였습니다. 이를 통해 다중 속성 제어라는 복잡한 문제를 체계적으로 해결할 수 있는 기반을 마련하였습니다. 또한, 소형 모델에서도 대형 모델에 준하는 성능을 달성할 수 있음을 보여주어 효율적인 모델 활용 가능성을 제시하였으며, 다양한 데이터셋과 모델에서 일관된 성능 향상을 보임으로써 방법의 일반화 가능성 또한 입증하였습니다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 ACL 2026에 채택되어 발표 예정입니다. [성과와 관련된 실적] Sangwon Ryu, Heejin Do, Yunsu Kim, Gary Geunbae Lee, Jungseul Ok, Adaptive Planning for Multi-Attribute Controllable Summarization with Monte Carlo Tree Search, ACL 2026 [성과와 관련된 이미지]

[이근배 교수] Merging Triggers, Breaking Backdoors: Defensive Poisoning for Instruction-Tuned Language Models

[연구의 필요성] 대규모 언어모델(LLM)은 instruction tuning을 통해 높은 성능을 보이지만, 학습 데이터에 소량의 trigger–behavior pair가 삽입되는 backdoor attack에 취약하다. 이러한 공격은 정상 입력에서는 드러나지 않아 탐지와 방어가 어렵다. 특히 기존 방어 기법은 분류 모델 중심이거나 공격자의 트리거 및 악성 행동에 대한 사전 지식을 요구하는 경우가 많아, 생성형 instruction-tuned LLM에 적용하기에 한계가 있다. 따라서 공격 패턴을 미리 알지 못해도 다양한 backdoor threat를 효과적으로 완화할 수 있는 일반적이고 데이터 효율적인 방어 기술이 필요하다. [포스텍이 가진 고유의 기술] 본 연구는 instruction-tuned LLM을 위한 2단계 backdoor 방어 프레임워크 MB-Defense를 제안한다. 첫 단계인 Defensive Poisoning은 방어자가 설계한 소수의 defensive trigger를 주입해 공격자와 방어자 trigger가 하나의 공통 backdoor representation으로 수렴하도록 유도한다. 두 번째 단계인 Backdoor Neutralization은 소량의 clean sample만으로 trigger가 포함된 입력에서도 정상 응답을 생성하도록 모델을 재학습시킨다. 이 방법은 공격자의 구체적인 trigger나 target behavior를 알 필요가 없으며, 적은 clean data로도 효과적인 방어가 가능하다. 또한 shared subspace 형성, poisoned attention head 감소, 모델 규모별 취약성 차이 등을 분석해 backdoor 메커니즘까지 해석했다. [연구의 의미] 본 연구는 생성형 LLM의 backdoor defense를 본격적으로 다루며, 단순 탐지나 정제를 넘어 backdoor representation 자체를 형성한 뒤 이를 붕괴시키는 새로운 방어 관점을 제시한다. 실험 결과 MB-Defense는 다양한 공격 환경에서 attack success rate를 크게 낮추면서도 instruction-following 성능을 안정적으로 유지했다. 이는 실제 서비스 환경에서 instruction-tuned LLM의 안전성과 신뢰성을 높이는 데 기여할 수 있으며, 향후 안전한 LLM 학습 및 방어 기술 개발의 중요한 기반이 된다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 ACL 2026 main conference에 채택되어 발표 예정이다. 향후에는 보다 정교하고 자연스러운 defensive trigger를 설계하고, 복수의 공격자와 복수 trigger가 존재하는 현실적 환경으로 방어 프레임워크를 확장할 계획이다. 또한 다양한 생성형 모델과 실제 서비스형 LLM에 적용 가능한 범용 backdoor defense 기술로 발전시키고자 한다. [성과와 관련된 실적] San Kim, Gary Geunbae Lee, Merging Triggers, Breaking Backdoors: Defensive Poisoning for Instruction-Tuned Language Models, ACL 2026 [성과와 관련된 이미지]

[이근배/김형훈 교수] Why Do Multilingual Reasoning Gaps Emerge in Reasoning Language Models?

[연구의 필요성] 최근 reasoning language model(RLM)은 복잡한 추론 문제에서 뛰어난 성능을 보이고 있으나, 영어와 같은 고자원 언어에서는 높은 성능을 보이는 반면 스와힐리어, 텔루구어 등 저자원 언어에서는 성능이 크게 저하되는 multilingual reasoning gap 문제가 존재한다. 기존 연구들은 이러한 성능 격차를 줄이기 위한 다양한 방법을 제시해왔으나, 해당 격차가 왜 발생하는지에 대한 근본적인 원인은 충분히 분석되지 않았다. 이러한 원인을 규명하는 것은 다양한 언어 사용자에게 공평한 AI 서비스를 제공하기 위해 필수적이다. [포스텍이 가진 고유의 기술] 본 연구에서는 RLM의 다국어 추론 과정을 이해(understanding), 추론(reasoning), 생성(generation)의 세 단계로 나누어 분석하는 stage-wise attribution framework를 제안하였다. 이를 통해 multilingual reasoning gap의 주요 원인이 입력을 올바르게 이해하지 못하는 understanding failure에 있음을 최초로 규명하였다. 또한, reasoning trace 내의 신호를 활용하여 이러한 이해 실패를 자동으로 탐지할 수 있음을 보였으며, 이를 기반으로 필요한 경우에만 입력을 영어로 번역하는 Selective Translation 기법을 제안하였다. 이 방법은 전체 입력 중 약 20%만 번역하면서도 전체 번역(full translation)에 근접한 성능을 달성하여 효율성과 성능을 동시에 확보하였다. [연구의 의미] 본 연구는 multilingual reasoning gap의 원인을 체계적으로 분석하여, 단순한 성능 개선이 아닌 문제의 근본적인 원인을 규명했다는 점에서 의미가 있다. 특히, 이해 실패가 주요 원인임을 밝힘으로써 향후 multilingual reasoning 모델 설계 방향에 중요한 통찰을 제공한다. 또한 Selective Translation은 비용 효율적으로 성능을 개선할 수 있는 실용적인 방법으로, 다양한 다국어 AI 시스템에 적용 가능하다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 ACL 2026 Findings에 게재될 예정이다. 향후에는 understanding failure를 모델 내부에서 직접 인식하고, 필요 시 번역을 수행하도록 학습하는 방향으로 확장하여 보다 효율적인 multilingual reasoning 모델을 개발할 계획이다. [성과와 관련된 실적] Deokhyung Kang, Seonjeong Hwang, Daehui Kim, Hyounghun Kim, Gary Geunbae Lee, Why Do Multilingual Reasoning Gaps Emerge in Reasoning Language Models?, Findings of ACL 2026 [성과와 관련된 이미지] [그림1] Attribution Analysis 방법론 [그림2] Attribution Analysis 결과