[연구의 필요성]

• 대규모 언어모델(LLM)은 방대한 데이터를 학습하는 과정에서 개인정보, 저작권 보호 데이터, 유해하거나 민감한 지식까지 기억할 수 있다. 이러한 정보가 학습 이후 삭제되어야 할 경우 모델 전체를 처음부터 다시 학습하는 것은 막대한 비용이 필요하기 때문에, 특정 데이터의 영향을 선택적으로 제거하는 머신 언러닝(Machine Unlearning) 기술의 중요성이 커지고 있다. 그러나 기존 언러닝 방법은 일반적으로 삭제 대상 지식을 제거하는 forgetting과 기존 모델의 유용한 능력을 보존하는 retention을 하나의 가중 목적함수로 최적화한다. 이 과정에서 두 목표 사이의 적절한 균형을 찾기 위한 하이퍼파라미터 조정이 필요하며, 필요 이상의 지식까지 손상되는 과도한 망각(over-forgetting)이 발생할 수 있다. 이에 따라 목표하는 수준의 지식은 충분히 제거하면서 나머지 모델 성능은 최대한 보존할 수 있는 방법이 필요하다.

[포스텍이 가진 고유의 기술]

• 본 연구는 LLM 언러닝에서 forgetting과 retention 사이의 균형을 보다 명시적으로 제어하기 위해 SAUL(Sharpness-Aware Augmented-Lagrangian Unlearning)을 제안한다. 기존의 가중 목적함수 방식과 달리, SAUL은 목표로 하는 망각 수준을 명시적인 제약조건으로 설정하고 모델의 유용성을 최대한 보존하면서 해당 조건을 만족하도록 언러닝 문제를 구성한다. 이를 위해 Augmented Lagrangian 기법을 적용하여 목표 망각 수준에 도달하지 못한 경우에는 forgetting에 대한 최적화 압력을 높이고, 목표가 충족된 이후에는 불필요한 forgetting 업데이트를 감소시킨다. 또한 Sharpness-Aware Minimization과 forgetting 및 retention을 위한 분리된 optimizer state를 결합하여, 모델 파라미터의 변화에도 안정적인 언러닝이 이루어질 수 있도록 설계하였다.
  

[연구의 의미]

• 본 연구는 LLM 언러닝을 단순히 삭제 대상 지식을 최대한 많이 제거하는 문제가 아니라, 요구되는 수준의 forgetting을 만족하면서 기존 모델의 유용성을 최대한 보존하는 제약 최적화 문제로 정의하였다. 이를 통해 목표 망각 수준에 도달한 이후에도 지속적인 forgetting으로 인해 모델 성능이 불필요하게 저하되는 문제를 완화할 수 있다. 다양한 LLM 언러닝 벤치마크에서 평가한 결과, SAUL은 기존 방법들과 유사한 수준의 forgetting을 달성하면서도 높은 모델 유용성을 유지하는 성능을 보였다. 이는 개인정보, 저작권 보호 데이터, 유해 지식 등 특정 정보의 제거가 요구되는 상황에서 필요한 수준의 forgetting을 명시적으로 제어할 수 있다는 점에서 의미가 있다.

[연구결과의 진행 상태 및 향후 계획]

• 본 연구는 2026 한국인공지능학회 하계학술대회에서 피엠아이 최우수논문상을 수상하였으며, 논문 SAUL: Sharpness-Aware Augmented-Lagrangian Unlearning은 EMNLP 2026 Findings에 채택되었다. 향후에는 언러닝된 지식이 추가 학습을 통해 다시 복원되는 relearning 상황에 대한 강건성을 분석하고, 보다 다양한 모델과 데이터에서 SAUL의 적용 가능성을 확장할 계획이다. 이를 통해 실제 LLM에서 보다 안정적이고 제어 가능한 머신 언러닝 방법을 구축하는 것을 목표로 한다.

[성과와 관련된 실적]

• 2026 한국인공지능학회 하계학술대회 피엠아이 최우수논문상, 2026.08.06.

  Jaewan Choi, Junyoung Yang, Sangdon Park, “SAUL: Sharpness-Aware Augmented-Lagrangian Unlearning,” Findings of EMNLP 2026.

• 
  
• ※ 본 연구팀은 LLM의 신뢰성과 안전성을 높이기 위한 학습 방법을 넘어, 최근에는 신뢰할 수 있는 Agentic AI 및 Physical AI 학습 기법으로 연구 영역을 확장하고 있다. 실제 환경과

  상호작용하며 지속적으로 학습하는 AI 시스템의 안전성과 신뢰성을 높이는 연구를 수행하고 있으며, 관련 연구에 관심 있는 학부 인턴을 모집하고 있다.

• 
  [성과와 관련된 이미지]