[연구의 필요성]

• 거대 언어 모델의 규모가 지속적으로 증가함에 따라 모델 구동에 필요한 연산량과 메모리 비용 또한 크게 증가하고 있으며, 이를 절감하기 위한 모델 압축 기술의 중요성이 커지고 있다. 특히 불필요한 파라미터를 제거하는 가지치기(pruning)는 모델의 크기와 연산량을 동시에 줄일 수 있는 핵심적인 압축 기법이다. 기존 거대 언어 모델 가지치기 연구는 계산 비용을 최소화하기 위해 한 번에 파라미터를 제거하는 one-shot 방식에 주로 집중해 왔으며, 높은 성능을 유지할 수 있는 희박도 역시 약 70% 수준에 머물러 있었다. 최근 연구를 통해 90% 수준의 희박도에서도 모델의 성능을 유지할 수 있는 가능성이 확인되었으나, 어떤 파라미터를 제거할 것인지, 희박도를 어떤 방식으로 증가시킬 것인지, 그리고 가지치기 과정에서 모델을 어떻게 학습할 것인지와 같은 가지치기의 핵심 설계 요소들은 거대 언어 모델 규모에서 충분히 연구되지 않았다.

[포스텍이 가진 고유의 기술]

• 본 연구에서는 거대 언어 모델의 가지치기 과정에서 기존에 충분히 다루어지지 않았던 파라미터 선택, 희박도 증가 방식, 학습 방식의 세 가지 핵심 요소를 체계적으로 설계함으로써, 약 99%의 매우 높은 희박도에서도 기존 방법보다 우수한 성능을 달성할 수 있음을 보인다. 구체적으로, 목적함수의 곡률 정보를 활용한 2차 중요도 지표를 효율적으로 계산하여 제거할 파라미터를 선정하고, 전체 모델의 파라미터 중요도를 바탕으로 희박도를 전역적으로 배분한다. 또한 목표 희박도를 한 번에 적용하는 대신 스케줄링을 통해 점진적으로 증가시키며, 이에 맞춰 학습률(learning rate)을 조정하여 가지치기 과정에서 발생하는 성능 저하를 효과적으로 회복하도록 설계하였다.

[연구의 의미]

• 본 연구는 가지치기의 기본 설계 요소를 적절히 구성하면 거대 언어 모델에서도 95–99%의 높은 희박도까지 성능을 유지할 수 있음을 보였다. LLaMA-2와 Qwen 계열의 다양한 모델에서 기존 방법보다 일관되게 우수한 성능을 달성했으며, 특히 LLaMA-2-7B의 경우 95% 희박도에서 WikiText-2 perplexity 13.48, 99% 희박도에서 19.67을 기록하였다. 이는 동일한 재학습 예산을 사용하는 SparseGPT 기반 방법의 99% 희박도 perplexity 35.53보다 약 1.8배 낮은 수준이다. 또한 95% 희박도의 LLaMA-2-7B 모델에 희소 연산 커널을 적용했을 때 dense 모델 대비 3.23배 높은 decoding throughput과 6.21배의 메모리 절감 효과를 확인하였다. 이러한 결과는 기존에 충분히 다뤄지지 않았던 가지치기 설계 요소가 극한 희박도에서의 성능 확보에 중요함을 보여주며, 거대 언어 모델의 압축과 효율적인 추론 가능성을 한층 확장했다는 점에서 의의가 있다.

[연구결과의 진행 상태 및 향후 계획]

• 본 연구는 2026 한국인공지능학회(CKAIA 2026)에서 한화에어로스페이스 최우수 논문상을 수상하였으며, 이후 EMNLP 2026에도 채택되어 연구의 우수성을 국제적으로 인정받았다. 향후에는 현재의 극한 희박도 성능을 바탕으로 더 큰 규모의 거대 언어 모델로 적용 범위를 확장하고, 높은 희박도에서 저하되는 추론 및 생성 성능을 개선하는 것을 목표로 한다. 또한 실제 하드웨어에서의 효율적인 연산으로 이어질 수 있도록 희소 모델의 구조와 추론 방식에 대한 연구를 확장할 계획이다.

[성과와 관련된 실적]

• 2026 한국인공지능학회 하계학술대회 최우수논문상 수상

  Hyeondo Jang, Kwanhee Lee, Dongyeop Lee and Namhoon Lee, Hidden in Plain Sight: The Overlooked Significance of Canonical Elements for Extreme LLM Sparsity, EMNLP 2026

[성과와 관련된 이미지]