[연구의 필요성]
새로운 데이터를 생성하는 기술인 생성 모델(Generative Model)은 인공지능의 핵심적인 기술 중 하나로, 실제 데이터와 유사한 높은 품질의 데이터를 만들 수 있는 기술이다.
여러 생성 모델중 최근 확산 모델 (Diffusion Model)이 높은 생성 품질로 최근 각광을 받고 있지만, 한 데이터를 생성하기 위해 순수한 노이즈로 부터 여러번 노이즈를 제거하는 과정을 거쳐야하기 때문에 수행시간이 느리다는 단점이 있다.
이러한 문제를 해결하기 위해 대표적으로 모델의 가중치와 활성화 값의 비트수를 낮추는 양자화(Quantization)가 대표적으로 사용되고 있지만, 아직 높은비트수에서도 성능이 크게 하락하는 문제가 있었다.

[포스텍이 가진 고유의 기술]
확산 모델에서 양자화 시 성능이 하락하는 주요한 원인은 뉴럴 네트워크의 각 레이어의 활성화 값의 분포가 시간에 따라 크게 차이가 나기 때문이다.
본 연구에서는 이러한 분포차이에 대응하기 위해, 확산 모델의 시간 정보를 입력으로 하여 각 시간의 양자화 간격을 학습할수 있는 네트워크를 두는 방법을 제안하였다. 또한 네트워크의 빠른 학습을 위해 시간 정보를 여러 주파수의 성분을 가지는 피쳐로 바꾸는 주파수 인코딩(Frequency Encoding)과 네트워크의 초기 출력을 적절한 양자화 간격으로 초기화 하는 방법을 제시하였다. 실제로 우리의 방법을 적용했을때 기존 양자화 방법들보다 더 좋은 성능을 내는 것을 실험적으로 보여주었다.

[연구의 의미]
본 연구에서는 확산 모델을 위한 안정적이고 성능이 뛰어난 경량화 방법을 제안하였다. 이를 통해 확산 모델을 모바일 기기나 임베디드 디바이스 같은 성능이 제한된 기기에서도 좋은 성능으로 구동할 수 있게 되었다는 것이 이번 연구의 의미이다.

[연구결과의 진행 상태 및 향후 계획]
본 연구는 최우수 학술대회중 하나인 NeurIPS 2023에서 포스터로 발표되었다. 시간 정보만이 아닌 텍스트와 같은 여러 정보들을 함께 고려하여 더 좋은 양자화 파라미터를 탐색하는 것이 향후 계획이다.

[성과와 관련된 실적]
Junhyuk So*, Jungwon Lee*, Daehyun Ahn, Hyungjun Kim, Eunhyeok Park, “Temporal Dynamic Quantization for Diffusion Model”, NeurIPS 2023

[성과와 관련된 이미지]