[연구의 필요성]

최근 Diffusion Model의 발전으로 텍스트를 활용한 이미지 스타일 변환(Stylization) 기술이 주목받고 있다. 그러나 원본 이미지의 구조를 보존하면서 원하는 화풍을 충실하게 반영하는 것은 여전히 어려운 문제이다. 기존 학습 기반 방법들은 높은 계산 비용이 발생하며, 이를 해결하기 위한 주파수 기반 방법들은 원본 이미지의 형태가 왜곡되는 과도한 스타일 변환 문제가 발생할 수 있다. 특히 기존 연구들은 잠재 공간(Latent Space)에서의 주파수 조작이 이미지 생성에 미치는 영향을 충분히 분석하지 않고 경험적인 방법에 의존한다는 한계가 있다. 본 연구에서는 이러한 문제를 해결하기 위해, 원본 이미지의 구조를 보존하면서 다양한 화풍을 효과적으로 생성하는 새로운 스타일 변환 프레임워크를 제안한다.

[포스텍이 가진 고유의 기술]

본 연구에서는 별도의 추가 학습 없이 Diffusion Model의 주파수 특성과 신호 대 잡음비(Signal-to-noise Ratio, SNR)를 활용하는 AdaPhase 프레임워크를 제안하였다. 이 프레임워크는 다음과 같은 특징을 가진다.
 (1) 원본 이미지의 DDIM Inversion 과정에서 얻어진 잠재 표현의 저주파 위상을 이미지 생성 과정에 주입하여, 생성 경로를 원본 이미지의 복원 경로에 가깝게 유도함으로써 구조적 특징을 보존한다. 이때 푸리에 변환(Fourier Transform)을 통해 잠재 표현의 주파수 성분을 분리하고, 저주파 위상 정보를 선택적으로 조정하는 Phase Refinement 기법을 적용하였다.
 (2) Diffusion Model의 각 생성 단계에서 SNR을 기반으로 주파수 조작 범위를 조절하는 Adaptive Spectral Alignment 기법을 제안하였다. 이는 노이즈가 많은 초기 단계에서는 구조적 정보를 강하게 반영하고, 후반 단계에서는 스타일 생성의 자유도를 높여 원본 이미지 보존과 스타일 변환 사이의 균형을 달성할 수 있도록 유도한다.

[연구의 의미]

본 연구에서 제안한 AdaPhase는 기존 방법들에 비해 원본 이미지의 구조적 특징을 효과적으로 보존하면서도 원하는 화풍을 충실하게 반영하는 우수한 성능을 보였다. 또한 PCA 기반 경로 투영을 통해 저주파 위상 조작이 이미지 생성 경로를 원본 이미지의 복원 경로에 가깝게 유도한다는 점을 확인하고, 이미지 유사도 평가 지표(DINO 및 LPIPS)를 통해 원본 이미지의 구조적 정보가 효과적으로 보존됨을 규명하였다. 나아가 AdaPhase 프레임워크는 특정 모델의 네트워크 구조에 의존하지 않고 다양한 Diffusion Model에 적용될 수 있으며, Stable Diffusion XL(SDXL)뿐만 아니라 Stable Diffusion 2.1, Stable Diffusion 3, FLUX.1 Kontext, Qwen-Image-Edit에서도 검증하여 기술의 범용성과 확장성을 확인하였다.

[연구결과의 진행 상태 및 향후 계획]

본 연구는 컴퓨터비전 분야 우수 국제학술대회인 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2027에서 발표될 예정이다. 후속 연구에서는 이미지의 공간적 특성과 생성 단계에 따라 주파수 조작 범위를 더욱 정교하게 조절하는 방법을 개발하고, 이를 일반적인 이미지 편집 및 비디오 스타일 변환 문제로 확장할 예정이다.

• 
  [성과와 관련된 실적]

Sekwang Lee, Ilwoo Lyu, “AdaPhase: Navigating the Trajectory with Adaptive Frequency Modulation for Content-preserving Stylization”, IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2027

[성과와 관련된 이미지]