[연구의 필요성]
주어진 데이터의 표상(representation)을 학습할 때, 데이터들에 내재되어 있는 계층 구조를 표상에 투영하면은 여러 과제(task)들에서 많은 도움을 줄 수 있다. 하지만 클래스 정보와 같은 외부 정보 없이 이런 계층적 표상(hierarchical representation)을 학습하는 것은 일반적으로 어렵다. 쌍곡선 변분 오토인코더(hyperbolic variational auto-encoder)는 변분 오토인코더의 잠재 공간(latent space)을 쌍곡선 공간(hyperbolic space)으로 바꿈으로써 비지도 학습(unsupervised learning)으로 계층적 표상을 학습할 수 있는 방법 중의 하나이다. 기존 연구들에서 쌍곡선 변분 오토인코더가 계층적 표상을 잘 학습하는 것을 보여주었지만, 학습 안정성의 문제로 작은 이미지와 같은 간단한 데이터들에 실험환경이 한정되어 있다는 것이 문제이다. 쌍곡선 변분 오토인코더의 학습 안정성을 높여 좀 더 다양한 종류의 데이터들에서도 계층적 표상 학습을 가능케 하는 것이 본 연구의 목적이다.

[포스텍이 가진 고유의 기술]
쌍곡선 변분 오토인코더에서 중요하고 학습 안정성에 영향을 미치는 부분은 쌍곡선 분포(hyperbolic distribution)이다. 이번 연구에서는 일변수 가우시안 분포(univariate Gaussian distribution)들의 기하(geometry)가 쌍곡선 공간이 되는 것에서 착안하여, 일변수 가우시안 분포들 사이의 쿨백-라이블러 발산(Kullback-Leibler divergence)을 이용하여 새로운 쌍곡선 분포를 제안한다. 그리고 계산을 통해 새로 제안한 분포가 정규 분포(Normal distribution)와 감마 분포(Gamma distribution)라는 안정적이라고 알려진 두 분포의 곱이 됨을 보인다. 실제로 모델 기반 강화학습(model-based reinforcement learning)을 통해 게임을 푸는 복잡한 과제에서 기존의 쌍곡선 분포들은 학습에 실패한 반면, 우리가 제안한 쌍곡선 분포는 안정적으로 잘 학습하고 기존의 기술들과 동등한 성능을 내는 것을 실험적으로 보여줬다.

[연구의 의미]
본 연구에서는 안정적으로 학습할 수 있고 기존의 방법론들보다 성능도 뛰어난 쌍곡선 변분 오토인코더를 제안하였다. 안정적이고 성능이 뛰어난 쌍곡선 변분 오토인코더를 제안함으로써 계층적 표상 학습의 영역을 기존보다 훨씬 복잡한 데이터들까지 확장할 수 있다는 것이 이번 연구의 의미라고 생각한다.

[연구결과의 진행 상태 및 향후 계획]
본 연구는 기계 학습 최우수 학회 중 하나인 NeurIPS 2023에서 포스터 발표를 할 예정이다. 현재 고해상도의 이미지나 로봇 시뮬레이션과 같은 복잡한 데이터들을 보유하고 있는 과제들에서 우리의 기술을 검증해보고 있는 중이다.

[성과와 관련된 실적]
Seunghyuk Cho, Juyong Lee, and Dongwoo Kim, “Hyperbolic VAE via Latent Gaussian Distributions”, Advances in Neural Information Processing Systems, 2023

[성과와 관련된 이미지]