[연구의 필요성]
Generative Flow Network (GFlowNet)은 주어진 특성을 만족하는 다양한 후보를 생성하는 방법론이며, 신약 및 신소재 개발 또는 조합 최적화 문제와 같은 문제에서 광범위하게 적용되고 있다. GFlowNet의 생성 과정은 다양한 action을 선택하며 점진적으로 샘플을 생성하는 것이며, 이 때 action의 선택 확률은 생성된 타겟의 특성을 기반으로 훈련된다. 하지만, 생성되는 타겟은 여러 action에 관련되어 있으며, 최종적으로 관측되는 특성 기반의 훈련은 각 action이 어떤 기여를 하는지 인지하기 어렵다는 credit assignment 문제가 존재한다. 이에 본 연구는 보다 개선된 credit assignment를 수행할 수 있는 GFlowNet의 훈련 방법을 제안한다.

[포스텍이 가진 고유의 기술]
본 연구는 Learning Energy Decomposition for Partial Inference in GFlowNets (LED-GFN)이라는 이름의 에너지 분해 기반의 GFlowNet 학습 방법을 제안한다. 핵심 아이디어는 최종 상태 특성 (에너지)를 각 action에 따른 상태 전이와 관련된 학습 가능한 potential의 합으로 분해하여 로컬 크레딧으로 사용하는 것이다. 특히, 각 potential이 최종 상태와의 상관 관계를 잘 반영할 수 있도록 하는 정규화 방법을 적용하여 훈련한다. 이러한 potential은 중간 action이 최종 특성에 어떻게 영향을 미치는지에 대한 훈련 신호로서 credit assignment를 개선한다.

[연구의 의미]
본 연구에서 제시하는 방법론은 효율적인 부분 추론 기반의 GFlowNet 훈련 방법을 새롭게 제시하였다. 이는 기존의 GFlowNet 훈련 방법과 비교하여, 분자 생성 및 조합 최적화 등 다양한 benchmark에서 질 좋은 샘플들의 생성을 더욱 촉진 시킬 수 있음을 보였다.

[연구결과의 진행 상태 및 향후 계획]
본 연구는 인공지능 분야 최우수 국제 학술 대회인 International Conference on Learning Representations (ICLR 2024)에서 oral presentation award를 수상하였다 (제출 논문 중 상위 1.16%). 향후 계획은, GFlowNet의 훈련 과정에서 credit assignment을 어렵게하는 다른 요인을 발견 및 개선하는 것이 목표로 한다.

[성과와 관련된 실적]
Jang, H., Kim, M., and Ahn, S. Learning energy decompo- sitions for partial inference of GFlowNets. International Conference on Learning Representations (ICLR), 2024.

[성과와 관련된 이미지]