[연구의 필요성]
이미지를 생성하는 기술인 생성 모델 (Generative Models)은 인간과 같은 시각지능을 가진 인공지능 개발을 위한 핵심 문제 중 하나이다. 이는 인간이 사물에 대한 이해를 바탕으로 그림을 그릴 수 있듯, 기계가 상상력을 발휘하여 그림을 그릴 수 있도록 하는 분야이다. 현재 가장 널리 사용되는 적대적 생성 신경망 (Generative Adversarial Networks)은 학습이 여전히 어려우며 생성된 이미지의 질이 좋지 못한 근본적인 문제가 있었다.

[포스텍이 가진 고유의 기술]
박재식 교수 연구팀은 물체들의 상호 관계를 이해하여 더욱 안정적이며 효과적인 생성 신경망인 대조 적대적 생성 신경망 (Contrastive Generative Adversarial Networks, 즉 ContraGAN)을 새롭게 제안하였다. ContraGAN은 이미지와 이미지의 잠재 변수 사이의 관계뿐만 아니라 이미지와 이미지 사이의 의미론적 관계를 상대적으로 학습하여 더욱 빠르고 효과적으로 고품질의 이미지를 생성할 수 있으며, 논문 제출 시점을 기준으로 세계 최고의 이미지 생성 성능을 보여주는 성과를 거두었다. 또한 연구팀이 온라인에 공개한 적대적 생성 신경망 실험 플렛폼인 PyTorch StudioGAN은 18 종류의 다양한 조건부 이미지 생성 신경망에 대한 실험 결과를 제공하고 있으며, 짧은 기간에 1700개 이상의 GitHub Star를 받는 등 세계적인 연구 성과물로 많은 관심을 받고 있다.

[연구의 의미]
연구팀은 조건부 이미지 생성 분야에서 이미지간 상호관계를 최대한 끌어내 성능을 올리고, 이를 구현한 소프트웨어의 공개를 통해 적대적 생성 신경망 분야의 학술적 발전에 크게 이바지하고 있다. 해당 연구는 인공지능 분야 최고 권위 학술대회인 Neurips에 2020년 말 게재되었다. 해당 논문의 결과를 재현 할 수 있는 StudioGAN 라이브러리는 Github를 통해 온라인에 공개되어있는데, 연구자들이 적대적 생성 신경망 연구를 더욱 편하고 공정하게 할 수 있게 하기 위한 세계적인 모델들의 구현을 18가지나 포함하고 있으며, Google에서 공개한 CompareGAN과 함께 생성 신경망 커뮤니티에서 가장 많이 쓰이는 소프트웨어로 주목을 받고 있다. 조건부 이미지 생성 기술은 이미지 편집, 딥페이크 이미지 판별 AI, 장면 이해, 가상 현실 구축 및 랜더링 기술 등과 같이 앞으로 다가올 메타버스 기술에 핵심 기술로서 인간을 능가하는 인지 능력을 가진 시각지능 개발을 위한 기술로 사용될 수 있을 것으로 기대된다.

[연구결과의 진행 상태 및 향후 계획]
포스텍 컴퓨터비전 연구실은 이미지 및 영상의 관계 학습을 통한 컨텐츠 생성 기술에 대한 후속 연구를 지속하고 있다. 특히, 최근 인공지능 분야에서 화제가 되고 있는 대조학습을 통한 표현학습 기술에 대한 이론적 이해를 바탕으로 더욱 효과적이고 해석가능한 적대적 생성 신경망을 개발하고 있으며, StudioGAN에 최근에 제안된 다양한 생성모델에 대한 구현을 추가하여 더욱 공평하고 편리한 연구를 위한 플렛폼을 구축하고자 노력하고 있다. 또한, 더욱 정교한 조건부 이미지 생성 신경망 평가를 위한 데이터세트 구축을 제안하여 데이터 바우처 사업에 선정된 바 있다.

[성과와 관련된 실적물]
– 국제 학술대회 논문: Minguk Kang and Jaesik Park. ContraGAN: Contrastive Learning for Conditional Image Generation. In Advances in Neural Information Processing Systems (NeurIPS), 2020.
– 특허출원: 대조 학습과 적대적 생성 신경망을 활용한 생성 및 편집 방법과 장치 (출원번호: 10-2021-0033893)
– 소프트웨어 등록: PyTorch StudioGAN: 파이토치 라이브러리를 활용한 적대적 생성 신경망 모음 (프로그램 번호: C-2020-043103)
– 수상 이력: 제 16회 삼성전기 논문대상 은상

[성과와 관련된 이미지]