[박재식 교수] 이미지간 관계 이해를 통한 이미지 생성 기술 개발

[연구의 필요성] 이미지를 생성하는 기술인 생성 모델 (Generative Models)은 인간과 같은 시각지능을 가진 인공지능 개발을 위한 핵심 문제 중 하나이다. 이는 인간이 사물에 대한 이해를 바탕으로 그림을 그릴 수 있듯, 기계가 상상력을 발휘하여 그림을 그릴 수 있도록 하는 분야이다. 현재 가장 널리 사용되는 적대적 생성 신경망 (Generative Adversarial Networks)은 학습이 여전히 어려우며 생성된 이미지의 질이 좋지 못한 근본적인 문제가 있었다. [포스텍이 가진 고유의 기술] 박재식 교수 연구팀은 물체들의 상호 관계를 이해하여 더욱 안정적이며 효과적인 생성 신경망인 대조 적대적 생성 신경망 (Contrastive Generative Adversarial Networks, 즉 ContraGAN)을 새롭게 제안하였다. ContraGAN은 이미지와 이미지의 잠재 변수 사이의 관계뿐만 아니라 이미지와 이미지 사이의 의미론적 관계를 상대적으로 학습하여 더욱 빠르고 효과적으로 고품질의 이미지를 생성할 수 있으며, 논문 제출 시점을 기준으로 세계 최고의 이미지 생성 성능을 보여주는 성과를 거두었다. 또한 연구팀이 온라인에 공개한 적대적 생성 신경망 실험 플렛폼인 PyTorch StudioGAN은 18 종류의 다양한 조건부 이미지 생성 신경망에 대한 실험 결과를 제공하고 있으며, 짧은 기간에 1700개 이상의 GitHub Star를 받는 등 세계적인 연구 성과물로 많은 관심을 받고 있다. [연구의 의미] 연구팀은 조건부 이미지 생성 분야에서 이미지간 상호관계를 최대한 끌어내 성능을 올리고, 이를 구현한 소프트웨어의 공개를 통해 적대적 생성 신경망 분야의 학술적 발전에 크게 이바지하고 있다. 해당 연구는 인공지능 분야 최고 권위 학술대회인 Neurips에 2020년 말 게재되었다. 해당 논문의 결과를 재현 할 수 있는 StudioGAN 라이브러리는 Github를 통해 온라인에 공개되어있는데, 연구자들이 적대적 생성 신경망 연구를 더욱 편하고 공정하게 할 수 있게 하기 위한 세계적인 모델들의 구현을 18가지나 포함하고 있으며, Google에서 공개한 CompareGAN과 함께 생성 신경망 커뮤니티에서 가장 많이 쓰이는 소프트웨어로 주목을 받고 있다. 조건부 이미지 생성 기술은 이미지 편집, 딥페이크 이미지 판별 AI, 장면 이해, 가상 현실 구축 및 랜더링 기술 등과 같이 앞으로 다가올 메타버스 기술에 핵심 기술로서 인간을 능가하는 인지 능력을 가진 시각지능 개발을 위한 기술로 사용될 수 있을 것으로 기대된다. [연구결과의 진행 상태 및 향후 계획] 포스텍 컴퓨터비전 연구실은 이미지 및 영상의 관계 학습을 통한 컨텐츠 생성 기술에 대한 후속 연구를 지속하고 있다. 특히, 최근 인공지능 분야에서 화제가 되고 있는 대조학습을 통한 표현학습 기술에 대한 이론적 이해를 바탕으로 더욱 효과적이고 해석가능한 적대적 생성 신경망을 개발하고 있으며, StudioGAN에 최근에 제안된 다양한 생성모델에 대한 구현을 추가하여 더욱 공평하고 편리한 연구를 위한 플렛폼을 구축하고자 노력하고 있다. 또한, 더욱 정교한 조건부 이미지 생성 신경망 평가를 위한 데이터세트 구축을 제안하여 데이터 바우처 사업에 선정된 바 있다. [성과와 관련된 실적물] – 국제 학술대회 논문: Minguk Kang and Jaesik Park. ContraGAN: Contrastive Learning for Conditional Image Generation. In Advances in Neural Information Processing Systems (NeurIPS), 2020. – 특허출원: 대조 학습과 적대적 생성 신경망을 활용한 생성 및 편집 방법과 장치 (출원번호: 10-2021-0033893) – 소프트웨어 등록: PyTorch StudioGAN: 파이토치 라이브러리를 활용한 적대적 생성 신경망 모음 (프로그램 번호: C-2020-043103) – 수상 이력: 제 16회 삼성전기 논문대상 은상 [성과와 관련된 이미지]

[최승문 교수] 버튼의 느낌을 자유자재로 변화시킬 수 있는 진동 증강 버튼

[연구의 필요성] 물리 버튼은 우리 주변에 만연해 있으며, 버튼을 통해 우리는 물체 혹은 그 환경과 상호작용합니다. 자동차 내부의 공조 패널이나, 가상환경과 상호작용하는 컨트롤러의 버튼이 그 예가 될 수 있습니다. 하지만 우리가 버튼을 누를 때, 물리 버튼은 우리가 처한 상황에 상관없이 항상 같은 느낌을 제공하여 단조로운 느낌을 주곤 합니다. 사용자에게 더욱 다양한 버튼의 느낌을 제공하기 위해 터치스크린에 햅틱 효과(진동)를 이용하여 가상 버튼을 구현한 사례는 많으나, 이는 실제 버튼을 누를 때의 클릭감의 부재로 실제 버튼을 누르는 느낌을 주기엔 부족함이 있습니다. 실제 물리 버튼의 클릭감이 가진 장점과 자유롭게 느낌을 변경시킬 수 있는 진동 가상 버튼의 장점을 모두 이용할 수 있는 새로운 방법을 고안한다면, 사용자는 버튼과 상호작용을 할 때 더욱 그 상황을 잘 이해할 수 있고 생동감 있는 경험을 할 수 있을 것으로 생각합니다. [포스텍이 가진 고유의 기술] 포스텍 인터랙션 연구실에서는 사용자가 실제 물리 버튼 (게임 컨트롤러의 버튼, 컴퓨터의 키보드/마우스 등)을 누를 때, 단순한 진동 패턴을 동시에 제공하여 상호작용하는 버튼의 느낌을 바꿀 수 있는 증강 버튼을 제작하고 그 주관적인 버튼에 대한 느낌을 정량화하였습니다 [그림 1]. 여러 증강 버튼과 실제 물리 버튼의 느낌을 정량화하기 위해 햅틱스 연구에서 이용되고 있는 인지 공간(Perceptual Space)을 이용하여 나타내고 이를 시각화하였습니다 [그림 2]. 더 나아가, “부드럽다-단단하다” 등 버튼의 느낌을 나타낼 수 있는 다양한 형용사 표현들을 이용하여 다양한 버튼의 느낌을 분류하였습니다. 이처럼 실제 물리 버튼과 진동을 통해 만들어진 진동 증강 버튼의 느낌을 정량화하고 시각화한 것은 본 연구실에서 최초로 시도한 것입니다. 주관적으로밖에 표현될 수밖에 없는 버튼의 느낌을 정량화하였기에, 연구 및 산업체에서 버튼을 이용할 수 있는 모든 곳에서 이용할 수 있는 가이드라인 제시하여 버튼에 대한 이해를 한층 높이고자 했습니다. [연구의 의미] 본 기술은 상용 물리 버튼에 단순한 진동 패턴을 추가하여 상호작용하는 버튼의 느낌을 바꿀 수 있다는 아주 간단한 방법론을 제시하였습니다. 제시한 방법은 간단한 기술인 데 비해, 진동 증강 버튼은 인지적으로 매우 다양한 버튼의 느낌을 만들어 낼 수 있으며, 더 나아가 실제 이용되고 있는 다른 느낌의 클릭감을 가진 물리 버튼과 유사한 느낌을 만들 수도 있습니다. 사용자는 증강 버튼을 통해 상황에 따라 적합한 버튼의 느낌을 만들 수 있고 이를 통해 더욱 사실적인 햅틱 경험을 할 수 있습니다. 이러한 학술적 가치를 인정받아 2020년 인간-컴퓨터상호작용 (HCI)분야 최우수 국제학술대회인 UIST에 게재되었습니다. [연구결과의 진행 상태 및 향후 계획] 포스텍 인터랙션 연구실은 사용자가 더욱 풍부한 햅틱 경험을 느낄 수 있도록 기존에 존재하는 촉각을 변화시키는 햅틱 증강현실(Haptic Augmented Reality)에 대한 후속 연구를 지속하고 있습니다. 본 연구의 결과를 바탕으로 오로지 촉각 정보만 가지고 구분할 수 있는 많은 증강 버튼을 제작하는 방법 및 그 정보량에 대해서 연구하고 있습니다. 본 연구를 통해, 실제 상황에서 하나의 버튼을 통해 얼만큼의 정보를 제공할 수 있을지 알아내고, 이를 가상현실의 어플리케이션과 접목하여 사용자에게 생동감있는 가상 경험을 제공하고자 하고 있습니다. [성과와 관련된 실적물] 논문발표 (2020년) Chaeyong Park, Jinhyuk Yoon, Seungjae Oh, and Seungmoon Choi. Augmenting Physical Buttons with Vibrotactile Feedback for Programmable Feels. In Proceedings of the Annual ACM Symposium on User Interface Software and Technology (UIST). 2020. ACM. 기타 실적 (2020년) 최승문, 박채용, 윤진혁. 햅틱 제공 장치 및 방법. 국내 특허 출원 (10-2020-0108441) [성과와 관련된 이미지]

[황인석 교수] MomentMeld: AI 기반 모바일 사진 미디어 증강을 통한 세대간 소통 촉진 서비스

MomentMeld: AI 기반 모바일 사진 미디어 증강을 통한 세대간 소통 촉진 서비스/ MomentMeld: AI-augmented Mobile Photographic Memento towards Mutually Stimulatory Inter-generational Interaction [연구내용 요약] 고령화 사회가 본격화하면서 많은 사회 문제가 나타나고 있다. 그 중 사회적 교류의 감소는 노년층의 삶의 만족도에 부정적인 영향을 미치는 주요 요인 중 하나다. 나이가 들면서 직장이나 사회 단체는 물론이고 가족과의 교류까지도 감소하는 경우가 많은데, 특히 자녀들이 장성하고 독립하면서 세대간 소통 및 교류의 축소 현상이 두드러지게 나타난다. 이러한 문제의식에서 출발하여 본 연구에서는 세대 간 소통에 긍정적인 변화를 유도하는 모바일 기반 일상생활밀착형 AI 서비스 MomentMeld를 제안한다. MomentMeld는 노년 세대와 자녀 세대가 각자 절대적인 시간대는 다를지라도 비슷한 삶의 맥락을 공유하고 있다는 점에서 착안하여, 우리의 일상을 반복적으로 스쳐가는 단편적 순간들을 포착해 자연스러운 세대 간 양방향 소통의 단초를 제공해주는 모바일-클라우드 복합형 AI 서비스이다. 본 연구에서 기여한 새로운 개념적 디자인 및 시스템을 정리하면 다음과 같다. 첫째, 사진에 기반한 세대 간 소통 도우미, 일명 Mutually Stimulatory Memento(MSM)의 디자인이다. MSM은 시간대는 다르더라도 장소나 표정 등 공통의 맥락을 공유하는 사진들을 병치함으로써 각 세대가 자연스럽게서로에게 공감하고 지속적으로 소통할 수 있도록 도와준다. 둘째, 세대간 소통 증진에 특화된 MSM을 자동으로 생성 및 제안하는 MomentMeld 서비스의 제작이다. MomentMeld는 스마트폰으로 사진을 촬영하는 순간으로부터 일련의 신호처리, 네트워킹, 기계학습 과정을거쳐 최적의 MSM을 추천해준다. 이 서비스는 본 연구팀에서 설계한, 복수의 심층 신경망 모델을 결합한 앙상블 AI 모델 및 모바일-클라우드 복합 런타임에 기반을 두고 있다. 연구의 평가를 위해 총 6개 가족 (각 가족은 3개 세대로 구성됨)에게 8주 동안 MomentMeld 서비스를 배포하여 사용하게 한 후 변화를 관찰하였다. 그 결과 세대 간 소통이 양적으로 약 90%, 질적으로는 약 50% 정도 증가한 것을 확인할 수 있었다. 본 논문에서는 연구 과정에서 찾아낸 추가적인 시사점에 대해서까지 폭넓게 논의하고 있다. [연구성과의 의의] 현재 구글이나 페이스북 등에서 상용화된 인공지능 기반 과거 사진 추천 서비스는 크게 두 가지 범주에 머물러 있음. (1) “1년 전 오늘날”과 같이 개인의 사진첩 중에서 특정 시간, 특정 방문지 기반으로 과거 사진을 추천하여 사용자의 회상을 촉진하는 유형, (2) “앨리스와 당신”과 같이, 개인의 사진첩 중에서 특정인과 함께 찍은 사진들을 추천하여 나와 해당인 사이의 동시간대 공통 추억에 대한 회상을 촉진하는 유형이 그것임. 본 연구에서는 서로 다른 시간대를 뛰어넘는 둘 이상의 사용자 간에 걸친 새로운 유형의 인공지능 기반 사진 추천을 제안한 것임. 특히, 노령화 사회 및 노년층의 사회적 위축이라는 우리 사회의 당면 문제 하에서, 본 서비스가 노년층의 가족간, 세대간 소통 촉진이라는 사회적 가치에 기여할 수 있는 연관성이 있음을 밝혀내었음. 이를 위해 풀스택 개발, 실사용자 배포 및 장기간에 걸친 실험 등을 포괄적으로 수행함으로써, 본 서비스가 기술적으로 구현 가능하고 사회적 문제에 공헌이 가능함을 확인 하였음. 해당 논문은 ACM CHI 2021 (ACM SIGCHI Conference on Human Factors in Computing Systems) 에 게재됨. ※ ACM CHI 2021 (ACM SIGCHI Conference on Human Factors in Computing Systems) 은 컴퓨터공학을 구성하는 분야 중 하나인 “인간-컴퓨터 상호작용 (Human-Computer Interaction; HCI)” 분야를 대표하는 명실상부 세계 최고 수준의 국제 학회임. (Google Conference Ranking HCI 분야 1위, http://csrankings.org/ HCI 분야 등재, 한국정보과학회 최우수 국제학술대회, BK21 학술대회 impact factor=4)

[곽수하 교수] 향상된 척도학습을 위한 레이블 완화를 활용한 임베딩 전이 학습

[향상된 척도학습을 위한 레이블 완화를 활용한 임베딩 전이 학습/ Embedding Transfer with Label Relaxation for Improved Metric Learning] 기존의 지식 전이 방법들은 분류 학습의 문제를 해결하기 위한 방법들이 주를 이루었으며, 척도학습을 위한 지식 전이 방법들은 거의 연구가 되지 않았다. 제안하는 방법은 이미 학습된 모델의 이미지 관계 정보를 활용하여, 효과적으로 학습할 모델에게 이 지식을 전이할 수 있는 새로운 방법을 제안하였다. 제안한 방법은 기존의 모델보다도 더 높은 성능을 가질 수 있는 모델을 학습할 수 있고, 성능을 유지하면서 출력 임베딩 벡터의 차원을 줄이거나 학습할 모델의 크기이는 최적화를 가능하게 하였다. 뿐만 아니라, 최근 주목받고 있는 대조 자가학습(contrastive self-supervised learning)에서도 성능을 향상시킬 수 있다는 것을 보였으며, 분류 학습에서도 기존 방법들에 비해서 더 효과적임을 보였다. 제안하는 방법은 딥러닝 기술을 활용하는 수많은 컴퓨터 비전 태스크에서 이미지들의 관계 정보를 활용하여 성능을 향상시킬 수 있을 것이다. 해당 논문은 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)에 게재 됨. ※ IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)은 구글 scholar기준 h5-index 299로, 공학 전 분야의 SCI 학술지 및 학술 대회를 통틀어 1위에 해당하는 컴퓨터 비전 분야 최고 수준의 국제 학술대회입니다.

[조민수 교수] 합성곱 호프 매칭 신경망

[합성곱 호프 매칭 신경망/Convolutional Hough Matching Networks] 본 연구에서는 4차원 유사도 텐서에 행해지는 4차원 합성곱 신경망은 사실상 패턴 인식을 위한 함수가 아닌 지역적 유사도 투표를 위한 호프 매칭 알고리즘임을 보여준다. 호프 변환 관점에서 해석된 4차원 합성곱 매칭은 다양한 기하적 변형 공간을 고려함으로써 4차원 이상의 고차원 기하 공간으로 일반화 될 수 있음을 보여주며, 고차원 커널 수가 대폭 줄어 학습된 커널의 해석을 용이하게 하고, 호프 공간에서 효과적인 매개변수 공유을 통해서 메모리 복잡도를 덜어준다. 합성곱 호프 매칭 알고리즘을 기반으로 의미론적 이미지 정합을 위한 네트워크인 합성곱 호프 매칭 신경망(convolutional Hough matching networks)을 제안한다. 제안한 네트워크는 기존 합성곱 매칭 방법들에 비해 매우 적은 수의 매개변수 만으로도 실시간 이미지 매칭에 우수한 성능을 낼 수 있음을 보여준다. 해당 논문은 2021 IEEE Conference on Computer Vision and Pattern Recognition 에 게재 됨. ※ IEEE Conference on Computer Vision and Pattern Recognition (CVPR)은 구글 scholar기준 h5-index 299로, 공학 전 분야의 SCI 학술지 및 학술 대회를 통틀어 1위에 해당하는 컴퓨터 비전 분야 최고 수준의 국제 학술대회입니다.

[유환조 교수] 추천 시스템을 위한 토폴로지 증류 기법

[추천 시스템을 위한 토폴로지 증류 기법/Topology Distillation for Recommender System] [연구내용 요약] 최근 추천시스템 모델의 크기와 복잡도가 증가함에 따라, 예측을 위해 소모되는 연산량 및 메모리 요구량 역시 계속해서 증가하고 있다. 본 연구에서는 기존 추천 모델의 정확도를 유지하면서 크기와 연산량을 줄이는 새로운 토폴로지 증류기법을 제안한다. 제안하는 기법은 기존 추천 모델이 학습한 유저/아이템 관계 정보를 그래프 토폴로지로 정의하고, 이 토폴로지를 새로운 모델 학습에 활용한다. 특히, 새로운 모델과 기존 모델의 수용력 (capacity) 차이를 고려, 그래프 토폴로지를 압축하여 핵심적인 관계 정보들을 작은 수용력을 갖는 새로운 모델이 효과적으로 학습할 수 있도록 한다. 제안하는 기법은 행렬 분해, 다층 퍼셉트론, 그래프 합성곱 신경망 등의 다양한 모델 구조를 갖는 추천시스템 모델에 대해서 검증되었으며, 기존의 기법들에 비해 모델 예측에 소모되는 연산량을 더 효과적으로 감소시킬 수 있음을 보였다. 제안하는 기법은 추천시스템의 정확도와 효율성을 모두 높여, 웹 서비스에서 실시간으로 다수의 유저에게 개인화된 경험을 제공하는데 기여할 수 있다. [연구성과의 의의] 제안하는 토폴로지 증류 기법은 추천시스템의 정확도와 효율성을 모두 높여, 웹 서비스에서 실시간으로 다수의 유저에게 개인화된 경험을 제공하는데 기여할 수 있다. 해당 논문은 데이터 사이언스, 빅데이터 및 인공지능 분야의 국제 최우수 학회인 ACM Conf. Knowledge Discovery and Data Mining (KDD)에 게재 됨.