[김원화 교수] 청소년기 뇌 발달에 영향을 미치는 요소의 독립적인 영향력 분석

[연구의 필요성] 청소년기의 아이들의 뇌는 나이, 성별, 교육 수준, 사회 경제적 상태 등 여러 내부적, 환경적 요인들로부터 복합적으로 영향을 받으면서 발달한다. 의료 영상 (Diffusion Tensor Imaging)을 이용한 아이들의 뇌 발달 분석에 있어서, 원하지 않는 변수의 영향을 제외한 중요 요인들의 영향만을 정량화 하는 딥러닝 기술이 필요하다. [포스텍이 가진 고유의 기술] 기존의 많은 연구가 통계 기법의 한계로 뇌의 일부를 특정하여 독립적으로 데이터를 분석하는 경우가 많았다. 또한, 기존 통계적 기법들을 사용한 연구는 연구에 사용되는 데이터 개수나 비정상적인 데이터(outlier)의 유무에 의해 결과 값이 크게 영향을 받았다. 그러나 본 연구에서 제안한 방법은 뇌 전체를 동시에 분석하면서도 통계적으로 유의미한 연구 결과를 얻어내었을 뿐만 아니라, 딥러닝 기술을 이용하여 기존 통계적 기법들보다 같은 데이터 셋에 대해 보다 유연하고 정확한 (robust) 분석이 가능하다. [연구의 의미] 사회경제적 요인 (Socioeconomic Status)이 청소년기 뇌 발달에 있어서 전두엽과 관련한 부위에 다양한 미세구조적 (microstructural) 변화를 준다는 것을 알 수 있다. 뇌의 역할과 기능에 따라 뇌를 148개의 영역으로 분할했을 때, 해당 청소년의 사회경제적 수치가 각 영역마다 미치는 영향력과 중요도를 판단할 수 있다. [연구결과의 진행 상태 및 향후 계획] 해당 연구에서 제시한 딥러닝 모델인 Covariate Correcting Network (CoCoNet)을 사용해, 수면호흡장애를 가진 아이들의 이상행동과 전두엽의 연관성을 분석하는 연구를 진행할 계획이다. 기존 연구에서 수면호흡장애와 이상행동 간의 연관성을 규명하려면, 두 가지 모두에 연관된 뇌의 변화가 설명되어야 했다. 전두엽은 집중력, 기억력, 체지각능력, 언어 능력, 행동 억제력을 관할하는 부분으로서, 두 요소를 매개하는 뇌의 대표적인 영역 중 하나로 알려져 있다. 따라서 전두엽의 구조적인 변화가 수면호흡장애와 이상행동 간의 연관성에 영향을 미치는 원인이 될 수 있으므로, 이 상호 작용을 분석하는데 있어서 관련된 불필요한 요소들의 영향력을 CoCoNet으로 배제할 수 있을 것이다. [성과와 관련된 실적물] 국제 학술대회 논문: International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2021 [성과와 관련된 이미지]

[김원화 교수] 알츠하이머에 걸린 뇌의 특성을 분석 가능한 딥러닝 모델 개발

[연구의 필요성] 뇌신경영상 (neuroimage)을 활용해 알츠하이머 병에 걸린 사람들의 뇌를 분석하는 연구가 활발하게 진행되고 있다. 이 때, 알츠하이머와 같은 치매에 걸린 뇌의 변화에 영향을 미치는 요인들 중, 시간에 따른 (time-varying) 요인과 고정적인 (static) 요인들의 영향을 서로 분리하여 (disentangle) 뇌의 변화를 분석할 필요가 있다. [포스텍이 가진 고유의 기술] 시계열 데이터를 분석하는 기존의 unsupervised 딥러닝 기법과 달리, 인간의 뇌 또는 영상 데이터에 대해서 알고 있는 도메인 정보 (structural brain network, image label 등)를 이용할 수 있는 인공지능 모델을 개발하였다. 이 모델은 뇌 영상 데이터를 효과적으로 분석할 수 있는 새로운 데이터의 형태 (representation)을 학습할 수 있다. 또한, 알츠하이머는 병이 진행될수록 대뇌피질의 두께가 변화하는데, 이 모델은 뇌의 변화에 영향을 미치는 요인들 중 이렇게 시간의 흐름에 따라 변하는 요소와 성별, 진단 라벨 등 항상 고정적인 요소를 구분하여 각 요인의 특징을 분석할 수 있다. [연구의 의미] 시간의 흐름에 따라 점점 치료 가능성이 낮아지고 악화되는 알츠하이머의 경우 병의 진행단계 초기에 나타나는 특성을 알아내는 것이 중요하다. 본 연구에서 제시한 딥러닝 모델은 장기적으로 변화하는 대뇌피질 두께 데이터를 통해 알츠하이머 병을 진단하는데 영향을 미치는 요소들의 특성을 파악할 수 있다. 또한, 알츠하이머에 걸린 뇌와 건강한 뇌의 차이점과 그 특징을 학습하여 병의 유무를 진단할 수 있을 뿐만 아니라, 학습한 데이터 형태에 기반하여 실제와 유사한 인공 뇌 그래프 데이터를 생성 가능하다. [연구결과의 진행 상태 및 향후 계획] 본 기술을 이용해 구조적 뇌 네트워크를 따라 진행되는 뇌의 다양한 변화를 살펴볼 수 있다. 이번 연구에서는 알츠하이머에 따른 뇌의 변화를 특성화 하고 데이터를 생성하는 기술의 신뢰성을 구조적 바이오마커인 대뇌 피질을 이용하여 확인하였고, PET과 같은 functional imaging을 통해 알츠하이머 초기단계의 바이오마커인 단백질 축적도 (beta amyloid, tau 등)의 변화도 추정해 볼 수 있다. 뿐만 아니라 시간에 따라 변화하는 supervision을 첨가하여 subject의 label이 변화하는 경우, 즉, 환자의 상태가 정상, MCI, 알츠하이머로 변화하는 뇌의 특성도 본 연구에서 제안하는 방식으로 표현이 가능하며, 현재 이러한 형태로 진행되고 있는 preliminary 연구 결과를 최근 International Symposium on Biomedical Imaging (ISBI)학회에 제출하였다. [성과와 관련된 실적물] 국제 학술대회 논문: International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2021 [성과와 관련된 이미지]

[조성현 교수] 흔들린 영상 복원 인공지능을 위한 실제 학습 데이터셋 개발

[연구의 필요성] – 야간이나 실내와 같은 빛이 부족한 환경에서는 카메라의 노출 시간이 길어지기 때문에 종종 흔들린 영상을 얻게 된다. 이러한 흔들림은 사용자에게 불편함을 초래하거나 영상인식 등의 성능을 하락시킬 수 있다. 최근에 흔들린 영상의 복원을 위해 학습 기반의 인공지능 기법을 활용하는 연구가 활발하게 진행되고 있으나 이러한 인공지능을 학습시키기 위해서는 흔들린 영상과 그에 해당하는 선명한 영상을 포함한 학습 데이터셋이 필요하다. 그러나 흔들린 영상과 선명한 영상을 동시에 얻는 것이 쉽지 않기 때문에 대부분 실제가 아닌 합성된 데이터를 사용하여 인공지능을 학습시키는 방법을 취하고 있다. 그러나 합성된 데이터가 실제 데이터를 완벽히 재현할 수 없기 때문에 합성 데이터셋으로 학습된 인공지능은 실제로 흔들린 영상을 복원할 때 실패하는 경우가 많다. [포스텍이 가진 고유의 기술] – 실제로 흔들린 영상의 복원을 학습하기 위해서는 실제로 흔들린 영상과 그에 대응하는 선명한 영상으로 이루어진 대량의 학습 데이터가 필수적이다. 본 연구진은 이를 위해 실제로 흔들린 영상과 그에 대응하는 선명한 영상을 획득하는 방법을 개발하였다. 빔 스플리터와 두 대의 카메라를 활용해 흔들린 영상과 선명한 영상을 동시에 촬영할 수 있는 카메라 시스템을 구축하였으며 인공지능 기법의 학습을 용이하게 하기 위해 흔들린 영상과 선명한 영상 사이의 공간적 정합 기법 및 색 정합 기법을 개발하였다. 또한 개발한 카메라 시스템 및 정합 기법을 활용하여 인공지능의 학습 및 평가에 사용할 수 있는 5000장 규모의 실제 흔들린 영상 데이터셋을 최초로 수집하였다. 다양한 실험을 통해 본 연구진이 개발한 데이터가 기존 합성 데이터에 비해 실제로 흔들린 영상에서 기존 인공지능 기법의 성능을 크게 개선할 수 있음을 보였다. [연구의 의미] – 기존 연구들은 실제 학습 데이터셋의 부재로 인해 합성된 데이터셋에 의존했다. 본 연구의 결과는 이러한 기존 연구의 한계점을 극복하고 실제 환경에서 높은 성능을 낼 수 있는 영상 복원 방법의 연구에 토대가 될 것이라 기대된다. – 흔들린 사진과 같은 훼손 영상은 CCTV나 자율주행 자동차에서 쉽게 발생할 수 있는 문제이다. 실제 환경에서 훼손된 영상에 대한 영상 복원은 단순히 영상의 품질을 개선하는 것 외에도 영상 인식의 성능 역시 크게 개선시킬 수 있어 더 스마트한 CCTV나 자율주행 자동차의 개발에 활용될 수 있다. [연구결과의 진행 상태 및 향후 계획] – 본 연구는 흔들린 영상 복원 인공지능의 학습에 활용 가능한 실제 영상 데이터셋을 최초로 개발하여 2020년 컴퓨터비전 분야 최우수 국제학술대회 중 하나인 ECCV에서 소개되었다. 포스텍 컴퓨터그래픽스 연구실은 실제로 훼손된 영상을 복원하기 위한 인공지능 기법을 개발하는 연구를 지속적으로 수행하고 있으며, 특히 본 연구 결과를 바탕으로 실제 학습데이터를 수집하는 어려움을 없애고 대량의 학습 데이터를 쉽게 생성할 수 있는 사실적이고 정교한 훼손 영상 합성 기법을 개발하고 있다. [성과와 관련된 실적물] 논문 발표 – Real-World Blur Dataset for Learning and Benchmarking Deblurring Algorithms, Jaesung Rim, Haeyun Lee, Jucheol Won, Sunghyun Cho, In: Proceedings of the European Conference on Computer Vision (ECCV), 2020. [성과와 관련된 이미지]

[한욱신 교수] 조 단위 그래프를 처리하는 분산 그래프 엔진 기술 개발

[연구의 필요성] 그래프는 소셜 그래프의 네트워크 구조, 로드 네트워크, 단백질 상호작용 구조, 웹페이지의 연결구조, 뇌의 신경망 구조 등 현실 세계의 복잡한 데이터를 표현하는 방법으로 널리 사용되고 있다. 최근 들어 그래프 데이터의 크기가 빠르게 증가함에 따라, 수천억 개의 간선으로 구성된 소셜 그래프로부터 수백조 규모의 뇌 신경망에 이르는 초대규모의 그래프 데이터를 효율적이며 안정적으로 처리하는 분산 그래프 엔진 기술의 개발이 중요한 연구 주제로 활발하게 연구되고 있다. 더불어 정적인 그래프 데이터를 다루던 기존 연구들의 한계를 극복하고 소셜 그래프나 뇌 네트워크와 같이 동적으로 구조가 변하는 동적 그래프를 효율적으로 처리하는 연구도 주목을 받고 있다. [포스텍이 가진 고유의 기술] 한욱신 교수는 삼성미래기술육성재단의 지원(2014.6~2018.5)을 받아 조 단위 규모의 그래프를 효율적이며 안정적으로 처리하는 분산 그래프 엔진인 TurboGraph++[1]를 개발하고 이 결과를 데이터베이스 분야 최우수 국제 학술대회인 ACM SIGMOD 2018에 논문으로 게재하여, 그래프 처리 및 분석 엔진 분야에서 국내 기술의 위상을 제고하였다. TurboGraph++는 기존의 모든 그래프 처리 엔진들이 극복하지 못한 조 단위 규모의 초대규모 그래프 처리 불가능의 문제를 해결한 획기적인 시스템으로 그 우수성을 인정받아 삼성미래기술육성재단의 우수성과 사례로 후속 과제(2018.9~2021.8)에 선정되었다. TurboGraph++는 새로운 그래프 처리 모델인 중첩 윈도우 스트리밍 모델(Nested Windowed Streaming Model)을 기반으로 제한된 용량의 메모리만을 가지고도 조 단위 규모의 대규모 그래프를 확장성 있고 안정적으로 처리할 수 있는 유일한 시스템이다 (그림 1). 또한, 현대 하드웨어의 병렬 처리 기능을 활용하여 CPU 연산, 디스크 I/O 및 네트워크 I/O를 완전하게 중첩함으로써 기존 연구보다 수백 배까지 빠르게 그래프 처리가 가능하다 (그림 2). 서브 그래프 매칭은 그래프 처리 분야에서는 중요한 연산 중 하나로서, 많이 연구되어 온 바 있다. 그러나 대부분의 기존 연구들은 정적인 그래프를 대상으로 하므로, 소셜 그래프나 뇌 네트워크와 같이 정점 간의 연결 구조가 동적으로 변화하는 환경에 적용하기에는 한계가 있다. 한욱신 교수는 동적 그래프에서 서브 그래프 매칭을 빠르게 수행하는 기술인 TurboFlux[2]를 개발하고 결과를 ACM SIGMOD 2018에 논문으로 게재하였다. 기존의 연구들은 서브 그래프 매칭의 부분 결과를 저장하는 비용이 많이 들거나, 그래프 업데이트 때마다 이미 수행한 매칭 연산을 다시 수행하여 성능이 매우 나쁜 문제가 있다. TurboFlux는 작은 용량의 메모리만으로 부분 결과를 유지하는 데이터-중심(Data-Centric) 그래프와 그래프 업데이트 연산이 발생하였을 때 저비용으로 데이터 중심 그래프를 관리하는 간선 전환(edge transition) 모델을 기반으로, 기존의 연구보다 평균적으로 수만 배까지 빠르게 서브 그래프 매칭을 수행한다 (그림 3). 더불어 한욱신 교수는 데이터 복제 구조를 획기적으로 개선한 하나 비동기 병렬 테이블 복제 기술을 개발하여, 분야 권위 저널인 VLDB 저널에 논문으로 게재[3]하였으며, 클러스터링 알고리즘인 k-메도이드(k-medoids) 알고리즘의 성능을 획기적으로 개선한 병렬 k-메도이드 알고리즘인 PAMAE[4]를 개발하고 그 결과를 데이터 마이닝 분야 최우수 국제학술대회인 KDD 2017에 논문으로 게재하였다. PAMAE를 TurboGraph++에 적용하면 조 단위 그래프에 대한 클러스터링도 가능하게 된다. [연구의 의미] 한욱신 교수는 빅 그래프 데이터 처리 분야에서 획기적인 아이디어와 우수한 결과물을 통해 분야의 학술적 발전에 크게 이바지하고 있다. 한 교수는 데이터베이스 분야의 최우수 국제학술대회인 ACM SIGMOD에 국내 주도 연구로는 가장 많은 13편의 논문을 게재하였으며, ACM SIGMOD 뿐만 아니라, 동 분야 최우수 국제학술대회인 VLDB(10편), 데이터 마이닝 분야 최우수 국제학술대회인 KDD(3편) 등에도 꾸준히 논문을 게재하여 분야에서 국내 기술의 위상을 높이고 있다. 이처럼 결과물의 학술 가치를 세계적으로 인정받았을 뿐만 아니라, 우수한 성능과 경제성으로 인한 높은 산업적 임펙트 때문에 에스에이피, 오라클, 삼성 등의 IT분야 최우수 기업들의 지속적인 지원을 받아 연구를 진행하고 있다. TurboGraph++는 이제까지 어떤 그래프 처리 엔진도 해결할 수 없었던, 조 단위 규모의 초대용량 그래프 처리를 소규모의 머신만으로 구성된 클러스터를 이용하여 효율적이며 안정적으로 처리할 수 있어, 웹 그래프 분석, 뇌 질환 분석과 같이 초대규모 그래프를 다뤄야 하는 검색엔진, 의료 등의 산업을 포함하여 그래프 데이터를 다루는 산업 전반의 발전에 이바지할 수 있을 것이다. TurboFlux는 동적 그래프 기반의 그래프 매칭을 해야 하는 소셜 데이터 분석, 침입 탐지, 이상 금융 거래 탐지 등의 고부가가치 산업에 활용될 수 있다. 비동기 병렬 테이블 복제는 상용 DBMS인 하나의 핵심 모듈로 활용 가능하며, 병렬 k-메도이드 기술은 데이터 마이닝 분야의 기반 기술인 클러스터링 기술로서 IT 산업 전반에서 활용이 가능한 유용한 기술이다. [연구결과의 진행 상태 및 향후 계획] 상기 언급한 바와 같이 한욱신 교수는 대용량 그래프 데이터 처리 분야에서 학술 및 산업적으로 임펙트가 큰 연구를 수행해오고 있으며, 이를 통해 데이터베이스 및 데이터마이닝 분야에서 국내 기술의 위상을 높이는 데 크게 이바지하고 있다. 최근에는 동적 그래프 처리 기술을 대용량 분산 그래프 처리 엔진에 접목한 점진적 및 시간 지원 그래프 분석을 지원하는 조 단위 규모의 빅 그래프 분석 엔진을 개발하고 있다. 또한, 딥러닝 기술에 기반을 두어 자연어 인터페이스를 제공하는 지능형 DBMS를 개발하고 있다. [성과와 관련된 실적물] 1. Ko, S., and Han, W., “TurboGraph++: A Scalable and Fast Graph Analytics System,” In 44th Int’l Conf. on Management of Data, ACM SIGMOD, Houston, USA, June 2018.(Corresponding author) 2. Kim, K., Seo, I., Han, W., Lee, J., Hong, S., Chafi, H., Shin, H., and Jeong, G., “TurboFlux: A Fast Continuous Subgraph Matching System for Streaming Graph Data,” In 44th Int’l Conf. on Management of Data, ACM SIGMOD, Houston, USA, June 2018.(Corresponding author) 3. Lee, J., Han, W., Na, H., Park, C., Kim, K., Kim, D., Lee, J., Cha, S., and Moon, S. “Parallel Replication across Formats for Scaling Out Mixed OLTP/OLAP Workloads in Main-Memory Databases,” The VLDB Journal, pp.1-24, April 2018. 4. Song, H., Lee, J., and Han, W., “PAMAE: Parallel k-Medoids Clustering with High Accuracy and Efficiency,” In 23rd ACM KDD Conference on Knowledge Discovery and Data Mining, Halifax, Nova Scotia, Canada, Aug. 2017. [성과와 관련된 이미지]

[곽수하 교수] 향상된 척도학습을 위한 레이블 완화를 활용한 임베딩 전이 학습

[향상된 척도학습을 위한 레이블 완화를 활용한 임베딩 전이 학습/ Embedding Transfer with Label Relaxation for Improved Metric Learning] 기존의 지식 전이 방법들은 분류 학습의 문제를 해결하기 위한 방법들이 주를 이루었으며, 척도학습을 위한 지식 전이 방법들은 거의 연구가 되지 않았다. 제안하는 방법은 이미 학습된 모델의 이미지 관계 정보를 활용하여, 효과적으로 학습할 모델에게 이 지식을 전이할 수 있는 새로운 방법을 제안하였다. 제안한 방법은 기존의 모델보다도 더 높은 성능을 가질 수 있는 모델을 학습할 수 있고, 성능을 유지하면서 출력 임베딩 벡터의 차원을 줄이거나 학습할 모델의 크기이는 최적화를 가능하게 하였다. 뿐만 아니라, 최근 주목받고 있는 대조 자가학습(contrastive self-supervised learning)에서도 성능을 향상시킬 수 있다는 것을 보였으며, 분류 학습에서도 기존 방법들에 비해서 더 효과적임을 보였다. 제안하는 방법은 딥러닝 기술을 활용하는 수많은 컴퓨터 비전 태스크에서 이미지들의 관계 정보를 활용하여 성능을 향상시킬 수 있을 것이다. 해당 논문은 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)에 게재 됨. ※ IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)은 구글 scholar기준 h5-index 299로, 공학 전 분야의 SCI 학술지 및 학술 대회를 통틀어 1위에 해당하는 컴퓨터 비전 분야 최고 수준의 국제 학술대회입니다.

[조민수 교수] 합성곱 호프 매칭 신경망

[합성곱 호프 매칭 신경망/Convolutional Hough Matching Networks] 본 연구에서는 4차원 유사도 텐서에 행해지는 4차원 합성곱 신경망은 사실상 패턴 인식을 위한 함수가 아닌 지역적 유사도 투표를 위한 호프 매칭 알고리즘임을 보여준다. 호프 변환 관점에서 해석된 4차원 합성곱 매칭은 다양한 기하적 변형 공간을 고려함으로써 4차원 이상의 고차원 기하 공간으로 일반화 될 수 있음을 보여주며, 고차원 커널 수가 대폭 줄어 학습된 커널의 해석을 용이하게 하고, 호프 공간에서 효과적인 매개변수 공유을 통해서 메모리 복잡도를 덜어준다. 합성곱 호프 매칭 알고리즘을 기반으로 의미론적 이미지 정합을 위한 네트워크인 합성곱 호프 매칭 신경망(convolutional Hough matching networks)을 제안한다. 제안한 네트워크는 기존 합성곱 매칭 방법들에 비해 매우 적은 수의 매개변수 만으로도 실시간 이미지 매칭에 우수한 성능을 낼 수 있음을 보여준다. 해당 논문은 2021 IEEE Conference on Computer Vision and Pattern Recognition 에 게재 됨. ※ IEEE Conference on Computer Vision and Pattern Recognition (CVPR)은 구글 scholar기준 h5-index 299로, 공학 전 분야의 SCI 학술지 및 학술 대회를 통틀어 1위에 해당하는 컴퓨터 비전 분야 최고 수준의 국제 학술대회입니다.

[박재식 교수] 이미지간 관계 이해를 통한 이미지 생성 기술 개발

[연구의 필요성] 이미지를 생성하는 기술인 생성 모델 (Generative Models)은 인간과 같은 시각지능을 가진 인공지능 개발을 위한 핵심 문제 중 하나이다. 이는 인간이 사물에 대한 이해를 바탕으로 그림을 그릴 수 있듯, 기계가 상상력을 발휘하여 그림을 그릴 수 있도록 하는 분야이다. 현재 가장 널리 사용되는 적대적 생성 신경망 (Generative Adversarial Networks)은 학습이 여전히 어려우며 생성된 이미지의 질이 좋지 못한 근본적인 문제가 있었다. [포스텍이 가진 고유의 기술] 박재식 교수 연구팀은 물체들의 상호 관계를 이해하여 더욱 안정적이며 효과적인 생성 신경망인 대조 적대적 생성 신경망 (Contrastive Generative Adversarial Networks, 즉 ContraGAN)을 새롭게 제안하였다. ContraGAN은 이미지와 이미지의 잠재 변수 사이의 관계뿐만 아니라 이미지와 이미지 사이의 의미론적 관계를 상대적으로 학습하여 더욱 빠르고 효과적으로 고품질의 이미지를 생성할 수 있으며, 논문 제출 시점을 기준으로 세계 최고의 이미지 생성 성능을 보여주는 성과를 거두었다. 또한 연구팀이 온라인에 공개한 적대적 생성 신경망 실험 플렛폼인 PyTorch StudioGAN은 18 종류의 다양한 조건부 이미지 생성 신경망에 대한 실험 결과를 제공하고 있으며, 짧은 기간에 1700개 이상의 GitHub Star를 받는 등 세계적인 연구 성과물로 많은 관심을 받고 있다. [연구의 의미] 연구팀은 조건부 이미지 생성 분야에서 이미지간 상호관계를 최대한 끌어내 성능을 올리고, 이를 구현한 소프트웨어의 공개를 통해 적대적 생성 신경망 분야의 학술적 발전에 크게 이바지하고 있다. 해당 연구는 인공지능 분야 최고 권위 학술대회인 Neurips에 2020년 말 게재되었다. 해당 논문의 결과를 재현 할 수 있는 StudioGAN 라이브러리는 Github를 통해 온라인에 공개되어있는데, 연구자들이 적대적 생성 신경망 연구를 더욱 편하고 공정하게 할 수 있게 하기 위한 세계적인 모델들의 구현을 18가지나 포함하고 있으며, Google에서 공개한 CompareGAN과 함께 생성 신경망 커뮤니티에서 가장 많이 쓰이는 소프트웨어로 주목을 받고 있다. 조건부 이미지 생성 기술은 이미지 편집, 딥페이크 이미지 판별 AI, 장면 이해, 가상 현실 구축 및 랜더링 기술 등과 같이 앞으로 다가올 메타버스 기술에 핵심 기술로서 인간을 능가하는 인지 능력을 가진 시각지능 개발을 위한 기술로 사용될 수 있을 것으로 기대된다. [연구결과의 진행 상태 및 향후 계획] 포스텍 컴퓨터비전 연구실은 이미지 및 영상의 관계 학습을 통한 컨텐츠 생성 기술에 대한 후속 연구를 지속하고 있다. 특히, 최근 인공지능 분야에서 화제가 되고 있는 대조학습을 통한 표현학습 기술에 대한 이론적 이해를 바탕으로 더욱 효과적이고 해석가능한 적대적 생성 신경망을 개발하고 있으며, StudioGAN에 최근에 제안된 다양한 생성모델에 대한 구현을 추가하여 더욱 공평하고 편리한 연구를 위한 플렛폼을 구축하고자 노력하고 있다. 또한, 더욱 정교한 조건부 이미지 생성 신경망 평가를 위한 데이터세트 구축을 제안하여 데이터 바우처 사업에 선정된 바 있다. [성과와 관련된 실적물] – 국제 학술대회 논문: Minguk Kang and Jaesik Park. ContraGAN: Contrastive Learning for Conditional Image Generation. In Advances in Neural Information Processing Systems (NeurIPS), 2020. – 특허출원: 대조 학습과 적대적 생성 신경망을 활용한 생성 및 편집 방법과 장치 (출원번호: 10-2021-0033893) – 소프트웨어 등록: PyTorch StudioGAN: 파이토치 라이브러리를 활용한 적대적 생성 신경망 모음 (프로그램 번호: C-2020-043103) – 수상 이력: 제 16회 삼성전기 논문대상 은상 [성과와 관련된 이미지]

[최승문 교수] 버튼의 느낌을 자유자재로 변화시킬 수 있는 진동 증강 버튼

[연구의 필요성] 물리 버튼은 우리 주변에 만연해 있으며, 버튼을 통해 우리는 물체 혹은 그 환경과 상호작용합니다. 자동차 내부의 공조 패널이나, 가상환경과 상호작용하는 컨트롤러의 버튼이 그 예가 될 수 있습니다. 하지만 우리가 버튼을 누를 때, 물리 버튼은 우리가 처한 상황에 상관없이 항상 같은 느낌을 제공하여 단조로운 느낌을 주곤 합니다. 사용자에게 더욱 다양한 버튼의 느낌을 제공하기 위해 터치스크린에 햅틱 효과(진동)를 이용하여 가상 버튼을 구현한 사례는 많으나, 이는 실제 버튼을 누를 때의 클릭감의 부재로 실제 버튼을 누르는 느낌을 주기엔 부족함이 있습니다. 실제 물리 버튼의 클릭감이 가진 장점과 자유롭게 느낌을 변경시킬 수 있는 진동 가상 버튼의 장점을 모두 이용할 수 있는 새로운 방법을 고안한다면, 사용자는 버튼과 상호작용을 할 때 더욱 그 상황을 잘 이해할 수 있고 생동감 있는 경험을 할 수 있을 것으로 생각합니다. [포스텍이 가진 고유의 기술] 포스텍 인터랙션 연구실에서는 사용자가 실제 물리 버튼 (게임 컨트롤러의 버튼, 컴퓨터의 키보드/마우스 등)을 누를 때, 단순한 진동 패턴을 동시에 제공하여 상호작용하는 버튼의 느낌을 바꿀 수 있는 증강 버튼을 제작하고 그 주관적인 버튼에 대한 느낌을 정량화하였습니다 [그림 1]. 여러 증강 버튼과 실제 물리 버튼의 느낌을 정량화하기 위해 햅틱스 연구에서 이용되고 있는 인지 공간(Perceptual Space)을 이용하여 나타내고 이를 시각화하였습니다 [그림 2]. 더 나아가, “부드럽다-단단하다” 등 버튼의 느낌을 나타낼 수 있는 다양한 형용사 표현들을 이용하여 다양한 버튼의 느낌을 분류하였습니다. 이처럼 실제 물리 버튼과 진동을 통해 만들어진 진동 증강 버튼의 느낌을 정량화하고 시각화한 것은 본 연구실에서 최초로 시도한 것입니다. 주관적으로밖에 표현될 수밖에 없는 버튼의 느낌을 정량화하였기에, 연구 및 산업체에서 버튼을 이용할 수 있는 모든 곳에서 이용할 수 있는 가이드라인 제시하여 버튼에 대한 이해를 한층 높이고자 했습니다. [연구의 의미] 본 기술은 상용 물리 버튼에 단순한 진동 패턴을 추가하여 상호작용하는 버튼의 느낌을 바꿀 수 있다는 아주 간단한 방법론을 제시하였습니다. 제시한 방법은 간단한 기술인 데 비해, 진동 증강 버튼은 인지적으로 매우 다양한 버튼의 느낌을 만들어 낼 수 있으며, 더 나아가 실제 이용되고 있는 다른 느낌의 클릭감을 가진 물리 버튼과 유사한 느낌을 만들 수도 있습니다. 사용자는 증강 버튼을 통해 상황에 따라 적합한 버튼의 느낌을 만들 수 있고 이를 통해 더욱 사실적인 햅틱 경험을 할 수 있습니다. 이러한 학술적 가치를 인정받아 2020년 인간-컴퓨터상호작용 (HCI)분야 최우수 국제학술대회인 UIST에 게재되었습니다. [연구결과의 진행 상태 및 향후 계획] 포스텍 인터랙션 연구실은 사용자가 더욱 풍부한 햅틱 경험을 느낄 수 있도록 기존에 존재하는 촉각을 변화시키는 햅틱 증강현실(Haptic Augmented Reality)에 대한 후속 연구를 지속하고 있습니다. 본 연구의 결과를 바탕으로 오로지 촉각 정보만 가지고 구분할 수 있는 많은 증강 버튼을 제작하는 방법 및 그 정보량에 대해서 연구하고 있습니다. 본 연구를 통해, 실제 상황에서 하나의 버튼을 통해 얼만큼의 정보를 제공할 수 있을지 알아내고, 이를 가상현실의 어플리케이션과 접목하여 사용자에게 생동감있는 가상 경험을 제공하고자 하고 있습니다. [성과와 관련된 실적물] 논문발표 (2020년) Chaeyong Park, Jinhyuk Yoon, Seungjae Oh, and Seungmoon Choi. Augmenting Physical Buttons with Vibrotactile Feedback for Programmable Feels. In Proceedings of the Annual ACM Symposium on User Interface Software and Technology (UIST). 2020. ACM. 기타 실적 (2020년) 최승문, 박채용, 윤진혁. 햅틱 제공 장치 및 방법. 국내 특허 출원 (10-2020-0108441) [성과와 관련된 이미지]

[황인석 교수] MomentMeld: AI 기반 모바일 사진 미디어 증강을 통한 세대간 소통 촉진 서비스

MomentMeld: AI 기반 모바일 사진 미디어 증강을 통한 세대간 소통 촉진 서비스/ MomentMeld: AI-augmented Mobile Photographic Memento towards Mutually Stimulatory Inter-generational Interaction [연구내용 요약] 고령화 사회가 본격화하면서 많은 사회 문제가 나타나고 있다. 그 중 사회적 교류의 감소는 노년층의 삶의 만족도에 부정적인 영향을 미치는 주요 요인 중 하나다. 나이가 들면서 직장이나 사회 단체는 물론이고 가족과의 교류까지도 감소하는 경우가 많은데, 특히 자녀들이 장성하고 독립하면서 세대간 소통 및 교류의 축소 현상이 두드러지게 나타난다. 이러한 문제의식에서 출발하여 본 연구에서는 세대 간 소통에 긍정적인 변화를 유도하는 모바일 기반 일상생활밀착형 AI 서비스 MomentMeld를 제안한다. MomentMeld는 노년 세대와 자녀 세대가 각자 절대적인 시간대는 다를지라도 비슷한 삶의 맥락을 공유하고 있다는 점에서 착안하여, 우리의 일상을 반복적으로 스쳐가는 단편적 순간들을 포착해 자연스러운 세대 간 양방향 소통의 단초를 제공해주는 모바일-클라우드 복합형 AI 서비스이다. 본 연구에서 기여한 새로운 개념적 디자인 및 시스템을 정리하면 다음과 같다. 첫째, 사진에 기반한 세대 간 소통 도우미, 일명 Mutually Stimulatory Memento(MSM)의 디자인이다. MSM은 시간대는 다르더라도 장소나 표정 등 공통의 맥락을 공유하는 사진들을 병치함으로써 각 세대가 자연스럽게서로에게 공감하고 지속적으로 소통할 수 있도록 도와준다. 둘째, 세대간 소통 증진에 특화된 MSM을 자동으로 생성 및 제안하는 MomentMeld 서비스의 제작이다. MomentMeld는 스마트폰으로 사진을 촬영하는 순간으로부터 일련의 신호처리, 네트워킹, 기계학습 과정을거쳐 최적의 MSM을 추천해준다. 이 서비스는 본 연구팀에서 설계한, 복수의 심층 신경망 모델을 결합한 앙상블 AI 모델 및 모바일-클라우드 복합 런타임에 기반을 두고 있다. 연구의 평가를 위해 총 6개 가족 (각 가족은 3개 세대로 구성됨)에게 8주 동안 MomentMeld 서비스를 배포하여 사용하게 한 후 변화를 관찰하였다. 그 결과 세대 간 소통이 양적으로 약 90%, 질적으로는 약 50% 정도 증가한 것을 확인할 수 있었다. 본 논문에서는 연구 과정에서 찾아낸 추가적인 시사점에 대해서까지 폭넓게 논의하고 있다. [연구성과의 의의] 현재 구글이나 페이스북 등에서 상용화된 인공지능 기반 과거 사진 추천 서비스는 크게 두 가지 범주에 머물러 있음. (1) “1년 전 오늘날”과 같이 개인의 사진첩 중에서 특정 시간, 특정 방문지 기반으로 과거 사진을 추천하여 사용자의 회상을 촉진하는 유형, (2) “앨리스와 당신”과 같이, 개인의 사진첩 중에서 특정인과 함께 찍은 사진들을 추천하여 나와 해당인 사이의 동시간대 공통 추억에 대한 회상을 촉진하는 유형이 그것임. 본 연구에서는 서로 다른 시간대를 뛰어넘는 둘 이상의 사용자 간에 걸친 새로운 유형의 인공지능 기반 사진 추천을 제안한 것임. 특히, 노령화 사회 및 노년층의 사회적 위축이라는 우리 사회의 당면 문제 하에서, 본 서비스가 노년층의 가족간, 세대간 소통 촉진이라는 사회적 가치에 기여할 수 있는 연관성이 있음을 밝혀내었음. 이를 위해 풀스택 개발, 실사용자 배포 및 장기간에 걸친 실험 등을 포괄적으로 수행함으로써, 본 서비스가 기술적으로 구현 가능하고 사회적 문제에 공헌이 가능함을 확인 하였음. 해당 논문은 ACM CHI 2021 (ACM SIGCHI Conference on Human Factors in Computing Systems) 에 게재됨. ※ ACM CHI 2021 (ACM SIGCHI Conference on Human Factors in Computing Systems) 은 컴퓨터공학을 구성하는 분야 중 하나인 “인간-컴퓨터 상호작용 (Human-Computer Interaction; HCI)” 분야를 대표하는 명실상부 세계 최고 수준의 국제 학회임. (Google Conference Ranking HCI 분야 1위, http://csrankings.org/ HCI 분야 등재, 한국정보과학회 최우수 국제학술대회, BK21 학술대회 impact factor=4)