[황인석 교수] 인간 대상 AI 모델의 강건성 강화를 위한 능동적 액츄에이션 방법

[연구의 필요성] 현재까지 인간의 감정, 인간의 활동 등 인간에 관한 다양한 정보를 추론하는 AI 모델이 개발되어왔다. 이러한 AI 모델이 실험실 환경을 떠나 실생활에 적용되면, 실생활 환경의 다양성으로 인해 추론 성능이 하락하는 순간을 필연적으로 만나게 된다. 예를 들어, 비전 기반 AI 모델에서 대상 인간의 얼굴이 정면이 아닌 옆면 혹은 뒷면만 보이거나, 대상 인간이 장애물에 가려져 있는 상황은 추론에 활용할 수 있는 정보가 매우 제한적이다. 종래 연구에서는 이와 같은 상황에서의 강건성을 확보하기 위해 새로운 데이터셋을 구축하고 모델의 복잡성을 증대하는 등 시간적 및 경제적 비용을 발생시키는 단점을 갖고 있다. 또한 대비하였던 상황의 분포에서 벗어난 상황이 발생하는 경우, AI 모델이 인간을 추론하기 쉬운 상황이 될 때까지 무한정 기다려야 하는 한계를 갖는다. 본 연구에서는 인간의 능동성을 활용하여, 종래 연구의 비용과 한계를 동반하지 않으면서 AI 모델의 강건성을 확보하는 방법을 제안한다. [포스텍이 가진 고유의 기술] 본 연구에서는 우리 일상 공간에 이미 널리 존재하는 다양한 스마트 디바이스(대화형 디스플레이, 스마트 스피커 등)의 동작(디스플레이 컨텐츠 변화, 대화 개시 등)를 활용하여, 대상 인간을 AI가 추론하기 어려운 조건에서 추론하기 쉬운 조건으로 유도하는 능동적 액츄에이션 방법을 최초로 제안한다. 예를 들어, 얼굴을 통해 감정을 추론하는 AI 모델에서 대상 인간의 얼굴의 옆면 혹은 뒷면만 확인할 수 있는 상황일 때, 대상 인간 주변의 스마트 스피커가 대화를 개시하면, 인간은 스피커를 향해 얼굴을 틀게 되어 AI 모델이 정면 얼굴을 포착하도록 상황을 변화시킬 수 있다. 또는 전신 이미지를 통해 인간의 자세를 추정하는 모델에서 대상 인간이 너무 가까이 있거나 멀리 있는 경우, 거리를 기반으로 동작하는 디스플레이의 컨텐츠를 변화시켜, 대상 인간이 디스플레이와 인터랙션하면서 AI 모델이 대상 인간의 다양한 거리에서의 전신 이미지를 확보할 수 있도록 도울 수 있다. 위의 두 예는 능동적 액츄에이션이 구현된 일부 예이며, 본 연구에서 제안한 방법론은 유비쿼터스 컴퓨팅 분야의 다양한 스마트 디바이스의 포괄적 협력, 능동적 동작, 그리고 다양한 인간 대상 AI 모델로 확장된다. [연구의 의미] 본 연구에서는 AI의 실제 환경하 강건성 재고를 위한 전례 없던 전략으로서 능동적 액츄에이션 기법을 최초로 제안하였으며, 방법론의 효과성과 사용자 경험을 검증하기 위한 실제 환경하 실험을 설계하고 수행하였다. 검증 결과를 바탕으로, 본 방법론을 실생활에 적용할 수 있는 현실성 강화를 위해 다양한 실질적 관점(액츄에이션에 대한 인간의 반응도, 액츄에이션에 의한 성능 향상이 발생하기까지의 시간, AI 모델이 추론하는 정보의 변화도 등)을 탐색하고 가이드라인을 제시하였다. 본 연구의 방법론은 종래 연구와 달리 높은 계산적, 경제적 비용을 요구하지 않으면서, 스마트 디바이스의 풍부한 동작을 활용하여 AI 모델의 추론하기 어려운 상황에 보다 유연하게 대처할 수 있을 것이다. [연구결과의 진행 상태 및 향후 계획] 본 연구의 실험은 방법론의 초기 검증을 위해 한 사람이 스마트홈 공간에 있는 상황에서 진행하였다. 이와 다르게 여러 사람이 생활하는 공용 공간의 상황에서 실험을 진행하여 다양한 상황에서 방법론을 추가로 검증할 것이다. 또한 인간 대상 AI 모델의 어려운 상황을 감지하고, 기존재하는 스마트 디바이스의 동작을 활용하는 자동화 시스템을 개발하고자 한다. [성과와 관련된 실적] * 국제 학술대회 논문: – 실제 환경에 적용된 AI의 실질적 성능 향상을 추구하는 전략은 여러 종류가 있었으나, 본 연구의 인간대상 액츄에이션 기법은 전례 없었던 새로운 축의 시도로서 그 참신성을 인정받았고, 더불어 실제적 환경 하에서의 AI 성능 향상에 대한 효과성도 인정받아, HCI 및 유비쿼터스 컴퓨팅 분야 최우수 국제학술대회인 ACM UbiComp 2023에 논문이 게재 수락 되었음. – Sungjae Cho, Yoonsu Kim, Jaewoong Jang, Inseok Hwang. AI-to-Human Actuation: Boosting Unmodified AI’s Robustness by Proactively Inducing Favorable Human Sensing Conditions. ACM UbiComp 2023. (Also published in ACM IMWUT (Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies). [성과와 관련된 이미지] 그림 1. 능동적 액츄에이션의 사례: (1) 대상 인간의 신체 방향으로 인하여 AI 모델이 현재 인간의 활동을 추론하기 어렵다. (2) 주변의 스마트 스피커가 대상 인간에게 대화를 개시한다 (액츄에이션) (3) 대상 인간의 신체 방향이 변화되고 AI 모델이 현재 인간의 활동을 추론할 수 있게 된다. 그림 2. 본 연구에서 제안한 방법론을 검증하기 위해 구현한 실험 환경

[황인석 교수] 개인의 다양한 실생활 제약 조건을 존중하는 개인화된 수면 계획 생성 시스템 개발

[연구의 필요성] 수면은 신체 피로 회복은 물론 면역, 기억력, 감정 등과도 밀접한 관련이 있는 삶의 매우 중요한 요소이다. 대부분의 사람들이 밤 10~11시경부터 7~9시간의 수면을 취하는 것이 이상적이라는 사실을 잘 알고 있으며 이런 가이드라인을 기반으로 수면을 돕는 기술 또한 많이 연구되어 왔다. 그러나 지금까지의 기술들은 개인의 다양성을 존중하지 못하고 일찍 자고 일찍 일어나라는 식의 획일화된 수면 추천을 제공하는 한계를 보였다. 그러나 프로젝트 마감이 임박한 직장인, 혹은 해외 동료와 온라인 미팅을 해야 하는 연구자 등 대다수의 바쁜 현대인들은 현실적으로 이러한 일방적인 수면 추천을 따르기가 불가능하다. 따라서 개개인마다 다른 앞으로의 일정, 신체 피로도, 과거의 수면 기록 등 여러 가지 복합적인 변수들을 고려하여 사용자 각각의 현실적인 제약 범위 내에서 실천 가능한 최적의 수면 계획을 생성, 추천해주는 시스템이 있다면 많은 사람들의 실질적인 수면 생활의 질이 향상될 수 있을 것으로 기대할 수 있다. [포스텍이 가진 고유의 기술] 본 연구에서는 사용자의 기존 일정과 신체 활동을 고려한 개인화, 최적화된 수면 계획을 추천하여 일상생활과 건강한 수면의 공존을 도모하는 시스템을 개발하였다. 인간의 수면 시점은 기본적으로 하루 주기의 생체 리듬, 활동량과 수면량에 따라 증감하는 두뇌의 아데노신 농도 등을 비롯한 신체 피로도 기반의 수면 압력에 의해 결정된다. 본 시스템에서는 사용자의 수면, 신체 활동 기록을 바탕으로 생리학적 피로 모델에 근거한 수면 압력을 계산하여, 개개인마다 다른 일상속 제약을 존중하면서 동시에 최소한의 수면량으로 신체 및 피로 회복 등의 효과를 최대화하는 향후 일주일 동안의 최적 수면 계획을 산출해낸다. 또한 수면 계획을 효과적으로 전달할 수 있는 대시보드 인터페이스를 개발하였다. 해당 인터페이스에서는 기본적으로 추천된 수면 스케줄과 더불어, 긴박하게 발생하는 일상 생활 속 불가피한 일정 변화에 따라 유연하게 택할 수 있는 차선책을 함께 제공함으로써, 시스템에서 제공하는 수면 계획의 설득력을 높이고 사용자의 현실 조건을 지속적으로 존중하며 건강한 수면 생활을 유도한다. [연구의 의미] 지금까지의 수면 연구는 이론에 근거한 이상적인 수면 일정으로 사용자를 유도하는 데 초점이 맞춰져 있었다. 본 연구는 여기서 한 걸음 나아가 개개인이 처한 상이한 일정과 신체 상태 여건에 따라 현실적으로 실천 가능한 개인화된 수면 일정이 필요함을 역설함으로써 연구자들의 관심을 환기시키고, 그것을 가능케 하는 최초의 시스템을 개발하여 장기적인 사용자 실험을 통해 그 효과까지 확인했다는 점에서 큰 의의를 지닌다. 또한 본 연구는 실생활 및 산업계에서의 활용 가능성이 굉장히 높다. 나아가서 조직 차원에서의 일정과 구성원 각자의 수면의 질과 생산성 개선 사이의 최적화에도 이용될 수 있다. 구체적으로는 병원, 항공 등 교대근무로 인해 규칙적인 수면생활이 불가능한 노동자들이 종사하는 산업계 전체에 활용될 수 있을 것이다. [연구결과의 진행 상태 및 향후 계획] 수면 외에도 전통적으로 획일화된 인간 모델을 기준으로 삼고 있는 분야에서 개인의 다양성을 반영한 모델을 설계하고 이를 이용해 인간의 실질적인 행동 변화를 유도하는 연구를 지속하려고 한다. 식생활, 운동 등 다양한 영역에서 유비쿼터스한 인지 기술을 바탕으로 개개인 간 미세한 차이를 찾아내고 모델링하여 삶의 질 개선에 기여할 수 있을 것으로 기대한다. [성과와 관련된 실적] * 국제 학술대회 논문 – 개개인마다 다른 일상의 다양성과 불가피성을 존중하는 맞춤형 수면 계획 추천은 전례 없던 시도로서 참신성을 인정받았고, 이에 더불어 수면 이론에 입각한 과학적 엄밀성과 탄탄한 사용자 실험의 실제성을 인정받아, HCI 기술 분야 최우수 국제학술대회인 ACM UIST 2022에 논문이 게재되었음. – Jungeun Lee, Sungnam Kim, Minki Cheon, Hyojin Ju, JaeEun Lee, Inseok Hwang. SleepGuru: Personalized Sleep Planning System for Real-life Actionability and Negotiability. ACM UIST 2022. * 특허출원 – 국내특허 : 동적으로 변하는 제약사항을 고려하는 개인화된 수면 플래닝 시스템 및 이를 위한 수면 스케줄 생성 방법 (출원번호: 10-2022-0078946) – 미국특허 : PERSONALIZED SLEEP PLANNING SYSTEM CONSIDERING INDIVIDUAL DYNAMIC CONSTRAINTS AND SLEEP SCHEDULE CREATING METHOD USING SAME (U.S. Patent Pending. Application No. 17/886446 (Application Date: 11-AUG-2022)) [성과와 관련된 이미지] 그림1. 피로도에 기반한 수면 압력 그래프 및 그 최적화 그림 2. 전체적인 수면 추천 시스템의 구조도 그림 3. 추천되는 수면 시간의 설득력을 뒷받침하는 대시보드 인터페이스

[한욱신 교수] 다수의 작은 질의를 분산환경에서 확장성 있게 처리하는 기술의 개발

[연구의 필요성] 최근 데이터 분석 응용들은 Spark와 같은 빅데이터 처리 플랫폼에 크게 의존하고 있다. 기존의 빅데이터 분석 플랫폼은 질의 당 대규모 데이타가 액세스되는 경우를 효율적으로 처리할 수 있도록 설계되고 최적화되었다. 그러나 하나의 질의에서 액세스하는 데이타는 크지 않지만 이런 질의들의 숫자가 매우 많은 경우에는 기존 빅데이타 분석 플랫폼을 그대로 사용하게 되면 성능상의 문제점이 발생하게 된다. [포스텍이 가진 고유의 기술] 본 기술의 핵심 아이디어는 질의를 데이타의 일부로 임베드하고, 동일한 서브질의들을 공유해서 한번에 처리하는 것이다. 해당 기술은 Spark뿐만 아니라 대규모 데이타 처리 시스템에 적용될 수 있는 확장성을 가지고 있다 (그림 1). 이렇게 함으로써 워크로드 처리 시 설정 대비 계산 시간 비율 (setup-to-compute time ratio)이 크게 개선되며, 질의 처리 시 필요한 머신 간 데이터 전송을 최소화하기 위하여 가능한 질의가 접근하는 데이터를 클러스터 내 동일 머신에 배치함으로써 대량의 작은 질의 워크로드를 10.6배에서 36.6배까지 빠르게 처리한다 (그림 2). [연구의 의미] 제안된 기술을 활용하면 대량의 작은 질의를 효율적으로 처리할 수 있어, 이커머스, 미디어, 클라우드 컴퓨팅을 포함하여 작은 질의가 대량으로 발생하는 산업 전반에서 활용이 가능한 유용한 기술이다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 데이타베이스 분야 최고 학술대회인 ACM SIGMOD 2023에 발표될 예정이며, 이번 연구의 핵심 기술을 기반으로 단일 머신 및 분산 환경에서 초대규모 그래프 데이터의 처리하는 연구에 접목하고자 하는 것이 향후 계획이다. [성과와 관련된 실적물] 1. Park, Y., Tak, B., and Han, W., “QaaD (Query-as-a-Data): Scalable Execution of Massive Number of Small Queries in Spark,” In 49th Int’l Conf. on Management of Data, ACM SIGMOD, Seattle, USA, June 2023. (Corresponding author) [성과와 관련된 이미지]

[유환조 교수] Obtaining Calibrated Probabilities with Personalized Ranking Models

[연구내용요약] 기존의 추천시스템은 유저에게 보여주는 아이템의 순서를 학습하는 것을 목표로 발전되어 왔으며, 미래에 유저가 소비할 아이템을 높은 순위로 추천을 하였는지를 평가해왔다. 본 논문에서는 여기서 나아가 사용자가 각 아이템을 소비할 확률까지 예측하기 위한 방법론을 개발하였다. 예를 들어, 유튜브가 제일 처음 보여주는 영상을 유저가 좋아할 확률은 유저별로 모두 다를 것이고, 우리는 그 영상을 보기 전까지는 우리가 얼마나 그 영상을 좋아하게 될지 알 수 없다. 유저가 아이템을 좋아할 확률을 예측할 수 있다면, 추천시스템은 확률이 낮은 아이템을 유저에게 보여주지 않는 판단을 내릴 수 있고, 나아가 유저의 예상 만족도를 얻을 수 있으며, 광고 비용을 효율적으로 사용할 수 있다. 이때, 예측된 확률이 실제 분포를 정확하게 반영할 수 있도록 model calibration을 진행해야 하며, 이를 위해서 본 연구에서는 Gamma calibration과 Gaussian calibration을 제안하였다. 두 calibration 모델은 기존 image classification에 사용되던 모델과는 다르게, 추천시스템 데이터셋에 적합하게 설계되어 class distribution의 imbalance와 skewness를 고려할 수 있다는 장점이 있다. 또한, 제안한 calibration 모델을 unbiased 하게 학습하기 위한 unbiased empirical risk minimization을 제안하여 성능을 향상시켰다. [연구와관련된이미지] 기존의 추천시스템은 user-item pair마다 ranking score s를 학습하고, 내림차순 정렬하여 아이템을 추천해옴. 본 연구에서는 이 ranking score s를 이용하여, 유저가 아이템을 소비할 확률 를 예측함. [연구실적] ‘랭킹 순서’가 아닌 ‘확률’을 예측하는 연구는 추천시스템 분야에서 처음 시도된 것이고, 이를 인정받아 최우수 국제 학술대회 AAAI 2022에서 Oral presentation을 진행하였음.

[이근배 교수] 응답 교정을 이용한 대화형 질의 응답 데이터셋 생성

[연구의 필요성] 대화형 질의응답은 주어진 지문을 기반으로 이루어지는 대화 형식의 질의응답으로, 질문자는 간결한 형태의 후속 질문들을 통해 주제에 대해 더 깊이 이해할 수 있다. 이러한 특성으로 인해 대화형 질의응답은 가상 비서 시스템과 사용자 고객 응대 시스템 등 다양한 시스템에 적용될 수 있다. 하지만 특정한 도메인를 위한 대화형 질의응답 시스템을 개발하기 위해서는 대용량의 훈련 데이터가 필요하며, 이러한 훈련 데이터를 사람이 직접 구축하는 것은 많은 시간과 비용이 소요된다. [포스텍이 가진 고유의 기술] 본 기술은 대용량 텍스트로부터 대화형 질의-응답 쌍을 자동으로 생성한다. 이전까지 생성된 일련의 질의응답 내용을 고려하여 텍스트로부터 다음으로 사용자가 관심을 가질만한 구문을 추출하는 Contextual Answer Extraction(CAE) 모듈과 추출된 구문을 응답으로 하는 질문을 생성하는 Conversational Question Generation(CQG) 모듈이 연속적으로 질의-응답 시퀀스를 생성한다. 본 연구진은 CAE 모듈로부터 부적절한 응답 구문이 생성될 경우 CQG 모듈에서 질문을 생성함과 동시에 질문과 어울리는 응답으로 교정하는 Answer Revision 기술을 개발했다. [연구의 의미] 기존 연구들은 텍스트와 적절한 응답 후보군이 주어졌을 때 자연스러운 대화형 질의를 생성하는데 초점을 맞추었다. 하지만 이는 적절한 응답 후보군이 주어지지 않는 실제 데이터 생성에 활용하기 적절하지 않다는 한계가 있었다. 본 기술은 다양한 산업체에서 자체적인 대화형 질의응답 시스템 구축을 위한 훈련 데이터 생성에 효과적으로 활용될 수 있다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 합성 대화형 질의응답 데이터의 품질을 향상시키기 위한 Answer Revision 방법론과 이를 위한 데이터 샘플링 방식을 최초로 제안하여 2021년 자연어처리 분야 우수 국제학술대회인 COLING에서 소개되었다. 이후로도 사람이 구축한 데이터와 유사한 품질의 질의응답 생성과 난이도 조절이 가능한 질의 생성 방법론에 대한 연구를 수행하고 있다. [성과와 관련되 실적물] Hwang, Seonjeong, and Gary Geunbae Lee. “Conversational QA Dataset Generation with Answer Revision.” Proceedings of the 29th International Conference on Computational Linguistics. 2022. [성과와 관련된 이미지] 그림 1. CQG-AR 모듈의 응답 교정 유형 통계자료. 그림 2. CoQA 데이터셋에 기반하여 CQAG-AR을 활용해 생성한 질의-응답 샘플. 교정 전 Answer Span은 노란색으로 표기하였다.

[이근배 교수] 보조 과제를 활용한 질의 응답형 Self-feeding 대화 상태 추적 모델

[연구의 필요성] 목적지향 대화챗봇은 여러개의 세부 모델로 구성되어 있으며, 그중 대화 상태 추적 모델은 대화 내에서 유저가 중요하게 전달한 단어를 문맥속에서 찾아 상태를 기록하는 역할을 함. 그러나 대화 상태 추적 모델을 학습시키기 위한 데이터를 생성하는것은 시간과 사람의 노력이 많이 들어가는 작업이므로, 태깅된 데이터의 수가 적더라도 좋은 성능을 보일 수 있는 학습방법과 모델이 필요함. [포스텍이 가진 고유의 기술] 본 연구에서는 질문 – 대화 형식의 대화 상태 추적 모델을 개발하여 대화 내에서 중요 모델을 효과적으로 찾는 연구를 진행하였고, 보다 성능을 높이기 위해 보조 태스크와, 자가학습 방법을 사용함. 메인 태스크에서는 정보를 찾기 원하는 항목에 대한 질문을 모델에게 하고, 모델은 해당하는 질문의 답을 생성함 보조 태스크에서는 정보를 언급을 파악할 수 있는 질문을 모델에게 하고, 모델을 질문에 대한 답이 대화 내에 있는지를 파악하였음. 자가 학습 방법에서는 이전 대화에서 생성된 대화 상태를 모델의 인풋으로 다시 넣어 주어 모델이 대화의 흐름을 더 잘 파악하도록 하였음. [연구의 의미] 다양한 실험을 통해 질문 형태로 대화 상태 추적 모델을 만드는 것이, 데이터가 적은 환경에서 새로운 도메인에서 전이 학습이 잘 되게 하는 것을 확인하였으며, 보조 태스크에서는 정답의 유무를 확인하는 것에 도움을 주는것을 확인 하였다. 제안한 방법은 기존에 사용하던 데이터의 10% 만을 가지고도, 전체 대화 데이터를 사용한 것과 비교할 만한 성능을 보여주었다. [연구결과의 진행 상태 및 향후 계획] 이번 연구에서는 게임 엔진에서 직접 추출된 움직임을 기반으로 모션 효과를 생성하고, 사용자 평가를 통해 최적의 모션 효과 생성 방식을 선정하였다. 향후에는 이 과정을 완전 자동화하기 위해 컴퓨터 비전 기술과 결합하여 일반적인 영상에서 움직임을 자동으로 추출하고 조합하여 모션 효과를 생성하고자 한다. [성과와 관련된 실적] 제안하는 기술은 언어 및 음성 분야 우수 국제학술대회인 Interspeech에서 구두발표 논문으로 선정되었음. [성과와 관련된 이미지]

[최승문 교수] 4D 컨텐츠를 위한 다관절체에 대한 모션 효과 자동 생성

[연구의 필요성] 4D 컨텐츠는 시청각 컨텐츠와 함께 다양한 감각 효과를 제공함으로써 사용자의 경험을 향상시킨다. 하지만, 이러한 감각 효과는 전문가에 의해 수작업에 의존하여 저작되기 때문에 4D 컨텐츠의 확산이 저해되고 있다. 본 연구에서는 4D 컨텐츠를 위해 시청각 컨텐츠의 물체(다관절체)의 움직임에 기반하여 모션 효과를 자동으로 생성하는 방법을 제시한다. [포스텍이 가진 고유의 기술] 본 연구에서는 다관절체의 움직임에 기반하여 모션 효과를 자동으로 생성하는 알고리즘을 개발하였다. 이 알고리즘은 3자유도로 움직일 수 있는 모션 효과로 다관절체의 다자유도 움직임을 표현해내기 위해, 다관절체의 부위 별 움직임을 중요도에 따라 조합하여 하나의 3자유도 움직임으로 축약해낸다. 이 알고리즘은 축약된 움직임을 재현하는 모션 효과로 변환된다. [연구의 의미] 본 연구에서 제시한 방법을 사용하면, 다양한 컨텐츠에 대한 모션 효과를 자동으로 생성할 수 있기 때문에, 4D 컨텐츠의 제작 속도를 가속화할 수 있다. 본 방법은 4D 컨텐츠 외에도 영화, 격투 게임, 춤 영상 등의 다양한 컨텐츠에 적용될 수 있으며, 사용자는 다양한 컨텐츠를 모션 효과와 함께 감상하여 향상된 경험을 할 수 있다. [연구결과의 진행 상태 및 향후 계획] 이번 연구에서는 게임 엔진에서 직접 추출된 움직임을 기반으로 모션 효과를 생성하고, 사용자 평가를 통해 최적의 모션 효과 생성 방식을 선정하였다. 향후에는 이 과정을 완전 자동화하기 위해 컴퓨터 비전 기술과 결합하여 일반적인 영상에서 움직임을 자동으로 추출하고 조합하여 모션 효과를 생성하고자 한다. [성과와 관련된 실적] 국제 학술대회 논문: ACM Conference on Human Factors in Computing Systems (CHI), 2023. [성과와 관련된 이미지] 그림 1. 다관절체의 움직임에 대한 모션 효과를 자동으로 합성해내는 과정을 도식화하였다. 컨텐츠에 등장하는 다관절체의 움직임들이 조합되어 하나의 움직임으로 축약되고, 그 축약된 움직임이 모션 효과로 변환되어 4D 컨텐츠의 관객에게 전달된다. 그림 2. 컨텐츠 속 등장 인물들의 움직임에 따라 생성되는 모션 효과의 움직임을 시각화한다. 5가지 방법(Attacker, Victim, Additive, Uniform, Salient)으로 모션 효과가 생성되었으며, Additive, Uniform, Salient 방법은 두 인물의 움직임을 적절히 조합하여 모션 효과로 표현한다.

[김원화 교수] 청소년기 뇌 발달에 영향을 미치는 요소의 독립적인 영향력 분석

[연구의 필요성] 청소년기의 아이들의 뇌는 나이, 성별, 교육 수준, 사회 경제적 상태 등 여러 내부적, 환경적 요인들로부터 복합적으로 영향을 받으면서 발달한다. 의료 영상 (Diffusion Tensor Imaging)을 이용한 아이들의 뇌 발달 분석에 있어서, 원하지 않는 변수의 영향을 제외한 중요 요인들의 영향만을 정량화 하는 딥러닝 기술이 필요하다. [포스텍이 가진 고유의 기술] 기존의 많은 연구가 통계 기법의 한계로 뇌의 일부를 특정하여 독립적으로 데이터를 분석하는 경우가 많았다. 또한, 기존 통계적 기법들을 사용한 연구는 연구에 사용되는 데이터 개수나 비정상적인 데이터(outlier)의 유무에 의해 결과 값이 크게 영향을 받았다. 그러나 본 연구에서 제안한 방법은 뇌 전체를 동시에 분석하면서도 통계적으로 유의미한 연구 결과를 얻어내었을 뿐만 아니라, 딥러닝 기술을 이용하여 기존 통계적 기법들보다 같은 데이터 셋에 대해 보다 유연하고 정확한 (robust) 분석이 가능하다. [연구의 의미] 사회경제적 요인 (Socioeconomic Status)이 청소년기 뇌 발달에 있어서 전두엽과 관련한 부위에 다양한 미세구조적 (microstructural) 변화를 준다는 것을 알 수 있다. 뇌의 역할과 기능에 따라 뇌를 148개의 영역으로 분할했을 때, 해당 청소년의 사회경제적 수치가 각 영역마다 미치는 영향력과 중요도를 판단할 수 있다. [연구결과의 진행 상태 및 향후 계획] 해당 연구에서 제시한 딥러닝 모델인 Covariate Correcting Network (CoCoNet)을 사용해, 수면호흡장애를 가진 아이들의 이상행동과 전두엽의 연관성을 분석하는 연구를 진행할 계획이다. 기존 연구에서 수면호흡장애와 이상행동 간의 연관성을 규명하려면, 두 가지 모두에 연관된 뇌의 변화가 설명되어야 했다. 전두엽은 집중력, 기억력, 체지각능력, 언어 능력, 행동 억제력을 관할하는 부분으로서, 두 요소를 매개하는 뇌의 대표적인 영역 중 하나로 알려져 있다. 따라서 전두엽의 구조적인 변화가 수면호흡장애와 이상행동 간의 연관성에 영향을 미치는 원인이 될 수 있으므로, 이 상호 작용을 분석하는데 있어서 관련된 불필요한 요소들의 영향력을 CoCoNet으로 배제할 수 있을 것이다. [성과와 관련된 실적물] 국제 학술대회 논문: International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2021 [성과와 관련된 이미지]

[김원화 교수] 알츠하이머에 걸린 뇌의 특성을 분석 가능한 딥러닝 모델 개발

[연구의 필요성] 뇌신경영상 (neuroimage)을 활용해 알츠하이머 병에 걸린 사람들의 뇌를 분석하는 연구가 활발하게 진행되고 있다. 이 때, 알츠하이머와 같은 치매에 걸린 뇌의 변화에 영향을 미치는 요인들 중, 시간에 따른 (time-varying) 요인과 고정적인 (static) 요인들의 영향을 서로 분리하여 (disentangle) 뇌의 변화를 분석할 필요가 있다. [포스텍이 가진 고유의 기술] 시계열 데이터를 분석하는 기존의 unsupervised 딥러닝 기법과 달리, 인간의 뇌 또는 영상 데이터에 대해서 알고 있는 도메인 정보 (structural brain network, image label 등)를 이용할 수 있는 인공지능 모델을 개발하였다. 이 모델은 뇌 영상 데이터를 효과적으로 분석할 수 있는 새로운 데이터의 형태 (representation)을 학습할 수 있다. 또한, 알츠하이머는 병이 진행될수록 대뇌피질의 두께가 변화하는데, 이 모델은 뇌의 변화에 영향을 미치는 요인들 중 이렇게 시간의 흐름에 따라 변하는 요소와 성별, 진단 라벨 등 항상 고정적인 요소를 구분하여 각 요인의 특징을 분석할 수 있다. [연구의 의미] 시간의 흐름에 따라 점점 치료 가능성이 낮아지고 악화되는 알츠하이머의 경우 병의 진행단계 초기에 나타나는 특성을 알아내는 것이 중요하다. 본 연구에서 제시한 딥러닝 모델은 장기적으로 변화하는 대뇌피질 두께 데이터를 통해 알츠하이머 병을 진단하는데 영향을 미치는 요소들의 특성을 파악할 수 있다. 또한, 알츠하이머에 걸린 뇌와 건강한 뇌의 차이점과 그 특징을 학습하여 병의 유무를 진단할 수 있을 뿐만 아니라, 학습한 데이터 형태에 기반하여 실제와 유사한 인공 뇌 그래프 데이터를 생성 가능하다. [연구결과의 진행 상태 및 향후 계획] 본 기술을 이용해 구조적 뇌 네트워크를 따라 진행되는 뇌의 다양한 변화를 살펴볼 수 있다. 이번 연구에서는 알츠하이머에 따른 뇌의 변화를 특성화 하고 데이터를 생성하는 기술의 신뢰성을 구조적 바이오마커인 대뇌 피질을 이용하여 확인하였고, PET과 같은 functional imaging을 통해 알츠하이머 초기단계의 바이오마커인 단백질 축적도 (beta amyloid, tau 등)의 변화도 추정해 볼 수 있다. 뿐만 아니라 시간에 따라 변화하는 supervision을 첨가하여 subject의 label이 변화하는 경우, 즉, 환자의 상태가 정상, MCI, 알츠하이머로 변화하는 뇌의 특성도 본 연구에서 제안하는 방식으로 표현이 가능하며, 현재 이러한 형태로 진행되고 있는 preliminary 연구 결과를 최근 International Symposium on Biomedical Imaging (ISBI)학회에 제출하였다. [성과와 관련된 실적물] 국제 학술대회 논문: International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2021 [성과와 관련된 이미지]