최신연구
[김원화 교수] Modality-Agnostic Style Transfer for Holistic Feature Imputation
[연구의 필요성]
알츠하이머 병과 같은 신경퇴행성(neurodegenertaive) 질환의 조기 진단은 질병 진행을 지연시키기 위해 중요하다. 이와 관련한 인공지능 연구는 활발히 진행되고 있다. 특히 초기 단계에서는 뇌의 상태 변화가 크지 않기 때문에, 하나의 영상 모달리티에서만 정보를 얻어 알츠하이머 병을 진단하는 것은 어려울 수 있다. 따라서 진단 정확도를 향상시키기 위해 여러 영상 모달리티의 정보를 결합할 필요가 있다. 그러나 현실적으로 여러 영상 스캔에서 데이터를 얻는 것에는 제약이 있다. 특히, 시간과 비용적 부담이 큰 positron emission tomography (PET)보다는 magnetic resonance imaging (MRI)만을 촬영하는 경우가 많다. 이러한 상황에서 인공지능 생성 모델을 활용하여 환자의 다른 종류의 영상 모달리티 결과를 예측할 수 있다면, 임상적으로 알츠하이머 병 진단의 효율성을 높일 수 있다. 또한, 해당 방법으로 생성한 데이터들을 실제 데이터에 추가적으로 사용하여 알츠하이머 진단 모델을 학습하게 된다면 진단 정확도의 향상을 보일 수 있을 것이다.
[포스텍이 가진 고유의 기술]
기존 image에 사용되던 style transfer의 개념을 data matrix에 적용하여 content를 알츠하이머 진행 정보로 정의하고, style을 imaging scan 정보로 정의하였다. 먼저, domain adversarial training 기법을 통해 여러 영상 모달리티 종류와 관계없이 알츠하이머 관련 정보만 embedding에 남기도록 하였다. 이후에 생성 모델인 GAN을 기반으로 해당 embedding으로부터 영상 모달리티 종류에 맞는 style을 입히도록 함으로서 해당 subject에 대해 원하는 영상 모달리티 종류의 추정치를 만들었다.
[연구의 의미]
본 연구에서 제시한 인공지능 모델은 알츠하이머를 진단하기 위한 다양한 영상 모달리티 결과 값을 모두 직접 얻을 필요 없이, 하나의 실제 값으로도 병의 단계를 반영한 다른 종류의 영상 모달리티 추정치를 만들어준다는 점에서 시간 및 비용적인 측면에서 효율성을 높일 수 있다.
[연구결과의 진행 상태 및 향후 계획]
본 연구는 의료 인공지능 분야의 우수 국제 학회인 IEEE International Symposium on Biomedical Imaging (ISBI) 2024에서 구두로 발표될 예정이다. 향후 본 연구에서 제안된 방법론의 불필요한 요소들을 보완하여 더욱 효율적인 생성 모델을 만들고자 연구를 계획 중이다.
[성과와 관련된 실적]
Seunhun Baek, Jaeyoon Sim, Mustafa Dere, Minjeong Kim, Guorong Wu, Won Hwa Kim, “Modality-Agnostic Style Transfer for Holistic Feature Imputation”, ISBI 2024
[성과와 관련된 이미지]