[김원화 교수] Adaptive Adversarial Data Augmentation with Trajectory Constraint for Alzheimer’s Disease Conversion Prediction

[연구의 필요성] 알츠하이머 병이 발병되기 전의 전구 단계로서 경도인지장애(Mild Cognitive Impairment) 단계가 존재한다. 경도인지장애로 진단받은 환자가 3년 이내로 알츠하이머 병 단계로 악화가 될 경우 이를 진행형 경도인지장애(progressive MCI)라 하고, 반대로 알츠하이머로 진행이 되지 않는 경도인지장애 환자는 안정형 경도인지장애(stable MCI)라고 한다. 경도인지장애 환자들 중 실제로 알츠하이머로 전환되는 진행형 환자들을 식별하는 것이 알츠하이머 조기 진단 및 예방에 중요한 문제이다. 하지만 이러한 종적 신경퇴행성 질병의 데이터의 수는 적고, 특히 진행형 환자의 수는 안정형 환자들의 수보다 훨씬 적은 데이터 불균형(class imbalance)문제까지 있기 때문에, 인공지능 모델이 진행형 경도인지장애 환자와 안정형 경도인지장애 환자의 차이를 학습하는데 어려움이 존재한다. 따라서, 본 연구에서는 진행형 경도인지장애 환자의 뇌 데이터를 증강하고 이렇게 증강된 데이터를 기반으로 진행형과 안정형 경도인지장애를 구분할 수 있는 인공지능 모델을 개발하였다. [포스텍이 가진 고유의 기술] (1) 본 연구에서는 데이터 증강부터 알츠하이머병 발병 예측까지 두 가지 task를 end-to-end로 학습하는 새로운 인공지능 모델을 제시하였다. 즉, 데이터 수가 적은 진행형 경도인지장애 환자의 뇌 데이터를 증강하고, 이렇게 증강된 데이터와 실제 진행형/안정형 경도인지장애 환자들의 데이터를 기반으로 이 환자들이 3년 이내로 알츠하이머병으로 진행이 될지 여부를 구분하는 인공지능 모델을 개발하였다. (2) 경도인지장애 환자의 뇌 데이터를 그룹별(진행형/안정형), 환자별, 뇌 영역별로 나누어 각 단계별로 특징을 관찰, 이를 모델 학습에 반영하였다. 알츠하이머와 관련된 바이오마커를 그룹별로 비교했을 때, 일반적으로, 진행형 환자들이 안정형 환자들보다 알츠하이머 단계 환자들의 바이오마커 값과 유사하다. 따라서, 인공지능 모델이 특징공간(feature space)에서 안정형->진행형->알츠하이머 단계를 선형적 진행 경로로 배치 및 구분할 수 있도록 설계하였다. 진행형 경도인지장애 환자들을 개별적으로 관찰하였을 때, 경도인지장애 진단 후 1년 이내로 알츠하이머 병으로 전환되는 환자가 2년 뒤에 전환되는 환자보다 알츠하이머와 관련된 특징이 강했다. 또한, 진행형 경도인지장애 환자 그룹에서 뇌 영역별로 시간의 흐름에 따른 바이오마커 변화 양상이 다른 것을 관찰하였다. 이러한 환자별, 뇌 영역별 특징은 뇌 데이터 증강 시, 적대적 공격(adversarial attack)의 개념을 활용하여 모델 학습에 반영하였다. 구체적으로, 적대적 공격을 가한 데이터를 증강 데이터로 활용하였으며, 적대적 공격 시 공격의 횟수를 알츠하이머 병 전환 기간에 비례하도록 설정하여 특징 공간에서 환자별 차이를 고려하여 데이터 증강을 수행하였다. 또한, 적대적 공격의 강도는 학습 가능한 파라미터로 설계하였고, 이를 뇌의 각 국소 영역별로 다르게 학습되도록 구성하여 뇌의 영역별 차이를 고려하여 데이터 증강이 가능하다. (3) 증강된 진행형 경도인지장애 데이터가 실제 질병 진행 경로 상에 존재하도록 강제하는 경로 규제(trajectory constraint) 목적 함수를 고안하였다. 이를 통해 관측되지 않은 시점의 경도인지장애 뇌 데이터를 실제 데이터와 유사하게 생성할 수 있다. [연구의 의미] 데이터의 수가 적은 경도인지장애 환자의 뇌 데이터를 생성함으로써, 알츠하이머병 연구에 있어 데이터 부족 문제를 완화하고, 질병 진행 예측의 정밀도 향상에 기여하였다. 특히, 안정형과 진행형 경도인지장애 환자의 특성을 그룹별, 환자별, 뇌의 국소 영역별로 구분하고, 적대적 공격 기법을 사용하여 이러한 특징을 모두 고려한 데이터 증강 방법론을 고안하였다. 이를 통해 기존 연구들이 간과하기 쉬운 데이터의 단계별 특징을 포착할 수 있었다. 또한, 증강된 데이터가 실제 질병 진행 경로 상에 존재하도록 유도하는 경로 기반 제약(trajectory constraint)을 도입함으로써, 관측되지 않은 시점의 뇌 데이터를 생물학적으로 타당한 방식으로 생성할 수 있었다. 본 연구는 희귀하고 불균형한 임상 데이터를 보완하고 이를 기반으로 실제 알츠하이머 예측을 수행할 수 있는 인공지능 모델을 제시함으로써, 향후 알츠하이머 조기 진단 및 예후 예측 모델 개발에 활용 가능성을 제시한다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 의료 인공지능 분야 최우수 국제학술대회인 International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2025)에서 조기 수락 논문(조기 수락률: 9%)으로 채택되었다. 향후 파킨슨병 등 타 퇴행성질환 데이터셋에 본 연구에서 제시한 인공지능 모델을 도입해 의료 분야에서 데이터 부족 문제를 완화하는데 기여할 수 있도록 후속 연구를 진행할 계획이다. [성과와 관련된 실적] Hyuna Cho, Hayoung Ahn, Guorong Wu, Won Hwa Kim, “Adaptive Adversarial Data Augmentation with Trajectory Constraint for Alzheimer’s Disease Conversion Prediction”, Medical Image Computing and Computer Assisted Intervention (MICCAI), 2025. [Provisional accept: ~9%] [성과와 관련된 이미지]

[김원화 교수] MindLink: Subject-agnostic Cross-Subject Brain Decoding Framework

[연구의 필요성] 뇌 디코딩 (Brain Decoding)은 fMRI와 같은 뇌 영상 데이터를 활용하여 인간의 인지·지각 과정을 해석하고, 이를 통해 외부 자극(예: 이미지)을 재구성하는 기술로, 뇌과학과 인공지능 융합 연구에서 핵심적인 위치를 차지한다. 그러나 기존 방법은 개별 피험자별로 별도의 모델을 학습하는 구조를 사용하거나, 3D fMRI 데이터를 1D로 평탄화하여 공간 정보를 손실시키는 문제가 있다. 이러한 한계는 모델의 일반화 성능과 확장성을 저해하며, 특히 다수 피험자를 대상으로 하는 실제 활용에서 제약이 크다. 따라서 공간 구조를 보존하면서 피험자 간 변이를 극복할 수 있는 범용적이고 확장 가능한 뇌 디코딩 프레임워크의 개발이 필요하다. [포스텍이 가진 고유의 기술] 본 연구에서 제안하는 MindLink는 피험자 불변 (subject-agnostic) 특성을 추출하면서 3D fMRI의 공간 구조를 유지하는 범용 뇌 디코딩 프레임워크이다. (1) ROI 추출·제로패딩·패칭 과정을 통해 3D fMRI를 표준화된 정육면체 패치로 분할하고, 이를 3D 비전 트랜스포머에 입력하여 fMRI의 공간 정보를 보존한다. (2) 도메인 적대적 학습 (domain adversarial training)을 적용하여 피험자 고유의 신경 패턴을 제거하고, 다양한 피험자 데이터로부터 공통 표현을 학습한다. (3) fMRI와 이미지 임베딩 간의 간극을 메우기 위해 인스턴스 수준과 토큰 수준의 2단계 정렬 (two-level alignment) 전략을 제안한다. 인스턴스 수준에서는 fMRI 임베딩을 이미지 임베딩과 스케일과 방향을 동시에 정렬해 사전 학습된 확산 모델 (diffusion model)과의 호환성을 확보한다. 토큰 수준에서는 크로스 어텐션 (cross-attention)을 이용해 유연한 토큰 매칭을 수행함으로써 시각적 문맥을 반영한다. [연구의 의미] 본 연구는 인간의 뇌 활동을 기반으로 외부 자극을 해석·재구성하는 뇌 디코딩 분야의 발전에 기여한다. 특히, 다양한 피험자의 데이터를 하나의 모델로 통합 처리할 수 있는 범용적 접근을 제시함으로써, 뇌과학과 인공지능 간의 융합 연구를 한층 가속화할 수 있다. 이러한 기술은 인지과학, 신경과학뿐만 아니라 뇌-기계 인터페이스 (BMI), 보조 의사소통 장치 등 다양한 영역으로 확장 가능하다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 의료 머신러닝 분야 최우수 국제학술대회인 Medical Image Computing and Computer Assisted Intervention (MICCAI 2025)에서 포스터로 발표되었다. 향후 계획으로는 대규모·다도메인 fMRI 데이터셋에 대한 확장 실험을 수행하고, 다양한 감각 자극(예: 청각·촉각) 복원으로의 연구를 추진할 것이다. [성과와 관련된 실적] Sungyoon Jung, Donghyun Lee, Won Hwa Kim, “MindLink: Subject-agnostic Cross-Subject Brain Decoding Framework”, Medical Image Computing and Computer Assisted Intervention (MICCAI), 2025. [성과와 관련된 이미지]

[김원화 교수] DISCLOSE: Neurodegeneration Dynamics for Alzheimer's Disease Precision Medicine

[연구의 필요성] 알츠하이머병(AD)의 진행을 모니터링하는 것은 환자 치료에 매우 중요하다. 그러나 기존의 연구들은 뇌의 여러 영역에서 발생하는 복잡하고 상호 연관된 신경 퇴행을 간과하며, AD 병리 및 유전자형이 신경 퇴행에 미치는 영향을 제대로 모델링하지 못한다는 한계점을 가지고 있다. 또한, 경도인지장애(MCI) 환자 중 알츠하이머병으로 악화될 가능성이 높은 환자를 식별하는 것은 중요하며, 이를 위해 신경 퇴행의 동역학을 모델링하는 것이 필요하다. [포스텍이 가진 고유의 기술] 본 연구는 알츠하이머병 환자 치료에 필수적인 경도인지장애(MCI-AD)의 진행을 모니터링하는 데 중점을 둔다. 우리는 뇌의 여러 영역에 걸쳐 복잡하게 상호 연관된 신경 퇴행을 모델링하는 새로운 접근 방식인 '신경 퇴행 동역학'을 제시한다. 이를 위해DISCLOSE (Dynamics Individualized by Static Covariates without Longitudinal Screening) 프레임워크를 제안한다. 이 프레임워크는 오직 기준선(baseline)의 아밀로이드-베타 침착과 APOE4 대립유전자 수 정보만으로 환자별 신경 퇴행 동역학을 예측하며, 상미분 방정식(ODE)을 사용하여 모델링한다. 우리는 알츠하이머병 신경영상(ADNI) 데이터셋의 종단 MRI 샘플을 사용하여 DISCLOSE를 평가했으며, 그 결과 DISCLOSE가 장기적인 궤적 예측에서 기존 방법을 능가함을 입증했다. 특히 3년 이상에 대한 예측에서 우수한 성능을 보였다. 이 연구는 개인화된 질병 궤적 모델링에 중요한 진전을 제시하며, 알츠하이머병 관련 유전자형과 병리가 지역별 위축 진행에 미치는 영향을 정량적으로 해석할 수 있도록 제안한다. [연구의 의미] 이 연구는 신경 퇴행 동역학이라는 개념을 도입하여 뇌 영역 간의 관계를 보여주고, 심각한 신경 퇴행의 시작을 예측할 수 있게 한다. 또한, DISCLOSE 프레임워크는 기준선 데이터만을 사용하여 개인별 신경 퇴행 동역학을 도출하여 종단적 모니터링 및 시뮬레이션을 지원한다. APOE4 유전자형 및 초기 아밀로이드 부담 데이터를 통합함으로써, DISCLOSE는 위축 추정 정확도를 크게 향상시키며, 아밀로이드 부담, APOE4 상태 및 진행성 뇌 위축 사이의 복잡한 상호 작용을 포착한다. 이러한 개인별 질병 진행 패턴에 대한 이해는 신경 퇴행성 질환을 개념화하고, 모니터링하며, 궁극적으로 치료하는 방식을 근본적으로 변화시킬 수 있다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 의료영상처리 분야 최우수 국제학술대회인 The Medical Image Computing and Computer Assisted Intervention Society (MICCAI) 2025에 Oral Presentation으로 선정되어 발표될 예정이다. 향후 보다 더 많은 데이터셋에 적용하고 환자별 최적화를 더욱 효과적으로 할 수 있도록 방법론을 고도화 시키는 방법으로 연구를 진행할 예정이다. [성과와 관련된 실적] Wooseok Jung*, Joonhyuk Park*, Won Hwa Kim, “DISCLOSE the Neurodegeneration Dynamics: Individualized ODE Discovery for Alzheimer’s Disease Precision Medicine”, Medical Image Computing and Computer Assisted Intervention (MICCAI), 2025. [*: equal contribution, Oral presentation: 76/3447 = ~2.2%] [성과와 관련된 이미지]

[김원화 교수] Conditional Graph Diffusion with Topological Constraints for Brain Network Generation

[연구의 필요성] 구조적 뇌 네트워크 데이터는 확산 텐서 영상(DTI)의 높은 비용과 트랙토그래피(tractography)와 같은 복잡한 데이터 처리 과정 때문에 확보하기 어렵다. 또한, 의료 데이터셋은 건강한 사람의 표본 크기가 환자보다 훨씬 많은 심각한 클래스 불균형 문제를 흔히 겪는다. 최근의 그래프 생성 모델들이 해결책을 제시할 수 있지만, 필수적인 바이오마커인 위상학적 특징을 보존하는 것을 간과하는 경우가 많아 뇌 네트워크에 적용하기에는 연구가 부족했다. [포스텍이 가진 고유의 기술] 본 연구는 위상학적 동질성(persistent homology)을 활용하여 고충실도 그래프 생성을 보장하는 조건부 그래프 확산 모델(conditional graph diffusion model)을 제안함으로써 이러한 한계에 대처한다. 우리는 특히 클래스 및 구조적 조건화를 통해 뇌 네트워크의 표적 합성을 가능하게 하는 조건 주입형 어텐션(Condition Infused Attention, CIA) 모듈과, 위상학적 일관성을 강화하는 위상 정렬(Topology Aligning, TA) 정규화 기법을 사용하는 조건부 그래프 확산(Conditional Graph Diffusion, ConGD) 모델을 제안한다. 알츠하이머병 신경영상 이니셔티브(ADNI) 데이터셋에 대한 실험 결과, 우리의 접근 방식은 라벨 조건에 따라 고충실도 합성 뇌 네트워크를 생성하며, 이는 다운스트림 그래프 분류 작업에서 예측 성능을 향상시키는 것으로 입증하였다. [연구의 의미] 이 연구는 위상학적 제약 조건이 있는 조건부 그래프 확산 프레임워크인 ConGD를 도입하여 알츠하이머병 단계별 뇌 네트워크를 생성한다. 질병 라벨 및 위상 구조와 같은 조건적 요인을 생성 과정에 통합함으로써, 이 모델은 조건과 매우 관련이 있고 실제 뇌 네트워크와 유사한 뇌 네트워크를 성공적으로 합성한다. ADNI 데이터셋을 사용한 실험 결과는 ConGD가 표적 증강을 통해 클래스 불균형을 효과적으로 완화하고, 결과적으로 다운스트림 분류 성능을 향상시킴을 보여준다. 이 연구는 뇌 네트워크 합성에 있어 위상학적 인식 학습의 중요성을 강조하며, 신경 영상 분석을 향상시키고 의료 응용 분야에서 생성 모델의 활용도를 확장하는 유망한 방향을 제시한다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 의료영상처리 분야 최우수 국제학술대회인 The Medical Image Computing and Computer Assisted Intervention Society (MICCAI) 2025에 포스터로 발표될 예정이다. 향후 연구 계획으로는 다양한 의료데이터에 해당 방법론을 적용하여 데이터를 생성하여 이후에 질병진단모델과 같은 연구에 활용하여 성능을 높이는 등의 연구를 진행할 예정이다. [성과와 관련된 실적] Joonhyuk Park, Donghyun Lee, Guorong Wu, Won Hwa Kim, “Conditional Graph Diffusion with Topological Constraints for Brain Network Generation”, Medical Image Computing and Computer Assisted Intervention (MICCAI), 2025. [성과와 관련된 이미지]

[이원열 교수] Floating-Point Neural Networks Can Represent Almost All Floating-Point Functions

[연구의 필요성] - 인공신경망의 이론적인 표현력에 대한 많은 연구가 있었으며, 이 중 대표적으로 보편근사정리(universal approximation theorem)들이 있다. 특히 완전연결(fully connected) 신경망의 경우, 임의의 연속함수를 원하는 정확도만큼 근사할 수 있음이 잘 알려져있다. - 하지만 이러한 결과들은 모두 "정확한 실수 값과 실수 연산을 다룰 수 있다"는 비현실적인 가정을 하고 있다. 실제 인공신경망은 부동소수점(floating-point) 값과 부동소수점 연산을 이용하여 구현되기에, 실제 상황에는 전혀 적용되지 않는 결과들이다. [포스텍이 가진 고유의 기술] - 부동소수점을 이용하여 정의된 인공신경망이 임의의 부동소수점 함수를 정확히 표현하기 위해서는, 활성화 함수(activation function)의 구별가능성(distinguishability) 조건이 반드시 필요하다는 것을 증명했다. - 위 결과의 역 또한 성립함을 증명했다. 즉, 구별가능성 조건(+ 추가적인 약한 조건)만 만족되면, 부동소수점 인공신경망이 임의의 부동소수점 함수를 정확히 표현할 수 있음을 보인 것이다. - 실제로 널리 사용되는 활성화 함수(예: ReLU, tanh) 중 대다수가 구별가능성 조건을 만족함을 수학적으로 보였다. [연구의 의미] - 지금까지 알려진 "부동소수점 인공신경망의 표현력"에 관한 결과들 중 가장 좋은 결과이다. - 부동소수점 인공신경망이 모든 함수를 표현하기 위한 필요충분 조건을 세계 최초로 찾아냈다. - 널리 쓰이고 있는 활성화 함수에 거의 모두 적용가능한, 강력한 결과이다. [연구결과의 진행 상태 및 향후 계획] - 기계학습 분야 최고학회 중 하나인 ICML에 채택되었고, 학회에서 포스터 발표되었다. [성과와 관련된 실적] Geonho Hwang, Yeachan Park, Wonyeol Lee, Sejun Park. "Floating-Point Neural Networks Can Represent Almost All Floating-Point Functions", ICML 2025. [성과와 관련된 이미지]

[이원열 교수] Floating-Point Neural Networks Are Provably Robust Universal Approximators

[연구의 필요성] - 인공신경망이 다양한 작업에 대해서 훌륭한 성능을 내고 있지만, 이들의 성능을 유지하면서 강건하게(robust) 만드는 것은 아직까지도 난제이다. - 이에 대한 원인을 찾기 위해 강건한 인공신경망과 그렇지 않은 인공신경망의 이론적 차이를 분석하는 연구가 최근 진행되었으며, 이 둘이 표현할 수 있는 함수 클래스가 사실은 정확히 같다는 것이 최근 증명되었다. 즉, 둘의 이론적인 표현력에는 전혀 차이가 없다는 이야기다. - 하지만 이러한 결과들은 모두 "정확한 실수 값과 실수 연산을 다룰 수 있다"는 비현실적인 가정을 하고 있다. 실제 인공신경망은 부동소수점(floating-point) 값과 부동소수점 연산을 이용하여 구현되기에, 실제 상황에는 전혀 적용되지 않는 결과들이다. [포스텍이 가진 고유의 기술] - 부동소수점을 이용하여 정의된 인공신경망이 임의의 부동소수점 함수를 정확히 표현할 수 있음을 증명했다. - 본 연구진의 결과가 기존 결과(즉, 실수를 이용하여 정의된 인공신경망에 대한 결과)와 몇몇 중요한 차이를 가진다는 것도 발견했다. - 원하는 성질을 지닌 강건한 부동소수점 인공신경망이 항상 존재하며, 부동소수점 덧셈과 곱셈만으로도 모든 부동소수점 프로그램을 표현할 수 있다는 것도 증명했다. [연구의 의미] - 부동소수점을 사용한 인공신경망과 이들의 강건함에 대한 세계 최초의 이론 결과이다. - 실수를 기반으로 한 계산모델과 부동소수점을 기반으로 한 계산모델에 흥미로운 큰 차이가 있다는 것도 보였다. - 부동소수점 프로그램의 계산완전성(computational completeness)에 대한 세계 최초의 이론 결과도 포함한다. [연구결과의 진행 상태 및 향후 계획] - 컴퓨터논리/검증 분야 최고학회 중 하나인 CAV에 채택되었고, 학회 메인세션에서 구두 발표되었다. - 포스텍 39년 역사상 최초의 CAV 정규논문(regular paper)으로서 더 큰 의의를 가진다. [성과와 관련된 실적] Geonho Hwang*, Wonyeol Lee*, Yeachan Park, Sejun Park, Feras Saad. "Floating-Point Neural Networks Are Provably Robust Universal Approximators", CAV 2025. [성과와 관련된 이미지]

[이원열 교수] Semantics of Integrating and Differentiating Singularities

[연구의 필요성] - 특이함수(singular function)는 극한값이 존재하지 않는 점을 지닌 함수를 일컬으며 (예: 1/x), 특이적분(singular integral)은 리만적분의 일반화로서 특이함수에 대해서도 유한한 값을 갖도록 잘 정의된 적분 개념이다. - 특이적분은 물리학/공기역학/기계공학/컴퓨터그래픽스와 같은 다양한 과학/공학 분야에서 널리 사용되고 있었지만, 특이적분과 이의 미분을 손쉽게 표현하고 계산해주는 프로그래밍 언어 및 관련 프레임워크가 전무한 상황이었다. [포스텍이 가진 고유의 기술] - 본 연구에서는 특이적분 및 이의 미분을 표현할 수 있는 프로그래밍 언어를 개발하고, 이를 올바르게 계산해주는 확률적 알고리즘을 제안했다. - 이를 달성하기 위하여, 특이적분 및 이의 미분에 대한 이론을 미적분학 정도의 기초수학만을 사용하여 새롭게 정립했다. - 개발한 언어 및 알고리즘을 실제 라이브러리로 구현했고, 다양한 벤치마크에 대해 올바르면서도 좋은 성능을 낸다는 것을 실험적으로 보였다. [연구의 의미] - 특이적분 및 이의 미분에 대한 기초이론을 고등수학은 전혀 사용하지 않고 정립했기에, 이 분야에 대한 접근성을 크게 높일 것으로 예상한다. - 특이적분 및 이의 미분을 손쉽게 표현할 수 있고 이를 자동으로 계산가능한 프로그래밍 언어 및 알고리즘를 세계 최초로 제안했다. - 제안한 언어 및 알고리즘을 누구나 사용할 수 있는 실제 라이브러리로 구현했기에, 향후 다양한 후속 연구를 불러올 것으로 기대한다. [연구결과의 진행 상태 및 향후 계획] - 프로그래밍언어 분야 최고학회 중 하나인 PLDI에 채택되었고, 학회 메인세션에서 구두 발표되었다. - 포스텍 39년 역사상 최초의 PLDI 논문으로서 더 큰 의의를 가진다. [성과와 관련된 실적] Jesse Michel, Wonyeol Lee†, Hongseok Yang. "Semantics of Integrating and Differentiating Singularities", PLDI 2025. [성과와 관련된 이미지]

[이원열 교수] Random Variate Generation with Formal Guarantees

[연구의 필요성] - 여러 확률분포에서 샘플링하는 것은 컴퓨터/과학/공학 등 다양한 분야에서 가장 기본적인 연산 중 하나이다. - 이를 위한 여러 라이브러리들이 존재하지만, "정확한 실수를 다룰 수 있다"는 비현실적인 가정 하에 개발되었기에 이론적인 보장은 전혀 가지지 않는다. - 이러한 이론의 부재는 보안/암호론 등의 분야에서 큰 문제를 일으키므로, 이론적 보장이 엄밀히 갖춰진 샘플링 라이브러리를 개발하는 것은 중요하다. [포스텍이 가진 고유의 기술] - 유한정밀도(finite-precision) 계산만으로도 원하는 확률분포에서 정확히 샘플링을 할 수 있는 알고리즘을 개발했다. - 개발한 알고리즘이 올바르다는 것을 증명했을 뿐만 아니라, 정보이론적으로(information-theoretically) 최적이라는 것도 증명했다. - 개발한 알고리즘을 실제 라이브러리로 구현했고, 이론적 보장이 전혀 없는 기존 라이브러리와 비슷한 성능을 낸다는 것을 실험적으로 보였다. [연구의 의미] - 샘플링 라이브러리에 이론적 보장을 줄 수 있는 방법론을 세계 최초로 제시했다. - 개발한 알고리즘이 올바르면서도 정보이론적으로 최적임을 수학적으로 증명하였기에, 이론적으로 큰 혁신성을 지닌다. - 개발한 알고리즘을 누구나 사용할 수 있는 실제 라이브러리로 구현하였기에, 실용적으로 큰 영향력을 낼 것으로 기대한다. [연구결과의 진행 상태 및 향후 계획] - 프로그래밍언어 분야 최고학회 중 하나인 PLDI에 채택되었고, 학회 메인세션에서 구두 발표되었다. - 포스텍 39년 역사상 최초의 PLDI 논문으로서 더 큰 의의를 가진다. [성과와 관련된 실적] Feras Saad, Wonyeol Lee. "Random Variate Generation with Formal Guarantees", PLDI 2025. [성과와 관련된 이미지]

[김광선 교수] PyTorchSim: A Comprehensive, Fast, and Accurate NPU Simulation Framework

[연구의 필요성] 거대언어모델 등 딥러닝 모델의 규모가 지속적으로 증가함에 따라, 이를 효율적으로 처리하기 위한 고성능, 고효율 연산기인 NPU(Neural Processing Units) 구조의 설계 고도화가 중요해지고 있다. NPU 구조 설계 과정에서는 성능 평가를 위한 시뮬레이터가 필수적이다. 하지만 기존의 NPU 시뮬레이터는 고속 처리, 멀티코어 및 멀티모델 실행, 벡터 연산을 포함한 범용 ISA, 컴파일러 연동, 데이터 의존적 타이밍 모델, 그리고 추론과 학습 모두를 포괄적으로 지원하지 못하는 한계를 가지고 있다. 이를 해결하기 위해 본 연구는 PyTorch 2 부터 지원되는 컴파일 모드와 통합된 새로운 NPU 시뮬레이션 프레임워크인 PyTorchSim을 제안한다. [포스텍이 가진 고유의 기술] PyTorchSim은 Systolic array 을 포함하는 다양한 가속 유닛들을 지원하도록 확장된 커스텀 RISC-V 기반 ISA를 기반으로 NPU를 모델링한다. PyTorchSim의 PyTorch 2 컴파일러 커스텀 백엔드는 MLIR과 LLVM을 기반으로 한 컴파일 과정을 통해 PyTorch 모델 코드를 타겟 ISA로 컴파일하고, 이를 확장된 Gem5와 Spike 시뮬레이터에서 실행함으로써 NPU 상에서 DNN의 타이밍 특성과 기능적 동작을 상세히 모델링한다. 또한 명령어 수준 시뮬레이션(Instruction-Level Simulation) 방식이 본질적으로 실행 속도가 느린 한계를 극복하기 위해, 타일 수준 시뮬레이션(Tile-Level Simulation, TLS) 기술을 개발하였다. 컴파일러 백엔드는 TLS를 위해 타일 단위의 의존성 그래프를 생성하여, 이 그래프 내에서 타일 단위의 결정론적(Deterministic)인 코어 연산 시간과 메모리 등 공유 자원 접근에 의한 비결정론적(Non-deterministic) 소요 시간을 구분하여 모델함으로써 높은 속도와 정확도를 모두 달성하였다. [연구의 의미] 본 연구는 차세대 NPU 구조의 설계 및 최적화를 위한 고속, 정밀 시뮬레이션 기반을 제공한다는 점에서 학문적‧산업적으로 모두 중요한 의의를 가진다. 특히 딥러닝 컴파일러 및 자동미분(Auto-differentiation)을 지원하는 세계 최초의 오픈소스 NPU 시뮬레이터로서, 하드웨어 구조 뿐만 아니라 컴파일러 최적화의 성능 영향을 평가하고 모델 추론 뿐만 아니라 학습 단계까지 정확히 모델하여 NPU 설계에 활용을 가능하게 한다. 이로써 기존에 NPU 구조 연구가 이뤄지기 어려웠던 영역에서의 연구를 활성화하고, 하드웨어 발전에 의존하는 딥러닝 기술 발전 가속에 기여할 것으로 기대한다. [연구결과의 진행 상태 및 향후 계획] PyTorchSim은 오픈소스 프로젝트로서 NPU 구조 연구 커뮤니티의 참여를 유도함으로써 지속적인 딥러닝 모델 발전과 NPU 구조 및 컴파일러 등 소프트웨어 스택의 발전에 대응하며 개발을 지속할 계획이다. 또한 PyTorchSim을 고도화하여 현재 본 연구실에서 진행중인 딥러닝 가속 시스템 연구에 활용할 것이다. 특히 거대언어모델, 에이전트 AI 등 인공지능 기술 발전에 효과적이고 유연하게 대응할 수 있는 NPU 및 이에 기반한 데이터센터 규모 시스템의 하드웨어-소프트웨어 동시설계(Co-design) 연구 추진에 활용할 계획이다. [성과와 관련된 실적] Wonhyuk Yang*, Yunseon Shin*, Okkyun Woo*, Geonwoo Park, Hyungkyu Ham, Jeehoon Kang, Jongse Park, Gwangsun Kim, " PyTorchSim: A Comprehensive, Fast, and Accurate NPU Simulation Framework," To appear in the 58th IEEE/ACM International Symposium on Microarchitecture (MICRO) (Acceptance rate: 20.8%) (*: co-first authors) Hyungkyu Ham∗, Wonhyuk Yang∗, Yunseon Shin, Okkyun Woo, Guseul Heo, Sangyeop Lee, Jongse Park, Gwangsun Kim, “ONNXim: A Fast, Cycle-level Multi-core NPU Simulator,” IEEE Computer Architecture Letters 23.2 (2024):219-222 (*: co-first authors) [성과와 관련된 이미지]