[이원열 교수] Floating-Point Neural Networks Are Provably Robust Universal Approximators

[연구의 필요성] - 인공신경망이 다양한 작업에 대해서 훌륭한 성능을 내고 있지만, 이들의 성능을 유지하면서 강건하게(robust) 만드는 것은 아직까지도 난제이다. - 이에 대한 원인을 찾기 위해 강건한 인공신경망과 그렇지 않은 인공신경망의 이론적 차이를 분석하는 연구가 최근 진행되었으며, 이 둘이 표현할 수 있는 함수 클래스가 사실은 정확히 같다는 것이 최근 증명되었다. 즉, 둘의 이론적인 표현력에는 전혀 차이가 없다는 이야기다. - 하지만 이러한 결과들은 모두 "정확한 실수 값과 실수 연산을 다룰 수 있다"는 비현실적인 가정을 하고 있다. 실제 인공신경망은 부동소수점(floating-point) 값과 부동소수점 연산을 이용하여 구현되기에, 실제 상황에는 전혀 적용되지 않는 결과들이다. [포스텍이 가진 고유의 기술] - 부동소수점을 이용하여 정의된 인공신경망이 임의의 부동소수점 함수를 정확히 표현할 수 있음을 증명했다. - 본 연구진의 결과가 기존 결과(즉, 실수를 이용하여 정의된 인공신경망에 대한 결과)와 몇몇 중요한 차이를 가진다는 것도 발견했다. - 원하는 성질을 지닌 강건한 부동소수점 인공신경망이 항상 존재하며, 부동소수점 덧셈과 곱셈만으로도 모든 부동소수점 프로그램을 표현할 수 있다는 것도 증명했다. [연구의 의미] - 부동소수점을 사용한 인공신경망과 이들의 강건함에 대한 세계 최초의 이론 결과이다. - 실수를 기반으로 한 계산모델과 부동소수점을 기반으로 한 계산모델에 흥미로운 큰 차이가 있다는 것도 보였다. - 부동소수점 프로그램의 계산완전성(computational completeness)에 대한 세계 최초의 이론 결과도 포함한다. [연구결과의 진행 상태 및 향후 계획] - 컴퓨터논리/검증 분야 최고학회 중 하나인 CAV에 채택되었고, 학회 메인세션에서 구두 발표되었다. - 포스텍 39년 역사상 최초의 CAV 정규논문(regular paper)으로서 더 큰 의의를 가진다. [성과와 관련된 실적] Geonho Hwang*, Wonyeol Lee*, Yeachan Park, Sejun Park, Feras Saad. "Floating-Point Neural Networks Are Provably Robust Universal Approximators", CAV 2025. [성과와 관련된 이미지]

[이원열 교수] Semantics of Integrating and Differentiating Singularities

[연구의 필요성] - 특이함수(singular function)는 극한값이 존재하지 않는 점을 지닌 함수를 일컬으며 (예: 1/x), 특이적분(singular integral)은 리만적분의 일반화로서 특이함수에 대해서도 유한한 값을 갖도록 잘 정의된 적분 개념이다. - 특이적분은 물리학/공기역학/기계공학/컴퓨터그래픽스와 같은 다양한 과학/공학 분야에서 널리 사용되고 있었지만, 특이적분과 이의 미분을 손쉽게 표현하고 계산해주는 프로그래밍 언어 및 관련 프레임워크가 전무한 상황이었다. [포스텍이 가진 고유의 기술] - 본 연구에서는 특이적분 및 이의 미분을 표현할 수 있는 프로그래밍 언어를 개발하고, 이를 올바르게 계산해주는 확률적 알고리즘을 제안했다. - 이를 달성하기 위하여, 특이적분 및 이의 미분에 대한 이론을 미적분학 정도의 기초수학만을 사용하여 새롭게 정립했다. - 개발한 언어 및 알고리즘을 실제 라이브러리로 구현했고, 다양한 벤치마크에 대해 올바르면서도 좋은 성능을 낸다는 것을 실험적으로 보였다. [연구의 의미] - 특이적분 및 이의 미분에 대한 기초이론을 고등수학은 전혀 사용하지 않고 정립했기에, 이 분야에 대한 접근성을 크게 높일 것으로 예상한다. - 특이적분 및 이의 미분을 손쉽게 표현할 수 있고 이를 자동으로 계산가능한 프로그래밍 언어 및 알고리즘를 세계 최초로 제안했다. - 제안한 언어 및 알고리즘을 누구나 사용할 수 있는 실제 라이브러리로 구현했기에, 향후 다양한 후속 연구를 불러올 것으로 기대한다. [연구결과의 진행 상태 및 향후 계획] - 프로그래밍언어 분야 최고학회 중 하나인 PLDI에 채택되었고, 학회 메인세션에서 구두 발표되었다. - 포스텍 39년 역사상 최초의 PLDI 논문으로서 더 큰 의의를 가진다. [성과와 관련된 실적] Jesse Michel, Wonyeol Lee†, Hongseok Yang. "Semantics of Integrating and Differentiating Singularities", PLDI 2025. [성과와 관련된 이미지]

[이원열 교수] Random Variate Generation with Formal Guarantees

[연구의 필요성] - 여러 확률분포에서 샘플링하는 것은 컴퓨터/과학/공학 등 다양한 분야에서 가장 기본적인 연산 중 하나이다. - 이를 위한 여러 라이브러리들이 존재하지만, "정확한 실수를 다룰 수 있다"는 비현실적인 가정 하에 개발되었기에 이론적인 보장은 전혀 가지지 않는다. - 이러한 이론의 부재는 보안/암호론 등의 분야에서 큰 문제를 일으키므로, 이론적 보장이 엄밀히 갖춰진 샘플링 라이브러리를 개발하는 것은 중요하다. [포스텍이 가진 고유의 기술] - 유한정밀도(finite-precision) 계산만으로도 원하는 확률분포에서 정확히 샘플링을 할 수 있는 알고리즘을 개발했다. - 개발한 알고리즘이 올바르다는 것을 증명했을 뿐만 아니라, 정보이론적으로(information-theoretically) 최적이라는 것도 증명했다. - 개발한 알고리즘을 실제 라이브러리로 구현했고, 이론적 보장이 전혀 없는 기존 라이브러리와 비슷한 성능을 낸다는 것을 실험적으로 보였다. [연구의 의미] - 샘플링 라이브러리에 이론적 보장을 줄 수 있는 방법론을 세계 최초로 제시했다. - 개발한 알고리즘이 올바르면서도 정보이론적으로 최적임을 수학적으로 증명하였기에, 이론적으로 큰 혁신성을 지닌다. - 개발한 알고리즘을 누구나 사용할 수 있는 실제 라이브러리로 구현하였기에, 실용적으로 큰 영향력을 낼 것으로 기대한다. [연구결과의 진행 상태 및 향후 계획] - 프로그래밍언어 분야 최고학회 중 하나인 PLDI에 채택되었고, 학회 메인세션에서 구두 발표되었다. - 포스텍 39년 역사상 최초의 PLDI 논문으로서 더 큰 의의를 가진다. [성과와 관련된 실적] Feras Saad, Wonyeol Lee. "Random Variate Generation with Formal Guarantees", PLDI 2025. [성과와 관련된 이미지]

[김광선 교수] PyTorchSim: A Comprehensive, Fast, and Accurate NPU Simulation Framework

[연구의 필요성] 거대언어모델 등 딥러닝 모델의 규모가 지속적으로 증가함에 따라, 이를 효율적으로 처리하기 위한 고성능, 고효율 연산기인 NPU(Neural Processing Units) 구조의 설계 고도화가 중요해지고 있다. NPU 구조 설계 과정에서는 성능 평가를 위한 시뮬레이터가 필수적이다. 하지만 기존의 NPU 시뮬레이터는 고속 처리, 멀티코어 및 멀티모델 실행, 벡터 연산을 포함한 범용 ISA, 컴파일러 연동, 데이터 의존적 타이밍 모델, 그리고 추론과 학습 모두를 포괄적으로 지원하지 못하는 한계를 가지고 있다. 이를 해결하기 위해 본 연구는 PyTorch 2 부터 지원되는 컴파일 모드와 통합된 새로운 NPU 시뮬레이션 프레임워크인 PyTorchSim을 제안한다. [포스텍이 가진 고유의 기술] PyTorchSim은 Systolic array 을 포함하는 다양한 가속 유닛들을 지원하도록 확장된 커스텀 RISC-V 기반 ISA를 기반으로 NPU를 모델링한다. PyTorchSim의 PyTorch 2 컴파일러 커스텀 백엔드는 MLIR과 LLVM을 기반으로 한 컴파일 과정을 통해 PyTorch 모델 코드를 타겟 ISA로 컴파일하고, 이를 확장된 Gem5와 Spike 시뮬레이터에서 실행함으로써 NPU 상에서 DNN의 타이밍 특성과 기능적 동작을 상세히 모델링한다. 또한 명령어 수준 시뮬레이션(Instruction-Level Simulation) 방식이 본질적으로 실행 속도가 느린 한계를 극복하기 위해, 타일 수준 시뮬레이션(Tile-Level Simulation, TLS) 기술을 개발하였다. 컴파일러 백엔드는 TLS를 위해 타일 단위의 의존성 그래프를 생성하여, 이 그래프 내에서 타일 단위의 결정론적(Deterministic)인 코어 연산 시간과 메모리 등 공유 자원 접근에 의한 비결정론적(Non-deterministic) 소요 시간을 구분하여 모델함으로써 높은 속도와 정확도를 모두 달성하였다. [연구의 의미] 본 연구는 차세대 NPU 구조의 설계 및 최적화를 위한 고속, 정밀 시뮬레이션 기반을 제공한다는 점에서 학문적‧산업적으로 모두 중요한 의의를 가진다. 특히 딥러닝 컴파일러 및 자동미분(Auto-differentiation)을 지원하는 세계 최초의 오픈소스 NPU 시뮬레이터로서, 하드웨어 구조 뿐만 아니라 컴파일러 최적화의 성능 영향을 평가하고 모델 추론 뿐만 아니라 학습 단계까지 정확히 모델하여 NPU 설계에 활용을 가능하게 한다. 이로써 기존에 NPU 구조 연구가 이뤄지기 어려웠던 영역에서의 연구를 활성화하고, 하드웨어 발전에 의존하는 딥러닝 기술 발전 가속에 기여할 것으로 기대한다. [연구결과의 진행 상태 및 향후 계획] PyTorchSim은 오픈소스 프로젝트로서 NPU 구조 연구 커뮤니티의 참여를 유도함으로써 지속적인 딥러닝 모델 발전과 NPU 구조 및 컴파일러 등 소프트웨어 스택의 발전에 대응하며 개발을 지속할 계획이다. 또한 PyTorchSim을 고도화하여 현재 본 연구실에서 진행중인 딥러닝 가속 시스템 연구에 활용할 것이다. 특히 거대언어모델, 에이전트 AI 등 인공지능 기술 발전에 효과적이고 유연하게 대응할 수 있는 NPU 및 이에 기반한 데이터센터 규모 시스템의 하드웨어-소프트웨어 동시설계(Co-design) 연구 추진에 활용할 계획이다. [성과와 관련된 실적] Wonhyuk Yang*, Yunseon Shin*, Okkyun Woo*, Geonwoo Park, Hyungkyu Ham, Jeehoon Kang, Jongse Park, Gwangsun Kim, " PyTorchSim: A Comprehensive, Fast, and Accurate NPU Simulation Framework," To appear in the 58th IEEE/ACM International Symposium on Microarchitecture (MICRO) (Acceptance rate: 20.8%) (*: co-first authors) Hyungkyu Ham∗, Wonhyuk Yang∗, Yunseon Shin, Okkyun Woo, Guseul Heo, Sangyeop Lee, Jongse Park, Gwangsun Kim, “ONNXim: A Fast, Cycle-level Multi-core NPU Simulator,” IEEE Computer Architecture Letters 23.2 (2024):219-222 (*: co-first authors) [성과와 관련된 이미지]

[곽수하 교수] MemDistill: Distilling LiDAR Knowledge into Memory for Camera-Only 3D Object Detection

[연구의 필요성] LiDAR 기반 3D 객체 검출은 정밀하지만 고비용이며, 카메라 기반 방식은 비용 효율적이나 3D 공간 정보를 효과적으로 활용하지 못함. 이 성능 격차를 줄이는 기술적 접근이 필수적임 [포스텍이 가진 고유의 기술] - MemDistill: 카메라 기반 3D 객체 검출 모델에 LiDAR 기반 모델의 3D 공간 정보를 메모리 구조(memory module)를 통해 효과적으로 distillation하는 세계 최초의 메모리 기반 교차 모달 지식 증류(Cross-modal KD) 프레임워크 - 장면 적응형 메모리 검색기(scene-dependent retriever)를 통해 학습된 LiDAR 정보 중 입력 장면에 적합한 정보만 추출하여 카메라 피처에 결합 - 하이브리드 아키텍처: 카메라 백본 + LiDAR 기반 detection neck/head 공유를 통해 모달리티 간 representation space alignment를 개선함 [연구의 의미] - 센서 비용 문제 해결: 카메라만 사용하는 저비용 모델로도 LiDAR 수준에 상당히 근접한 성능 확보 - 모달리티 간 간극 해소: 단순 feature matching이 아닌 memory 기반 간접 전이 방식으로 modality gap을 본질적으로 해소 - 실용성과 범용성: 메모리 모듈은 LiDAR 입력이 없어도 inference 가능. 다양한 모델/플랫폼에 확장 가능 [연구결과의 진행 상태 및 향후 계획] 향후 실제 자율주행 시스템과 통합 검증 및 3D semantic segmentation 등 다른 3D vision task로의 확장을 계획 중임 [성과와 관련된 실적] ICCV 2025 (International Conference on Computer Vision) Accepted [성과와 관련된 이미지]

[옥정슬 교수] Semantic Exploration with Adaptive Gating for Efficient Problem Solving with Language Models

[연구의 필요성] 거대 언어 모델(LLM)의 추론 능력은 다양한 문제 해결 과제에서 주요한 주제로 최근 활발히 연구되고 있습니다. 특히 복잡한 탐색 과정을 요구하는 고난이도 과제에서는 여러 추론 경로를 탐색하는 트리 기반 기법들이 성능 향상에 효과적인 방식으로 제안되고 있습니다. 그러나 기존 트리 탐색 기반 방법론에는 두 가지 주요한 비효율성이 존재합니다. 첫째, 문제 난이도를 고려하지 않고 모든 입력에 일괄적으로 복잡한 탐색을 수행해 계산 자원이 과도하게 소모됩니다. 둘째, 탐색 과정에서 의미적으로 동일한 경로가 반복 생성되어 중복된 연산이 발생합니다. 이러한 비효율성은 실제 응용에서 시간 지연과 높은 연산 비용은 물론, 경우에 따라 추론 정확도 저하로도 이어질 수 있어, 복잡한 탐색이 실제로 필요한지를 판별하고 필요한 경우에만 효율적으로 수행할 수 있는 방법이 요구됩니다. [포스텍이 가진 고유의 기술] 본 연구에서는 Semantic Exploration with Adaptive Gating (SEAG)를 제안합니다. Adaptive gating은 비교적 단순한 추론 방법으로 얻은 응답의 엔트로피를 계산하여 트리 탐색의 필요 여부를 동적으로 판단합니다. 이를 통해 쉬운 문제는 간단한 방식으로 해결하고, 어려운 문제에 대해서만 복잡한 탐색을 수행합니다. 엔트로피가 높은 어려운 문제에 대해서는, Semantic exploration이 각 추론 단계에서 LLM이 생성한 다양한 하위 노드를 의미적으로 군집화함으로써 중복 경로 생성을 방지합니다. 구체적으로는 자연어 추론 기반 모델을 활용해 문장의 양방향 함의를 분류하여 의미상 동일한 노드를 식별하고 군집화함으로써, 추론 트리의 중복을 줄이고 탐색 효율을 극대화합니다. [연구의 의미] SEAG는 단순한 선형 추론 방법과 고비용 트리 기반 추론 사이의 균형을 효과적으로 달성한 방법론입니다. 다양한 언어 모델을 기반으로 여러 벤치마크에서 기존 트리 탐색 기반 방식보다 높은 정확도를 달성하면서도 계산 비용을 절감했습니다. 특히 의미 기반 군집화 기법을 통해 트리 탐색 시 생성되는 노드 수를 평균 20~60% 감소시키는 데 성공했습니다. 이처럼 SEAG는 의미적 중복 제거를 통해 계산 효율을 높이고, LLM 기반 문제 해결의 성능과 실제 적용 가능성을 함께 향상시켰다는 점에서 의의가 있습니다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 자연어 처리 분야 최우수 학술대회 중 하나인 The 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025)에 채택되어, 구두 발표 세션에서 발표될 예정입니다. 추후 계획으로는, 문제 해결 컨텍스트를 더 깊이 이해하는 의미 기반 군집화 기법을 탐구하여, 보다 효율적이면서도 효과적인 방법을 지속적으로 연구할 계획입니다. [성과와 관련된 실적] Sungjae Lee*, Hyejin Park*, Jaechang Kim, and Jungseul Ok, “Semantic Exploration with Adaptive Gating for Efficient Problem Solving with Language Models”, ACL 2025 (main, long, oral <8% of accepted) [성과와 관련된 이미지]

[옥정슬 교수] Comparison-based Active Preference Learning for Multi-dimensional Personalization

[연구의 필요성] 대규모 언어 모델(LLM)의 활용이 확산됨에 따라, 모델이 인간의 의도를 얼마나 잘 따르는지가 중요한 문제로 부각되고 있다. 이에 따라 최근 연구들은 모델을 인간의 선호에 맞게 조정하는 정렬(alignment)을 핵심 기술로 다루고 있다. 그러나 이러한 정렬이 성공적으로 이루어지기 위해서는, 단일 기준에만 맞추는 방식으로는 충분하지 않다. 사용자들은 응답에서 helpfulness, harmlessness, humor 등 다수의 측면을 동시에 고려하며, 이는 곧 사용자 선호도가 본질적으로 다차원적(multi-dimensional)임을 의미한다. 게다가, 이러한 측면들에 대한 중요도는 사용자마다 서로 다르다. 예를 들어, 어떤 사용자는 정확성을 가장 중요시하고, 또 다른 사용자는 유머나 공감의 표현을 더 선호할 수 있다. 따라서 모델이 진정으로 사용자를 만족시키려면, 모든 사용자에게 동일한 응답을 제공하는 획일적인(one-size-fits-all) 정렬는 한계가 있으며, 사용자별로 다차원적인 개인화(personalization)가 필요하다. 하지만 현실에서는 대부분의 사용자들이 자신의 선호를 명시적으로 표현하지 않기 때문에, 이러한 개인화를 달성하는 것은 어렵다. 결국, 사용자 선호가 주어지지 않은 상태에서, 잠재적인 선호를 추정하고 적응하는 능력이 모델에 요구된다. 이러한 배경에서, 본 연구는 명시적 선호 표현 없이도 사용자 맞춤형 응답을 가능하게 하는 능동적 선호도 학습 프레임워크인 AMPLe (Active Multi-dimensional Preference Learning)를 제안한다. [포스텍이 가진 고유의 기술] 본 연구의 핵심 기술은 사용자로부터의 비교 피드백(comparison feedback)을 통해 명시적인 선호도 입력 없이도 개인화된 응답을 생성할 수 있도록 하는 선호도 학습 프레임워크를 설계한 데 있다. AMPLe는 다음 두 가지 기술적 차별성을 가진다. 첫째, 편향과 노이즈에 모두 강건한(robust) 선호도 학습 방식을 제안한다. 기존의 선호도 학습 방식은 로지스틱 가능도 함수(logistic likelihood)를 기반으로 베이지안 업데이트를 수행하지만, 이러한 곡선형 함수는 피드백을 반복적으로 수용할수록 추정치를 극단으로 끌고 가는 편향(estimation bias) 문제를 유발할 수 있다. AMPLe는 이를 해결하기 위해, 먼저 계단함수(step-function) 기반의 공간 분할 업데이트를 도입하여 추론 편향을 제거하였다. 그러나 이러한 방식은 사용자 피드백의 노이즈에 취약하다는 한계를 가지므로, AMPLe는 여기에 확률을 완전히 제거하는 대신 소폭 감소시키는 soft update 방식(γ-smoothing)을 추가하였다. 이를 통해 AMPLe는 편향 없는 추론과 노이즈 복원 가능성을 동시에 만족시키는 강건한 추론 구조를 갖추었다. 둘째, 적은 수의 비교 피드백만으로도 빠르게 선호도를 추정할 수 있는 효율적인 쿼리 선택 전략을 제안한다. 기존 방식에서는 쿼리를 무작위로 제시하거나 명확한 기준 없이 선정하여, 사용자 피드백이 추론에 큰 영향을 미치지 못하는 경우가 많았다. 이에 반해 AMPLe는 현재 사후분포(posterior) 상에서 가능한 피드백의 확률 분포를 균등하게 나누는 방향으로 쿼리를 선택하는 volume-halving 쿼리 선택 전략을 도입하였다. 이는, 현재 추정된 사용자 선호에 대해 가장 불확실성을 줄일 수 있는 비교 쌍을 선택함으로써, 각 피드백이 가지는 정보량을 극대화하고 실제 사용자 선호도로의 빠른 수렴을 가능하게 한다. 이러한 두 기술은 AMPLe이 적은 비교 피드백으로도, 노이즈와 편향에 강건하게, 다차원적인 사용자 선호를 추론하고 개인화된 응답을 생성할 수 있도록 한다. [연구의 의미] 이 연구는 LLM 기반 시스템의 개인화 가능성을 크게 확장하는 계기를 마련한다. 단순한 instruction-following을 넘어서, 다차원적인 사용자 선호 구조를 반영하는 응답 생성이 가능하다는 것을 보여주었고, 명시적 선호 입력이 없이 latent feedback만으로도 개인화된 응답을 생성할 수 있음을 실험적으로 입증하였다. 이는 향후 AI 비서, 추천 시스템, 교육용 튜터 등 실제 사용자와 상호작용하는 응용 분야에서, 사용자 중심의 자연어 처리 시스템을 구현하는 데 중요한 기반이 될 것으로 기대된다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 자연어 처리 분야 최우수 학술대회 중 하나인 The 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025)에 채택되어, 구두 발표 세션에서 발표될 예정이다. 향후에는 시간에 따라 변화하는 선호도에 적응할 수 있는 동적 학습 메커니즘을 연구할 계획이다. 이러한 시나리오는 실제 환경에 더 가까운 문제 설정으로, 실용성을 한층 높일 것으로 기대한다. 또한, 단순한 응답 생성 수준을 넘어, 복잡한 추론과 의사결정이 요구되는 다양한 agentic task로 본 방법을 확장하고자 한다. 이를 통해 다양한 사용자 요구에 능동적으로 대응할 수 있는 지능형 개인화 AI 시스템으로 발전시키는 것을 목표로 한다. [성과와 관련된 실적] Minhyeon Oh, Seungjoon Lee, and Jungseul Ok, "Comparison-based Active Preference Learning for Multi-dimensional Personalization", ACL 2025 (main, long, oral<8% of accepted) [성과와 관련된 이미지]

[옥정슬 교수] Towards Robust and Efficient Federated Low-Rank Adaptation with Heterogeneous Clients

[연구의 필요성] 연합학습(Federated Learning; FL)은 각 사용자 기기에 존재하는 풍부한 사적 데이터를 활용하면서도 개인정보 유출 위험을 최소화할 수 있는 학습 방식으로, 많은 양의 데이터를 필요로 하는 대규모 언어 모델(Large Language Model; LLM)의 학습에 매우 유용하다. 그러나 FL 환경에서 LLM을 미세조정(fine-tuning)하려면 수십억 개의 파라미터를 각 클라이언트가 로컬에서 학습하고 이를 서버로 전송해야 하므로 통신 및 연산 비용이 막대하다. 이를 해결하기 위한 자연스러운 접근 중 하나는 Low-Rank Adaptation(LoRA)을 FL에 도입하는 것이다. LoRA는 학습 및 통신해야 할 파라미터 수를 대폭 줄여주며, 그 자체로 효율적인 대안이지만, LoRA를 사용하는 기존의 FL 방법 중 다수는 데이터 분포가 서로 상이하거나 통신 리소스가 적은 현실적인 상황에서 성능 저하가 발생한다. [포스텍이 가진 고유의 기술] 본 연구는 Alternating Freeze와 Adaptive Rank Selection이라는 두 가지 핵심 기술을 도입하여, 모델의 파라미터 탐색 공간을 효율적으로 활용함으로써 성능 저하 문제를 해결하였다. - Alternating Freeze: 통신 라운드마다 LoRA의 두 행렬 B와 A를 번갈아 학습함으로써 기존의 불일치 문제(discordance problem)를 효과적으로 해결하였다. - Adaptive Rank Selection:각 클라이언트는 로컬 데이터 기반으로 모듈별 rank의 중요도를 평가한 뒤, 가장 중요한 rank들만 선택적으로 학습하고 나머지는 마스킹(masking)함으로써 학습·통신 자원을 중요한 모듈에 집중시킬 수 있다. 이로 인해 서로 유사한 클라이언트 간에는 자연스럽게 협력이 유도되고, 데이터가 상이한 클라이언트는 독립적으로 학습하여 충돌을 방지하는 효과를 얻었다. [연구의 의미] Alternating Freeze와 Adaptive Rank Selection을 결합한 본 연구의 제안 기법 LoRA-A²는 통신·연산 예산을 대폭 줄이면서도 LoRA를 사용하지 않는 전체 파라미터의 미세조정과 동등한 수준의 성능을 유지하였으며,높은 데이터 이질성, 낮은 파라미터 예산 환경에서 기존 LoRA 기반 FL 방법론을 능가하는 성능을 보였다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 자연어 처리 분야 최우수 학술대회 중 하나인 The 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025)에 채택되어, 구두 발표 세션에서 발표될 예정이다. 향후에는 사용자 선호를 반영한 개인화, 멀티모달 학습으로의 확장, 그리고 FL 기반 파운데이션 모델 학습에 적합한 데이터셋 정제 전략 설계 등으로 연구를 확장해 나갈 계획이다. [성과와 관련된 실적] Jabin Koo*, Minwoo Jang*, and Jungseul Ok, "Towards Robust and Efficient Federated Low-Rank Adaptation with Heterogeneous Clients", ACL 2025 (main, long, oral<8% of accepted) [성과와 관련된 이미지]

[류일우 교수] SPHARM-Reg: Unsupervised Cortical Surface Registration using Spherical Harmonics

[연구의 필요성] 대뇌 피질 표면 분석은 뇌의 기능적·구조적 특성을 정량화하고 비교하기 위한 핵심 과정으로, 개별 뇌 구조 간 차이를 비교하기 위해서는 표본 간의 대응 관계를 수립하는 정합(registration) 과정이 필수적이다. 특히, 대뇌 피질은 위상적으로 구면(genus-0)과 동형이기 때문에, 이를 구면 표면으로 매핑하여 정합을 수행하는 구면 정합 방식이 널리 활용되고 있다. 그러나 기존의 구면 정합 기법들은 대체로 강체 정렬(rigid alignment)과 비강체 정렬(non-rigid alignment)을 분리하여 수행하며, 이 과정에서 발생하는 정합 왜곡이 후속 뇌 형태 분석 및 통계적 해석에 편향을 초래할 수 있다는 한계가 있다. 특히, 왜곡이 심할 경우 동일 면적이 과도하게 늘어나거나 축소되어 샘플링 밀도에 불균형이 생기고, 이로 인해 그룹 비교나 통계 분석에서 잘못된 결과가 도출될 수 있다. 또한, 구면 상에서의 속도 벡터장(velocity field)을 활용한 정합 방식에서, 회전 성분을 보존하는 방식으로 부드러운 변형을 구현하는 것은 도전적이며, 기존의 벡터 인코딩 방식은 이 회전 정보를 온전히 보존하지 못하는 문제가 있다. 따라서, 정합 왜곡을 극복함과 동시에 회전 정보를 보존한 채로 매끄러운 정합을 할 수 있는 새로운 정합 방법론이 필요하다. [포스텍이 가진 고유의 기술] 본 연구는 POSTECH의 인공지능대학원 및 컴퓨터공학과가 주축이 되어 진행되었으며, 본 연구팀에서 기개발한 구면조화함수를 활용한 고차원 기하 정합 기술을 기반으로 하고 있다. 특히, 본 연구팀은 기존에 Hierarchical Spherical Deformation 및 SPHARM-Net 모델과 같은 대표적인 구면 기반 정합 및 구면 신호 추론 모델을 개발한 바 있으며, 구면 상의 미분동형사상 정합 및 스펙트럼 도메인에서의 신경망 학습에 있어 국제적으로 인정받는 연구 역량을 보유하고 있다. 이러한 연속적인 기술 개발의 기반 위에 구축된 본 연구는, 기존 방식의 한계를 극복하고 더욱 정교하고 해석 가능한 정합 결과를 제공할 수 있는 기술적 완성도를 확보하고 있다. [연구의 의미] 본 연구는 구면 정합의 정확도와 정합 왜곡을 동시에 개선했다는 점에서 학술적·기술적 의미를 지닌다. 기존 정합 기법들은 대부분 강체와 비강체 성분을 분리하여 처리하거나, 정합 과정에서 발생하는 왜곡을 정량적으로 제어하지 못하는 한계를 갖고 있었다. 이에 반해, 본 연구에서는 강체 및 비강체 성분을 동시에 최적화하는 구조를 도입함으로써, 정합 왜곡을 효과적으로 억제하면서도 다양한 구조 대응 지표에서 높은 성능을 달성하였다. 또한, 제안된 6차원 인자를 통한 속도 인코딩 방식은 회전 정보를 온전히 보존하면서도 구면 상의 매끄러운 벡터장을 학습할 수 있도록 설계되어, 기존 벡터 표현에서 발생하던 회전 손실 문제를 해소하였다. 이는 향후 구면 좌표계 기반의 다양한 의료영상 분석에 범용적인 정합 프레임워크로의 확장 가능성을 시사한다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 의료영상 분야에서 가장 영향력 있는 국제 학술지 중 하나인 IEEE Transactions on Medical Imaging (TMI)에 게재 승인되었으며, 지면으로 출간될 예정이다. 향후에는 제안된 SPHARM-Reg 모델을 기반으로 최적화 안정성과 학습 효율을 더욱 향상시키기 위한 수치적 개선 연구를 진행할 계획이다. 또한, 다양한 뇌 영역과 병리적 조건에서도 정합 성능을 유지할 수 있는 범용 정합 프레임워크로 발전시킬 예정이다. [성과와 관련된 실적] Seungeun Lee, Seunghwan Lee, Sunghwa Ryu, and Ilwoo Lyu, “Spharm-reg: Unsupervised cortical surface registration using spherical harmonics”, IEEE Transactions on Medical Imaging, 2025 [성과와 관련된 이미지]