[박상돈 교수] Online Conformal Prediction with Adversarial Semi-bandit Feedback via Regret Minimization

[연구의 필요성] 최근 AI 시스템은 데이터 분포가 지속적으로 변화하는 온라인 환경에서 활용되는 경우가 증가하고 있다. 이러한 환경에서는 모델의 예측뿐만 아니라 예측의 신뢰도를 함께 제공하는 것이 중요하다. 기존 Conformal Prediction 기법은 전체 정답 피드백 또는 고정된 calibration 데이터를 필요로 하기 때문에 실제 온라인 환경에 적용하기 어렵다. 따라서 제한적인 피드백만을 활용하면서도 예측 신뢰도를 보장할 수 있는 새로운 Online Conformal Prediction 기술이 요구된다. [포스텍이 가진 고유의 기술] 본 연구에서는 Online Conformal Prediction 문제를 regret minimization 관점에서 새롭게 정식화하고, adversarial semi-bandit feedback만을 이용하여 conformal threshold를 온라인으로 학습하는 OCP-Unlock+ 알고리즘을 개발하였다. 핵심 기술은 다음과 같다. Adversarial semi-bandit feedback 기반 Online Conformal Prediction Regret minimization 기반 threshold 업데이트 부분 피드백만으로도 coverage를 유지하는 온라인 학습 알고리즘 다양한 분류 및 회귀 문제에 적용 가능한 일반적인 프레임워크 [연구의 의미] 본 연구는 제한적인 피드백만 주어지는 현실적인 온라인 환경에서도 예측 신뢰도를 보장할 수 있는 Online Conformal Prediction 방법을 제시하였다. 이를 통해 기존 Conformal Prediction의 적용 범위를 크게 확장하였으며, 의료 AI, 자율주행, 추천 시스템, 대규모 AI 서비스 등 신뢰성이 중요한 다양한 응용 분야에 활용될 수 있는 기반 기술을 마련하였다. [연구결과의 진행 상태 및 향후 계획] 현재 알고리즘 개발과 성능 검증을 완료하였으며, ICLR 2026에 논문이 게재되었다. 향후에는 다음과 같은 연구를 진행할 계획이다. 대규모 언어모델(LLM)의 불확실성 추정으로 확장 Selective Prediction 및 AI Safety 문제와의 결합 더욱 일반적인 부분 피드백 환경에 대한 이론적 보장 확장 실제 온라인 AI 시스템에서의 적용 및 실증 [성과와 관련된 실적] ICLR 2026 논문 게재 논문명: Online Conformal Prediction with Adversarial Semi-bandit Feedback via Regret Minimization 온라인 Conformal Prediction 분야의 새로운 regret minimization 기반 프레임워크 제안 ImageNet, Airfoil 등 다양한 데이터셋에서 기존 방법 대비 우수한 성능 검증 [기대효과 및 활용 분야] 신뢰성 있는 온라인 AI 시스템 구축 의료 AI 및 자율주행 등 안전성이 중요한 분야 적용 실시간 예측 시스템의 불확실성 관리 대규모 언어모델 기반 AI 서비스의 신뢰도 향상 Online Learning 및 AI Safety 연구로의 확장 [기술의 차별성] 기존 Online Conformal Prediction 방법은 전체 피드백을 요구하거나 제한적인 온라인 환경만을 고려하였다. 본 연구는 adversarial semi-bandit feedback 환경을 고려하여 부분 피드백만으로도 목표 coverage를 유지하도록 설계되었으며, regret minimization 기반 학습을 통해 변화하는 환경에서도 안정적으로 threshold를 조정할 수 있다는 점에서 차별성을 가진다. [성과와 관련된 이미지]OCP-Unlock은 예측 결과에 따라 관측 가능한 정보만을 활용하여 conformal threshold를 온라인으로 갱신한다. 예측 집합이 정답을 포함한 경우에는 실제 레이블을 이용해 모든 관련 threshold를 업데이트(Full Unlocking)하고, 정답을 포함하지 못한 경우에는 관측 가능한 threshold만 선택적으로 업데이트(Partial Unlocking)한다. 이를 통해 제한적인 semi-bandit feedback 환경에서도 목표 coverage를 유지하며 효율적인 prediction set을 생성할 수 있다.

[곽수하 교수] RePL: Pseudo-label Refinement for Semi-supervised LiDAR Semantic Segmentation

[연구의 필요성] 자율주행·로보틱스의 핵심인 LiDAR 3D 포인트 클라우드 의미 분할은 조밀한 라벨링 비용이 막대해 학습 데이터의 규모와 다양성이 크게 제약된다. 이를 완화하는 준지도학습은 모델이 만든 부정확한 의사라벨(pseudo-label)을 그대로 학습에 사용하면서 오류가 누적되는 확증 편향 문제를 겪어 왔다. [포스텍이 가진 고유의 기술] 연구팀은 신뢰도 낮은 라벨을 버리거나 가중치를 낮추는 사후 처리에 머문 기존 방식을 넘어, 의사라벨 품질을 생성 시점에 개선하는 프레임워크 RePL을 제안했다. 교사-학생 네트워크에 의사라벨 정제기를 결합해 오류 가능 영역을 추정하고 마스크드 재구성으로 더 깨끗한 지도 신호를 만들며, 정제가 이득이 되는 수학적 조건을 이론적으로 규명했다. [연구의 의미] 본 연구는 준지도 LiDAR 분할에서 의사라벨을 사후에 걸러내는 관점을 능동적으로 고쳐 쓰는 관점으로 전환했다. 정제가 언제 이득이 되는지를 이론적으로 증명하고 그 조건이 실제로 온화하게 충족됨을 실험으로 확인해 방법의 타당성을 뒷받침했다. [연구결과의 진행 상태 및 향후 계획] 현재 nuScenes-lidarseg와 SemanticKITTI에서 다양한 라벨 비율에 걸쳐 SOTA를 달성했으며 ECCV 2026에 채택됐다. 향후 휴리스틱 오류 마스크를 학습 기반 오류 지역화로 대체해 성능을 더 끌어올리고 다양한 백본·실주행 환경으로 확장할 계획이다. [성과와 관련된 실적] 권동현*, 박태규*, 곽수하 (POSTECH 컴퓨터공학과·인공지능대학원, *공동 제1저자) RePL: Pseudo-label Refinement for Semi-supervised LiDAR Semantic Segmentation - ECCV 2026 논문 채택 - nuScenes-lidarseg, SemanticKITTI 평균 mIoU 최고 달성 - 정제기 도입으로 supervised-only 대비 +9.1 mIoU 향상, SphereFormer 등 다른 백본에서도 성능 향상 확인 [요약] 본 연구는 자율주행·로보틱스의 3D 인식에서 라벨링 비용 문제를 근본적으로 완화하는 준지도학습 기술로, 이론적 보장과 실증 성능을 함께 갖춰 데이터 효율적 3D 인식 시스템으로 확장 가능성이 높다. [성과와 관련된 이미지]

[곽수하 교수] Learning Sample-wise Rank-aware Interpolation Weights for Composed Visual Data Retrieval

[연구의 필요성] 이미지·영상 검색은 참조 시각 데이터와 수정 텍스트를 결합한 복합 질의(composed query)로 발전하며 미디어 편집, 추천, 창작 콘텐츠 검색으로 확장되고 있다. 그러나 최신 기법들은 멀티모달 거대언어모델(MLLM)로 두 입력을 재작성해 검색하는 방식이라 질의 지연이 커 대규모 서비스 적용이 어렵다. [포스텍이 가진 고유의 기술] 연구팀은 무거운 융합 모듈 없이 임베딩 공간의 단순 선형보간만으로 복합 질의를 구성하되, 질의마다 최적 보간 가중치를 동적으로 예측하는 최초의 프레임워크 SRAIN을 제안했다. 미니배치의 랭킹으로부터 정답 가중치를 유도하는 랭크 인지 가중치 추정과, 메모리 뱅크로 하드 네거티브를 합성해 학습과 추론을 일치시키는 조건부 가중치 예측이 핵심이다. [연구의 의미] CNN·Transformer·MLLM 기반의 복잡한 융합이 주류인 상황에서, 가볍고 해석 가능한 표본별 선형보간만으로도 최신 기법과 대등하거나 우수한 성능을 낼 수 있음을 처음으로 체계적으로 입증했다. 고비용 아키텍처 없이 검색 성능과 실시간성을 동시에 만족하는 새로운 방향을 제시했다. [연구결과의 진행 상태 및 향후 계획] 현재 복합 질의 비디오 검색에서 SOTA, 이미지 검색에서 최고 수준 성능을 달성하며 MLLM 대비 질의 지연을 크게 줄였고 ECCV 2026에 채택됐다. 향후 극단적 가중치 예측 정확도 향상과 대규모 갤러리 검색 최적화를 통해 실서비스 적용으로 확장할 계획이다. [성과와 관련된 실적] 정보승, 박태규, 권동현, 조현석, 곽수하 (POSTECH 컴퓨터공학과·인공지능대학원, 아주대·삼성전자 공동) Learning Sample-wise Rank-aware Interpolation Weights for Composed Visual Data Retrieval - ECCV 2026 논문 채택 - WebVid-CoVR, CIRR 전 지표 SOTA, CIRCO·FashionIQ 최고 수준 성능 - 가중치 예측 추가 연산 질의당 0.03ms(전체의 0.08%)로 오버헤드 무시 가능한 효율성 [요약] 본 연구는 생성형 AI·영상 스트리밍 시대에 중요성이 커지는 효율적 멀티모달 검색 문제를 다루며, 무거운 대형 모델 없이 실시간에 가까운 성능을 달성해 미디어 편집·이커머스·영상 추천 등으로 확장 가능성이 높다. [성과와 관련된 이미지]

[박상돈 교수] Towards Functional Correctness of Large Code Models with Selective Generation

[연구의 필요성] 대규모 언어모델은 소프트웨어 개발 전반에 폭넓게 활용되고 있다. 그러나 생성된 코드가 표면적으로는 그럴듯해 보이지만, 실제로는 의도한 기능을 수행하지 못하는 ‘환각(hallucination)’ 현상이 빈번하게 발생한다. 따라서 실행 결과를 바탕으로 생성 코드의 기능적 정확성을 평가하고, 잘못된 코드가 사용자에게 제공되는 비율을 통제하는 기술이 필요하다. [포스텍이 가진 고유의 기술] 본 연구에서는 생성 코드의 기능적 정확성을 평가하고, 신뢰하기 어려운 경우 답변을 보류하는 ‘선택적 코드 생성기(selective code generator)’를 제안하였다. 제안한 생성기는 실제로 답변한 코드 가운데 잘못된 코드가 차지하는 비율을 사전에 설정한 수준 이하로 통제하며 이에 대한 통계적 보장을 제공한다. 코드가 올바른지 확인하기 위해 자연어의 함의(entailment) 개념을 코드로 확장한 alpha-entailment를 새롭게 정의하고, 코드 환각의 정도를 정량적으로 측정하는 지표 False Discovery Rate-Code Entailment(FDR-CE)를 제안하였다. 선택적 코드 생성기의 보정(calibration) 과정에서는 자동 생성된 단위 테스트를 활용하였다. 퍼징(fuzzing)과 같은 동적 코드 분석 도구, LLM 등을 통해 다양한 단위 테스트를 생성하고, 코드의 실행 결과를 바탕으로 코드 간 함의 관계를 추정하였다. 이를 바탕으로 FDR-CE가 사전에 설정한 수준 이하로 유지되도록 임계값을 결정하였다. 보정이 완료된 선택적 코드 생성기는 충분히 신뢰할 수 있는 경우에만 코드를 제공하며, 정확성을 확신하기 어려운 경우에는 스스로 답변을 보류한다. [연구의 의미] 본 연구는 “모델이 생성한 코드를 얼마나 믿을 수 있는가”라는 질문에 이론적 보장을 갖춘 해답을 제시한 연구이다. 모델이 확신할 수 없는 코드는 답하지 않도록 함으로써, 사용자에게 전달되는 코드의 정확성을 원하는 수준으로 제어할 수 있다. 특히 사람의 피드백이나 정답 라벨 없이 스스로 학습한다는 점에서 기존 연구와 차별화된다. [연구결과의 진행 상태 및 향후 계획] 다양한 모델, 데이터셋 등을 이용해 코드 환각 비율(FDR-CE)을 원하는 수준으로 통제할 수 있음을 확인했으며, 답변을 보류하는 비율 또한 합리적인 수준으로 유지되었다. 앞으로 이 기술을 실제 소프트웨어 개발 환경으로 확장하고, 안정성이 중요한 분야의 AI 프로그래밍 시스템에 적용하는 연구를 이어갈 계획이다. [성과와 관련된 실적] Jaewoo Jeong, Taesoo Kim, Sangdon Park, "Towards Functional Correctness of Large Code Models with Selective Generation”, ICML, 2026. 본 연구는 Microsoft와 공동으로 진행됨을 알려드립니다. [성과와 관련된 이미지]

[김원화 교수] Mark4D: Temporally-Consistent Watermarking for 4D Gaussian Splatting

[연구의 필요성] 최근 3D Gaussian Splatting 기술은 정적인 3D 장면을 넘어 시간에 따라 변화하는 4D 장면 표현으로 확장되며, 실감형 콘텐츠 생성, 디지털 휴먼, 메타버스, 자율주행 시뮬레이션 등 다양한 분야에서 활용 가능성이 커지고 있다. 그러나 4D Gaussian Splatting으로 생성된 동적 3D 콘텐츠는 복제, 변형, 재배포가 쉬워 저작권 보호 및 생성 콘텐츠의 출처 검증이 중요한 문제로 대두되고 있다. 특히 시간에 따라 장면이 변화하는 4D 콘텐츠에서는 워터마크가 개별 프레임에만 안정적으로 삽입되는 것이 아니라, 시간적으로 일관되게 유지되는 기술이 필요하다. [포스텍이 가진 고유의 기술] 본 연구는 4D Gaussian Splatting 콘텐츠에 대해 시간적으로 일관된 워터마크를 삽입하고 검출하는 기술을 제안하였다. 기존 이미지 또는 정적 3D 콘텐츠 중심의 워터마킹 방식과 달리, 본 연구는 시간에 따라 변화하는 4D Gaussian 표현의 특성을 고려하여 워터마크가 장면의 시각적 품질을 크게 저하하지 않으면서도 여러 시점과 시간 프레임에서 안정적으로 유지되도록 설계하였다. 이를 통해 동적 3D 콘텐츠의 저작권 보호와 출처 검증을 동시에 가능하게 하였다. [연구의 의미] 본 연구는 4D Gaussian Splatting 기반 동적 3D 콘텐츠를 대상으로 한 워터마킹 문제를 다루었다는 점에서 의미가 있다. 특히 4D 콘텐츠는 시점 변화뿐만 아니라 시간 변화까지 포함하기 때문에, 단순히 프레임별로 워터마크를 삽입하는 방식으로는 시간적 불일치나 검출 성능 저하가 발생할 수 있다. Mark4D는 이러한 한계를 해결하기 위해 시간적 일관성을 고려한 워터마킹 기법을 제안함으로써, 향후 생성형 3D/4D 콘텐츠의 신뢰성 확보와 저작권 보호에 기여할 수 있다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 CVPR 2026에 게재되었으며, 해당 연구 성과를 바탕으로 4D Gaussian Splatting 콘텐츠의 보안성, 추적 가능성, 저작권 보호 가능성을 검증하였다. 향후에는 다양한 4D 장면, 편집 환경, 압축 및 변형 상황에서도 안정적으로 동작하는 워터마킹 기술로 확장하고, 생성형 3D/4D 콘텐츠 플랫폼에서 활용 가능한 실용적 보호 기술로 발전시킬 계획이다. [성과와 관련된 실적] 이재진 대학원생(통합 24, 지도교수 김원화) / Mark4D: Temporally-Consistent Watermarking for 4D Gaussian Splatting 본 연구 논문 “Mark4D: Temporally-Consistent Watermarking for 4D Gaussian Splatting”은 CVPR 2026에 게재되었다. 본 연구는 4D Gaussian Splatting 기반 동적 3D 콘텐츠의 저작권 보호 및 출처 검증을 위한 시간 일관적 워터마킹 기술을 제안하였다. [성과와 관련된 이미지]

[김원화 교수] PR-MaGIC: Prompt Refinement Via Mask Decoder Gradient Flow For In-Context Segmentation

[연구의 필요성] 세그멘테이션(segmentation) 분야의 대표적인 foundation model인 Segment Anything Model(SAM)은 다양한 이미지에서 물체를 분할할 수 있는 강력한 모델이다. 그러나 예시 이미지 몇 장만을 기반으로 새로운 이미지에서 원하는 물체를 분할하는 in-context setting에서는, 예시 이미지와 새 이미지의 생김새가 다를 경우 부정확한 프롬프트가 생성되어 분할 품질이 저하되는 한계가 있다. 따라서 추가 학습 없이 기존 SAM의 성능을 안정적으로 향상시킬 수 있는 프롬프트 보정 기술이 필요하다. [포스텍이 가진 고유의 기술] 본 연구는 SAM의 세그멘테이션 결과가 입력 프롬프트(점, 박스 등)에 크게 의존한다는 점에 착안하였다. SAM의 출력값(output)을 기반으로 mask decoder gradient 흐름을 계산하고, 이를 활용하여 프롬프트를 자동으로 보정하는 기술을 제안하였다. 이를 통해 기존 SAM을 별도로 재학습하지 않고도 더 정확한 세그멘테이션 마스크를 생성할 수 있도록 하였다. [연구의 의미] 본 연구는 기존 foundation model을 추가 학습 없이 개선할 수 있는 효율적인 프롬프트 보정 방법을 제시했다는 점에서 의미가 있다. 특히 in-context segmentation 환경에서 예시 이미지와 대상 이미지 간 차이로 인해 발생하는 프롬프트 오류를 완화함으로써, SAM의 활용 범위와 실용성을 높였다. 또한 프롬프트를 사용하는 다른 인공지능 모델에도 직접 적용 가능하다는 점에서 확장성이 높다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 CVPR 2026에 게재되었으며, 이민재 대학원생이 해당 연구에 대해 구두발표를 진행하였다. 향후에는 다양한 프롬프트 기반 인공지능 모델 및 실제 응용 환경에 본 기술을 확장 적용하여, 추가 학습 없이 모델 성능을 향상시키는 범용적인 프롬프트 보정 기술로 발전시킬 계획이다. [성과와 관련된 실적] 이민재 대학원생(통합 23, 지도교수 김원화) / PR-MaGIC: Prompt Refinement Via Mask Decoder Gradient Flow For In-Context Segmentation 본 연구 논문 “PR-MaGIC: Prompt Refinement Via Mask Decoder Gradient Flow For In-Context Segmentation”은 CVPR 2026에 게재되었으며, 해당 학회에서 구두발표로 발표되었다. [성과와 관련된 이미지]

[유환조 교수] RA-VLA: Retrieval-Augmented VLA for Test-Time Adaptation

[연구의 필요성] 최신 VLA(Vision-Language-Action) 모델들은 다양한 작업을 수행할 수 있는 범용성을 지니고 있으나, 학습 과정에서 경험하지 못한 새로운 작업에 대해서는 성능이 급격히 저하되는 한계가 존재한다. 이로 인해 새로운 태스크를 마주할 때마다 대규모 연산 자원이 소모되는 재학습을 매번 수행해야 한다는 문제점이 있다. 이에 대한 대안으로 제시된 ICIL(In-Context Imitation Learning) 기법 역시, 모델이 기학습된 내부 지식에 과도하게 의존하거나 상황에 부합하지 않는 부정확한 행동을 생성한다는 한계가 있다. [포스텍이 가진 고유의 기술] 본 연구에서는 현재 직면한 새로운 상황과 행동적 연관성이 가장 높은 데이터를 정밀하게 검색하기 위한 '행동 정렬 손실 함수(behavioral alignment loss)'와, VLA 모델이 검색된 외부 정보를 충실히 반여하여 올바른 행동을 생성하도록 유도하는 '문맥 준수 손실 함수(contextual adherence loss)'를 제안한다. 이를 통해 학습된 각 컴포넌트들은 데이터를 효율적으로 캐싱하는 메모리 모듈과 결합되어 최적의 프레임워크를 구성하게 된다. [연구의 의미] 제안하는 방법론은 기존 기법들과 달리 추가적인 학습 없이도 새로운 작업에 대한 탁월한 현장 적응 능력을 보여준다. 특히, 검색 및 참조하는 데이터의 양이 증가하더라도 추가적인 연산 오버헤드가 거의 발생하지 않아, 실시간 제어가 필수적인 실제 로봇 운영 환경에서 높은 실효성과 활용 가치를 가진다. [연구결과의 진행 상태 및 향후 계획] 본 연구의 핵심 기술에 대한 구현 및 성능 검증은 완료된 상태이며, 향후 본 기술을 작업 시연 영상과 같은 새로운 형태의 멀티모달 데이터로 확장 적용하는 후속 연구를 계획하고 있다. [성과와 관련된 실적] 장상환, 전민진, 김민수, 최성진, 김동하, 유환조 / RA-VLA: Retrieval-Augmented VLA for Test-Time Adaptation 본 연구 성과는 세계 최고 권위의 인공지능 국제학술대회인 ICML(International Conference on Machine Learning) 2026에 게제 승인되었으며, 현재 핵심 기술에 대한 특허 출원 절차를 진행 중이다. [성과와 관련된 이미지]

[이남훈 교수] Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation

[연구의 필요성] 대규모 언어 모델(LLM)의 학습에는 수백억 개에 달하는 파라미터가 필요하며, 이는 단일 GPU의 메모리 용량을 크게 초과한다. 이를 해결하기 위해 모델을 여러 순차적 단계로 분할하고 각 단계를 별도의 GPU에 배치하는 파이프라인 병렬 처리(pipeline parallelism)가 도입되었다. 그러나 기존의 동기식 파이프라인 병렬 처리는 각 단계가 다른 모든 단계의 역전파가 완료될 때까지 대기해야 하므로, '파이프라인 버블’이라는 유휴 시간이 발생해 하드웨어 활용률이 크게 저하된다. 비동기식 파이프라인 병렬 처리는 각 단계가 다른 단계를 기다리지 않고 즉시 다음 연산을 수행함으로써 이 문제를 해결하지만, 대신 그래디언트 지연(gradient staleness) 문제를 초래한다. 특히 모델 규모가 커질수록 파이프라인 단계 수도 함께 증가하므로, 지연 정도 역시 비례적으로 심화된다. 본 연구 결과, 단계 수를 1단계에서 32단계로 '늘렸을 때 수렴 속도가 최대 5.81배 저하되는 것을 확인하였다. 이는 그래디언트 지연이 비동기 파이프라인 병렬 처리가 본래 목표로 하는 대규모 확장성 자체를 근본적으로 저해하는 병목임을 보여준다. [포스텍이 가진 고유의 기술] 본 연구는 비동기 파이프라인 학습에서 성능이 저하되는 핵심 원인이 기저 불일치(basis misalignment), 즉 손실 함수의 헤시안(Hessian) 고유기저(eigenbasis)와 표준 좌표 기저 사이의 불일치임을 규명하였다. LLM 학습의 표준 옵티마이저인 Adam은 각 좌표 방향별로 독립적인 학습률을 적용하는 좌표 방향 적응성을 통해 트랜스포머의 이질적인 손실 곡률을 효과적으로 처리한다. 그러나 헤시안 고유기저가 표준 좌표 기저와 정렬되지 않은 경우, Adam의 적응성이 작동하지 않아 업데이트 방향이 빠르게 진동하게 되고, 지연된 그래디언트가 현재의 최적화 경로와 어긋나 수렴을 방해한다. 이를 해결하기 위해 본 연구는 기저 회전(basis rotation) 프레임워크를 제안하였다. 이 방법은 최적화 공간을 헤시안 고유기저와 정렬되도록 회전 변환하여 지연된 그래디언트도 유효한 업데이트 방향을 유지하도록 한다. 또한 파이프라인 초기 단계일수록 기저 업데이트 빈도를 높이는 단계별 기저 회전 전략을 통해 동일한 연산 예산 내에서 추가적인 성능 향상을 달성하였다. [연구의 의미] 본 연구는 비동기 파이프라인 병렬 학습에서의 성능 저하가 그래디언트 지연으로 인한 불가피한 비용이 아니라, Adam 옵티마이저의 기저 불일치 취약성이 원인임을 이론과 실험으로 동시에 입증하였다는 점에서 의미가 크다. 이를 통해 비동기 파이프라인 학습에서 그동안 간과되어 온 최적화 기하학적 관점을 처음으로 체계화하였다. 95M 파라미터 규모의 LLM 사전 학습 실험에서, 기저 회전은 최상의 기존 비동기 기준선 대비 동일한 학습 손실 달성에 필요한 반복 횟수를 71.6% 줄였다. 단계별 기저 회전 전략을 통해 추가로 29.2%의 수렴 속도 향상을 이루었으며, GPU 실행 시간 기준으로도 기준선 대비 54.3% 효율 향상을 확인하였다. 나아가 모델 규모가 커질수록 기저 회전의 이점은 더욱 뚜렷하게 나타나, 3B 파라미터 규모에서는 81.7%까지 확대되었다. 이는 기저 회전이 확장성을 갖춘 비동기 파이프라인 학습의 실용적 해법임을 실증한다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 기계 학습 분야 최고 권위의 국제 학술대회인 International Conference on Machine Learning (ICML 2026)에 채택되었다. 향후 연구에서는 기저 회전과 그래디언트 지연의 상호작용에 대한 이론적 분석을 심화하고, 더욱 다양한 대규모 학습 시나리오에 적용 가능한 범용 비동기 학습 프레임워크로 발전시킬 예정이다. 또한 더 큰 규모의 모델 및 데이터셋을 대상으로 추가 실험을 수행하여 본 방법론의 확장성과 범용성을 검증할 계획이다. [성과와 관련된 실적] Hyunji Jung*, Sungbin Shin*, Namhoon Lee. "Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation", International Conference on Machine Learning (ICML), 2026. [성과와 관련된 이미지]

[한욱신 교수] Failure is Feedback: History-Aware Backtracking for Agentic Traversal in Multimodal Graphs

[연구의 필요성] 웹페이지나 PDF에는 문단, 표, 이미지가 서로 연결된 형태로 정보가 존재한다. 이러한 멀티모달 문서에서 사용자의 질문에 답하기 위해 관련 구성요소(component)를 정확히 찾아내는 검색 기술은 검색증강생성(RAG)을 뒷받침하는 핵심 기반 기술이다. 그러나 기존의 그래프 기반 검색 방식들은 두 가지 본질적인 한계를 가진다. 첫째, 그래프 위에서 다음 노드를 결정할 때 단순한 임베딩 벡터 유사도에만 의존하는 획일적인 점수 함수를 사용하기 때문에, 검색 단계(hop)마다 달라지는 의미적 맥락을 충분히 반영하지 못한다. 둘째, 검색 계획이 사전에 고정되어 있어 잘못된 경로를 따라갔거나 막다른 길에 도달했을 때 동적으로 오류를 수정하기 어렵다. 이로 인해 한 번의 잘못된 선택이 이후 단계까지 그대로 전파되어 최종 검색 품질을 크게 떨어뜨리며, 어느 단계에서 강력한 추론을 투입해야 하는지 판단할 메커니즘이 없어 단계마다 비용을 낭비하거나 반대로 추론이 부족한 상황이 빈번하게 발생한다. [포스텍이 가진 고유의 기술] 본 연구진은 그래프 검색 과정을 ‘순차적 의사결정 과정’으로 새롭게 정식화한 검색 프레임워크 Failure is Feedback(FIF)을 제안하였다. FIF의 핵심은 다음 두 가지이다. (1) 이력 기반 백트래킹(history-aware backtracking): 기존 백트래킹이 단순히 상태를 이전으로 되돌리는 데 그치는 반면, FIF는 실패한 탐색 경로의 맥락 자체를 적극적으로 활용한다. 지금까지의 성공·실패 이력 중 가장 유망한 이전 시점으로 검색 시작점을 재고정(re-anchoring)하고, 실패의 단서를 반영해 하위 질의를 다시 작성하며, 동일한 실패 패턴을 반복하지 않도록 검색 전략을 한 단계 상향시킨다. 즉 실패의 흔적 자체를 다음 검색을 위한 ‘피드백 신호’로 전환한다. (2) 비용 효율적인 에이전트형 검색 흐름(economically-rational agentic workflow): FIF는 저비용 벡터 매칭부터 고비용 LLM 추론까지, 정확도와 효율성의 균형을 조절할 수 있는 검색 전략 포트폴리오를 사용한다. 검색 전 과정을 통제하는 오케스트레이터(Orchestrator)는 이전 시도가 모호하거나 실패한 경우에 한해서만 더 비싼 추론으로 격상시키는 비용 인식 탐색을 수행하여, 검색 정확도와 추론 비용 사이의 균형을 동적으로 조절한다. [연구의 의미] FIF는 멀티모달 다중 단계 질의응답 벤치마크 세 종 모두에서 최고 수준의 검색 성능을 달성하였고, 검색 결과를 바탕으로 한 최종 질의응답 단계에서도 기존의 강력한 경쟁 기법들보다 우수한 성능을 보였다. 특히 FIF는 더 정교한 에이전트 제어를 사용하면서도 강력한 에이전트형 기준선과 비교해 경쟁력 있는 응답 시간을 유지했으며, 일부 대규모 데이터셋에서는 더 빠른 처리 시간을 보였다.이는 실패 이력에 기반한 재고정과 비용 인식 전략 격상이 불필요한 추론을 효과적으로 제거함을 의미한다. 또한 FIF는 여러 상용 및 공개 가중치 LLM 백본에서 성능 향상 효과를 검증했으며, 충분한 추론 능력을 갖춘 다양한 백본에서 강력한 검색 성능을 유지했다. 이는 FIF의 성능 향상이 특정 상용 모델에만 의존하기보다, 본 연구진이 제안한 오케스트레이션 논리와 실패 이력 활용 방식에서 비롯됨을 보여준다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 기계학습 분야 세계 최고 권위의 학술 대회인 ICML(International Conference on Machine Learning) 2026에 게재가 확정되어 발표될 예정이며, 코드와 실험 자료는 프로젝트 홈페이지를 통해 공개되어 재현성을 갖추었다. [성과와 관련된 실적] Yun, J., Lee, D., and Han, W., "Failure is Feedback: History-Aware Backtracking for Agentic Traversal in Multimodal Graphs," In Proc., the 43rd International Conference on Machine Learning, ICML, Seoul, South Korea, July 2026. [성과와 관련된 프로젝트 홈페이지] https://failureisfeedback.github.io/ [성과와 관련된 이미지] 그림 1. 기존 그래프 기반 검색 방법이 멀티모달 다중 단계 질의에서 실패하는 두 가지 대표 사례를 보여주는 예시그림 2. 멀티모달 문서 코퍼스를 표현한 계층화된 구성요소 그래프의 예시 그림 3. Failure is Feedback(FIF)의 전체 구조와 검색 과정에서 누적되는 구조화된 메모리의 예시