[곽수하 교수] Learning Sample-wise Rank-aware Interpolation Weights for Composed Visual Data Retrieval

[연구의 필요성] 이미지·영상 검색은 참조 시각 데이터와 수정 텍스트를 결합한 복합 질의(composed query)로 발전하며 미디어 편집, 추천, 창작 콘텐츠 검색으로 확장되고 있다. 그러나 최신 기법들은 멀티모달 거대언어모델(MLLM)로 두 입력을 재작성해 검색하는 방식이라 질의 지연이 커 대규모 서비스 적용이 어렵다. [포스텍이 가진 고유의 기술] 연구팀은 무거운 융합 모듈 없이 임베딩 공간의 단순 선형보간만으로 복합 질의를 구성하되, 질의마다 최적 보간 가중치를 동적으로 예측하는 최초의 프레임워크 SRAIN을 제안했다. 미니배치의 랭킹으로부터 정답 가중치를 유도하는 랭크 인지 가중치 추정과, 메모리 뱅크로 하드 네거티브를 합성해 학습과 추론을 일치시키는 조건부 가중치 예측이 핵심이다. [연구의 의미] CNN·Transformer·MLLM 기반의 복잡한 융합이 주류인 상황에서, 가볍고 해석 가능한 표본별 선형보간만으로도 최신 기법과 대등하거나 우수한 성능을 낼 수 있음을 처음으로 체계적으로 입증했다. 고비용 아키텍처 없이 검색 성능과 실시간성을 동시에 만족하는 새로운 방향을 제시했다. [연구결과의 진행 상태 및 향후 계획] 현재 복합 질의 비디오 검색에서 SOTA, 이미지 검색에서 최고 수준 성능을 달성하며 MLLM 대비 질의 지연을 크게 줄였고 ECCV 2026에 채택됐다. 향후 극단적 가중치 예측 정확도 향상과 대규모 갤러리 검색 최적화를 통해 실서비스 적용으로 확장할 계획이다. [성과와 관련된 실적] 정보승, 박태규, 권동현, 조현석, 곽수하 (POSTECH 컴퓨터공학과·인공지능대학원, 아주대·삼성전자 공동) Learning Sample-wise Rank-aware Interpolation Weights for Composed Visual Data Retrieval - ECCV 2026 논문 채택 - WebVid-CoVR, CIRR 전 지표 SOTA, CIRCO·FashionIQ 최고 수준 성능 - 가중치 예측 추가 연산 질의당 0.03ms(전체의 0.08%)로 오버헤드 무시 가능한 효율성 [요약] 본 연구는 생성형 AI·영상 스트리밍 시대에 중요성이 커지는 효율적 멀티모달 검색 문제를 다루며, 무거운 대형 모델 없이 실시간에 가까운 성능을 달성해 미디어 편집·이커머스·영상 추천 등으로 확장 가능성이 높다. [성과와 관련된 이미지]

[박상돈 교수] Towards Functional Correctness of Large Code Models with Selective Generation

[연구의 필요성] 대규모 언어모델은 소프트웨어 개발 전반에 폭넓게 활용되고 있다. 그러나 생성된 코드가 표면적으로는 그럴듯해 보이지만, 실제로는 의도한 기능을 수행하지 못하는 ‘환각(hallucination)’ 현상이 빈번하게 발생한다. 따라서 실행 결과를 바탕으로 생성 코드의 기능적 정확성을 평가하고, 잘못된 코드가 사용자에게 제공되는 비율을 통제하는 기술이 필요하다. [포스텍이 가진 고유의 기술] 본 연구에서는 생성 코드의 기능적 정확성을 평가하고, 신뢰하기 어려운 경우 답변을 보류하는 ‘선택적 코드 생성기(selective code generator)’를 제안하였다. 제안한 생성기는 실제로 답변한 코드 가운데 잘못된 코드가 차지하는 비율을 사전에 설정한 수준 이하로 통제하며 이에 대한 통계적 보장을 제공한다. 코드가 올바른지 확인하기 위해 자연어의 함의(entailment) 개념을 코드로 확장한 alpha-entailment를 새롭게 정의하고, 코드 환각의 정도를 정량적으로 측정하는 지표 False Discovery Rate-Code Entailment(FDR-CE)를 제안하였다. 선택적 코드 생성기의 보정(calibration) 과정에서는 자동 생성된 단위 테스트를 활용하였다. 퍼징(fuzzing)과 같은 동적 코드 분석 도구, LLM 등을 통해 다양한 단위 테스트를 생성하고, 코드의 실행 결과를 바탕으로 코드 간 함의 관계를 추정하였다. 이를 바탕으로 FDR-CE가 사전에 설정한 수준 이하로 유지되도록 임계값을 결정하였다. 보정이 완료된 선택적 코드 생성기는 충분히 신뢰할 수 있는 경우에만 코드를 제공하며, 정확성을 확신하기 어려운 경우에는 스스로 답변을 보류한다. [연구의 의미] 본 연구는 “모델이 생성한 코드를 얼마나 믿을 수 있는가”라는 질문에 이론적 보장을 갖춘 해답을 제시한 연구이다. 모델이 확신할 수 없는 코드는 답하지 않도록 함으로써, 사용자에게 전달되는 코드의 정확성을 원하는 수준으로 제어할 수 있다. 특히 사람의 피드백이나 정답 라벨 없이 스스로 학습한다는 점에서 기존 연구와 차별화된다. [연구결과의 진행 상태 및 향후 계획] 다양한 모델, 데이터셋 등을 이용해 코드 환각 비율(FDR-CE)을 원하는 수준으로 통제할 수 있음을 확인했으며, 답변을 보류하는 비율 또한 합리적인 수준으로 유지되었다. 앞으로 이 기술을 실제 소프트웨어 개발 환경으로 확장하고, 안정성이 중요한 분야의 AI 프로그래밍 시스템에 적용하는 연구를 이어갈 계획이다. [성과와 관련된 실적] Jaewoo Jeong, Taesoo Kim, Sangdon Park, "Towards Functional Correctness of Large Code Models with Selective Generation”, ICML, 2026. 본 연구는 Microsoft와 공동으로 진행됨을 알려드립니다. [성과와 관련된 이미지]

[김원화 교수] Mark4D: Temporally-Consistent Watermarking for 4D Gaussian Splatting

[연구의 필요성] 최근 3D Gaussian Splatting 기술은 정적인 3D 장면을 넘어 시간에 따라 변화하는 4D 장면 표현으로 확장되며, 실감형 콘텐츠 생성, 디지털 휴먼, 메타버스, 자율주행 시뮬레이션 등 다양한 분야에서 활용 가능성이 커지고 있다. 그러나 4D Gaussian Splatting으로 생성된 동적 3D 콘텐츠는 복제, 변형, 재배포가 쉬워 저작권 보호 및 생성 콘텐츠의 출처 검증이 중요한 문제로 대두되고 있다. 특히 시간에 따라 장면이 변화하는 4D 콘텐츠에서는 워터마크가 개별 프레임에만 안정적으로 삽입되는 것이 아니라, 시간적으로 일관되게 유지되는 기술이 필요하다. [포스텍이 가진 고유의 기술] 본 연구는 4D Gaussian Splatting 콘텐츠에 대해 시간적으로 일관된 워터마크를 삽입하고 검출하는 기술을 제안하였다. 기존 이미지 또는 정적 3D 콘텐츠 중심의 워터마킹 방식과 달리, 본 연구는 시간에 따라 변화하는 4D Gaussian 표현의 특성을 고려하여 워터마크가 장면의 시각적 품질을 크게 저하하지 않으면서도 여러 시점과 시간 프레임에서 안정적으로 유지되도록 설계하였다. 이를 통해 동적 3D 콘텐츠의 저작권 보호와 출처 검증을 동시에 가능하게 하였다. [연구의 의미] 본 연구는 4D Gaussian Splatting 기반 동적 3D 콘텐츠를 대상으로 한 워터마킹 문제를 다루었다는 점에서 의미가 있다. 특히 4D 콘텐츠는 시점 변화뿐만 아니라 시간 변화까지 포함하기 때문에, 단순히 프레임별로 워터마크를 삽입하는 방식으로는 시간적 불일치나 검출 성능 저하가 발생할 수 있다. Mark4D는 이러한 한계를 해결하기 위해 시간적 일관성을 고려한 워터마킹 기법을 제안함으로써, 향후 생성형 3D/4D 콘텐츠의 신뢰성 확보와 저작권 보호에 기여할 수 있다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 CVPR 2026에 게재되었으며, 해당 연구 성과를 바탕으로 4D Gaussian Splatting 콘텐츠의 보안성, 추적 가능성, 저작권 보호 가능성을 검증하였다. 향후에는 다양한 4D 장면, 편집 환경, 압축 및 변형 상황에서도 안정적으로 동작하는 워터마킹 기술로 확장하고, 생성형 3D/4D 콘텐츠 플랫폼에서 활용 가능한 실용적 보호 기술로 발전시킬 계획이다. [성과와 관련된 실적] 이재진 대학원생(통합 24, 지도교수 김원화) / Mark4D: Temporally-Consistent Watermarking for 4D Gaussian Splatting 본 연구 논문 “Mark4D: Temporally-Consistent Watermarking for 4D Gaussian Splatting”은 CVPR 2026에 게재되었다. 본 연구는 4D Gaussian Splatting 기반 동적 3D 콘텐츠의 저작권 보호 및 출처 검증을 위한 시간 일관적 워터마킹 기술을 제안하였다. [성과와 관련된 이미지]

[김원화 교수] PR-MaGIC: Prompt Refinement Via Mask Decoder Gradient Flow For In-Context Segmentation

[연구의 필요성] 세그멘테이션(segmentation) 분야의 대표적인 foundation model인 Segment Anything Model(SAM)은 다양한 이미지에서 물체를 분할할 수 있는 강력한 모델이다. 그러나 예시 이미지 몇 장만을 기반으로 새로운 이미지에서 원하는 물체를 분할하는 in-context setting에서는, 예시 이미지와 새 이미지의 생김새가 다를 경우 부정확한 프롬프트가 생성되어 분할 품질이 저하되는 한계가 있다. 따라서 추가 학습 없이 기존 SAM의 성능을 안정적으로 향상시킬 수 있는 프롬프트 보정 기술이 필요하다. [포스텍이 가진 고유의 기술] 본 연구는 SAM의 세그멘테이션 결과가 입력 프롬프트(점, 박스 등)에 크게 의존한다는 점에 착안하였다. SAM의 출력값(output)을 기반으로 mask decoder gradient 흐름을 계산하고, 이를 활용하여 프롬프트를 자동으로 보정하는 기술을 제안하였다. 이를 통해 기존 SAM을 별도로 재학습하지 않고도 더 정확한 세그멘테이션 마스크를 생성할 수 있도록 하였다. [연구의 의미] 본 연구는 기존 foundation model을 추가 학습 없이 개선할 수 있는 효율적인 프롬프트 보정 방법을 제시했다는 점에서 의미가 있다. 특히 in-context segmentation 환경에서 예시 이미지와 대상 이미지 간 차이로 인해 발생하는 프롬프트 오류를 완화함으로써, SAM의 활용 범위와 실용성을 높였다. 또한 프롬프트를 사용하는 다른 인공지능 모델에도 직접 적용 가능하다는 점에서 확장성이 높다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 CVPR 2026에 게재되었으며, 이민재 대학원생이 해당 연구에 대해 구두발표를 진행하였다. 향후에는 다양한 프롬프트 기반 인공지능 모델 및 실제 응용 환경에 본 기술을 확장 적용하여, 추가 학습 없이 모델 성능을 향상시키는 범용적인 프롬프트 보정 기술로 발전시킬 계획이다. [성과와 관련된 실적] 이민재 대학원생(통합 23, 지도교수 김원화) / PR-MaGIC: Prompt Refinement Via Mask Decoder Gradient Flow For In-Context Segmentation 본 연구 논문 “PR-MaGIC: Prompt Refinement Via Mask Decoder Gradient Flow For In-Context Segmentation”은 CVPR 2026에 게재되었으며, 해당 학회에서 구두발표로 발표되었다. [성과와 관련된 이미지]

[유환조 교수] RA-VLA: Retrieval-Augmented VLA for Test-Time Adaptation

[연구의 필요성] 최신 VLA(Vision-Language-Action) 모델들은 다양한 작업을 수행할 수 있는 범용성을 지니고 있으나, 학습 과정에서 경험하지 못한 새로운 작업에 대해서는 성능이 급격히 저하되는 한계가 존재한다. 이로 인해 새로운 태스크를 마주할 때마다 대규모 연산 자원이 소모되는 재학습을 매번 수행해야 한다는 문제점이 있다. 이에 대한 대안으로 제시된 ICIL(In-Context Imitation Learning) 기법 역시, 모델이 기학습된 내부 지식에 과도하게 의존하거나 상황에 부합하지 않는 부정확한 행동을 생성한다는 한계가 있다. [포스텍이 가진 고유의 기술] 본 연구에서는 현재 직면한 새로운 상황과 행동적 연관성이 가장 높은 데이터를 정밀하게 검색하기 위한 '행동 정렬 손실 함수(behavioral alignment loss)'와, VLA 모델이 검색된 외부 정보를 충실히 반여하여 올바른 행동을 생성하도록 유도하는 '문맥 준수 손실 함수(contextual adherence loss)'를 제안한다. 이를 통해 학습된 각 컴포넌트들은 데이터를 효율적으로 캐싱하는 메모리 모듈과 결합되어 최적의 프레임워크를 구성하게 된다. [연구의 의미] 제안하는 방법론은 기존 기법들과 달리 추가적인 학습 없이도 새로운 작업에 대한 탁월한 현장 적응 능력을 보여준다. 특히, 검색 및 참조하는 데이터의 양이 증가하더라도 추가적인 연산 오버헤드가 거의 발생하지 않아, 실시간 제어가 필수적인 실제 로봇 운영 환경에서 높은 실효성과 활용 가치를 가진다. [연구결과의 진행 상태 및 향후 계획] 본 연구의 핵심 기술에 대한 구현 및 성능 검증은 완료된 상태이며, 향후 본 기술을 작업 시연 영상과 같은 새로운 형태의 멀티모달 데이터로 확장 적용하는 후속 연구를 계획하고 있다. [성과와 관련된 실적] 장상환, 전민진, 김민수, 최성진, 김동하, 유환조 / RA-VLA: Retrieval-Augmented VLA for Test-Time Adaptation 본 연구 성과는 세계 최고 권위의 인공지능 국제학술대회인 ICML(International Conference on Machine Learning) 2026에 게제 승인되었으며, 현재 핵심 기술에 대한 특허 출원 절차를 진행 중이다. [성과와 관련된 이미지]

[이남훈 교수] Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation

[연구의 필요성] 대규모 언어 모델(LLM)의 학습에는 수백억 개에 달하는 파라미터가 필요하며, 이는 단일 GPU의 메모리 용량을 크게 초과한다. 이를 해결하기 위해 모델을 여러 순차적 단계로 분할하고 각 단계를 별도의 GPU에 배치하는 파이프라인 병렬 처리(pipeline parallelism)가 도입되었다. 그러나 기존의 동기식 파이프라인 병렬 처리는 각 단계가 다른 모든 단계의 역전파가 완료될 때까지 대기해야 하므로, '파이프라인 버블’이라는 유휴 시간이 발생해 하드웨어 활용률이 크게 저하된다. 비동기식 파이프라인 병렬 처리는 각 단계가 다른 단계를 기다리지 않고 즉시 다음 연산을 수행함으로써 이 문제를 해결하지만, 대신 그래디언트 지연(gradient staleness) 문제를 초래한다. 특히 모델 규모가 커질수록 파이프라인 단계 수도 함께 증가하므로, 지연 정도 역시 비례적으로 심화된다. 본 연구 결과, 단계 수를 1단계에서 32단계로 '늘렸을 때 수렴 속도가 최대 5.81배 저하되는 것을 확인하였다. 이는 그래디언트 지연이 비동기 파이프라인 병렬 처리가 본래 목표로 하는 대규모 확장성 자체를 근본적으로 저해하는 병목임을 보여준다. [포스텍이 가진 고유의 기술] 본 연구는 비동기 파이프라인 학습에서 성능이 저하되는 핵심 원인이 기저 불일치(basis misalignment), 즉 손실 함수의 헤시안(Hessian) 고유기저(eigenbasis)와 표준 좌표 기저 사이의 불일치임을 규명하였다. LLM 학습의 표준 옵티마이저인 Adam은 각 좌표 방향별로 독립적인 학습률을 적용하는 좌표 방향 적응성을 통해 트랜스포머의 이질적인 손실 곡률을 효과적으로 처리한다. 그러나 헤시안 고유기저가 표준 좌표 기저와 정렬되지 않은 경우, Adam의 적응성이 작동하지 않아 업데이트 방향이 빠르게 진동하게 되고, 지연된 그래디언트가 현재의 최적화 경로와 어긋나 수렴을 방해한다. 이를 해결하기 위해 본 연구는 기저 회전(basis rotation) 프레임워크를 제안하였다. 이 방법은 최적화 공간을 헤시안 고유기저와 정렬되도록 회전 변환하여 지연된 그래디언트도 유효한 업데이트 방향을 유지하도록 한다. 또한 파이프라인 초기 단계일수록 기저 업데이트 빈도를 높이는 단계별 기저 회전 전략을 통해 동일한 연산 예산 내에서 추가적인 성능 향상을 달성하였다. [연구의 의미] 본 연구는 비동기 파이프라인 병렬 학습에서의 성능 저하가 그래디언트 지연으로 인한 불가피한 비용이 아니라, Adam 옵티마이저의 기저 불일치 취약성이 원인임을 이론과 실험으로 동시에 입증하였다는 점에서 의미가 크다. 이를 통해 비동기 파이프라인 학습에서 그동안 간과되어 온 최적화 기하학적 관점을 처음으로 체계화하였다. 95M 파라미터 규모의 LLM 사전 학습 실험에서, 기저 회전은 최상의 기존 비동기 기준선 대비 동일한 학습 손실 달성에 필요한 반복 횟수를 71.6% 줄였다. 단계별 기저 회전 전략을 통해 추가로 29.2%의 수렴 속도 향상을 이루었으며, GPU 실행 시간 기준으로도 기준선 대비 54.3% 효율 향상을 확인하였다. 나아가 모델 규모가 커질수록 기저 회전의 이점은 더욱 뚜렷하게 나타나, 3B 파라미터 규모에서는 81.7%까지 확대되었다. 이는 기저 회전이 확장성을 갖춘 비동기 파이프라인 학습의 실용적 해법임을 실증한다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 기계 학습 분야 최고 권위의 국제 학술대회인 International Conference on Machine Learning (ICML 2026)에 채택되었다. 향후 연구에서는 기저 회전과 그래디언트 지연의 상호작용에 대한 이론적 분석을 심화하고, 더욱 다양한 대규모 학습 시나리오에 적용 가능한 범용 비동기 학습 프레임워크로 발전시킬 예정이다. 또한 더 큰 규모의 모델 및 데이터셋을 대상으로 추가 실험을 수행하여 본 방법론의 확장성과 범용성을 검증할 계획이다. [성과와 관련된 실적] Hyunji Jung*, Sungbin Shin*, Namhoon Lee. "Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation", International Conference on Machine Learning (ICML), 2026. [성과와 관련된 이미지]

[한욱신 교수] Failure is Feedback: History-Aware Backtracking for Agentic Traversal in Multimodal Graphs

[연구의 필요성] 웹페이지나 PDF에는 문단, 표, 이미지가 서로 연결된 형태로 정보가 존재한다. 이러한 멀티모달 문서에서 사용자의 질문에 답하기 위해 관련 구성요소(component)를 정확히 찾아내는 검색 기술은 검색증강생성(RAG)을 뒷받침하는 핵심 기반 기술이다. 그러나 기존의 그래프 기반 검색 방식들은 두 가지 본질적인 한계를 가진다. 첫째, 그래프 위에서 다음 노드를 결정할 때 단순한 임베딩 벡터 유사도에만 의존하는 획일적인 점수 함수를 사용하기 때문에, 검색 단계(hop)마다 달라지는 의미적 맥락을 충분히 반영하지 못한다. 둘째, 검색 계획이 사전에 고정되어 있어 잘못된 경로를 따라갔거나 막다른 길에 도달했을 때 동적으로 오류를 수정하기 어렵다. 이로 인해 한 번의 잘못된 선택이 이후 단계까지 그대로 전파되어 최종 검색 품질을 크게 떨어뜨리며, 어느 단계에서 강력한 추론을 투입해야 하는지 판단할 메커니즘이 없어 단계마다 비용을 낭비하거나 반대로 추론이 부족한 상황이 빈번하게 발생한다. [포스텍이 가진 고유의 기술] 본 연구진은 그래프 검색 과정을 ‘순차적 의사결정 과정’으로 새롭게 정식화한 검색 프레임워크 Failure is Feedback(FIF)을 제안하였다. FIF의 핵심은 다음 두 가지이다. (1) 이력 기반 백트래킹(history-aware backtracking): 기존 백트래킹이 단순히 상태를 이전으로 되돌리는 데 그치는 반면, FIF는 실패한 탐색 경로의 맥락 자체를 적극적으로 활용한다. 지금까지의 성공·실패 이력 중 가장 유망한 이전 시점으로 검색 시작점을 재고정(re-anchoring)하고, 실패의 단서를 반영해 하위 질의를 다시 작성하며, 동일한 실패 패턴을 반복하지 않도록 검색 전략을 한 단계 상향시킨다. 즉 실패의 흔적 자체를 다음 검색을 위한 ‘피드백 신호’로 전환한다. (2) 비용 효율적인 에이전트형 검색 흐름(economically-rational agentic workflow): FIF는 저비용 벡터 매칭부터 고비용 LLM 추론까지, 정확도와 효율성의 균형을 조절할 수 있는 검색 전략 포트폴리오를 사용한다. 검색 전 과정을 통제하는 오케스트레이터(Orchestrator)는 이전 시도가 모호하거나 실패한 경우에 한해서만 더 비싼 추론으로 격상시키는 비용 인식 탐색을 수행하여, 검색 정확도와 추론 비용 사이의 균형을 동적으로 조절한다. [연구의 의미] FIF는 멀티모달 다중 단계 질의응답 벤치마크 세 종 모두에서 최고 수준의 검색 성능을 달성하였고, 검색 결과를 바탕으로 한 최종 질의응답 단계에서도 기존의 강력한 경쟁 기법들보다 우수한 성능을 보였다. 특히 FIF는 더 정교한 에이전트 제어를 사용하면서도 강력한 에이전트형 기준선과 비교해 경쟁력 있는 응답 시간을 유지했으며, 일부 대규모 데이터셋에서는 더 빠른 처리 시간을 보였다.이는 실패 이력에 기반한 재고정과 비용 인식 전략 격상이 불필요한 추론을 효과적으로 제거함을 의미한다. 또한 FIF는 여러 상용 및 공개 가중치 LLM 백본에서 성능 향상 효과를 검증했으며, 충분한 추론 능력을 갖춘 다양한 백본에서 강력한 검색 성능을 유지했다. 이는 FIF의 성능 향상이 특정 상용 모델에만 의존하기보다, 본 연구진이 제안한 오케스트레이션 논리와 실패 이력 활용 방식에서 비롯됨을 보여준다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 기계학습 분야 세계 최고 권위의 학술 대회인 ICML(International Conference on Machine Learning) 2026에 게재가 확정되어 발표될 예정이며, 코드와 실험 자료는 프로젝트 홈페이지를 통해 공개되어 재현성을 갖추었다. [성과와 관련된 실적] Yun, J., Lee, D., and Han, W., "Failure is Feedback: History-Aware Backtracking for Agentic Traversal in Multimodal Graphs," In Proc., the 43rd International Conference on Machine Learning, ICML, Seoul, South Korea, July 2026. [성과와 관련된 프로젝트 홈페이지] https://failureisfeedback.github.io/ [성과와 관련된 이미지] 그림 1. 기존 그래프 기반 검색 방법이 멀티모달 다중 단계 질의에서 실패하는 두 가지 대표 사례를 보여주는 예시그림 2. 멀티모달 문서 코퍼스를 표현한 계층화된 구성요소 그래프의 예시 그림 3. Failure is Feedback(FIF)의 전체 구조와 검색 과정에서 누적되는 구조화된 메모리의 예시

[한욱신 교수] Bring My Cup! Personalizing Vision-Language-Action Models with Visual Attentive Prompting

[연구의 필요성] 가정·사무실·병원 등 실제 생활 환경에서 로봇이 유용하게 동작하려면 “컵을 가져와”와 같은 일반적인 범주 수준의 명령뿐 아니라, “내 컵을 가져와”처럼 특정 사용자의 물건을 정확히 구분하고 조작할 수 있어야 한다. 그러나 기존 시각-언어-행동(Vision-Language-Action, VLA) 모델은 대규모 로봇 데이터로 학습되어 일반적인 물체 범주는 잘 이해하지만, 학습 중 본 적 없는 개인 물체나 사용자별 지칭 표현에는 취약하다. 예를 들어 여러 개의 컵이 함께 놓여 있을 때, 기존 모델은 “내 컵”을 사용자의 특정 컵이 아니라 단순히 “컵”이라는 범주로 해석하여 시각적으로 유사한 다른 컵을 집거나 옮기는 실패를 보인다. 이 문제는 언어 설명을 더 자세히 제공하는 것만으로 해결되기 어렵다. 개인 물체를 구별하는 핵심 단서는 표면 무늬, 손잡이 모양, 작은 장식, 마모 흔적처럼 말로 완전하게 표현하기 어려운 미세한 시각적 특징에 있기 때문이다. 또한 실제 환경에서는 사용자마다 새로운 물체가 계속 추가되므로, 물체별로 모델을 다시 학습하는 방식은 데이터 수집과 계산 비용 측면에서 비현실적이다. 따라서 소수의 참조 사진만으로 사용자의 특정 물체를 찾아내고, 기존 모델의 파라미터를 수정하지 않으면서도 해당 물체를 안정적으로 조작하게 만드는 개인화 조작 기술이 필요하다. [포스텍이 가진 고유의 기술] 본 연구진은 개인 물체 조작 문제를 해결하기 위해 Visual Attentive Prompting(VAP, 시각 주의 유도 방식)을 제안하였다. VAP는 기존 시각-언어-행동 모델의 파라미터를 수정하거나 물체별로 재학습하지 않고, 입력 단계에서 시각 단서와 언어 명령을 함께 변환하여 고정된 모델이 사용자의 특정 물체를 조작하도록 유도하는 training-free 개인화 기술이다. (1) 참조 사진 기반 시각 기억과 개인 물체 식별: VAP는 사용자가 제공한 소수의 물체 사진을 시각 기억으로 저장한다. 로봇이 현재 장면을 관측하면, 먼저 명령문에서 “내 컵”과 같은 표현으로부터 일반 물체 범주를 추출하고, 개방형 어휘 객체 검출기를 이용해 해당 범주의 후보 물체들을 찾는다. 이후 시각 특징 벡터를 사용하여 각 후보 물체와 참조 사진들을 비교하고, 여러 참조 사진이 가장 일관되게 지지하는 후보를 개인 물체로 선택한다. 선택된 후보는 픽셀 단위 마스크로 정교하게 분할되며, 이후 추적 모듈을 통해 로봇 팔이나 집게가 물체를 일시적으로 가리더라도 같은 물체를 계속 따라갈 수 있도록 시간에 따라 갱신된다. (2) 시각-언어 결합 지시를 통한 모델 제어: VAP는 선택된 개인 물체 영역 위에 반투명 색상 표시를 입혀 모델이 어느 물체에 주의해야 하는지 명시적으로 알려준다. 동시에 원래 명령문도 “내 컵을 집어라”에서 “빨간색 컵을 집어라”처럼 시각 표시와 일치하는 표현으로 다시 작성한다.즉, 시각 표시는 “어디를 볼지”를 알려주고, 바뀐 명령문은 “무엇을 조작할지”를 언어적으로 고정한다. 이 두 요소가 함께 작동함으로써, 기존 모델이 보유한 일반 물체 조작 능력을 사용자의 특정 물체에 적용할 수 있게 된다. [연구의 의미] 본 연구는 시각-언어-행동 모델의 개인화 문제를 “사용자별 물체를 유사한 물체들 사이에서 구분하고 조작하는 문제”로 정식화하고, 이를 평가하기 위해 두 가지 시뮬레이션 벤치마크와 실제 로봇 평가 환경을 구축하였다.이는 기존 평가가 주로 물체 범주 수준의 일반화에 머물렀던 한계를 넘어, 실제 인간-로봇 상호작용에 필요한 개별 물체 수준의 개인화를 본격적으로 다룬다는 점에서 의미가 있다. 실험 결과, VAP는 기존 VLA 모델, 언어 설명 기반 프롬프트 방식, 학습 토큰 기반 개인화 방식보다 높은 성공률과 올바른 물체 조작 성능을 보였다. 특히 시뮬레이션과 실제 로봇 환경 모두에서 개인 물체 식별 및 조작 성능을 크게 향상시키면서도, 제어 단계당 약 0.02초의 작은 추적 비용만 추가하여 실시간 제어 가능성을 유지하였다. 또한 본 연구는 정적 이미지에서 물체를 알아보는 능력이 곧 실제 조작 성공으로 이어지지는 않음을 보였다. 학습 토큰 기반 방식은 정적 이미지 인식 단계에서는 개인 물체를 어느 정도 구분할 수 있었지만, 폐루프 조작 과정에서는 주의가 시간에 따라 흔들리거나 유사한 다른 물체로 옮겨가는 한계를 보였다. 반면 VAP는 매 프레임 외부 시각 표시를 통해 물체의 정체성을 다시 고정함으로써, 기존 모델의 일반 조작 능력을 사용자별 물체 조작으로 확장하였다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 기계학습 분야 최고 권위 학술대회 중 하나인 ICML 2026에 게재가 확정되어 발표될 예정이다. 또한 공식 구현 저장소를 통해 코드, 실행 스크립트, 평가 환경 설정 방법이 공개되어 있어 연구 결과를 재현할 수 있다. [성과와 관련된 실적] Lee, S., Mo, S., and Han, W., “Bring My Cup! Personalizing Vision-Language-Action Models with Visual Attentive Prompting,” In Proc., the 43rd International Conference on Machine Learning, ICML, Seoul, South Korea, July 2026. [성과와 관련된 프로젝트 홈페이지] https://vap-project.github.io/ [성과와 관련된 이미지]그림 1. 참조 사진으로 사용자의 개인 물체를 찾아 시각적으로 표시하고 조작을 유도하는 VAP의 핵심 아이디어.그림 2. 유사 물체들 사이에서 참조 사진만으로 개인 물체를 찾아 조작해야 하는 VAP 평가 벤치마크. 그림 3. 시각 기억, 물체 식별, 마스크 추적, 시각 표시와 명령문 재작성을 결합한 VAP의 전체 처리 흐름.

[이남훈 교수] Quantifying Aleatoric Uncertainty of In-Context Learning for Robust Measure of LLM Prediction Confidence

[연구의 필요성] 대규모 언어모델(LLM)은 별도의 학습 없이도 프롬프트 안의 몇 가지 예시만으로 새로운 과제를 수행하는 In-Context Learning (ICL) 능력을 보인다. 그러나 ICL 기반 예측은 프롬프트 형식, 예시의 순서, 데이터 특성에 민감하게 달라지며, 모델이 주어진 컨텍스트를 실제로 얼마나 잘 이해했는지에 따라서도 신뢰성이 크게 좌우된다. 따라서 LLM의 예측 실패가 데이터 자체의 모호성에서 비롯된 것인지, 혹은 모델의 지식 및 표현 능력 부족에서 비롯된 것인지 구분하기 어렵다. 기존 불확실성 측정 방법들은 주로 일반적인 텍스트 생성 환경을 대상으로 설계되어 ICL 특유의 컨텍스트 의존성과 프롬프트 민감성을 충분히 반영하지 못했으며, ICL 환경에서 불확실성 분해가 제대로 이루어졌는지를 평가할 체계적인 기준도 부재했다. 이에 따라 ICL 기반 LLM 예측의 신뢰성을 높이기 위한 새로운 불확실성 분해 방법과 평가 체계가 필요하다. [포스텍이 가진 고유의 기술] 본 연구는 ICL 상황에서 LLM의 예측 불확실성을 데이터 자체의 모호성에서 오는 불확실성(aleatoric uncertainty)과 모델의 지식·이해 부족에서 오는 불확실성(epistemic uncertainty)으로 분해하기 위해 self-function vector라는 새로운 방법을 제안하였다. Self-function vector는 ICL 수행에 중요한 attention head의 내부 활성값을 활용해, 주어진 프롬프트가 모델 내부에서 어떤 잠재 개념으로 표현되는지를 포착하는 벡터이다. 이를 통해 출력 결과나 디코딩 변화에만 의존하던 기존 방법과 달리, 모델 내부 표현을 직접 활용하여 데이터 자체의 모호성에서 발생하는 불확실성을 보다 안정적으로 추정할 수 있다. 또한 연구진은 synthetic task와 WordNet 기반 multiple-choice question 데이터셋을 활용하여, aleatoric uncertainty와 epistemic uncertainty를 각각 통제하고 평가할 수 있는 ICL 특화 평가 프로토콜을 새롭게 제시하였다. [연구의 의미] 본 연구는 LLM의 ICL 예측 신뢰성을 분석하기 위해 불확실성 정량화와 메커니스틱 해석가능성(mechanistic interpretability)을 연결했다는 점에서 의의가 크다. 특히 모델 내부의 task representation을 활용함으로써, 단순히 예측이 불확실하다는 사실을 넘어 그 불확실성이 데이터의 모호성 때문인지, 모델의 한계 때문인지를 구분할 수 있는 기반을 마련하였다. 실험 결과 제안 방법은 다양한 LLM과 데이터셋에서 기존 방법보다 안정적으로 불확실성을 분해했으며, 환각 탐지(hallucination detection)와 같은 신뢰성 중심 응용에서도 실용 가능성을 보였다. 이는 향후 안전하고 신뢰 가능한 생성형 AI 시스템 개발에 중요한 기반이 될 것으로 기대된다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 자연어처리 분야 최고 권위의 국제 학술대회인 Annual Meeting of the Association for Computational Linguistics (ACL 2026)에 구두발표(oral presentation) 논문으로 채택되었다 (상위 약 3.98%; 483/12,148). 향후 연구에서는 self-function vector가 Bayesian posterior 구조를 어느 정도 반영하는지에 대한 이론적 분석을 강화하고, 모델별 하이퍼파라미터 조정 없이 다양한 LLM 아키텍처에 적용 가능한 일반화된 방법으로 확장하는 것을 목표로 한다. [성과와 관련된 실적] Jinseok Chung, Minkyoung Song*, Hyunji Jung*, Namhoon Lee. “Quantifying Aleatoric Uncertainty of In-Context Learning for Robust Measure of LLM Prediction Confidence”, Annual Meeting of the Association for Computational Linguistics (ACL), 2026. [성과와 관련된 이미지]