[연구의 필요성]

세그멘테이션(segmentation) 분야의 대표적인 foundation model인 Segment Anything Model(SAM)은 다양한 이미지에서 물체를 분할할 수 있는 강력한 모델이다. 그러나 예시 이미지 몇 장만을 기반으로 새로운 이미지에서 원하는 물체를 분할하는 in-context setting에서는, 예시 이미지와 새 이미지의 생김새가 다를 경우 부정확한 프롬프트가 생성되어 분할 품질이 저하되는 한계가 있다. 따라서 추가 학습 없이 기존 SAM의 성능을 안정적으로 향상시킬 수 있는 프롬프트 보정 기술이 필요하다.

[포스텍이 가진 고유의 기술]

본 연구는 SAM의 세그멘테이션 결과가 입력 프롬프트(점, 박스 등)에 크게 의존한다는 점에 착안하였다. SAM의 출력값(output)을 기반으로 mask decoder gradient 흐름을 계산하고, 이를 활용하여 프롬프트를 자동으로 보정하는 기술을 제안하였다. 이를 통해 기존 SAM을 별도로 재학습하지 않고도 더 정확한 세그멘테이션 마스크를 생성할 수 있도록 하였다.

[연구의 의미]

본 연구는 기존 foundation model을 추가 학습 없이 개선할 수 있는 효율적인 프롬프트 보정 방법을 제시했다는 점에서 의미가 있다. 특히 in-context segmentation 환경에서 예시 이미지와 대상 이미지 간 차이로 인해 발생하는 프롬프트 오류를 완화함으로써, SAM의 활용 범위와 실용성을 높였다. 또한 프롬프트를 사용하는 다른 인공지능 모델에도 직접 적용 가능하다는 점에서 확장성이 높다.

[연구결과의 진행 상태 및 향후 계획]

본 연구는 CVPR 2026에 게재되었으며, 이민재 대학원생이 해당 연구에 대해 구두발표를 진행하였다. 향후에는 다양한 프롬프트 기반 인공지능 모델 및 실제 응용 환경에 본 기술을 확장 적용하여, 추가 학습 없이 모델 성능을 향상시키는 범용적인 프롬프트 보정 기술로 발전시킬 계획이다.

[성과와 관련된 실적]

이민재 대학원생(통합 23, 지도교수 김원화) / PR-MaGIC: Prompt Refinement Via Mask Decoder Gradient Flow For In-Context Segmentation

본 연구 논문 “PR-MaGIC: Prompt Refinement Via Mask Decoder Gradient Flow For In-Context Segmentation”은 CVPR 2026에 게재되었으며, 해당 학회에서 구두발표로 발표되었다.

[성과와 관련된 이미지]