[연구의 필요성]

이미지·영상 검색은 참조 시각 데이터와 수정 텍스트를 결합한 복합 질의(composed query)로 발전하며 미디어 편집, 추천, 창작 콘텐츠 검색으로 확장되고 있다. 그러나 최신 기법들은 멀티모달 거대언어모델(MLLM)로 두 입력을 재작성해 검색하는 방식이라 질의 지연이 커 대규모 서비스 적용이 어렵다.

[포스텍이 가진 고유의 기술]

연구팀은 무거운 융합 모듈 없이 임베딩 공간의 단순 선형보간만으로 복합 질의를 구성하되, 질의마다 최적 보간 가중치를 동적으로 예측하는 최초의 프레임워크 SRAIN을 제안했다. 미니배치의 랭킹으로부터 정답 가중치를 유도하는 랭크 인지 가중치 추정과, 메모리 뱅크로 하드 네거티브를 합성해 학습과 추론을 일치시키는 조건부 가중치 예측이 핵심이다.

[연구의 의미]

CNN·Transformer·MLLM 기반의 복잡한 융합이 주류인 상황에서, 가볍고 해석 가능한 표본별 선형보간만으로도 최신 기법과 대등하거나 우수한 성능을 낼 수 있음을 처음으로 체계적으로 입증했다. 고비용 아키텍처 없이 검색 성능과 실시간성을 동시에 만족하는 새로운 방향을 제시했다.

[연구결과의 진행 상태 및 향후 계획]

현재 복합 질의 비디오 검색에서 SOTA, 이미지 검색에서 최고 수준 성능을 달성하며 MLLM 대비 질의 지연을 크게 줄였고 ECCV 2026에 채택됐다. 향후 극단적 가중치 예측 정확도 향상과 대규모 갤러리 검색 최적화를 통해 실서비스 적용으로 확장할 계획이다.

[성과와 관련된 실적]

정보승, 박태규, 권동현, 조현석, 곽수하 (POSTECH 컴퓨터공학과·인공지능대학원, 아주대·삼성전자 공동)

Learning Sample-wise Rank-aware Interpolation Weights for Composed Visual Data Retrieval

  - ECCV 2026 논문 채택

  - WebVid-CoVR, CIRR 전 지표 SOTA, CIRCO·FashionIQ 최고 수준 성능

  - 가중치 예측 추가 연산 질의당 0.03ms(전체의 0.08%)로 오버헤드 무시 가능한 효율성

[요약]

본 연구는 생성형 AI·영상 스트리밍 시대에 중요성이 커지는 효율적 멀티모달 검색 문제를 다루며, 무거운 대형 모델 없이 실시간에 가까운 성능을 달성해 미디어 편집·이커머스·영상 추천 등으로 확장 가능성이 높다.

[성과와 관련된 이미지]