[연구의 필요성]

• 웹페이지나 PDF에는 문단, 표, 이미지가 서로 연결된 형태로 정보가 존재한다. 이러한 멀티모달 문서에서 사용자의 질문에 답하기 위해 관련 구성요소(component)를 정확히 찾아내는 검색 기술은 검색증강생성(RAG)을 뒷받침하는 핵심 기반 기술이다. 그러나 기존의 그래프 기반 검색 방식들은 두 가지 본질적인 한계를 가진다. 첫째, 그래프 위에서 다음 노드를 결정할 때 단순한 임베딩 벡터 유사도에만 의존하는 획일적인 점수 함수를 사용하기 때문에, 검색 단계(hop)마다 달라지는 의미적 맥락을 충분히 반영하지 못한다. 둘째, 검색 계획이 사전에 고정되어 있어 잘못된 경로를 따라갔거나 막다른 길에 도달했을 때 동적으로 오류를 수정하기 어렵다. 이로 인해 한 번의 잘못된 선택이 이후 단계까지 그대로 전파되어 최종 검색 품질을 크게 떨어뜨리며, 어느 단계에서 강력한 추론을 투입해야 하는지 판단할 메커니즘이 없어 단계마다 비용을 낭비하거나 반대로 추론이 부족한 상황이 빈번하게 발생한다.

[포스텍이 가진 고유의 기술]

• 본 연구진은 그래프 검색 과정을 ‘순차적 의사결정 과정’으로 새롭게 정식화한 검색 프레임워크 Failure is Feedback(FIF)을 제안하였다. FIF의 핵심은 다음 두 가지이다.

  (1) 이력 기반 백트래킹(history-aware backtracking): 기존 백트래킹이 단순히 상태를 이전으로 되돌리는 데 그치는 반면, FIF는 실패한 탐색 경로의 맥락 자체를 적극적으로 활용한다. 지금까지의 성공·실패 이력 중 가장 유망한 이전 시점으로 검색 시작점을 재고정(re-anchoring)하고, 실패의 단서를 반영해 하위 질의를 다시 작성하며, 동일한 실패 패턴을 반복하지 않도록 검색 전략을 한 단계 상향시킨다. 즉 실패의 흔적 자체를 다음 검색을 위한 ‘피드백 신호’로 전환한다.

  (2) 비용 효율적인 에이전트형 검색 흐름(economically-rational agentic workflow): FIF는 저비용 벡터 매칭부터 고비용 LLM 추론까지, 정확도와 효율성의 균형을 조절할 수 있는 검색 전략 포트폴리오를 사용한다. 검색 전 과정을 통제하는 오케스트레이터(Orchestrator)는 이전 시도가 모호하거나 실패한 경우에 한해서만 더 비싼 추론으로 격상시키는 비용 인식 탐색을 수행하여, 검색 정확도와 추론 비용 사이의 균형을 동적으로 조절한다.
  
  

[연구의 의미]

• FIF는 멀티모달 다중 단계 질의응답 벤치마크 세 종 모두에서 최고 수준의 검색 성능을 달성하였고, 검색 결과를 바탕으로 한 최종 질의응답 단계에서도 기존의 강력한 경쟁 기법들보다 우수한 성능을 보였다. 특히 FIF는 더 정교한 에이전트 제어를 사용하면서도 강력한 에이전트형 기준선과 비교해 경쟁력 있는 응답 시간을 유지했으며, 일부 대규모 데이터셋에서는 더 빠른 처리 시간을 보였다.이는 실패 이력에 기반한 재고정과 비용 인식 전략 격상이 불필요한 추론을 효과적으로 제거함을 의미한다. 또한 FIF는 여러 상용 및 공개 가중치 LLM 백본에서 성능 향상 효과를 검증했으며, 충분한 추론 능력을 갖춘 다양한 백본에서 강력한 검색 성능을 유지했다. 이는 FIF의 성능 향상이 특정 상용 모델에만 의존하기보다, 본 연구진이 제안한 오케스트레이션 논리와 실패 이력 활용 방식에서 비롯됨을 보여준다.

[연구결과의 진행 상태 및 향후 계획]

• 본 연구는 기계학습 분야 세계 최고 권위의 학술 대회인 ICML(International Conference on Machine Learning) 2026에 게재가 확정되어 발표될 예정이며, 코드와 실험 자료는 프로젝트 홈페이지를 통해 공개되어 재현성을 갖추었다.

[성과와 관련된 실적]

• Yun, J., Lee, D., and Han, W., "Failure is Feedback: History-Aware Backtracking for Agentic Traversal in Multimodal Graphs," In Proc., the 43rd International Conference on Machine Learning, ICML, Seoul, South Korea, July 2026.

[성과와 관련된 프로젝트 홈페이지]
https://failureisfeedback.github.io/

[성과와 관련된 이미지]

그림 1. 기존 그래프 기반 검색 방법이 멀티모달 다중 단계 질의에서 실패하는 두 가지 대표 사례를 보여주는 예시그림 2. 멀티모달 문서 코퍼스를 표현한 계층화된 구성요소 그래프의 예시

그림 3. Failure is Feedback(FIF)의 전체 구조와 검색 과정에서 누적되는 구조화된 메모리의 예시