[연구의 필요성]

최근 대규모 언어모델(LLM)을 활용한 인공지능 에이전트는 소프트웨어 개발, 정보 검색, 컴퓨터 사용처럼 여러 단계의 판단과 도구 호출이 필요한 업무를 수행하고 있다. 그러나 실제 업무에서는 한 단계의 잘못된 도구 사용이나 판단이 이후 과정에 누적되어 전체 작업의 실패로 이어지기 쉽다. 언어모델 자체의 성능이 높더라도, 장시간에 걸친 복잡한 업무를 끝까지 안정적으로 수행하기는 여전히 어렵다.

이러한 에이전트의 성능은 언어모델뿐 아니라, 모델에 주어지는 지시문(Prompt), 사용할 수 있는 도구(Tool), 실행 과정의 제어 로직(Middleware) 등을 포함하는 외부 실행 체계인 ‘하네스(Harness)’에 크게 좌우된다. 하지만 기존에는 전문가가 수많은 실행 기록을 직접 검토하고 하네스를 반복 수정해야 했으며, 특정 실패를 고치더라도 다른 업무에서 새로운 오류가 발생할 수 있었다. 따라서 에이전트의 실패 원인을 스스로 분석하고, 다양한 업무에서 효과가 지속되는 하네스 개선을 자동으로 찾아내는 기술이 필요하다.

[포스텍이 가진 고유의 기술]

본 연구진은 에이전트의 실행 기록을 이용해 하네스를 자동으로 개선하는 프레임워크 ‘AutoSaddler’를 제안하였다. AutoSaddler는 언어모델의 가중치를 다시 학습시키는 대신, 실패 원인을 분석하고 하네스의 구성 요소를 수정한 뒤 다른 업무에서도 개선 효과가 유지되는지 검증한다. 핵심 기술은 다음 세 가지이다.

(1) 실행 기록 기반 심층 실패 진단: 에이전트가 작업을 수행하는 동안 남긴 단계별 실행 기록과 하네스의 실제 코드를 함께 분석한다. 단순히 실패한 결과를 요약하는 것이 아니라, 어떤 지시문·도구·실행 로직이 문제를 유발했는지 구체적인 근거를 찾아 수정 방향을 결정한다.

(2) 구조화된 하네스 수정: 수정 대상을 지시문(Prompt), 도구(Tool), 실행 제어 로직(Middleware)으로 구분하고 필요한 부분을 선택적으로 변경한다. 특히 도구 구현이나 실행 흐름 등 기능 자체를 개선하는 수정(Capability Patch)을 먼저 탐색한 다음, 지시문이나 도구 설명을 다듬는 수정(Steering Patch)을 수행하여 단순 문구 변경에 치우치지 않도록 한다.

(3) 일반화 성능을 고려한 개선안 선택: 수정된 하네스를 학습 작업에 다시 적용해 효과를 확인하고, 별도의 검증 작업에서도 성능 향상이 나타나는지 평가한다. 수정 전후의 성공·실패 사례와 성능 변화에서 얻은 교훈을 ‘EvoDAG’라는 진화 이력에 축적하고, 이를 바탕으로 이전 개선안의 유용한 부분을 조합해 다음 하네스를 만든다.

[연구의 의미]

본 연구는 인공지능 에이전트의 성능 개선을 사람이 지시문을 조정하는 과정에서, 에이전트가 자신의 실패를 분석하고 실행 체계 자체를 지속적으로 개선하는 자동화 과정으로 확장하였다는 데 의의가 있다. 특히 특정 작업만 성공하도록 일회성 수정을 적용하는 것이 아니라, 처음 접하는 업무에도 적용될 수 있는 개선을 선택한다는 점에서 기존 접근법과 차별화된다.

실험에서는 일상적인 디지털 업무 수행(GAIA2), 실제 소프트웨어 문제 해결(SWE-Bench Pro), 터미널 기반의 복잡한 작업(Terminal-Bench 2.0) 등 서로 다른 세 벤치마크에서 성능 향상을 확인하였다. 별도로 분리된 테스트 작업의 성공률(Pass@1)은 GAIA2에서 53.0%에서 62.0%로(+9.0%p), SWE-Bench Pro에서 37.3%에서 46.9%로(+9.6%p), Terminal-Bench 2.0에서 40.0%에서 50.0%로(+10.0%p) 높아졌다. 또한 각 벤치마크에서 비교한 자동 최적화 방식 중 가장 성능이 높은 기존 방법보다 각각 7.4%p, 4.4%p, 6.7%p 높은 결과를 보였다.

최적화 효율 면에서도 GAIA2 개발용 평가에서 AutoSaddler는 학습에 활용한 실행 기록 147개로 최고 성능에 도달한 반면, 비교 방법인 Meta-Harness는 1,400개를 활용하였다. 이는 성능 향상뿐 아니라 복잡한 에이전트를 개선하는 데 필요한 반복 실험 부담을 줄일 가능성을 보여준다.

[연구결과의 진행 상태 및 향후 계획]

본 연구는 인공지능 분야의 대표적인 국제학술대회인 NeurIPS 2026에 포스터 논문으로 채택되었으며, 2026년 12월 발표될 예정이다. 연구 결과를 재현할 수 있도록 논문과 프로젝트 소개 페이지, 코드 및 실행 관련 자료를 공개하였다.

향후에는 더욱 다양한 실제 업무와 기반 언어모델을 대상으로 하네스 개선의 적용 범위와 일반화 성능을 확인하고, 적은 실행 예산으로도 안정적인 성능 향상을 얻을 수 있도록 연구를 확장하고자 한다.

• 
  [성과와 관련된 실적]

Park, S., Kim, W., Tan, R., Zhang, J., Han, W., et al., “AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces,” In Proc., the 40th Conference on Neural Information Processing Systems, NeurIPS, Sydney, Australia, December 2026.

[성과와 관련된 프로젝트 홈페이지]

https://autosaddler-projectpage.github.io/

• 
  [성과와 관련된 이미지]
• 
• 그림 1. AutoSaddler의 전체 프레임워크 및 자동 최적화 과정
• 그림 2. GAIA2에서 기존 방법 대비 AutoSaddler의 최적화 성능 및 효율 비교 (첨부 논문 Figure 1, 2페이지)