[연구의 필요성]

대규모 언어모델은 소프트웨어 개발 전반에 폭넓게 활용되고 있다. 그러나 생성된 코드가 표면적으로는 그럴듯해 보이지만, 실제로는 의도한 기능을 수행하지 못하는 ‘환각(hallucination)’ 현상이 빈번하게 발생한다. 따라서 실행 결과를 바탕으로 생성 코드의 기능적 정확성을 평가하고, 잘못된 코드가 사용자에게 제공되는 비율을 통제하는 기술이 필요하다.

[포스텍이 가진 고유의 기술]

본 연구에서는 생성 코드의 기능적 정확성을 평가하고, 신뢰하기 어려운 경우 답변을 보류하는 ‘선택적 코드 생성기(selective code generator)’를 제안하였다. 제안한 생성기는 실제로 답변한 코드 가운데 잘못된 코드가 차지하는 비율을 사전에 설정한 수준 이하로 통제하며 이에 대한 통계적 보장을 제공한다. 코드가 올바른지 확인하기 위해 자연어의 함의(entailment) 개념을 코드로 확장한 alpha-entailment를 새롭게 정의하고, 코드 환각의 정도를 정량적으로 측정하는 지표 False Discovery Rate-Code Entailment(FDR-CE)를 제안하였다. 선택적 코드 생성기의 보정(calibration) 과정에서는 자동 생성된 단위 테스트를 활용하였다. 퍼징(fuzzing)과 같은 동적 코드 분석 도구, LLM 등을 통해 다양한 단위 테스트를 생성하고, 코드의 실행 결과를 바탕으로 코드 간 함의 관계를 추정하였다. 이를 바탕으로 FDR-CE가 사전에 설정한 수준 이하로 유지되도록 임계값을 결정하였다. 보정이 완료된 선택적 코드 생성기는 충분히 신뢰할 수 있는 경우에만 코드를 제공하며, 정확성을 확신하기 어려운 경우에는 스스로 답변을 보류한다.

[연구의 의미]

본 연구는 “모델이 생성한 코드를 얼마나 믿을 수 있는가”라는 질문에 이론적 보장을 갖춘 해답을 제시한 연구이다. 모델이 확신할 수 없는 코드는 답하지 않도록 함으로써, 사용자에게 전달되는 코드의 정확성을 원하는 수준으로 제어할 수 있다. 특히 사람의 피드백이나 정답 라벨 없이 스스로 학습한다는 점에서 기존 연구와 차별화된다.

[연구결과의 진행 상태 및 향후 계획]

다양한 모델, 데이터셋 등을 이용해 코드 환각 비율(FDR-CE)을 원하는 수준으로 통제할 수 있음을 확인했으며, 답변을 보류하는 비율 또한 합리적인 수준으로 유지되었다. 앞으로 이 기술을 실제 소프트웨어 개발 환경으로 확장하고, 안정성이 중요한 분야의 AI 프로그래밍 시스템에 적용하는 연구를 이어갈 계획이다.

[성과와 관련된 실적]

Jaewoo Jeong, Taesoo Kim, Sangdon Park, "Towards Functional Correctness of Large Code Models with Selective Generation”, ICML, 2026.

본 연구는 Microsoft와 공동으로 진행됨을 알려드립니다.

[성과와 관련된 이미지]