[연구의 필요성]
최근 몇 년 사이 딥러닝 기술이 빠르게 발전하고 있지만, 표준적인 신경망 모델들은 그 의사 결정 과정을 이해하기 쉽지 않다. 이러한 문제를 해결하기 위한 하나의 시도로서, 기존 연구 (Concept Bottleneck Models, Koh et al., ICML 2020) 에서는 개념 병목 모델 (Concept Bottleneck Models; CBM)을 제안하여 기계학습 모델의 해석 가능성을 높이려 하였다. 기존의 종단간 (end-to-end) 모델과는 달리 CBM은 입력 데이터로부터 개념이라고 불리는 해석 가능한 특성들을 먼저 예측한 후 이를 기반으로 주어진 과제 (task)의 최종 예측을 진행한다. 이 모델은 특히나 개입 (intervention)이라고 하는 과정을 통해 전문가가 테스트 시 예측된 개념 값을 정확한 값으로 변경해줌으로써 더 정확한 과제 예측을 진행할 수 있다. 하지만 개입 메커니즘이 가진 장점에도 불구하고 이에 대해서 기존에 많이 연구된 바가 없었다.

[포스텍이 가진 고유의 기술]
먼저, 본 연구에서는 개입 순서를 정하는 다양한 선택 기준들을 제시하여 같은 개입 개수가 주어졌을 때  CBM의 성능을 크게 증가시켰다.  또한 각 기준의 이론적 비용, 테스트 환경과 관련된 개입 수준, 모델 학습 방법 등의 다양한 실험 환경 하에서 앞서 제시한 기준들을 심층 분석한다. 다음으로, 다양한 인과 그래프에 기반하여 합성 데이터를 생성하는 프레임워크를 제시하고 다양한 데이터 하에서의 개입 효율성을 분석한다. 마지막으로 현재 개입 과정에 존재하는 위험성을 찾아내어 신뢰가능한 인공지능 모델의 개발에 도움이 될 수 있도록 하였다.

[연구의 의미]
CBM의 개입 과정은 실제 환경에서의 중요도에도 불구하고 기존 연구들에서 다소 주목받지 못한 측면이 있다. 본 연구는 개입 과정을 심층 분석한 최초의 연구라는 점에서 큰 의미가 있으며, 개념 선택 기준들을 평가하기 위한 벤치마크를 제시하여 추후 연구에서 널리 사용될 수 있도록 하였다. 이외에도 비용 또는 데이터 특성의 측면에서 개입을 분석함으로써 실제 환경에서 CBM이 적용될 때 도움될 만한 사항들을 제시하였다.

[연구결과의 진행 상태 및 향후 계획]
본 연구는 기계 학습 분야 최우수 학회인 ICML 2023에서 발표될 예정이다. 개념 병목 모델의 다른 문제점을 해결하는 연구를 현재 진행 중이다.

[성과와 관련된 실적]
A Closer Look at the Intervention Procedure of Concept Bottleneck Models, Sungbin Shin, Yohan Jo, Sungsoo Ahn, and Namhoon Lee, ICML 2023

[성과와 관련된 이미지]