[이남훈 교수] Advancing Semiconductor Inspection: A New Dataset and Approach for Robust Anomaly Detection with Large Vision Language Models

[연구의 필요성]

반도체 제조에서는 주사전자현미경(SEM) 이미지를 활용해 미세 결함을 검출하고, 결함의 종류·위치·형태를 분석하는 과정이 중요하다. 최근 Large Vision-Language Model(LVLM)은 단순한 결함 탐지를 넘어 이러한 정보를 자연어로 설명할 수 있어 반도체 검사 자동화에 활용될 가능성이 높다. 그러나 SEM 이미지는 일반 자연영상과 시각적 특성이 크게 다르고, 실제 반도체 결함 데이터는 보안 및 비용 문제로 확보와 공개가 어려워 LVLM 학습에 필요한 이미지와 언어 데이터를 충분히 구축하기 어렵다. 또한 실제 제조 환경에서는 제품, 공정 단계 및 검사 조건에 따라 SEM 이미지의 분포가 지속적으로 변화하기 때문에, 특정 환경에서 학습한 모델의 성능이 새로운 환경에서 크게 저하될 수 있다. 이에 따라 제한된 실제 결함 데이터만으로도 반도체 도메인에 특화된 LVLM을 학습하고, 새로운 공정 환경에서도 추가적인 데이터 라벨링 없이 성능을 유지·회복할 수 있는 방법이 필요하다.

[포스텍이 가진 고유의 기술]

본 연구는 반도체 SEM 데이터 부족과 공정 변화에 따른 성능 저하 문제를 함께 해결하기 위해, 합성 결함 데이터 구축과 시각 표현 기반의 모델 적응 방법을 제안한다. 먼저 실제 정상 SEM 이미지에 particle, cut, bridge의 대표적인 반도체 결함을 합성하고, 각 이미지에 결함의 존재 여부, 종류, 위치 및 형태에 대한 instruction 데이터를 생성하여 OASIS 데이터셋을 구축하였다. 특히 결함마다 발생 형태가 다르다는 점을 고려하여 particle에는 생성 모델 기반 방법을, 회로의 연결 구조 자체가 변화하는 cut과 bridge에는 구조 정보를 활용한 결함별 합성 방식을 적용함으로써 실제 SEM 구조를 보존하면서 다양한 결함 데이터를 생성하였다. 또한 새로운 제품이나 공정으로 데이터 분포가 변화할 때 LVLM의 최종 응답 성능은 저하되더라도 visual encoder에는 결함을 구분할 수 있는 정보가 비교적 잘 유지된다는 점을 규명하였다. 이를 바탕으로 라벨이 없는 새로운 환경의 이미지에 대해 visual encoder의 결함 정보를 활용하여 학습 데이터를 스스로 생성하고, 이를 통해 LVLM을 추가적인 사람의 라벨링 없이 새로운 환경에 적응시키는 방법을 제안하였다.

[연구의 의미]

본 연구는 실제 반도체 결함 데이터가 부족한 환경에서도 합성 데이터와 LVLM을 활용하여 결함 탐지와 설명이 가능한 모델을 구축할 수 있음을 보였다. OASIS는 10,000장의 실제 정상 SEM 이미지와 6,000장의 합성 결함 이미지 및 이에 대응하는 instruction 데이터를 포함하며, 이를 활용한 학습을 통해 기존 LVLM의 반도체 결함 탐지 성능을 크게 향상시켰다. 실제 MIIC 데이터에서 LLaVA-OV의 F1-score는 18.1에서 75.2로, Anomaly-OV는 4.7에서 60.9로 향상되었으며, 학습에서 사용하지 않은 다른 SEM 데이터에서도 성능 향상이 유지되었다. 또한 제품 및 공정 변화가 큰 환경에서도 visual encoder가 보유한 결함 정보를 활용하면 별도의 추가 라벨링 없이 모델의 성능을 회복할 수 있음을 보였으며, 어려운 sub-domain 환경에서 LLaVA-OV의 F1-score를 64.71에서 85.14로, Anomaly-OV를 90.04에서 96.57로 향상시켰다. 이는 데이터 확보가 제한적인 반도체 제조 환경에서 합성 데이터를 통한 학습과 무라벨 적응을 결합하여 LVLM의 실제 적용 가능성을 높였다는 점에서 학술적·산업적 의의가 있다.

[연구결과의 진행 상태 및 향후 계획]

본 연구는 컴퓨터 비전 분야의 주요 국제학술대회인 British Machine Vision Conference (BMVC 2026)에 채택되었다. 향후에는 현재 제안한 방법을 다양한 반도체 제품 및 공정 환경으로 확장하고, 새로운 환경에서의 결함 탐지뿐만 아니라 결함의 위치와 형태를 보다 정확하게 설명할 수 있도록 LVLM의 생성 성능을 개선하는 것을 목표로 한다. 또한 visual encoder가 새로운 환경에서도 유지하는 강건한 시각 정보를 LVLM의 최종 응답으로 보다 효과적으로 전달할 수 있는 방법을 연구하여 실제 반도체 검사 환경에서의 적용 가능성을 더욱 높일 계획이다.

[성과와 관련된 실적]

Jaehyeon Jeong*, Hyeondo Jang*, Donghyun Oh, Seungeun Kim and Namhoon Lee, Advancing Semiconductor Inspection: A New Dataset and Approach for Robust Anomaly Detection with Large Vision Language Models, BMVC 2026
[성과와 관련된 이미지]