[연구의 필요성]

거대 언어 모델의 효과적인 성능에도 불구하고 환각 현상은 여전히 존재하며, 동일한 주제임에도 불구하고 특정 그룹 (e.g., 성별, 인종, 인기도)에 따라 성능 및 품질의 편향이 발생할 경우 기존 편향을 심화시킬 수 있는 문제를 겪어 왔다.

[포스텍이 가진 고유의 기술]

기존 그룹 편향 측정의 경우 시간에 따라 변화하는 지식에 대해서도 시간에 대하여 주변화된 그룹 편향 측정 지표를 활용하여 확인할 수 없었던 문제점을 시간에 대하여 조건화된 그룹 편향 측정 방안 및 이를 활용한 데이터 분석 결과를 제공함으로써 확인했습니다.

[연구의 의미]

주어진 결과는 신뢰할 수 있는 인공지능 모델을 개발하는 맥락에서, 시변적인 지식에 대해서 거대 언어 모델이 보이는 그룹 편향을 보다 적확하게 모니터링할 수 있는 가능성을 제시하였다는 점에서 의의가 있습니다.

[연구결과의 진행 상태 및 향후 계획]

본 연구는 현재 EMNLP Findings 2025에 채택되었고, 향후 단순한 질의응답 과업을 넘어선 agentic task 상에서 발생할 수 있는 그룹 편향 측정 및 분석 연구로 확장할 계획이다.

[성과와 관련된 실적]

김경민, 최영빈, 김형훈, 김동우, 박상돈 (POSTECH 컴퓨터공학과/인공지능대학원)

ChronoBias: A Benchmark for Evaluating Time-conditional Group Bias in the Time-sensitive Knowledge of Large Language Models (EMNLP Findings 2025 논문 채택)

[요약]

본 연구는 시변적 지식에 대해 시간에 대해 조건화된 그룹 편향을 측정할 수 있는 지표를 새롭게 제안하고, 관련 분석을 수행할 수 있는 ChronoBias라는 benchmark 데이터셋을 제안했습니다.

[성과와 관련된 이미지]