[연구의 필요성]
기존 연구에서는 대형 언어 모델 (LLM)의 인지 재구성 (cognitive reframing) 치료에 대한 가능성을 보여주었지만, 주로 텍스트 기반 접근법에 집중하여 실제 심리 치료에서 중요한 비언어적 증거(예: 얼굴 표정)를 간과하는 경향이 있었다.
효과적인 상담을 위해서는 환자의 감정을 인식하고 이해하는 것이 필수적이지만, 기존의 LLM 기반 치료 시스템은 이를 반영하지 못해 실제 대면 치료와 큰 차이가 존재했다. 이에 따라, 시각-언어 모델 (VLM)을 활용한 멀티모달 접근 방식이 필요하며, 이를 통해 AI 기반 심리 치료 상담의 효과를 더욱 향상시킬 수 있다.

[포스텍이 가진 고유의 기술]
본 연구는 Multimodal Cognitive Reframing Therapy를 다룬 초기 연구로, 기존의 텍스트 중심 상담 모델을 넘어 비언어적 요소를 반영하는 AI 심리 상담 시스템을 개발하였다. 이를 위해 Multi Modal-Cognitive Support Conversation (M2CoSC)이라는 새로운 멀티모달 데이터셋을 구축하였으며, 이는 심리 치료 대화와 환자의 얼굴 표정을 함께 제공한다. 또한, 본 연구에서는 Multi-hop Psychotherapeutic Reasoning 기법을 도입하여, AI가 환자의 얼굴 표정 및 대화를 단계적으로 분석하고 상담 과정에서 이를 효과적으로 활용할 수 있도록 하였다. 실험 결과, M2CoSC를 활용한 VLM이 기존 텍스트 기반 LLM보다 상담의 공감 능력이 뛰어남울 확인하였으며, 다단계 추론 기법과 함께 활용할 경우가 가장 우수한 성능을 보였다.

[연구의 의미]
본 연구는 Multimodal Cognitive Reframing Therapy를 다룬 최초의 연구로서, 기존 심리 치료 AI 모델이 간과했던 비언어적 요소를 반영하는 새로운 접근 방식을 제시했다는 점에서 큰 의의를 갖는다. 특히, 얼굴 표정을 활용한 정서 분석과 다단계 추론 기법을 결합하여, AI가 보다 공감적이고 논리적인 상담을 제공할 수 있도록 하였다. 이러한 방법론은 AI 기반 심리 치료뿐만 아니라, 다양한 대화형 AI 시스템에서 비언어적 정보 이해 능력을 향상시키는 데 기여할 수 있을 것으로 기대된다.

[연구결과의 진행 상태 및 향후 계획]
본 연구는 NAACL 2025에서 발표될 예정이며 향후 표정 변화, 몸짓 등 다양한 멀티모달 정보를 통합하여 보다 현실적인 심리 치료 시나리오로 확장할 계획이다.

[성과와 관련된 실적]
Subin Kim*, Hoonrae Kim*, Heejin Do, Gary Geunbae Lee, NAACL 2025 (accepted)

[성과와 관련된 이미지]