[연구의 필요성]

관통형 팬텀 감각은 신체 전·후면 사이를 자극이 통과하는 듯한 착각을 유도하여, 가상 환경에서 매우 독특하고 몰입감 있는 촉각 경험을 제공할 수 있다. 그러나 기존 연구는 주로 시각 자극과의 결합만을 다루었으며, 청각 자극과의 통합이 이러한 관통 감각의 현실감과 방향 인지, 사용자 만족도에 어떤 영향을 미치는지는 알려져 있지 않았다. 특히, 게임이나 VR 환경에서 소리와 촉각이 함께 제공되는 경우가 많음에도 불구하고, 두 감각의 의미적 일치도와 조화가 착각의 강도와 몰입감에 미치는 영향에 대한 체계적인 분석은 부족했다. 따라서 본 연구는 다양한 청각 단서와 관통형 진동 자극을 결합하여, 다감각 통합이 감각의 사실성·방향성·감정 반응에 미치는 영향을 실험적으로 규명하고, 이를 통해 몰입형 인터페이스 설계에 필요한 실질적인 지침을 제공하고자 한다.

[포스텍이 가진 고유의 기술]

본 연구는 전·후면에 부착된 최소 수의 진동 액추에이터를 이용하여 관통형 팬텀 감각을 정밀하게 구현하는 기술을 기반으로 한다. 이 진동 자극은 시간에 따른 진폭 변조(γ=3)로 설계되어, 실제 관통감을 효과적으로 유발한다. 여기에 게임 환경에서 빈번히 사용되는 다섯 가지 유형의 청각 자극을 결합하고, 자극 간 시간 동기화 및 의미적 조화를 세밀하게 제어함으로써, 청각·촉각 통합 효과를 정량적으로 분석하였다. 특히, 포스텍은 VR·게임 환경과 같은 실제 응용 시나리오를 고려하여, 다양한 음향-진동 매핑 조건을 실험 설계에 반영하고, 통계 분석을 통해 감각 조화와 착각 강도 간의 상관관계를 도출하는 고유의 실험·분석 능력을 보유하고 있다.

[연구의 의미]

연구 결과, 관통과 관련된 청각 자극(예: 총격, 칼 관통)과 관통형 진동 자극을 함께 제시했을 때, 현실감·방향 인지·만족도가 모두 유의하게 향상되었으며, 청각과 촉각의 의미적 조화가 높을수록 착각의 강도도 크게 증가함을 확인하였다. 이는 다감각 통합이 단순한 감각 합산을 넘어, 청각 자극의 의미 해석 자체를 변화시킬 수 있음을 보여준다. 예를 들어, 총격음이 단독으로 제시될 때는 외부 사건으로 인식되었으나, 관통형 진동과 결합되면 실제로 피격되는 경험으로 해석되었다. 이러한 결과는 VR·게임·훈련 시뮬레이션 등에서 사용자 몰입도와 감각적 사실성을 동시에 높일 수 있는 핵심 설계 전략을 제시한다.

[연구결과의 진행 상태 및 향후 계획]

현재 관통형 팬텀 감각과 청각 자극의 결합에 대한 실험적 분석을 완료하였으며, 각 조건별 주관적 평가와 정서 반응, 의미 해석 변화를 규명하였다. 향후 연구에서는 소리의 음높이와 진동 주파수를 매칭하여 감각 조화를 극대화하는 조건을 탐구하고, 관통 방향을 전·후면뿐 아니라 좌·우, 사선 등으로 확장하여 다양한 신체 부위에서의 효과를 검증할 예정이다. 또한, 공간 음향과의 결합을 통해 3D 환경에서 방향 인지와 몰입감을 강화하고, 생리 신호 기반의 정량 지표(심박 변이도, 피부 전도도 등)를 도입하여 감각 효과를 보다 객관적으로 측정할 계획이다. 이를 통해, 개인 맞춤형 다감각 피드백 시스템 설계로 확장 가능성을 넓히고자 한다.

[성과와 관련된 실적]

국제 학술지 논문: Hyunuku Kim, Dajin Lee and Seungmoon Choi, “Enhancing Body-Penetrating Phantom Sensations Through Multisensory Integration of Sound and Vibration,” IEEE World Haptics Conference (WHC), 2025

[성과와 관련된 이미지]

[그림 1] 소리 유형과 렌더링 방식에 따른 관통, 방향성, 만족도, 조화 및 감정 반응 측정 결과. 

[그림 2] 소리와 진동 자극 조건별 소리 해석의 변화 양상.