[연구의 필요성]
햅틱스 기술은 미래 핵심 기술인 확장 현실(XR)에서의 경험 향상을 위해 필수적이라 평가받고 있다. 하지만 햅틱 효과 저작의 비용과 난이도 때문에 햅틱 콘텐츠의 생산은 XR 콘텐츠의 생산에 비해 그 속도가 매우 느린 편이다. 햅틱 효과의 자동 생성 알고리즘은 이를 획기적으로 해결해줄 수 있으며, 그 중에서도 소리-햅틱 전환 알고리즘은 효과성과 효율성 측면에서 인정받고 있다. 하지만 현재 많이 쓰이는 단순한 전환 알고리즘으로는 적절한 실시간 전신 햅틱 효과를 생성하기는 불가능하다. 이는 사건의 의미를 실시간으로 파악하고, 이에 적절한 햅틱 효과를 제공해야 하기 때문이다. 따라서 본 연구에서는 VR 게이머들을 위하여, 실시간 소리 의미 분석 및 전신 햅틱 효과 제공 시스템을 개발하고자 한다.

[포스텍이 가진 고유의 기술]
본 연구에서는 FPS 게임을 대상으로, 순차 학습(Sequential learning) 모델을 통하여 소리의 사건을 분류하였다. 이를 바탕으로 각 사건에 적합한 전신 햅틱 패턴을 생성하였으며, 관통 및 이동하는 느낌을 제공하기 위한 촉각적 착각(Tactile illusion) 방식도 포함된다. 일련의 과정은 실시간으로 동작하며, 이 시스템을 기존에 많이 쓰이는 소리 신호처리 방식과 비교하였다. 최종적으로 게임 경험(적절성, 만족도 등)이 향상됨을 확인하였으며, 이를 통해 실시간 의미론적 소리-전신 진동 전환 알고리즘이 어떤 식으로 사용자 경험을 변화시키는지 정량/정성적으로 분석하였다.

[연구의 의미]
본 연구는 단순히 VR 게임 경험을 향상시킬 수 있는 시스템을 개발한 것을 넘어, 소리 기반의 전신 햅틱 효과를 전문가 없이도 자동 생성 가능함을 보였다. 이는 본 기술을 발전시켜 상용 제품에 활용하게 되었을 때, XR 게임, 교육, 엔터테인먼트, 메타버스 등에서 몰입감 높은 실감형 콘텐츠의 제작에 활용될 수 있으며, 콘텐츠 개발의 진입장벽을 낮출 수 있음을 의미한다. 또한, 현재 기초적인 단계에서 상용화된 햅틱스 기술의 대중화에 기여할 수 있다.

[연구결과의 진행 상태 및 향후 계획]
본 연구는 해당 가능성을 보이고 일부 사례에 적용해 본 초기 연구로, 소리 의미 감지기의 성능 향상, 햅틱 효과 품질의 향상, 콘텐츠의 확장 등 다양한 측면에서 개선할 점이 존재한다. 특히, 소리 의미 감지기가 분류할 수 있는 소리의 종류를 다양화시키고 그 성능을 개선한다면 이는 단순 전신 햅틱 효과의 생성 뿐 아니라 많은 햅틱 어플리케이션에서 활용 가능하다. 또한, 현재 햅틱 패턴 디자인이 필요한 부분도 모두 전자동화 할 수 있는 연구를 수행할 수 있다.

[성과와 관련된 실적]
국제 학술대회 논문: Gyeore Yun and Seungmoon Choi. 2025. Real-time Semantic Full-Body Haptic Feedback Converted from Sound for Virtual Reality Gameplay. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (CHI '25).

[성과와 관련된 이미지]

[그림 1] FPS 게임의 실시간으로 소리를 분석, 적절한 전신 햅틱 효과를 제공하는 시스템의 개요

[그림 2] 기존의 소리 신호처리 방식(NS-ALL)과 비교하여 사용자 경험 측면에서 전반적으로 우수한 성능을 보이는 본 연구의 시스템(S-CORR)