[연구의 필요성]
실시간으로 게임에서 발생하는 소리를 기반으로 햅틱 효과를 생성하는 방식은 학계 및 산업계의 주목을 받고 있다. 그러나 대부분의 방식은 간단한 신호 처리 기반 방식으로, 배경음악이나 대화의 목소리 등 햅틱 효과가 나오기 적절하지 않은 소리들도 모두 햅틱 효과로 제공된다. 이에 본 연구에서는 실시간으로 게임의 소리 신호로부터 햅틱 효과로 제공되기 적절한 소리를 충격 및 진동 햅틱 효과로 표현되기 적절한지 판단, 렌더링해주는 방법을 제시한다.

[포스텍이 가진 고유의 기술]
본 연구에서는 게임의 소리가 햅틱 효과에 어울리는지 실시간으로 판단하고, 적합한 방식의 햅틱 효과로 전환하는 알고리즘을 개발하였다. 이 알고리즘은 가장 최근의 소리 신호가 진동, 충격, 진동+충격 햅틱 효과 중 어떤 것이 가장 적합한지를 기계 학습 알고리즘을 통해 실시간으로 판단한다. 이를 바탕으로 햅틱 효과가 제공되며, 상기 과정은 인지적으로 거의 동시에 일어난다.

[연구의 의미]
본 연구에서 제시한 방법을 사용하면 햅틱 효과가 내장되지 않은 게임을 두 가지 모달리티의 풍부한 햅틱 효과와 함께 경험할 수 있다. 또한 게임 외에도 영화감상 등 다양한 컨텐츠에 적용될 수 있다. 현재 나오는 소리 이벤트로부터 선별적으로 실시간 햅틱 효과를 제공을 위한 연구는 본 연구가 거의 처음이라고 할 수 있다.

[연구결과의 진행 상태 및 향후 계획]
이번 연구에서는 일반 게임 플레이어들에게 가장 친숙한 마우스에서 햅틱 효과를 제공하였다. 향후에는 가상 현실 기반 메타버스 게임이 많이 등장할 것으로 예상되며, 이에 몰입감있는 경험을 제공할 수 있도록 햅틱 의복을 통해 전신 햅틱 효과를 제공할 수 있다. 이를 위해 소리 이벤트의 위치를 추적 및 이에 기반한 햅틱 효과를 제공하고자 한다.

[성과와 관련된 실적]
국제 학술대회 논문: ACM Conference on Human Factors in Computing Systems (CHI), 2023.

[성과와 관련된 이미지]

[그림 1] 게임의 소리 스트림으로부터 실시간으로 멀티모달 햅틱 효과를 제공한다. 이를 위해 가장 최근의 소리를 기계학습 분류기를 사용해 어떤 종류의 햅틱 효과가 잘 어울릴지 판단한다. 가능한 경우는 햅틱 효과가 없는 경우, 진동, 충격, 진동+충격(동시)이며, 이 결과를 바탕으로 임팩트 또는 진동 구동기를 구동시킨다. 이러한 일련의 과정은 사용자가 소리와 햅틱 효과를 거의 동시에 인지할 수 있는 시간 사이에 일어난다.

[그림 2] 소리 스트림으로부터 슬라이딩 윈도우 기법을 적용, 짧은 주기마다 일정 길이의 가장 최근 소리를 캡처한다. 머신 러닝 분류기는 캡처한 소리에 가장 적합한 종류의 햅틱 효과가 어떤 것인지 판단하며(ML Classifier), 이 결과를 바탕으로 햅틱 효과를 렌더링(MM rendering).