[연구의 필요성]
소리와 촉각 진동 자극을 함께 사용하는 컨텐츠들이 증가하고 있다. 이에 따라 소리와 함께 사용하기에 적합한 진동 자극을 디자인하기위 한 연구들 또한 진행되고 있다. 소리와 함께 사용되는 진동은 소리와 일치감이 높을수록 사용자 경험이 증가하게 된다. 이러한 일치감을 증가시키기 위한 노력이 이루어지고 있으나, 청각과 촉각의 서로 다른 지각적 특성들이 이를 어렵게 만든다.

[포스텍이 가진 고유의 기술]
본 연구는 짧은 소리와 음높이적으로 일치감 높은 진동 자극을 디자인하기 위한 연구로서 진동의 주파수 특성에 집중하여 짧은 소리를 위한 소리-촉각 변환 방법을 제공한다. 짧은 소리들과 어울리는 진동 주파수에 대한 데이터를 사용자로부터 수집하여 소리로부터 가장 일치감 높은 진동 주파수를 생성하는 함수를 구현하였다.

[연구의 의미]
본 연구는 소리가 가지고 있는 주파수적 특성만으로 음높이적으로 가장 일치감 있는 진동 주파수를 생성하는 데 활용될 수 있다. 이를 활용하여 소리와 촉각이 함께 사용되는 컨텐츠에 적용시킨다면 사용자들에게 더 나은 시촉각 경험을 제공할 수 있다. 즉, 본 연구는 더 나은 사용자 경험을 제공하는 시-촉각 변환에 기여한다.

[연구결과의 진행 상태 및 향후 계획]
본 연구에서는 짧은 소리와 음높이적으로 가장 어울리는 진동 주파수를 알아보았다. 보다 더 높은 소리-진동 간의 일치감을 이끌어 내기 위해서는 음높이적 측면 뿐만 아니라, 일치감에 영향을 미치는 다른 특성들을 조사하여 이를 증진 시키는 연구를 진행하면 좋을 것이다.

[성과와 관련된 실적]
국제 저널 논문: Kim, DG., Lee, J., Yun, G., & Choi, S. (2024). Sound-to-Touch Crossmodal Pitch Matching for Short Sounds. IEEE Transactions on Haptics.

[성과와 관련된 이미지]

그림 1. 소리로부터 음높이적으로 가장 어울리는 진동을 생성하는 변환 과정.

그림 2. [Main Results] 소리종류에 따른 가장 어울리는 진동 주파수에 대한 점수