[연구의 필요성]
터치는 우리의 일상에서 다양한 소셜 의도를 표현하는 데 있어 직관적이고 강력한 수단이다. 터치는 표정과 음성을 통한 감정 표현을 강화할 뿐만 아니라 자체적으로도 감정을 명확하게 전달할 수 있다. 신뢰, 애정, 존중과 같은 복잡한 메시지를 전달할 수 있으며, 소셜 상호작용과 관계 형성에 중요한 역할을 한다. 그러나 소셜 가상 환경에서 이러한 터치의 기능을 구현하는 것은 아직 어려운 과제이다. 이에 본 연구는 가상 환경 속 사용자의 소셜 경험을 향상시키고자, 가상 에이전트를 터치하는 사용자에게 제공되는 멀티모달 햅틱 피드백의 설계와 효과를 탐구한다.

[포스텍이 가진 고유의 기술]
인간의 터치를 모방하기 위해 시도되었던 이전의 많은 접근들은 터치를 수동적으로 경험하는 터치 수신자에게 초점을 맞추어 햅틱 피드백을 설계하였다. 그러나 터치는 상호적인 과정이기에, 사용자가 행하는 동적인 터치에 따른 햅틱 피드백 설계에 대한 고찰이 필요하다. 본 연구는 사용자가 행하는 다양한 터치 제스처와 소셜 의도를 고려하며 햅틱 피드백을 설계하였다는 점에서 다른 연구들과 차별성을 가진다. 또한, 대부분의 접근들은 단일 햅틱 모달리티만을 사용하였으며, 이는 표현해낼 수 있는 터치 제스처 유형과 촉감의 범위를 크게 제한하였다. 본 연구는 최초로 힘, 진동, 온도의 세가지 햅틱 모달리티를 결합하여 터치에 내재된 다양한 소셜 메시지를 효과적으로 전달하는 멀티모달 햅틱 피드백 설계를 탐구하였다.

[연구의 의미]
실험 결과, 사용자의 소셜 의도를 고려한 햅틱 피드백은 터치의 표현력을 강화하고 가상 에이전트와의 정서적 친밀감을 증진시키는 것으로 드러났다. 이러한 효과는 가상 에이전트의 물리적 프록시와 결합하였을 때 더욱 커졌으며, 가상 에이전트와의 공존감과 자신의 아바타에 대한 신체적 체화감 또한 향상시켰다. 본 연구는 멀티모달 햅틱 피드백을 통해 인간의 터치가 가지는 사회적 신호 체계를 가상현실에서 구현할 수 있다는 가능성을 보여주며, 이를 통해 가상현실 속 터치 상호작용이 더욱 풍부해질 것으로 기대된다. 이러한 피드백을 통한 소셜 터치의 표현은 사용자와 가상 에이전트 간의 관계를 형성하고 유지하는 데 중요한 의사소통 채널을 제공할 것이다.

[연구결과의 진행 상태 및 향후 계획]
본 연구는 몇 가지 한계점과 개선 계획을 가진다. 첫째, 햅틱 피드백의 자극 영역이 세 개의 손가락 끝으로 제한되었지만, 향후 자극 영역을 손바닥까지 넓히면 더욱 전역적인 자극을 통하여 자연스러운 촉각 표현이 가능해질 것이다. 둘째, 현재 연구 속 피드백 시스템은 터치의 소셜 의도를 파악할 수 있다는 가정 하에 설계되었다. 사용자의 감정 상태는 얼굴 표정, 목소리, 행동 또는 생리적 센서 데이터를 통해 추론할 수 있을 것이다. 그러나 사용자의 소셜 의도는 항상 명확하지 않을 수 있기에, 사용자 의도와 맞지 않는 햅틱 피드백이 사용자 경험에 미치는 영향을 조사하는 것도 가치가 있을 것이다. 셋째, 실험이 주관적인 설문 데이터에 의존하였으며, 향후 터치 빈도 및 지속 시간과 같은 정량적 측정을 포함하면 소셜 터치 상호작용에 대한 보다 객관적이고 깊이 있는 통찰을 제공할 수 있을 것이다.

[성과와 관련된 실적]
Heeyeon Kim and Seungmoon Choi, “Expressing the Social Intent of Touch Initiator in Virtual Reality Using Multimodal Haptics”, In Proceedings of the IEEE International Symposium on Mixed and Augmented Reality (ISMAR), October 21-25, 2024

[성과와 관련된 이미지]

[그림 1] 실험 속 4가지 피드백 조건. NONE 조건은 햅틱 피드백 없이 터치에 대한 시각적 표현만 제공된다. PASSIVE 조건은 가상 에이전트의 팔에 정렬된 물리적 프록시를 통해 터치 피드백이 제공된다. ACTIVE 조건은 제시되는 소셜의도를 고려하여, 햅틱 글러브를 통한 동적인 촉감이 제공된다. AUGMENTED 조건은 물리적 프록시를 통한 역감과 햅틱 글러브를 통한 동적인 촉감을 결합한 피드백이 제공된다.

[그림2] 유저 스터디 결과.  (a) 각 시나리오에 대한 피드백 조건 별 소셜 표현 적합도 (b) 각 시나리오에 대한 피드백 조건 별 정서가 (c) 각 시나리오에 대한 피드백 조건 별 각성가 (d) 피드백 조건 별 공존감, 아바타 체화감, 정서적 친밀감