[연구의 필요성]

차량 내 영상 시청이 확대되면서 영화 속 장면을 촉각으로도 느낄 수 있는 몰입형 콘텐츠에 대한 관심이 높아지고 있다.

기존 4D 영화의 촉각 효과는 장면마다 수작업으로 제작해야 하므로 많은 시간과 비용이 필요하다.

소리를 단순히 진동으로 변환하는 방식은 대화나 배경음악에 불필요한 진동을 발생시키거나, 화면 속 사건의 위치를 충분히 반영하지 못하는 한계가 있다.

본 연구에서는 영화의 영상과 소리를 실시간으로 분석해 장면의 맥락에 맞는 촉각 효과를 자동 생성하고, 차량 시트를 통해 더욱 몰입감 있는 4D 영화 체험을 제공하고자 한다.

[포스텍이 가진 고유의 기술]

영화에 적합한 진동 피드백을 실시간으로 생성하는 시청각 기반 햅틱 렌더링 시스템(Real-time audiovisual-to-haptic rendering system).

차량 적용을 위한 통합 시스템 파이프라인을 구축하고, 실제 차량에서의 성능 평가와 사용자 실험을 통해 적용 가능성을 검증.

[연구의 의미]

별도의 촉각 효과 제작이나 사전 처리 없이 일반 영화 콘텐츠에서 장면에 맞는 촉각 효과를 자동 생성해 4D 콘텐츠 제작의 시간과 비용 부담을 줄일 수 있음.

화면 속 사건의 중요도와 위치를 몸으로 느끼게 함으로써 차량 내 영화 감상의 몰입감을 높이고, 스트리밍 콘텐츠에 적용할 수 있는 기반을 마련함.

[연구결과의 진행 상태 및 향후 계획]

• 진행 상태: 영화에 적합한 진동 피드백을 완전 자동 생성하는 시스템을 구현하고, 실제 차량에서의 적용 가능성을 검증함.
• 향후 계획: 소리 기반의 진동 변환 방식을 확장하여, 콘텐츠 분석부터 햅틱 자극의 직접 생성까지 하나의 통합 파이프라인으로 구현할 계획임.

[성과와 관련된 실적]

인간-컴퓨터 상호작용(HCI) 분야의 세계적 권위를 가진 최우수 국제학술대회 ACM UIST 2026에 논문 게재 승인 및 발표 예정.

• 
  [성과와 관련된 이미지]
  

CineHaptic 시스템 개요. 영상과 소리를 분석해 차량 시트의 촉각 효과를 실시간으로 생성함. (논문 Figure 1)