[연구의 필요성]
4D 멀티미디어에서 동작 효과는 영상에 맞춰 의자의 움직임을 제어하여 사용자의 몰입도와 재미를 향상시킨다. 기존의 동작 효과 생성 방법은 카메라, 특정 물체, 소리와 같은 단일 요소에 기반해 의자의 움직임을 조작하는데, 이는 복합적인 요소가 동시에 나타나는 일반 영상에서는 한계를 지닌다. 따라서 다양한 요소를 종합적으로 고려하여 동작 효과를 자동으로 생성할 수 있는 새로운 알고리즘의 개발이 필요하다.

[포스텍이 가진 고유의 기술]
본 연구에서 제안하는 알고리즘은 최신 딥러닝 기술을 활용하여, 기존의 단순한 요소 기반 접근 방식에서 벗어나 영상 내 복합적인 요소들을 동시에 고려한다. 우리는 두 가지 첨단 컴퓨터 비전 모델을 사용하여, 일반 영상에서 프레임 단위로 픽셀의 움직임 변화를 자동으로 추적한다. 첫 번째로, 신 플로우(Scene Flow) 추정 모델은 프레임 내 모든 픽셀의 3차원 움직임을 예측한다. 여기에는 물체뿐만 아니라 배경까지 포함되며, 영상 속 모든 요소의 움직임을 입체적으로 분석할 수 있다. 이러한 접근은 기존의 2차원 정보만을 사용하는 방식에 비해 월등한 해상도를 제공하며, 보다 정교한 동작 효과 생성에 기여한다. 두 번째로, 돌출(Saliency) 감지 모델은 물체의 중요도를 평가하여, 특히 빠르게 움직이는 물체의 픽셀에 더 높은 돌출 값을 부여한다. 이 과정을 통해 단순히 모든 움직임을 동일하게 처리하는 것이 아니라, 사용자에게 중요한 요소를 선별하여 강조할 수 있다. 우리는 두 모델을 결합하여 높은 돌출 값을 가진 픽셀의 3차원 움직임을 사용해 배경과 독립적인 물체의 움직임을 계산하며, 반대로 낮은 돌출 값을 가진 픽셀을 기반으로 배경의 움직임을 계산한다. 이렇게 분석된 물체와 배경의 움직임은 전처리 과정을 통해 의자의 움직임을 제어할 수 있는 신호로 변환된다. 이 과정에서 평활화와 같은 신호 처리 기법을 활용하여 동작 의자의 움직임이 자연스럽고 정교하게 나타나도록 보정한다.

[연구의 의미]
우리의 알고리즘은 기존의 동작 효과 자동 생성 알고리즘과 비교한 사용자 실험을 통해 우수성이 입증되었다. 실험 결과, 9개의 영상에서 우리 알고리즘은 기존 알고리즘과 동등하거나 더 높은 유저 경험을 제공했다. 특히, 기존 알고리즘이 수작업으로 관심 요소를 지정해야 하는 반면, 본 연구의 알고리즘은 완전 자동화되어 효율성이 뛰어나다. 또한, 기존 알고리즘이 폭발, 충돌, 입자 효과를 표현하지 못했던 것과 달리, 본 연구는 먼지와 같은 세부적인 움직임도 동작 효과로 재현하여 더욱 몰입감 있는 사용자 경험을 제공한다. 특히, 폭발 및 충돌 효과에서 소리를 활용한 동작 효과를 정확히 구현하여, 복합적인 요소를 동시에 표현할 수 있는 강점을 실험적으로 증명하였다.

[연구결과의 진행 상태 및 향후 계획]
본 연구는 영상 정보를 활용한 동작 효과 생성에 초점을 맞추었다. 하지만, 영상 정보 외에도 주파수, 리듬, 지속 시간과 같은 움직임 효과의 특성이 사용자 경험에 영향을 미칠 수 있다. 예를 들어, 움직임 자극의 주요 속성인 규칙성과 거칠음은 저주파 및 고주파 이득과 움직임 비율을 조절함으로써 강화될 수 있다. 이러한 연구 결과를 토대로, 향후 특정 장면의 특성을 더욱 부각시키는 방향으로 연구를 확장할 계획이다.

[성과와 관련된 실적]
국제 학회 논문: S. Han, J. Ahn, & S. Choi. “Generating Haptic Motion Effects for General Scenes to Improve 4D Experiences”. In Proceedings of the 2024 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). 2024. pp. 1-8.

[성과와 관련된 이미지]

[그림 1] 연구 개념도: 시청각 콘텐츠에서 3차원 픽셀 움직임과 물체의 돌출도를 분석한 후, 이를 바탕으로 동작 효과를 자동 생성한다.

[그림 2] 전처리 흐름도: 3차원 픽셀 움직임을 모션 프록시(Motion Proxy) 방식으로 결합한 후, 평활화 및 MPC 기반의 신호 처리를 통해 의자의 움직임을 제어할 수 있는 동작 명령어로 변환.