[연구의  필요성]
4D 컨텐츠는 시청각 컨텐츠와 함께 다양한 감각 효과를 제공함으로써 사용자의 경험을 향상시킨다. 하지만, 이러한 감각 효과는 전문가에 의해 수작업에 의존하여 저작되기 때문에 4D 컨텐츠의 확산이 저해되고 있다. 본 연구에서는 4D 컨텐츠를 위해 시청각 컨텐츠의 물체(다관절체)의 움직임에 기반하여 모션 효과를 자동으로 생성하는 방법을 제시한다.

[포스텍이 가진 고유의 기술]
본 연구에서는 다관절체의 움직임에 기반하여 모션 효과를 자동으로 생성하는 알고리즘을 개발하였다. 이 알고리즘은 3자유도로 움직일 수 있는 모션 효과로 다관절체의 다자유도 움직임을 표현해내기 위해, 다관절체의 부위 별 움직임을 중요도에 따라 조합하여 하나의 3자유도 움직임으로 축약해낸다. 이 알고리즘은 축약된 움직임을 재현하는 모션 효과로 변환된다.

[연구의 의미]
본 연구에서 제시한 방법을 사용하면, 다양한 컨텐츠에 대한 모션 효과를 자동으로 생성할 수 있기 때문에, 4D 컨텐츠의 제작 속도를 가속화할 수 있다. 본 방법은 4D 컨텐츠 외에도 영화, 격투 게임, 춤 영상 등의 다양한 컨텐츠에 적용될 수 있으며, 사용자는 다양한 컨텐츠를 모션 효과와 함께 감상하여 향상된 경험을 할 수 있다.

[연구결과의 진행 상태 및 향후 계획]
이번 연구에서는 게임 엔진에서 직접 추출된 움직임을 기반으로 모션 효과를 생성하고, 사용자 평가를 통해 최적의 모션 효과 생성 방식을 선정하였다. 향후에는 이 과정을 완전 자동화하기 위해 컴퓨터 비전 기술과 결합하여 일반적인 영상에서 움직임을 자동으로 추출하고 조합하여 모션 효과를 생성하고자 한다.

[성과와 관련된 실적]
국제 학술대회 논문: ACM Conference on Human Factors in Computing Systems (CHI), 2023.

[성과와 관련된 이미지]

그림 1. 다관절체의 움직임에 대한 모션 효과를 자동으로 합성해내는 과정을 도식화하였다. 컨텐츠에 등장하는 다관절체의 움직임들이 조합되어 하나의 움직임으로 축약되고, 그 축약된 움직임이 모션 효과로 변환되어 4D 컨텐츠의 관객에게 전달된다.

그림 2. 컨텐츠 속 등장 인물들의 움직임에 따라 생성되는 모션 효과의 움직임을 시각화한다. 5가지 방법(Attacker, Victim, Additive, Uniform, Salient)으로 모션 효과가 생성되었으며, Additive, Uniform, Salient 방법은 두 인물의 움직임을 적절히 조합하여 모션 효과로 표현한다.