[연구의 필요성]
Social VR에서 비언어적 표현을 어떻게 매개하느냐는 기존의 고전적 컴퓨터 매개 소통과 구 별되는 핵심 요소이다. 특히 몸짓을 통한 동작 표현은 사용자 간의 감정적 연결을 형성하고, 현실감과 주체성을 강화하는 데 중요한 역할을 한다. 현재 통상적인 Social VR 플랫폼은 동 작 표현을 두 가지 방식으로 제공한다. 하나는 추적 기기를 사용하는 것으로 아바타에 직접 자연스러운 동작을 매개할 수 있으나, 기기 비용·공간·착용 부담 등으로 인해 많은 사용자에 게 접근성이 낮다는 한계가 있다. 이를 보완하는 다른 방법은 Emotes와 같은 사전 정의된 동작 집합 중 하나를 선택하여 표현하는 것으로, 간단한 입력만으로 표현이 가능하다는 장점 이 있으나, 표현의 다양성이 부족하고 현재 소통의 맥락을 반영하지 못한다는 문제가 있다. 이에 본 연구진은 상호 소통 이론에 입각하여 사용자의 간단한 입력만으로도 사회적 맥락에 부합하는 다양한 동작을 표현할 수 있는 동작 생성 방법 및 모바일 인터랙션 시스템을 개발 했다. 이를 통해 장비 의존성을 낮추면서도 풍부하고 상황 맞춤적인 비언어적 표현을 가능하 게 한다.

[포스텍이 가진 고유의 기술]
본 연구팀은 기존 Social VR에서 해결되지 않던 비언어적 표현 격차를 줄이는 새로운 동작 생성 기술 및 산술적 입력 기반 인터랙션 시스템인 ArithMotion을 개발했다. 소통 상황에서 사람의 몸짓이 상대방의 동작에 상대적으로 반응한다는 상호소통 이론에 기반하여 Peer- Relativity라는 개념을 제안하였다. 이 개념을 토대로, 상대방의 동작과 사용자의 간단한 입 력만으로도 자연스럽고 사회적 맥락에 맞는 새로운 동작을 생성하는 기술을 구현했다. 특히 사용자가 직관적이고 쉽게 표현할 수 있도록 산술 연산을 입력 메타포로 활용하는 방식을 도 입했다. 사용자가 상대방 동작에 대해 스케일링, 부정, 덧셈 등 직관적인 산술 조작을 수행하 면, Motion Latent Space와 Negative Motion Generator로 구성된 동작 생성 모듈에서 이에 대응하는 적절한 동작을 생성한다. 또한, 모바일 환경에서도 쉽게 사용할 수 있도록 전 용 어플리케이션을 개발하여, 사용자가 클릭·슬라이드와 같은 간단한 입력만으로 상대방의동작을 선택하고 산술 연산을 수행할 수 있도록 지원한다. 이를 통해 복잡한 전신 추적 장비 없이도 누구나 상황 맞춤형 비언어적 표현을 자연스럽게 구현할 수 있다.

[연구의 의미]
 본 연구는 기존 VR 사용자들이 겪던 동작 표현의 제약을 크게 완화한다. 모바일 VR 기기를 사용하거나 공간적·상황적 제약으로 인해 사용자가 직접 동작을 수행하기 어려운 경우에도, 제한된 동작 셋에 국한되지 않고 사실상 무한한 동작을 생성 및 표현할 수 있다. 사용자 실험 을 통해 제약된 환경에서도 사용자가 시스템을 손쉽게 사용할 수 있었으며, 이를 통해 비언 어적 소통 격차가 완화되고 사회적 맥락에 자연스럽게 맞물리는 동작 표현이 가능함을 확인 하였다. 그 결과 상호작용의 몰입감과 그룹 내 소속감이 전반적으로 향상되는 효과가 나타났 다. ArithMotion은 기존의 동작 표현 방식에 대한 새로운 접근 방향을 제시하며, 다른 방식 들과도 상호 보완하여 활용될 수 있다. 특히 제한된 환경에서도 사용자가 무한하고 상황 맞 춤화된 동작을 표현할 수 있다는 점에서 차별적인 강점을 가진다.

[연구결과의 진행 상태 및 향후 계획]
본 연구진은 앞으로도 다양한 도메인에서 표현의 어려움을 겪는 사용자들을 지원하는 표현 증강 시스템을 지속적으로 개발해나갈 예정이다. 특히, 사용자의 의도와 맥락을 이해하고 이 를 바탕으로 표현의 질을 향상시키는 지능형 시스템을 구축하고 직관적인 사용자 인터페이 스를 설계하는데 연구의 중심을 두고 있다. 궁극적으로 사용자의 표현 의도를 시스템이 스스 로 포착하고, 이를 보완·확장하여 보다 풍부하고 자연스러운 소통을 가능하게 하는 표현 지 원 기술로 발전시키는 것을 목표로 하고 있다.

[성과와 관련된 실적]

* 국제 학술대회 논문: Jaewoong Jang, Sungjae Cho, Yeseul Shin, Inseok Hwang. “ArithMotion: Peer-Relative Motion Generation for Social VR via Arithmetic Metaphorˮ ACM VRST 2025.

논문: https://doi.org/10.1145/3756884.3766039 (2025년 12월 1일 게재 예정)

비디오: https://www.youtube.com/watch?v=x6w9DkZUo8U

[성과와 관련된 이미지]

그림 1. ArithMotion의 전반적인 동작 과정을 나타내는 그림

그림 2. 모바일 인터랙션 시스템 사용 예시: 스케일링 및 부정 인터랙션 (위), 덧셈 인터랙션 (아래)