[연구의 필요성]

AI 기술의 발전에 따라 사진, 텍스트 등을 활용해 가상 환경을 생성하는 기술이 발전하고 있으나, 대부분의 가상 환경 생성 기술은 아직 시각적 요소에 머물러 있다. 그러나 촉각은 가상 환경의 몰입감을 결정하는 데 매우 중요한 피드백 요소이다. 일부 연구에서는 진동 피드백의 자동화가 이루어지고 있으나, 진동만으로는 실제 저항감 등을 구현하는 데 한계가 있어 VR 몰입감을 높이는 데 제약이 따른다. 이에 본 연구에서는 이미지 입력만으로 가상 환경 내 물체에 적합한 힘 렌더링 계수를 추정함으로써 힘 피드백 생성 과정을 자동화하고, 이를 통해 더욱 몰입감 있는 가상 환경 체험을 가능하게 하고자 한다.

[포스텍이 가진 고유의 기술]

LLM을 활용하여 이미지로부터 적절한 힘 렌더링 계수를 추정하는 방법

[연구의 의미]

- 세계 최초로 LLM을 통한 힘 피드백 계수를 추론하는 알고리즘 설계

- 가상 환경 생성 시 힘 피드백 자동 생성 가능

[연구결과의 진행 상태 및 향후 계획]

• LLM으로 추정한 햅틱 렌더링 계수가 단순히 모든 물체에서 일괄되는 힘 피드백을 제공하는 것 보다 좋았고, 전문가가 직접 제작한 패턴과 점수 상으로도, 통계적으로도 큰 차이를 보이지 않음을 사용자 실험을 통해서 확인하였다. 이는 LLM을 통해 추정한 계수가 충분히 그럴듯한 자극을 줄 수 있다는 것을 암시한다. 현재는 정적인 강체 물체에 대한 피드백만을 생성하고 있으나, 추후 연구로는 동적인 다관절체로 대상을 확장시켜 더욱 다양한 물체에 대해 사실적인 햅틱 피드백을 제공할 수 있는 파이프라인을 만들고자 한다.

[성과와 관련된 실적]

IEEE VR 26에서 발표되었으며, IEEE TVCG에 게재됨.

2개 수상 내역

• - 한국 햅틱스 학회 논문 우수상 (GenTouchVR: 단일 이미지 기반 촉감 제공 가상현실 환경 자동 생성 파이프라인)
• - 한국 햅틱스 학회 데모 우수상 (GenTouchVR 데모: 단일 이미지로부터 자동 생성된 촉감 제공 VR 환경 체험)

1개 특허 출원

다중매체 입력을 이용하여 운동감각 힘 피드백을 포함하는 상호작용형 가상현실 장면을 자동 생성하는 시스템 및 방법 (출원번호: 10-2026-0030169)

박재준, 남소연, 김정우, 주의손, 최승문/ GenTouchVR: Generating a Touchable VR Environment from a Single Image

[성과와 관련된 이미지]