[이근배 교수] DiagESC: Dialogue Synthesis for Integrating Depression Diagnosis into Emotional Support Conversation

[연구의 필요성] 정신 건강 관리를 위한 대화 시스템은 정신적 고통을 겪고 있는 사람들에게 적절한 지원을 제공하는 것을 목표로 합니다. 그러나 기존 연구에서는 전문적인 의료 처치가 필요한 개인을 효과적으로 식별하지 못해, 충분한 도움을 제공하는 데 한계가 있었습니다. 본 연구는 이러한 문제를 해결할 수 있는 고급 정신 건강 관리 시스템을 위해 진단 정서적 지원 대화(DiagESC) 작업을 제안하고, 이를 위한 대화 데이터셋 DESC를 새롭게 합성하여 공개합니다. [포스텍이 가진 고유의 기술] 우리는 실제 임상에서 사용되는 우울증 선별검사 PHQ-9(Patient Health Questionnaire-9)를 기반으로 발화를 생성하는 LLM 프레임워크와, 의학적 의미를 유지하기 위한 필터링 프로토콜을 통해 새로운 데이터셋인 DESC를 합성했습니다. 전문 심리 상담사의 평가에 따르면, DESC는 기존 우울증 진단 데이터셋에 비해 우울증 진단 능력이 우수하며, 유창하고 일관된 대화의 품질을 유지하는 것으로 나타났습니다. [연구의 의미] 본 연구에서 제안된 DiagESC 작업은 기존 정서적 지원 대화 연구에서 다루지 않았던 우울증 조기 위험 발견을 가능하게 합니다. 이 시스템은 우울증이 의심되는 사용자에게 관련 증상을 묻는 질문을 통해 우울증을 감지하고, 전문적인 도움을 받을 수 있도록 지원합니다. 또한 제시된 데이터셋 합성 프레임워크는 우울증뿐만 아니라, PHQ-9와 유사한 검사 도구가 존재하는 PTSD, 공황장애, 불안장애 등 다양한 정신 건강 문제로 확장할 수 있습니다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 SIGDIAL 2024에서 구두 발표되었으며, 경찰관을 대상으로 하는 실제 상담 챗봇 서비스에 활용될 예정입니다. [성과와 관련된 실적] Seungyeon Seo, Gary Geunbae Lee, DiagESC: Dialogue Synthesis for Integrating Depression Diagnosis into Emotional Support Conversation, SIGDIAL 2024 [성과와 관련된 이미지]

[이근배 교수] Cross-lingual Transfer for Automatic Question Generation by Learning Interrogative Structures in Target Languages

[연구의 필요성] Question Generation(QG)은 QA 데이터셋 보강, 챗봇 시스템 강화, 교육 자료 개발 등 다양한 목적으로 활용된다. 그러나 대부분의 기존 데이터셋이 영어로 구축되어 있어, 다른 언어에서는 데이터가 부족한 실정이다. 이러한 데이터 격차는 다언어 환경에서 QG 시스템을 구축하는 데 있어 큰 걸림돌로 작용한다. [포스텍이 가진 고유의 기술] 본 연구에서는 목표 언어의 단일 언어 데이터, 번역 데이터, 혹은 라벨링된 QA 데이터 없이도 훈련 가능한 간단하고 효율적인 Cross-lingual Transfer for QG 방법론인 QuIST(Questions by learning Interrogative Structures in Target languages)를 제안한다. 영어 QA 데이터셋만으로 훈련된 소형 언어 모델은 inference 단계에서 목표 언어의 예시 질문을 통해 해당 언어의 의문문 구조를 학습하고 질문을 생성한다. 이 모델은 소수의 목표 언어 질문 예시만을 활용해 다양한 언어에서 GPT-3.5-turbo의 few-shot inference와 유사한 성능을 보인다. [연구의 의미] 제안된 방법은 대형 언어 모델보다 훨씬 적은 파라미터로 작동하며, 목표 언어에 대한 추가 훈련 없이도 다양한 언어에서 질문 생성 및 QA 작업을 효과적으로 수행한다. 또한, 이 모델이 생성한 합성 데이터는 다언어 QA 모델의 성능을 향상시키는 데 기여할 수 있다. [연구결과의 진행 상태 및 향후 계획] 현재 해당 방법론이 Single-turn QA 데이터 생성에 효과적임을 확인했으며 이후 다양한 형식의 QA 데이터셋(Multi-hop QA, Conversational QA 등) 생성에 적용해볼 예정이다. [성과와 관련된 실적] 본 연구는 2024 EMNLP에서 발표될 예정이다. [성과와 관련된 이미지]

[곽수하/조민수 교수] Towards More Practical Group Activity Detection: A New Benchmark and Model

[연구의 필요성] 그룹 행동 인식 (Group activity recognition; GAR)은 여러 사람이 등장하는 영상에서 사람들간의 관계를 모델링하는 방법론으로 감시 영상, 스포츠 분석 등에 사용된다. 하지만 기존의 그룹 행동 인식 기술은 전체 영상의 행동을 분류하기 때문에 여러 그룹이 등장하는 영상에서의 활용에 한계가 있었다. 이를 위해서 영상에 등장하는 여러 그룹의 사람들을 각각의 그룹으로 나누고 각 그룹이 수행하는 행동을 분류하는 그룹 행동 탐지 (Group activity detection; GAD) 문제가 제안되었으나, 기존의 그룹 행동 탐지 연구에서는 단순히 기존 데이터셋을 확장하여 적합한 벤치마크를 제공하지 못했고 방법론 측면에서도 모델 외부의 군집화 방법에 의존하여 문제에 최적화된 학습 방법에 대한 연구가 부족한 상황이다. [포스텍이 가진 고유의 기술] 본 연구에서는 그룹 행동 탐지 문제를 위한 새로운 벤치마크 데이터셋 Café를 제안하였다. Café는 일상에서의 그룹 행동을 촬영하고 각 영상에서의 사람과 그룹을 레이블링 하여 그룹 행동 탐지를 위한 대규모 벤치마크를 구성했다. 추가적으로 해당 벤치마크에서의 학습을 위한 모델을 제안하였다. 학습된 임베딩 공간에서 그룹에 대한 임베딩과 그룹에 속하는 사람의 임베딩은 유사해야 하고, 그룹에 속하지 않는 사람의 임베딩은 멀어야 한다는 아이디어를 바탕으로 그룹을 구분하는 방법을 제안했다. [연구의 의미] 본 연구는 GAD를 위한 대규모의 실제적이고 도전적인 데이터셋을 제안하여 후속 연구를 위한 벤치마크로서의 가치를 가진다. 또한 제안한 모델은 임베딩 공간에서 그룹과 그룹에 속하는 구성원 사이의 의미적 유사도를 바탕으로 학습하여 GAD 정확도와 추론 속도 모두에서 기존 기술을 능가하는 성능을 얻었다는 의미를 가다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 컴퓨터 비전 분야 최우수 국제학술대회 ECCV 2024에서 포스터로 발표될 예정이다. 향후 데이터셋의 시간적 특성과 다중뷰 특성을 고려한 연구 또한 계획 중에 있다. [성과와 관련된 실적] Dongkeun Kim, Youngkil Song, Minsu Cho, Suha Kwak, “Towards More Practical Group Activity Detection: A New Benchmark and Model”, European Conference on Computer Vision (ECCV), 2024. [성과와 관련된 이미지]

[곽수하/조민수 교수] Classification Matters: Improving Video Action Detection with Class-Specific Attention

[연구의 필요성] Video action detection (VAD) 은 영상 내에 등장하는 사람들의 위치를 표시하고, 그들이 무슨 행동을 하고 있는지 맞히는 영상 인식 분야의 고전적인 문제이다. 이 문제는 다른 더 복잡한 문제를 푸는 데 있어서 기반 기술이 될 수 있기 때문에 영상 인식 분야에서 핵심 기술 중 하나로 다뤄지고 있다. 본 연구는 비교적 정체되어 있던 이 기술의 성능을 끌어올리기 위해 제안된 방법으로, 영상 인식 분야 전반에 도움을 줄 수 있다. [포스텍이 가진 고유의 기술] 해당 연구는 VAD 기술들이 주로 행동 분류에서 어려움을 겪는다는 사실을 지적하고, 이를 극복하기 위해 각각의 행동이 일어나는지 일어나지 않는지를 관찰하는 역할을 가진 모듈을 추가했다. 이로써 이 모듈은 각 행동에 맞는 다양하고 적합한 문맥을 알아서 찾게 되고, 이는 행위자 주변에서 봐야하는 문맥을 보지 못하던 기존 문제들의 문제점을 해결하였다. [연구의 의미] VAD에서 행동 분류 문제에 크게 주목하지 않던 이전 연구들에게 새로운 주안점을 시사한 바 있다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 AVA라는 핵심 VAD 벤치마크에서 최고 성능을 기록하였고, UCF와 JHMDB라는 벤치마크에서도 좋은 성능을 기록하였다. 이에 더해 성능 뿐만 아니라 모델의 효율성 또한 상당히 증대되었다. 추후에는 모델의 스케일을 키워 실험해볼 예정이다. [성과와 관련된 실적] 컴퓨터 비전 최고 권위의 학회 중에 하나인 ECCV에 구두발표로 억셉되었다. [성과와 관련된 이미지]

[곽수하/조민수 교수] Online Temporal Action Localization with Memory-augmented Transformer

[연구의 필요성] 이 연구는 실시간 스트림 비디오의 수요가 높아짐에 따라 보다 범용적으로 활용할 수 있는 온라인 시간적 행동 지역화 (Online Temporal Action Localization) 문제를 해결하고자 한다. 기존 연구들은 각 프레임 결과를 활용하여 행동 구간 (Action Interval)에 잦은 노이즈가 생기거나, 짧은 과거 정보 (Short-term Memory)만 사용하여 정확하지 않은 행동 구간을 예측하는 문제가 있다. 본 연구에서는 더 긴 구간의 과거 정보 (Long-term Memory)를 효율적으로 저장하여 행동 구간을 직접적으로 예측함으로써 이러한 문제들을 해결하고자 한다. [포스텍이 가진 고유의 기술] 본 연구에서는 플레그 (Flag)를 활용하여 유용한 과거 정보를 선별적으로 메모리 큐 (Memory Queue)에 저장한다. 플레그는 해당 정보 묶음 (Segment)와 정답 행동 지역 (Ground-truth Action Instance)사이의 겹치는 프레임이 있는지를 판단하여 학습한다. 또한, 행동 구간의 시작과 끝을 한번에 예측하는 것이 아닌, 끝 지점을 짧은 과거 정보만을 활용하여 먼저 예측한 뒤 예측된 끝 지점과 관련된 시작 지점을 긴 과거 정보를 이용하여 예측하는 방식을 활용한다. [연구의 의미] 본 연구에서 제안한 선별적으로 저장하는 메모리 큐와 순차적인 행동 구간 예측은 기존 연구보다 더 정확한 행동 지역 예측을 가능하게 한다. 특히, 메모리를 사용하는 방식으로 인해 매 연산마다 사용해야 하는 짧은 과거 정보의 양을 크게 줄일 수 있고, 이는 실제 모델을 사용할 때의 연산 속도를 높이는 결과로 이어진다. 또한, 순차적인 행동 구간 예측은 시작과 끝을 동시에 예측하는 방식에 비해 큰 성능 향상을 가져왔는데, 이를 통해 시작과 끝을 예측하기 위해 필요한 정보에 차이가 있고, 시작을 예측할 때 예측된 끝 지점에 대한 정보를 활용하는 것이 효과적임을 보여준다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 European Conference on Computer Vision 2024 학회에서 구두 발표될 예정이다. 향후 보다 복잡한 비디오 연구에 해당 메모리 구조를 활용할 계획이다. [성과와 관련된 실적] Youngkil Song*, Dongkeun Kim*, Minsu Cho, Suha Kwak, “Online Temporal Action Localization with Memory-augmented Transformer.” ECCV 2024 [성과와 관련된 이미지]

[곽수하 교수] PLOT: Text-based Person Search with Part Slot Attention for Corresponding Part Discovery

[연구의 필요성] 자연어 기반 인물 검색 기술은 자연어로 기술된 질의를 통해 수많은 인물 사진 속 목표 인물을 찾아내는 기술이다. 이를 위해 수많은 인물들 간의 미세한 차이를 분간해야 하며, 이는 세밀한 human parts 간의 비교를 통해 해결할 수 있다. 그러나 명시적인 human parts에 대한 레이블을 얻기 어려워 기존 연구들은 전체 이미지만을 분석하거나, 이미지를 균등하게 자르는 등의 휴리스틱한 human parts 추출 기법을 사용해 문제를 해결하려 했다. 하지만 기존의 방법들은 세밀한 비교에는 충분치 못하여 낮은성능을 보이곤했다. 또한 이미지와 자연어에서 human parts에 해당하는 세밀한 영역을 찾아 추출하더라도, 두 모달리티 간의 대응 관계를 찾는 것이 어려운 문제가 있다. [포스텍이 가진 고유의 기술] 이러한 문제를 해결하기 위해 우리는 두 모달리티 간에 대응 관계를 갖는 human parts를 명시적인 part-level label 없이 추출하고 매칭하는 PLOT 기술을 제안한다. PLOT은 Part sLOT Attention 기법을 제안하여 두 모달리티에서 공유하는 part slots을 통해 대응되는 human parts를 자동으로 발견할 수 있게 한다. 또한, 자연어 질의에 따라 집중해야 할 human parts를 동적으로 선택할 수 있는 TDPA (Text-based Dynamic Part Attention)를 제안하여, 자연어 질의에 따른 더 정밀한 검색이 가능하도록 한다. [연구의 의미] 본 연구는 텍스트 기반 인물 검색의 새로운 패러다임을 제시한다. 단순한 input의 global 정보를 사용하거나 휴리스틱한 human parts 추출을 넘어, 각 모달리티별로 대응되는 세밀한 human parts를 자동으로 감지하고 매칭함으로써 해석 가능성과 검색 정확도를 동시에 높인다. 특히, 명시적인 부위 레이블 없이도 높은 성능과 해석 가능한 검색을 가능하게 하여 실용성과 학문적 기여가 크다. 이러한 접근 방식은 향후 세밀한 텍스트-이미지 및 더 나아가 다양한 모달리티 사이에서의 세밀한 교차 검색 기술 발전에 기여할 것으로 기대된다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 2024년 컴퓨터 비전 분야의 최우수 국제 학술대회인 The 18th European Conference on Computer Vision (ECCV)에서 소개될 예정이다. 향후에는 더 다양한 모달리티 간의 교차 검색 응용 분야에 본 기술을 확장하여 적용할 계획이다. [성과와 관련된 이미지]

[최승문 교수] 일반 영상으로부터 4D 동작 효과 자동 저작

[연구의 필요성] 4D 멀티미디어에서 동작 효과는 영상에 맞춰 의자의 움직임을 제어하여 사용자의 몰입도와 재미를 향상시킨다. 기존의 동작 효과 생성 방법은 카메라, 특정 물체, 소리와 같은 단일 요소에 기반해 의자의 움직임을 조작하는데, 이는 복합적인 요소가 동시에 나타나는 일반 영상에서는 한계를 지닌다. 따라서 다양한 요소를 종합적으로 고려하여 동작 효과를 자동으로 생성할 수 있는 새로운 알고리즘의 개발이 필요하다. [포스텍이 가진 고유의 기술] 본 연구에서 제안하는 알고리즘은 최신 딥러닝 기술을 활용하여, 기존의 단순한 요소 기반 접근 방식에서 벗어나 영상 내 복합적인 요소들을 동시에 고려한다. 우리는 두 가지 첨단 컴퓨터 비전 모델을 사용하여, 일반 영상에서 프레임 단위로 픽셀의 움직임 변화를 자동으로 추적한다. 첫 번째로, 신 플로우(Scene Flow) 추정 모델은 프레임 내 모든 픽셀의 3차원 움직임을 예측한다. 여기에는 물체뿐만 아니라 배경까지 포함되며, 영상 속 모든 요소의 움직임을 입체적으로 분석할 수 있다. 이러한 접근은 기존의 2차원 정보만을 사용하는 방식에 비해 월등한 해상도를 제공하며, 보다 정교한 동작 효과 생성에 기여한다. 두 번째로, 돌출(Saliency) 감지 모델은 물체의 중요도를 평가하여, 특히 빠르게 움직이는 물체의 픽셀에 더 높은 돌출 값을 부여한다. 이 과정을 통해 단순히 모든 움직임을 동일하게 처리하는 것이 아니라, 사용자에게 중요한 요소를 선별하여 강조할 수 있다. 우리는 두 모델을 결합하여 높은 돌출 값을 가진 픽셀의 3차원 움직임을 사용해 배경과 독립적인 물체의 움직임을 계산하며, 반대로 낮은 돌출 값을 가진 픽셀을 기반으로 배경의 움직임을 계산한다. 이렇게 분석된 물체와 배경의 움직임은 전처리 과정을 통해 의자의 움직임을 제어할 수 있는 신호로 변환된다. 이 과정에서 평활화와 같은 신호 처리 기법을 활용하여 동작 의자의 움직임이 자연스럽고 정교하게 나타나도록 보정한다. [연구의 의미] 우리의 알고리즘은 기존의 동작 효과 자동 생성 알고리즘과 비교한 사용자 실험을 통해 우수성이 입증되었다. 실험 결과, 9개의 영상에서 우리 알고리즘은 기존 알고리즘과 동등하거나 더 높은 유저 경험을 제공했다. 특히, 기존 알고리즘이 수작업으로 관심 요소를 지정해야 하는 반면, 본 연구의 알고리즘은 완전 자동화되어 효율성이 뛰어나다. 또한, 기존 알고리즘이 폭발, 충돌, 입자 효과를 표현하지 못했던 것과 달리, 본 연구는 먼지와 같은 세부적인 움직임도 동작 효과로 재현하여 더욱 몰입감 있는 사용자 경험을 제공한다. 특히, 폭발 및 충돌 효과에서 소리를 활용한 동작 효과를 정확히 구현하여, 복합적인 요소를 동시에 표현할 수 있는 강점을 실험적으로 증명하였다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 영상 정보를 활용한 동작 효과 생성에 초점을 맞추었다. 하지만, 영상 정보 외에도 주파수, 리듬, 지속 시간과 같은 움직임 효과의 특성이 사용자 경험에 영향을 미칠 수 있다. 예를 들어, 움직임 자극의 주요 속성인 규칙성과 거칠음은 저주파 및 고주파 이득과 움직임 비율을 조절함으로써 강화될 수 있다. 이러한 연구 결과를 토대로, 향후 특정 장면의 특성을 더욱 부각시키는 방향으로 연구를 확장할 계획이다. [성과와 관련된 실적] 국제 학회 논문: S. Han, J. Ahn, & S. Choi. “Generating Haptic Motion Effects for General Scenes to Improve 4D Experiences”. In Proceedings of the 2024 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). 2024. pp. 1-8. [성과와 관련된 이미지] [그림 1] 연구 개념도: 시청각 콘텐츠에서 3차원 픽셀 움직임과 물체의 돌출도를 분석한 후, 이를 바탕으로 동작 효과를 자동 생성한다. [그림 2] 전처리 흐름도: 3차원 픽셀 움직임을 모션 프록시(Motion Proxy) 방식으로 결합한 후, 평활화 및 MPC 기반의 신호 처리를 통해 의자의 움직임을 제어할 수 있는 동작 명령어로 변환.

[최승문 교수] 햅틱 심장 박동 피드백을 이용한 심장 활동과 작업 성능 조절

[연구의 필요성] 현대 사회에서 스트레스 관리와 생리적 상태의 모니터링은 개인의 건강과 복지에 중요한 요소로 부각되고 있다. 특히, 심장 박동과 같은 생리적 신호는 사용자의 감정 상태와 직접적으로 연결되어 있어 이를 효과적으로 조절할 수 있는 방법에 대한 연구가 활발히 진행되고 있다. 기존의 연구들은 주로 시각적 또는 청각적 피드백을 통해 사용자의 심리적 상태를 조절하려고 했으나, 이러한 접근법은 사용자 경험의 몰입도를 높이는 데 한계가 있다. 촉각 피드백이 보다 직관적이고 효과적인 피드백을 제공할 수 있다는 가능성에 대한 연구들은 있었으나, 이러한 촉각 피드백이 신체의 다양한 부위에 적용될 때 그 효과가 어떻게 달라지는지는 밝혀지지 않았다. [포스텍이 가진 고유의 기술] 본 연구는 기존에 탐구되지 않은 맥박이 뛰는 심장 박동을 모사하는 진동 촉각 피드백의 주파수(50 BPM, 110 BPM)와 자극 위치(가슴, 손목, 목, 발목)가 사용자의 생리적 반응, 심리적 경험, 작업 성능에 미치는 영향을 탐구하였다. 실험에 사용된 주파수는 의도적으로 인간의 보통 심박수보다 높거나 낮게 설정되어 심장 활동과 작업 성능에 영향을 주며, 기존 연구에서 탐구되지 않은 신체 부위들이 실험에 포함되었다. 그 결과, 목 부위에 위치한 피드백이 심박수를 크게 증가시키고, 발목 부위에서 제공되는 피드백이 가장 낮은 인지적 부하를 나타낸다는 새로운 과학적 사실을 발견하였다. [연구의 의미] 본 연구는 촉각 피드백의 위치와 주파수에 따라 사용자의 심장 활동에 미치는 영향이 다르다는 것을 실험적으로 증명하였다. 이는 인터랙티브 시스템이나 웨어러블 기술에서 사용자 맞춤형 피드백을 제공하는 데 중요한 기초 데이터를 제공한다. 또한, 사용자 작업 성능과 경험 향상을 위한 촉각 피드백 시스템 설계 시 중요한 가이드라인을 제공할 수 있으며, 더 나아가 스트레스 관리나 건강 모니터링 등 다양한 응용 분야에 활용될 수 있다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 단기적인 피드백 효과에 중점을 두었으나, 지속적인 피드백이 초기 반응 이후에 심박수에 미치는 영향에 대한 추가 연구가 필요하다. 또한 고정된 주파수 대신, 사용자의 실제 생리적 반응에 따라 동적으로 피드백 주파수를 조절하는 시스템에 대한 개발 및 평가가 필요하다. 이는 개별 사용자의 신체적, 심리적 특성에 맞춘 더욱 정교한 피드백을 제공할 수 있을 것이다. [성과와 관련된 실적] 국제 학술대회 논문: Andreia Valente, Dajin Lee, Seungmoon Choi, Mark Billinghurst, and Augusto Esteves. Modulating Heart Activity and Task Performance Using Haptic Heartbeat Feedback: A Study Across Four Body Placements. In Proceedings of the ACM Symposium on User Interface Software and Technology (UIST), October 13-16, 2024. [성과와 관련된 이미지] [그림 1] 심장 박동 촉각 피드백을 제공한 네 가지 위치 (가슴, 손목, 목, 발목). [그림 2] 심장 박동 주파수와 자극 위치에 따른 심박수 비교.

[최승문 교수] 가상현실 속 멀티모달 햅틱 피드백을 통한 터치의 소셜 의도 표현

[연구의 필요성] 터치는 우리의 일상에서 다양한 소셜 의도를 표현하는 데 있어 직관적이고 강력한 수단이다. 터치는 표정과 음성을 통한 감정 표현을 강화할 뿐만 아니라 자체적으로도 감정을 명확하게 전달할 수 있다. 신뢰, 애정, 존중과 같은 복잡한 메시지를 전달할 수 있으며, 소셜 상호작용과 관계 형성에 중요한 역할을 한다. 그러나 소셜 가상 환경에서 이러한 터치의 기능을 구현하는 것은 아직 어려운 과제이다. 이에 본 연구는 가상 환경 속 사용자의 소셜 경험을 향상시키고자, 가상 에이전트를 터치하는 사용자에게 제공되는 멀티모달 햅틱 피드백의 설계와 효과를 탐구한다. [포스텍이 가진 고유의 기술] 인간의 터치를 모방하기 위해 시도되었던 이전의 많은 접근들은 터치를 수동적으로 경험하는 터치 수신자에게 초점을 맞추어 햅틱 피드백을 설계하였다. 그러나 터치는 상호적인 과정이기에, 사용자가 행하는 동적인 터치에 따른 햅틱 피드백 설계에 대한 고찰이 필요하다. 본 연구는 사용자가 행하는 다양한 터치 제스처와 소셜 의도를 고려하며 햅틱 피드백을 설계하였다는 점에서 다른 연구들과 차별성을 가진다. 또한, 대부분의 접근들은 단일 햅틱 모달리티만을 사용하였으며, 이는 표현해낼 수 있는 터치 제스처 유형과 촉감의 범위를 크게 제한하였다. 본 연구는 최초로 힘, 진동, 온도의 세가지 햅틱 모달리티를 결합하여 터치에 내재된 다양한 소셜 메시지를 효과적으로 전달하는 멀티모달 햅틱 피드백 설계를 탐구하였다. [연구의 의미] 실험 결과, 사용자의 소셜 의도를 고려한 햅틱 피드백은 터치의 표현력을 강화하고 가상 에이전트와의 정서적 친밀감을 증진시키는 것으로 드러났다. 이러한 효과는 가상 에이전트의 물리적 프록시와 결합하였을 때 더욱 커졌으며, 가상 에이전트와의 공존감과 자신의 아바타에 대한 신체적 체화감 또한 향상시켰다. 본 연구는 멀티모달 햅틱 피드백을 통해 인간의 터치가 가지는 사회적 신호 체계를 가상현실에서 구현할 수 있다는 가능성을 보여주며, 이를 통해 가상현실 속 터치 상호작용이 더욱 풍부해질 것으로 기대된다. 이러한 피드백을 통한 소셜 터치의 표현은 사용자와 가상 에이전트 간의 관계를 형성하고 유지하는 데 중요한 의사소통 채널을 제공할 것이다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 몇 가지 한계점과 개선 계획을 가진다. 첫째, 햅틱 피드백의 자극 영역이 세 개의 손가락 끝으로 제한되었지만, 향후 자극 영역을 손바닥까지 넓히면 더욱 전역적인 자극을 통하여 자연스러운 촉각 표현이 가능해질 것이다. 둘째, 현재 연구 속 피드백 시스템은 터치의 소셜 의도를 파악할 수 있다는 가정 하에 설계되었다. 사용자의 감정 상태는 얼굴 표정, 목소리, 행동 또는 생리적 센서 데이터를 통해 추론할 수 있을 것이다. 그러나 사용자의 소셜 의도는 항상 명확하지 않을 수 있기에, 사용자 의도와 맞지 않는 햅틱 피드백이 사용자 경험에 미치는 영향을 조사하는 것도 가치가 있을 것이다. 셋째, 실험이 주관적인 설문 데이터에 의존하였으며, 향후 터치 빈도 및 지속 시간과 같은 정량적 측정을 포함하면 소셜 터치 상호작용에 대한 보다 객관적이고 깊이 있는 통찰을 제공할 수 있을 것이다. [성과와 관련된 실적] Heeyeon Kim and Seungmoon Choi, “Expressing the Social Intent of Touch Initiator in Virtual Reality Using Multimodal Haptics”, In Proceedings of the IEEE International Symposium on Mixed and Augmented Reality (ISMAR), October 21-25, 2024 [성과와 관련된 이미지] [그림 1] 실험 속 4가지 피드백 조건. NONE 조건은 햅틱 피드백 없이 터치에 대한 시각적 표현만 제공된다. PASSIVE 조건은 가상 에이전트의 팔에 정렬된 물리적 프록시를 통해 터치 피드백이 제공된다. ACTIVE 조건은 제시되는 소셜의도를 고려하여, 햅틱 글러브를 통한 동적인 촉감이 제공된다. AUGMENTED 조건은 물리적 프록시를 통한 역감과 햅틱 글러브를 통한 동적인 촉감을 결합한 피드백이 제공된다. [그림2] 유저 스터디 결과. (a) 각 시나리오에 대한 피드백 조건 별 소셜 표현 적합도 (b) 각 시나리오에 대한 피드백 조건 별 정서가 (c) 각 시나리오에 대한 피드백 조건 별 각성가 (d) 피드백 조건 별 공존감, 아바타 체화감, 정서적 친밀감