[유환조 교수] Learning Topology-Specific Experts for Molecular Property Prediction

[연구의 필요성] 모델을 구축할 때 일반적으로 데이터 세트가 클수록 더 다양하고 대표적인 샘플을 제공할 수 있으므로 모델이 더 효과적으로 학습하는 데 도움이 될 수 있다. 특히 딥러닝 모델의 경우 입력의 복잡한 표현을 학습하기 위해 많은양의 데이터가 필요하다. 하지만, 분자 특성 예측 모델을 위한 분자 데이터를 수집하는데는 다음과 같은 어려움이 있다. (1)분자를 합성하고 특성화하는 과정이 복잡하고 비용이 많이들기 때문에 일관되고 신뢰할 수 있는 방식으로 측정된 실험적 특성을 가진 분자 데이터 세트를 얻기 어려움. (2) 분자 데이터의 특성은 측정 기술, 실험조건 및 샘플 준비의 차이로 인해 달라질 수 있다. 이로 인해 딥러닝 모델 학습에 필수적인 데이터의 일관성과 정확성을 보장하기 어려움. 따라서, 딥러닝 모델의 데이터 수가 제한되어 있는 경우, 사용 가능한 데이터를 최대한 활용하고 모델의 성능을 개선하기 위한 기술이 필수적이다. 특히, 분자 그래프의 경우 이미지 도메인과 달리 전이학습, 데이터 증강 등의 기술의 일반적 적용이 어렵기 때문에 분자 데이터에 적용할 수 있는 모델 개발이 필수적이다. [포스텍이 가진 고유의 기술] 본 연구에서는 여러가지 패턴을 가진 분자 데이터에 대해 단일 신경망 학습 시 성능이 저하될 수 있다는 관찰에 착안하여, 토폴로지별 특성 예측을 할 수 있는 전문가 모델을 활용하도록 제안한다. 각 전문가는 유사한 토폴로지를 공유하는 각 분자 그룹에 대해 토폴로지별 특징을 학습하고 이를 바탕으로 특성을 구별할 수 있는 차별적 특징을 식별하게 된다. 이를 위해 분자별 토폴로지 패턴에 따라 그룹화하는 군집화 기술과 군집화 된 분자를 각 전문가에게 할당하는 게이팅 모듈을 사용하였다. 또한, 분자의 토폴로지 특성을 포착하는데 특화 된 GNN 모델과, 분자 고유의 스캐폴드정보를 활용하였다. 전문가 모델은 분자 특성 예측 성능을 향상시켰으며, 학습에 사용되지 않은 새로운 형태의 분자에 대해서도 단일 모델 대비 높은 성능을 보여 주었다. [연구의 의미] 본 연구는 분자 모델 예측 분야에서 아래와 같은 의미를 갖는다. (1) 분석 제시: 단일 모델로 뚜렷한 구조 패턴을 가진 분자를 학습하는 것이 물성 예측을 위한 토폴로지별 특징을 포착하는 데 부정적인 영향을 미칠 수 있음을 보여준다. (2) 분자 성능 예측을 위한 새로운 모델 제시: GNN과 분자 스캐폴드에 의해 유도된 토폴로지 정보를 활용하는 새로운 클러스터링 기반 게이팅 모듈을 통해 토폴로지별 전문가 모델을 제안한다. (3) 분류 성능 및 일반화 성능 향상: 광범위한 실험을 통해 기존 GNN 모델의 성능을 향상시키는 일반적인 도구로서 전문가 모델의 효과를 검증하였다. 또한, 실험에 사용하지 않은 새로운 구조를 가진 분자에 대해서도 모델이 잘 일반화될 수 있음을 확인한였다. [연구결과의 진행 상태 및 향후 계획] 전문가 모델에 사용한 분자 군집화 기술을 이용하여 원하는 특성을 지닌 분자 생성 모델 개발을위해 후속 연구를 진행중이다. [성과와 관련된 실적] – Suyeon Kim, Dongha Lee, SeongKu Kang, Seonghyeon Lee, Hwanjo Yu. Learning Topology-Specific Experts for Molecular Property Prediction. AAAI Conference on Artificial Intelligence (AAAI’23)

[유환조 교수] Distillation from Heterogeneous Models for Top-K Recommendation

[연구의 필요성] 최근 추천 시스템의 정확성(accuracy)은 빠른 속도로 발전해온 반면, 효율성(efficiency) 문제는 지속해서 증가하고 있으며 그 중요도에 비해 많은 연구가 이루어지지 않았다. 방대한 양의 파라미터를 갖는 거대 추천 모델은 우수한 표현 능력을 통해 사용자의 복잡한 선호 정보를 정확하게 포착할 수 있으며, 이로 인해 높은 추천 정확도를 갖는다. 그러나, 이러한 거대 모델은 아이템 추천을 위해 높은 계산 비용과 긴 지연시간(Latency)을 발생시키며, 낮은 효율성으로 인해 실시간 서비스에서 활용되기 어렵다는 한계를 갖는다. 대규모 추천 모델의 효율성 문제에 대한 해답으로, 추천 성능을 유지하면서 모델의 크기를 축소하는 지식 증류 기법의 필요성이 대두되었다. 이러한 문제를 해결하고자, 본 연구에서는 성공적인 추천 시스템을 위한 2가지의 필요조건—정확성, 효율성—을 갖춘 모델 생성을 위한 지식 증류 기술을 개발하는 것을 목표로 한다. 구체적으로, 이종(heteorogeneous) 추천 모델들의 예측을 종합한 앙상블 지식을 지식 증류 기법을 통해 단일 모델에 전달하여, 거대 추천 시스템의 정확도를 재현하면서도 짧은 지연시간을 갖는 모델을 생성한다. [포스텍이 가진 고유의 기술] 본 연구에서는 먼저 기존 지식 증류 기법들이 이종 모델의 지식을 효과적으로 전달하지 못한다는 것을 보여주는 상세한 분석을 제시한다. 나아가, 랭킹 모델이 학습과정에서 점진적으로 어려운 지식을 학습함을 보여주는 실험적 발견을 제시한다. 이후, 상이한 귀납적 편향을 갖는 지식을 효과적으로 증류하기 위한 HetComp 기법을 제안한다. 본 연구에서는 점진적 난이도 증가 학습의 개념을 차용한다. 이는 인간의 학습 과정에서 영감을 받아 더 쉬운 지식을 먼저 학습한 다음 점차 더 복잡한 지식을 학습하는 방법론으로, 기계 학습의 다양한 분야에서 광범위하게 연구되어왔다. HetComp는 (1) 점진적 지식 구성 기법, (2) 점진적 랭킹 지식 증류 기법으로 구성된다. [연구의 의미] 본 연구는 추천시스템 분야에서 아래와 같은 의미를 갖는다. (1) 분석 제시: 그동안 연구되어오지 않았던 이종 추천 모델 증류의 필요성 및 기존 기법들의 한계를 보여주는 상세한 분석을 제공한다. (2) 추천 정확성 및 효율성 개선: 이종 추천 모델들의 앙상블로 구성되는 거대 추천 시스템을 압축하여, 거대 추천 시스템의 정확도를 유지하면서 예측 소요 시간을 크게 단축한다. (3) 유연한 확장성: 제안하는 기법은 모델의 연관 점수 표현 방식 등과 무관하게 동작하며, 추후 개발되는 모든 형태의 추천 모델로 확장될 수 있다. [연구결과의 진행 상태 및 향후 계획] 유저-아이템 데이터가 실시간으로 수집되는 시스템에서 모델 학습, 지식 증류로 이원화된 기존의 학습 패러다임을 최적화하는 방향으로 후속 연구를 진행 중이다. [성과와 관련된 실적] – SeongKu Kang, Wonbin Kweon, Dongha Lee, Jianxun Lian, Xing Xie, Hwanjo Yu. 2023. Distillation from Heterogeneous Models for Top-K Recommendation. In Proceedings of the ACM Web Conference 2023 (WWW’23) [성과와 관련된 이미지]

[유환조 교수] Dynamic Multi-Behavior Sequence Modeling for Next Item Recommendation

[연구의 필요성] 쇼핑몰에서 상품을 둘러보는 사용자들은 상품 구매, 조회, 장바구니에 담기, 즐겨찾기 등록 등 상품에 대한 다양한 행동을 한다. 각각의 행동은 사용자가 다음에 구매할 상품을 추천하는 추천 시스템에게 사용자가 해당 상품에 갖고 있는 선호도에 대한 정보를 제공할 수 있다. 이때 그 정보는 행동 종류에 따라 의미하는 바가 다른데, 예를 들면 사용자가 구매한 상품 기록은 사용자가 선호하는 상품의 브랜드나 색상 등 일반적인 취향을 나타낼 수 있으며, 사용자가 최근에 조회한 상품의 기록은 사용자가 현재 어떤 카테고리의 상품을 구매하려고 하는지에 대한 정보를 담고 있을 수 있다. 추천 시스템은 사용자의 다중 행동 데이터로부터 이런 정보들을 정확히 추출해내어 사용자가 구매할 상품을 예측해야 하며, 따라서 각각의 행동 시퀀스에서 중요한 정보를 정확하게 파악하는 방법에 대한 연구가 필요하다. [포스텍이 가진 고유의 기술] 본 연구는 사용자의 다중 행동 시퀀스의 여러 가지 특징에 대해 고찰하여 정리하고, 각 특징을 고려하는 모델링 방법을 최초로 제안한다. 그 특징에는 1) 각 행동 시퀀스의 데이터 양은 불균형하다는 것, 2) 각 행동 시퀀스는 상호 보완적인 각각의 특별한 정보를 내포한다는 것, 3) 그 정보는 사용자 개인마다 다를 수 있다는 것, 4) 각 행동 시퀀스 간에는 상관관계가 있다는 것이 있다. 본 연구는 이 모든 특징을 고려하여 사용자의 다중 행동 시퀀스를 모델링하고, 사용자가 다음에 구매할 상품을 정확하게 추천하는 두 가지 방법을 제안한다. [연구의 의미] 대부분의 기존의 연구는 사용자의 행동 시퀀스를 모델링할 때 단일 행동만을 고려하거나, 다중 행동에 대해 모델링할 때 행동의 시퀀스(순서)를 고려하지 않았다. 이에 비해 정확한 추천을 위해 다중 행동 시퀀스를 고려하는 방법을 제안하는 한편, 다중 행동 시퀀스를 모델링할 때 고려해야 할 특징을 정리했다는 점에서 본 연구의 의미가 크다. 또한 모델의 성능은 크게 향상시키면서도 모델의 학습 파라미터나 예측에 걸리는 시간은 증가하지 않았다는 점에서, 추천 서비스 제공자가 부담 없이 사용할 수 있는 실용적인 연구라고 할 수 있다. 또한, 본 연구를 통해 실제 쇼핑몰 서비스에서 수집된 최신의 대규모 데이터셋을 공개함으로써 앞으로의 관련 연구에도 도움을 주었다. [연구결과의 진행 상태 및 향후 계획] 이번 연구에서는 구매, 조회, 장바구니, 즐겨찾기 행동이 있는 쇼핑몰 데이터에 대해서만 연구를 집중적으로 진행하였으나, 사용자의 다중 행동이 존재하는 다른 도메인에서 본 연구의 효용성에 대해 테스트해볼 예정이다. [성과와 관련된 실적] 한국정보과학회 선정 최우수국제학술대회인 AAAI 2023에 본 연구에 대한 논문이 발표되었다. Junsu Cho, Dongmin Hyun, Dong won Lim, Hyeon jae Cheon, Hyoung-iel Park, Hwanjo Yu, “Dynamic Multi-Behavior Sequence Modeling for Next Item Recommendation”, AAAI, 2023. [성과와 관련된 이미지]

[한욱신 교수] 머신러닝을 위한 최적 테이블 샘플링 방법 개발

[연구의 필요성] 머신러닝 및 심층 학습(딥러닝) 모델을 잘 학습하기 위해서는 양질의 데이터가 필요한데, 대용량 엔터프라이즈 데이터의 경우 많은 테이블 형태로 분산되어 저장되어 있고 이들은 조인(join) 관계로 연결되어 있다. 이 테이블들을 학습 데이터로 사용하기 위해서는 테이블들에 조인을 수행하여 하나의 거대한 테이블로 만들어야 한다. 문제는 조인된 테이블 크기가 매우 커 저장하기 어렵고 조인 자체가 매우 느릴 수 있다. 따라서, 조인을 직접 수행하지 않고도 조인된 테이블로부터 일부 데이터를 빠르게 샘플(sample)해야 한다. 문제는 이러한 기존 방법들의 경우 미리 확률 분포를 계산한 뒤에 샘플링을 수행하기 때문에, 이 계산량이 입력 데이터에 비례해 임의로 커질 수 있다는 것이다. [포스텍이 가진 고유의 기술] 본 기술의 핵심 아이디어는 미리 원하는 확률 분포를 계산한 뒤에 샘플링을 수행하는 것이 아니라, 여러 샘플 공간 중 적어도 하나는 원하는 확률 분포와 비슷한 성질을 가짐을 증명하여, 여러 샘플 공간 중 하나의 샘플 공간을 뽑고, 여기서 확률 분포의 계산 없이 샘플링을 직접 수행하는 것이다. 이러한 메타 샘플링(meta sampling) 기법을 통해, 샘플 공간을 샘플하는 적은 비용을 통해 확률 분포의 계산 비용을 없앨 수 있다. 이를 통해 일반적인 상황에서 이론적으로 최적의 샘플링 기법을 개발하였으며, 더 나아가, 테이블들을 그룹지어 트리 형태로 구조화함으로써 특정 조건 하에서 이론적으로 더 빠른 샘플링이 가능함을 보였다. [연구의 의미] 제안된 기술을 활용하면 많은 테이블들이 조인 관계로 연결된 데이터에서 빠르게 데이터를 샘플할 수 있어, 머신러닝 및 딥러닝 모델 학습에 효과적이며, 데이터베이스 질의 최적화 및 결과 근사 등 여러 문제에 적용이 가능한 유용한 기술이다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 데이터베이스 이론 분야 최고 학술대회인 ACM PODS 2023에 발표될 예정이며, 42년 학회 역사상 처음으로 한국에서 발표된 논문으로 그 의미가 크다. 이번 연구의 핵심 기술을 기반으로 머신러닝 및 데이터베이스 문제에 응용하는 것이 향후 계획이다. [성과와 관련된 실적물] 1. Kim, K., Ha, J., Fletcher, G., and Han, W., “Guaranteeing the O(AGM/OUT) Runtime for Uniform Sampling and Size Estimation over Joins,” In Proc., 42nd Symposium on Principles of Database Systems, ACM PODS, Seattle, USA, June 2023. (Corresponding author) [성과와 관련된 이미지]

[최승문 교수] 게임 경험 향상을 위한 소리 기반 선별적 멀티모달 햅틱 효과의 실시간 생성

[연구의 필요성] 실시간으로 게임에서 발생하는 소리를 기반으로 햅틱 효과를 생성하는 방식은 학계 및 산업계의 주목을 받고 있다. 그러나 대부분의 방식은 간단한 신호 처리 기반 방식으로, 배경음악이나 대화의 목소리 등 햅틱 효과가 나오기 적절하지 않은 소리들도 모두 햅틱 효과로 제공된다. 이에 본 연구에서는 실시간으로 게임의 소리 신호로부터 햅틱 효과로 제공되기 적절한 소리를 충격 및 진동 햅틱 효과로 표현되기 적절한지 판단, 렌더링해주는 방법을 제시한다. [포스텍이 가진 고유의 기술] 본 연구에서는 게임의 소리가 햅틱 효과에 어울리는지 실시간으로 판단하고, 적합한 방식의 햅틱 효과로 전환하는 알고리즘을 개발하였다. 이 알고리즘은 가장 최근의 소리 신호가 진동, 충격, 진동+충격 햅틱 효과 중 어떤 것이 가장 적합한지를 기계 학습 알고리즘을 통해 실시간으로 판단한다. 이를 바탕으로 햅틱 효과가 제공되며, 상기 과정은 인지적으로 거의 동시에 일어난다. [연구의 의미] 본 연구에서 제시한 방법을 사용하면 햅틱 효과가 내장되지 않은 게임을 두 가지 모달리티의 풍부한 햅틱 효과와 함께 경험할 수 있다. 또한 게임 외에도 영화감상 등 다양한 컨텐츠에 적용될 수 있다. 현재 나오는 소리 이벤트로부터 선별적으로 실시간 햅틱 효과를 제공을 위한 연구는 본 연구가 거의 처음이라고 할 수 있다. [연구결과의 진행 상태 및 향후 계획] 이번 연구에서는 일반 게임 플레이어들에게 가장 친숙한 마우스에서 햅틱 효과를 제공하였다. 향후에는 가상 현실 기반 메타버스 게임이 많이 등장할 것으로 예상되며, 이에 몰입감있는 경험을 제공할 수 있도록 햅틱 의복을 통해 전신 햅틱 효과를 제공할 수 있다. 이를 위해 소리 이벤트의 위치를 추적 및 이에 기반한 햅틱 효과를 제공하고자 한다. [성과와 관련된 실적] 국제 학술대회 논문: ACM Conference on Human Factors in Computing Systems (CHI), 2023. [성과와 관련된 이미지] [그림 1] 게임의 소리 스트림으로부터 실시간으로 멀티모달 햅틱 효과를 제공한다. 이를 위해 가장 최근의 소리를 기계학습 분류기를 사용해 어떤 종류의 햅틱 효과가 잘 어울릴지 판단한다. 가능한 경우는 햅틱 효과가 없는 경우, 진동, 충격, 진동+충격(동시)이며, 이 결과를 바탕으로 임팩트 또는 진동 구동기를 구동시킨다. 이러한 일련의 과정은 사용자가 소리와 햅틱 효과를 거의 동시에 인지할 수 있는 시간 사이에 일어난다. [그림 2] 소리 스트림으로부터 슬라이딩 윈도우 기법을 적용, 짧은 주기마다 일정 길이의 가장 최근 소리를 캡처한다. 머신 러닝 분류기는 캡처한 소리에 가장 적합한 종류의 햅틱 효과가 어떤 것인지 판단하며(ML Classifier), 이 결과를 바탕으로 햅틱 효과를 렌더링(MM rendering).

[최승문 교수] VR 컨트롤러와 가상 환경의 물체의 형상이 일치하도록 하는 시-촉각 변환 형상인지 모델

[연구의 필요성] 현재 상용 VR 컨트롤러는 가상환경의 맥락과는 상관없이 항상 같은 물리적인 형태를 가지고 있어, 사용자의 몰입감있는 환경을 만들기 어렵다 (예를 들어, 가상의 칼을 이용하여 상호작용을 하지만, 컨트롤러의 크기는 작은 막대기 형태를 지니고 있다). 이를 개선하기 위해 형상 변형 컨트롤러가 많이 개발되고 있으나, 현재의 기술은 물리적인 형태 변형에만 초점을 맞출 뿐 실제 사용자가 인지하는 컨트롤러의 형태에 대한 연구는 부족하다. 이에 본 연구에서는 사용자가 다양한 무게 및 크기의 컨트롤러를 가지고 가상환경을 상호작용할 때 시-촉각 형태가 일치하는 몰입감있는 상황을 위한 형상인지 모델을 제시한다. [포스텍이 가진 고유의 기술] 본 연구에서는 역동적 접촉 (Dynamic Touch)라는 개념을 기반으로 손에 쥔 VR 컨트롤러의 형태와 가상 환경에서 표현되는 가상 물체와의 시각-촉각 상황이 일치하는 환경 구현을 위한 형상인지 모델을 개발하였다. 역동적 접촉이란 물체를 들기, 흔들기, 비꼬기 등을 통한 접촉 방식을 말하며, 이 접촉이 일어날 때 물체의 질량 분포도를 기반으로 형상 인지를 할 수 있다. 본 연구에서는 실제 물체의 관성 모멘트 (Moment of Inertia; MOI)가 물체의 길이에, 관성 곱 (Product of Inertia; POI)가 물체의 넓이 비대칭성에 영향을 주는 것을 도출하였고 이를 기반으로 시각-촉각 형상을 일치시킬 수 있는 형상인지 모델을 개발하고 가상환경에서의 검증을 진행하였다. 시각-촉각 형태의 변환을 이끌어내는 인지 모델은 포스텍만이 가진 고유 기술이라고 할 수 있다. [연구의 의미] 본 연구에서 제시한 형상 인지 모델을 사용하면, 1) 형상 변형 컨트롤러의 형태를 변환할 때, 목표하고자 하는 가상 물체의 형태에 맞춰서 컨트롤러의 상태를 결정지을 수 있다. 2) 컨트롤러의 형태가 제한적이다면 이 형태와 가장 일치하는 가상 물체의 크기, 무게, 및 형태를 제시할 수 있다. 결과적으로 본 방법을 이용하여 더욱 몰입감있는 VR 경험을 제시할 수 있다. [연구결과의 진행 상태 및 향후 계획] 이번 연구는 컨트롤러의 1차원 길이 및 2차원 넓이 부분에 대해서만 고려하여 형상 인지 모델을 개발하였다. 후속 연구로 추가적인 질량 분포에 관한 변수를 이용하여 3차원 부피에 대한 형상 인지 모델을 개발하여 더욱 범용적으로 이용할 수 있는 모델을 만들고자 한다. [성과와 관련된 실적] 국제 학술대회 논문: Chaeyong Park, Jeongwoo Kim, and Seungmoon Choi. Visuo-haptic Crossmodal Shape Perception Model for Shape-Changing Handheld Controllers Bridged by Inertial Tensor. In Proceedings of the ACM conference on Human Factors in Computing Systems (Hamburg, Germany, April 23-28, 2023). CHI ’23. ACM. [성과와 관련된 이미지]

[최승문 교수] 진동 증강 버튼을 이용한 정보전송량 및 인터랙션 디자인에서의 이용

[연구의 필요성] 항상 같은 버튼의 클릭감을 제공하는 물리버튼과 달리 진동 자극을 추가한 “진동 증강 버튼”은 하나의 버튼으로 사용자에게 다양한 클릭감을 제공한다. 제작할 수 있는 버튼의 종류는 무한정으로 많지만 사용자가 이 모든 클릭감을 구분할 수 있는 것은 아니며, 사람이 받아들일 수 있는 버튼의 클릭감의 개수는 매우 제한적이다. 본 연구에서는 인간이 구분할 수 있는 진동 증강 버튼의 개수를 정보이론의 측면에서 도출하고, 이를 이용한 인터랙션 디자인 방법론을 제시한다. [포스텍이 가진 고유의 기술] 본 연구에서는 진동 증강 버튼 및 실제 물리 버튼이 가지는 구분 가능한 정도를 정보 이론의 관점에서 정보 전송량(Information Transfer)을 이용하여 도출하였다. 그 결과 총 6개의 증강/물리 버튼이 완벽하게 구분됨을 알게 되었고, 더 많은 버튼이 제공되어도 사람은 구분하기 힘들다는 결과를 도출하였다. 더 나아가, 구분되는 진동 증강버튼을 이용한 가상환경에서의 키보드 입력 시스템을 제작하고 그 효용성을 검증하였다. 진동 증강 버튼의 클릭감을 정보이론의 관점에서 접근하고, 이를 VR시스템에 적용한 사례는 포스텍만이 가진 고유의 기술이라고 할 수 있다. [연구의 의미] 본 연구에서는 사람이 총 6가지의 버튼 클릭감을 구분한다는 결과를 도출하였으므로, 너무 많은 버튼을 굳이 한 시스템을 위해 제작하지 않아도 된다는 것을 보여준다. 또한, 진동 증강 버튼의 가상환경에서의 이용 방법 및 가능성을 제시하여 진동 증강 버튼 사용자들에게 이용 가이드라인을 제시한다. [연구결과의 진행 상태 및 향후 계획] 현재의 연구결과를 바탕으로 진동 증강 버튼의 이용 가능성을 더욱 확장하고자 한다. 진동 증강 버튼의 클릭감을 의미론적인 (Semantic) 단어 및 행동과 연동하여 이용하는 방식으로 더 많은 상황/맥락에서 이용하고자 한다. 더 나아가, 단순 진동뿐만 아니라 다른 햅틱 자극을 물리 버튼에 함께 이용하여 더욱 다양한 증강 버튼을 제작하고자 한다. [성과와 관련된 실적] 국제 학술대회 논문: Chaeyong Park, Jeongwoo Kim, Dong-Geun Kim, Seungjae Oh, and Seungmoon Choi. Vibration-Augmented Buttons: Information Transmission Capacity and Application to Interaction Design. In Proceedings of the ACM conference on Human Factors in Computing Systems (New Orleans, USA, April-30 May 06, 2022). CHI ’22. ACM. [성과와 관련된 이미지]

[최승문 교수] 시각과 전정 감각의 큐 통합: 4D 라이드 컨텐츠 사례 연구

[연구의 필요성] 모션 효과는 시청각 컨텐츠에 입혀져 실재감, 몰입감 등 사용자의 경험을 향상시킨다. 시각 영상과 같이 감상 시에는 모션 효과에서도 받듯이 시각에서도 움직임 정보를 받는다. 이때 어떤 감각 정보를 더 신뢰하는지는 잘 알려지지 않았으며 특히 일반 영상처럼 자극이 복잡한 경우에 대해서는 조사된 적 없다. 본 연구에서는 사람이 시각과 전정 감각으로부터 중복된 정보를 받게 될 경우 어떤 감각 모달리티를 더 신뢰하는지 4D 컨텐츠와 유사하게 자극을 만들어 조사하였다. [포스텍이 가진 고유의 기술] 기존 연구들은 시각 자극을 만들 때 주로 빛 점들로 구성하였으며 방해 역할을 개입시키지 않고 기본적인 사람 인지에 대해 다루었다. 본 연구에서는 4D 컨텐츠 감상 시와 유사하게 시각 정보의 복잡성을 고려하여 실험을 구성하였다. 또한 듀얼 태스크 형식으로 사람에게 인지 로드를 가하는 것이 결과에 어떤 영향을 미치는지에 대해서도 알아보았다. [연구의 의미] 모션 재생 장비 성능 상 영상 속처럼 모션 효과로 모든 움직임을 전달할 수 없기에 인지 못할 감각 차이가 발생한다. 본 연구 결과는 사람이 시각 영상과 모션 효과로부터 인지 못할 감각 차이가 어느 정도 있는 유사한 정보를 받을 경우 둘 중 어떤 감각 모달리티를 더 신뢰하여 인지할 것인지를 보인다. 4D 라이드 컨텐츠와 유사하게 세팅한 실험에서는 사람이 시각보다 전정 감각을 7:3 비율로 더 신뢰한다는 결과가 나왔다. 대부분의 경우 사람이 시각 정보를 더 신뢰하여 판단하는 것을 감안할 때 4D 컨텐츠에서의 모션 효과의 역할이 중요함을 알 수 있다. [연구결과의 진행 상태 및 향후 계획] 이번 연구에서는 2D 영상에 대해 조사하였으나 3D 영상처럼 깊이 정보가 주어질 경우 기존 연구 결과들을 미루어 봤을 때 감각 우위가 시각으로 바뀔 가능성이 있다. 이러한 결과를 내는데 사용한 모션 자극의 자유도를 다르게 한다면 다른 양상을 보일 수도 있어 보다 확장시켜 조사해 볼 수 있다. [성과와 관련된 실적] 국제 저널 논문: J., Han, S. H., & Choi, S. (2023). Sensory cue integration of visual and vestibular stimuli: a case study for 4D rides. Virtual Reality, 1-13. [성과와 관련된 이미지]

[최승문 교수] 모션 효과: 지각 공간과 특정 지각 특성을 위한 합성

[연구의 필요성] 모션 효과는 시청각 컨텐츠에 입혀져 실재감, 몰입감 등 사용자의 경험을 향상시킨다. 아직까지 모션 효과 저작 시 사람 인지가 고려되지 않고 있어 실제 사용자에게 어떠한 경험을 낳게 되는지 보다 조사될 필요가 있다. 본 연구에서는 모션 효과의 기본적인 형태에 대해 지각 공간을 조사하고 이 공간을 바탕으로 특정 지각 느낌을 낼 수 있는 합성 방법을 제시한다. [포스텍이 가진 고유의 기술] 모션 효과가 사인파 중첩 형태로 주어질 때 사람이 표현하는 가장 주요한 형용사 표현들을 조사하였으며 중첩 시 사용된 파라미터들의 값 변화에 따라 형용사 점수가 어떻게 달라지는가를 파악하였다. 또한 주요한 형용사들로 표현된 공간 속에서 특정 지점의 모션 효과를 합성하였고 합성된 모션 효과가 실제 의도한 지점의 형용사 점수를 보이는지 실험을 통해 확인하였다. [연구의 의미] 본 연구에서 구한 모션 효과의 지각 공간은 사람이 해당 자극을 느낄 때 실제 어떻게 다르게 느끼는지 그리고 어떤 형용사로 주요하게 표현하는지 알 수 있다. 이를 기반으로 제안한 모션 효과 합성 방법은 특정 형용사 점수를 가지도록 모션 효과를 만들어낼 수 있다. 이는 4D 컨텐츠 설계자가 특정 사용자 경험을 의도할 수 있도록 하는 모션 효과 저작에 도움이 된다. [연구결과의 진행 상태 및 향후 계획] 이번 연구에서는 모션 효과 자체에 대해서만 다뤘으나 향후 시청각 영상과 결합 시 어떻게 영향 받는지 조사될 필요가 있다. 또한 모션 자극 생성 시 가장 기본 형태인 사인파 중첩으로 다양한 지각을 만들어냈으나 저주파수 대역의 파형만 강조하는 등 다른 방법을 통해서도 저작 가능하다. 이와 같이 다른 감각기 개입, 자극의 복잡성 등 다른 경우의 수를 고려하여 지각 공간을 확장해 볼 수 있다. [성과와 관련된 실적] 국제 저널 논문: Han, S., Lee, J., Yun, G., Han, S. H., & Choi, S. (2022). Motion Effects: Perceptual Space and Synthesis for Specific Perceptual Properties. IEEE Transactions on Haptics, 15(3), 626-637. [성과와 관련된 이미지]