[한욱신 교수] 델타 질의 컴파일 프레임워크를 이용한 동적 서브그래프 매칭 방법 심층 분석

[연구의 필요성] 동적 서브그래프 매칭은 데이터 그래프가 업데이트될 때, 주어진 질의 그래프와 새롭게 매치되거나 더 이상 매치되지 않는 서브그래프를 찾는 문제이다. 동적 서브그래프 매칭은 사기 탐지를 비롯한 다양한 실생활 응용 분야에서 활용된다. 동적 서브그래프 매칭을 수행하는 다양한 방법이 개발됨에 따라, 각 방법을 공정하게 비교하고 장단점을 분석할 필요가 있다. 그러나 기존에 수행된 연구들은 동일한 방법들을 서로 다르게 구현하는 등 공정한 비교를 하지 못했고, 성능 차이를 만드는 핵심 요인 또한 분석하지 않았다. 최근에는 기존 방법들을 하나의 프레임워크 상에 구현하여 성능을 비교하고 분석하려는 시도가 있었지만, 기존 방법들을 틀리게 혹은 비효율적으로 구현하여 잘못된 실험 결과를 얻었으며, 방법별로 공통된 부분을 통합하지 않고 각각 별도로 구현하여 성능 차이에 대한 원인을 정확히 분석하지 못하였다. 따라서,동적 서브그래프 매칭 방법들을 공정하고 심도있게 비교할 수 있는 새로운 프레임워크의 개발이 필요하다. [포스텍이 가진 고유의 기술] 본 기술은 동적 서브그래프 매칭 문제를 관계형 데이터베이스의 점진적 뷰 유지(IVM)에서의 델타 질의라는 공통된 관점으로 보고, 각 동적 서브그래프 매칭 방법들을 델타 질의 플랜으로 표현 및 수행하는 프레임워크를 제안함으로써 앞서 언급한 문제들을 해결하였다. 먼저, 모든 방법에서 동일한 물리적 연산자에 대해 통일된 구현을 사용하여 기존 방법들을 공정하게 비교하였다. 또한, 기존 방법들에서 사용하는 다양한 기술들을 플랜 일부만 수정함으로써 쉽게 통합하거나 제거할 수 있게 되었고, 이를 통해 각 기술이 성능에 미치는 영향을 상세히 분석했다. 추가적으로, 본 기술은 질의 플랜 컴파일레이션과 같은 관계형 데이터베이스의 기술을 활용하여 기존 방법들의 성능을 더욱 개선하였다. [연구의 의미] 본 연구는 기존에 수행된 연구들에서 보인 실험 결과 및 분석이 잘못되었음을 밝혔으며, 기존 방법들을 우리 프레임워크를 사용하여 공평하게 다시 비교하였고, 방법들 간의 성능 차이를 내는 요인을 논리적, 물리적 플랜의 관점에서 자세히 분석하였다. 특히, 가장 최신에 나온 방법보다 성능이 낮다고 알려진 기존 방법들도, 제안한 프레임워크 상에서 올바르게 구현한다면 최신 방법보다 최대 48.6배 높은 성능을 보인다는 사실을 밝혔다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 데이터베이스 시스템 분야 최고 학술대회인 ACM SIGMOD 2024에 발표될 예정이다. 향후 본 연구를 확장하여 동적 서브그래프 매칭 방법들에 대한 비용 기반의 최적화기를 개발하고자 한다. [성과와 관련된 실적] Lee, Y., Kim, K., Lee, W., and Han, W.-S., “In-depth Analysis of Continuous Subgraph Matching in a Common Delta Query Compilation Framework,” In 50th Int’l Conf. on Management of Data, ACM SIGMOD, Chile, June 2024. (Corresponding author) [성과와 관련된 이미지] (그림 1) 기존 방법인 TurboFlux를 질의 플랜으로 표현한 예시 (그림 2) 기존 방법인 SymBi를 질의 플랜으로 표현한 예시

[안성수 교수] Efficient credit assignments in training GFlowNets

[연구의 필요성] Generative Flow Network (GFlowNet)은 주어진 특성을 만족하는 다양한 후보를 생성하는 방법론이며, 신약 및 신소재 개발 또는 조합 최적화 문제와 같은 문제에서 광범위하게 적용되고 있다. GFlowNet의 생성 과정은 다양한 action을 선택하며 점진적으로 샘플을 생성하는 것이며, 이 때 action의 선택 확률은 생성된 타겟의 특성을 기반으로 훈련된다. 하지만, 생성되는 타겟은 여러 action에 관련되어 있으며, 최종적으로 관측되는 특성 기반의 훈련은 각 action이 어떤 기여를 하는지 인지하기 어렵다는 credit assignment 문제가 존재한다. 이에 본 연구는 보다 개선된 credit assignment를 수행할 수 있는 GFlowNet의 훈련 방법을 제안한다. [포스텍이 가진 고유의 기술] 본 연구는 Learning Energy Decomposition for Partial Inference in GFlowNets (LED-GFN)이라는 이름의 에너지 분해 기반의 GFlowNet 학습 방법을 제안한다. 핵심 아이디어는 최종 상태 특성 (에너지)를 각 action에 따른 상태 전이와 관련된 학습 가능한 potential의 합으로 분해하여 로컬 크레딧으로 사용하는 것이다. 특히, 각 potential이 최종 상태와의 상관 관계를 잘 반영할 수 있도록 하는 정규화 방법을 적용하여 훈련한다. 이러한 potential은 중간 action이 최종 특성에 어떻게 영향을 미치는지에 대한 훈련 신호로서 credit assignment를 개선한다. [연구의 의미] 본 연구에서 제시하는 방법론은 효율적인 부분 추론 기반의 GFlowNet 훈련 방법을 새롭게 제시하였다. 이는 기존의 GFlowNet 훈련 방법과 비교하여, 분자 생성 및 조합 최적화 등 다양한 benchmark에서 질 좋은 샘플들의 생성을 더욱 촉진 시킬 수 있음을 보였다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 인공지능 분야 최우수 국제 학술 대회인 International Conference on Learning Representations (ICLR 2024)에서 oral presentation award를 수상하였다 (제출 논문 중 상위 1.16%). 향후 계획은, GFlowNet의 훈련 과정에서 credit assignment을 어렵게하는 다른 요인을 발견 및 개선하는 것이 목표로 한다. [성과와 관련된 실적] Jang, H., Kim, M., and Ahn, S. Learning energy decompo- sitions for partial inference of GFlowNets. International Conference on Learning Representations (ICLR), 2024. [성과와 관련된 이미지]

[김동우/안성수 교수] New representations for graph generation

[연구의 필요성] 최근 중요성이 대두되고 있는 신약 개발, 신소재 개발 등에 생성 모델을 적용하기 위해서는 그래프 생성 모델의 개발이 필수적이다. 기존의 그래프 생성 모델 연구들은 그래프에 맞는 형태의 모델 아키텍처를 개발하는 것에 집중해왔고, 그래프의 representation으로 인접 행렬만을 사용해왔다. 하지만 생성 모델은 representation의 분포를 학습해야 하기 때문에, 더 간단하고 모델이 학습하기에 좋은 representation의 개발은 생성 모델의 성능에 직접적으로 영향을 미친다. 이에 본 연구는 새로운 그래프 representation을 제시하여 학습 데이터의 특징을 잘 학습하여 그래프를 생성할 수 있는 생성 모델을 개발하였다. [포스텍이 가진 고유의 기술] Graph generation with K2-trees (HGGT): 기존에 그래프 압축(compression) 분야에서 사용되던 K2-tree를 생성 모델에 적용하여 이를 autoregressive하게 생성하는 그래프 생성 모델을 개발하였다. K2-tree는 인접행렬을 서브행렬로 나누어 모든 성분이 0인 서브행렬을 하나의 성분 0으로 매핑하여 효율적으로 그래프를 표현할 뿐만 아니라, 서브행렬 간의 hierarchy를 표현하는 것이 가능하다. 본 연구에서는 이러한 K2-tree의 특성을 반영하는 시퀀스 형태의 representation을 제시하여 양질의 그래프를 더 빠르게 생성하는 생성 모델을 제시하였다. A simple and scalable representation for graph generation (GEEL): 그래프 bandwidth를 활용한 엣지 리스트를 그래프의 새로운 representation으로 제시하여 이를 autoregressive하게 생성하는 그래프 생성 모델을 개발하였다. 이를 통해 인접 행렬 기반의 representation보다는 생성 단계의 수를 줄여 더 빠른 생성이 가능하고, 기존의 엣지 리스트 기반 representation보다는 토큰의 종류를 줄여 더 적은 메모리만을 활용해도 생성이 가능하도록 하여 더 scalable한 그래프 생성 모델을 제시하였다. [연구의 의미] 본 연구에서 제시하는 생성모델은 기존 그래프 생성 모델들보다 더 신속한 생성 속도를 가지지만 더 높은 질의 그래프를 생성하여 state-of-the-art (SOTA) 성능을 보였다. 뿐만 아니라, 중요성에 비해 비교적 선행 연구가 부족했던 생성 모델을 위한 representation의 선택에 집중하여 이의 중요성을 환기하였다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 인공지능 분야 최우수 국제학술대회인 International Conference on Learning Representations (ICLR 2024)에서 포스터로 발표되었다.이 연구는 이산화된 특성(discrete feature)을 가지는 분자 그래프만을 대상으로 했는데, 향후 3D 위치 등 연속된 특성을 가지는 그래프에 대해서 연구를 확장할 예정이다. [성과와 관련된 실적] Yunhui Jang, Dongwoo Kim, Sungsoo Ahn, “Graph generation with K2-trees”, ICLR 2024 Yunhui Jang, Seul Lee, Sungsoo Ahn, “A simple and scalable representation for graph generation”, ICLR 2024 [성과와 관련된 이미지]

[한욱신 교수] 데이터베이스 질의 최적화를 위한 머신러닝 기반 질의 결과 개수 예측 방법

[연구의 필요성] 데이터베이스 질의 최적화는 사용자가 요청한 데이터베이스 질의를 사용자에 맡기지 않고 데이터베이스가 알아서 최적화를 진행해 수행하는 것으로, 질의를 수행할 수 있는 수많은 플랜(plan) 중 가장 빠를 것으로 예상되는 플랜을 선택한다. 이를 위해 각 플랜의 예상 시간을 미리 예측해야 하는데, 가장 빠른 것과 느린 것의 차이가 만 배 이상 나오기도 하므로, 매우 느린 플랜을 선택하지 않기 위해 정확한 예측이 필수적이다. 예상 시간을 예측할 때 가장 중요한 요인 중 하나는 질의 수행 결과의 크기 혹은 개수(cardinality)이므로, 이를 정확하게 예측하는 것이 매우 중요하며, 더 나아가 질의의 최종 결과 개수 뿐만 아니라 플랜이 생성하는 서브질의(subquery)들의 결과 개수들을 전부 예측해야 한다. 최근 머신러닝의 발전으로 데이터 분포를 학습해 예측에 사용하는 등, 예측의 정확도는 크게 향상되어 보다 빠른 플랜을 선택할 수 있게 되었으나, 예측 속도는 이전보다 크게 느려져, 결국 최적화와 수행에 걸리는 전체 시간(end-to-end execution time)은 크게 나아지지 않았다. 가장 최신의 연구 또한, 예측 속도를 높이기 위해 동적 프로그래밍(dynamicprogramming) 기법을 사용했는데, 예를 들어 테이블 A, B를 포함하는 서브질의 q1의 예측 결과 개수를, 테이블 A, B, C를 포함하는 서브질의 q2의 결과 개수를 예측할 때 재사용한다. 이때 문제는, q1의 테이블들의 데이터 분포와 q1에 없던 테이블 C의 데이터 분포가 독립적(independent)임을, 즉 서로 연관이 없음을 가정하는데, 이 비현실적인 가정 때문에 예측 정확도가 크게 낮아지기도 했다. 따라서, 예측 속도와 정확도를 둘 다 높일 수 있는 방법이 필요하였다. [포스텍이 가진 고유의 기술] 본 기술은 머신러닝과 동적 프로그래밍을 사용하면서도, 언급한 데이터 분포의 독립성을 가정하지 않고 정확하게 예측하는 방법을 제안한다. 먼저 머신러닝 모델 중 비지도학습 기반 자기회귀모델(autoregressive model)을 사용하여 질의에 포함된 각 테이블의 분포를 예측한다. 그 뒤 샘플링(sampling)에 기반하여 이 분포들을 독립성 가정 없이 합쳐, 여러 테이블을 포함하는 서브질의의 결과 개수를 정확하게 예측한다. 마지막으로 다차원 분포 합침(multi-dimensional statistics merging)은 샘플링과 동적 프로그래밍 기법을 융합하여 수천에서 수만 개의 서브질의에 대해 효율적으로 예측한다. [연구의 의미] 본 연구는 정확한 결과 개수 예측으로 데이터베이스 질의 최적화에 적용시 최적(optimal)에 가까운 플랜들을 선택하였고, 빠른 예측 속도로 최적화 시간을 효율적으로 유지하여, 이전 최신 연구보다 최대 300배 가까이 질의 수행 시간을 단축시켰다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 데이터베이스 시스템 분야 최고 학술대회인 ACM SIGMOD 2024에 발표될 예정이다. 향후 더 크고 복잡한 질의에 대해서도 높은 예측 정확도와 빠른 예측 속도를 지원하는 방법을 개발하고자 한다. [성과와 관련된 실적] Kim, K. Lee, S., Kim, I., Han, W.-S. “ASM: Harmonizing Autoregressive Model, Sampling, and Multi-dimensional Statistics Merging for Cardinality Estimation.” Proceedings of the ACM on Management of Data 2.1 (2024), pp. 45:1–45:27. (Corresponding author) [성과와 관련된 이미지]

[한욱신 교수] 데이터베이스 재생 시스템을 위한 고속 의존성 그래프 생성 방법 개발

[연구의 필요성] 데이터베이스 재생 시스템은 프로덕션 환경에서 데이터베이스 워크로드를 수집하고 테스트 환경에서 재생해, 소프트웨어 및 하드웨어 변경에 따른 성능 변화와 버그를 프로덕션 시스템에 영향 없이 검사한다. 데이터베이스 재생 시스템은 워크로드 내 각 요청(request)의 재생이 수집 시와 동일한 결과를 내도록 보장하기 위해 의존성 그래프(dependency graph)를 생성하는데, 이 그래프는 각 요청을 정점으로, 의존성이 있는 두 요청 간의 선후 관계를 간선으로 나타낸다. 그러나 기존의 방법은 각 요청마다 다른 요청들을 탐색하여 간선들을 생성하는데, 최악의 경우 워크로드 내 요청 수의 제곱에 비례하는 시간을 소모하여, 워크로드 수집에서 재생으로 이어지는 전체 과정에서 병목을 유발한다. 또한, 이렇게 생성되는 간선의 대다수는 중복 간선(redundant edge; 제거하더라도 다른 경로에 의해 선후 관계가 지켜지는 간선)이기 때문에, 워크로드 재생 전 이들을 제거하는 값비싼 전이적 축소(transitive reduction) 과정의 비용을 증가시킨다. 따라서 시간에 따라 변화하는 워크로드를 지속적으로 수집하고 신속하게 재생하여 테스트하기 위해서는, 중복 간선이 적은 간결한 의존성 그래프를 효율적으로 생성할 필요가 있다. [포스텍이 가진 고유의 기술] 본 기술은 단일 스캔과 메모이제이션(memoization)을 활용하여 간선을 생성하는 데 필요한 최소한의 정보만 메모 자료구조에 유지하고 이로부터 간결한 의존성 그래프를 효율적으로 생성한다. 먼저, 중복된 간선의 대부분을 차지하는 두 가지 중복 유형을 정의하고 분석하여, 이러한 중복을 갖지 않는 간선을 생성하는 데 필요한 최소한의 정보만을 메모 자료구조에 유지한다. 또한, 각 요청마다 다른 요청을 탐색하는 대신 단일 스캔으로 메모 자료구조로부터 간선을 생성하는 효율적인 알고리즘을 제안하여, 요청 수에 비례하는 시간 안에 간결한 의존성 그래프를 생성한다. [연구의 의미] 본 연구는 데이터베이스 재생 시스템의 의존성 그래프 생성 과정을 최대 100배 이상 가속하여, 수집에서 재생으로 이어지는 전체 과정에서의 병목을 제거하고 신속한 재생 결과 확인이 가능하도록 하였다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 데이터베이스 시스템 분야 최고 학술대회인 ACM SIGMOD 2024에 발표될 예정이다. 향후 데이터베이스 재생 단계에서의 동시성 향상 방법을 연구하여, 초당 백만 단위의 트랜잭션을 초고속으로 처리하는 현대 학술용 데이터베이스 시스템에서도 데이터베이스 재생을 지원하고자 한다. [성과와 관련된 실적] 1. Lee, W., Ha, J., Han, W.-S., Park, C., Park, M., Han, J., and Lee, J. “DoppelGanger++: Towards Fast Dependency Graph Generation for Database Replay.” Proceedings of the ACM on Management of Data 2.1 (2024), pp. 67:1–67:26. (Corresponding author) [성과와 관련된 이미지]

[최승문 교수] 접촉 힘이 상체의 진동 촉각 인지 강도에 미치는 영향

[연구의 필요성] 몸 전체에 촉감을 제공할 수 있는 전신 햅틱 의복의 인기가 높아지고 있다. 의복이 사용자의 몸을 조이는 정도는 촉각 구동기와 몸 사이의 접촉 힘을 결정한다. 착용형 햅틱 장비의 높은 활용도에도 불구하고 현재까지 학계와 산업계 모두 접촉 힘이 의도된 지각 효과를 얼마나 변화시키는 지 조사된 바 없다. [포스텍이 가진 고유의 기술] 본 연구는 역치 수준 이상의 진동 자극에 대한 정신물리적 인지 실험을 통해 접촉 힘 증가에 따른 구체적인 진동 촉각 인지 강도 증가율을 제공한다. 또한 기존에 조사된 바 없는 손등, 위팔, 아래 등의 세 가지 신체 부위를 포함하여 접촉 힘이 상체에 미치는 영향에 대한 전체적인 경향을 확인한다. [연구의 의미] 본 연구는 구체적인 진동 촉각 인지 강도 증가율 정보를 이용하여 착용형 햅틱 장비 사용 시 정확한 진동 촉각 인지 세기를 전달하는 데에 활용될 수 있다. 또한 접촉 힘이 진동 촉각 인지 강도를 높인다는 발견을 통해 출력 힘이 약한 촉각 구동기로도 보다 강한 진동 촉각 인지 세기를 표현하는 데에 이용될 수 있다. 즉, 본 연구는 정확하고 효율적인 진동 촉각 렌더링에 기여한다. [연구결과의 진행 상태 및 향후 계획] 본 연구에서는 접촉 힘이 상체의 진동 촉각 인지 강도에 미치는 영향을 알아보았다. 보다 다양한 진동 신호 및 촉각 자극 대한 접촉 힘의 영향을 알아볼 필요도 있으며, 다리 등 다른 신체 부위에서는 또다른 경향이 있는지 확인하면 좋을 것이다. [성과와 관련된 실적] 국제 저널 논문: Lee, D., Yun, G., & Choi, S. (2024). Effects of Contact Force on Vibrotactile Perceived Intensity Across the Upper Body. IEEE Transactions on Haptics. [성과와 관련된 이미지] 그림 1. [Haptic Strap] 진동 자극을 생성하고 접촉 힘을 측정하기 위해 제작한 햅틱 스트랩. [Experimental Setup] 손등, 위팔, 아래 등의 실험 환경. 그림 2. [Main Results] 접촉 힘 증가에 따른 진동 촉각 인지 세기 증가 비율.

[최승문 교수] 레이싱 게임 경험 향상을 위한 원격 측정 데이터 기반 햅틱 렌더링

[연구의 필요성] 햅틱 효과는 몰입감 있는 게임 경험 향상에 효과적인 수단이다. 게임을 위한 햅틱 효과는 실시간으로 생성되어야 하며 그동안 산업계에서는 소리 신호를 햅틱 신호로 그대로 재생하거나, 주파수 변환/압축을 거쳐 재생하는 방식을 채택해왔다. 최근 햅틱 효과 생성에 게임 사에서 오픈한 원격 측정 데이터를 활용하는 방식이 대두되었으나, 높은 활용 가능성에도 아직까지는 단순 테스트 베드용으로만 머물러 있다. 본 연구에서는 해당 생성 방식 기반 시스템을 구축하고 기존 소리 데이터 기반 생성 방식 대비 효과성을 확인한다. [포스텍이 가진 고유의 기술] 본 연구는 원격 측정 데이터 기반이라는 새로운 햅틱 효과 생성 방식의 투명한 구현을 공개한다. 현재까지는 학계와 산업계 모두 원격 측정 데이터로부터 햅틱 효과 생성까지 구체적으로 설계하고 시스템까지 구축한 적 없었다. [연구의 의미] 본 연구는 새롭게 등장한 생성 방식을 탐구한 점에도 의미가 있지만, 업계의 단순하지만 효과적인 기존 생성 방식들 대비 효과성과 장점을 알아본데 보다 의미가 있다. 음원 분리 없이 사용된 소리 데이터는 개별적 요소에 따른 효과 강조 조절이 안 되는데, 어느 정도의 경험 수준을 손쉽게 이끌어낼 수 있으나, 개인화 등 그 이상의 경험까지는 어려움을 보였다. 이점 대비 원격 측정 데이터 기반 방식은 특정 경험 수준까지 도달하는데 보다 어려움이 있지만 본래 개별적인 데이터로부터 그 이상이 가능함을 확인하였다. [연구결과의 진행 상태 및 향후 계획] 본 연구에서는 레이싱 게임에 대해서 원격 측정 데이터 기반 생성 방식을 알아보았다. 보다 다양한 레이싱 게임으로 확장성에 어떤 문제가 있을 수 있는지 알아볼 필요도 있으며, 비행 등 다른 시뮬레이션 게임에서는 또다른 경향과 문제가 있는지 확인하면 좋을 것이다. [성과와 관련된 실적] 국제 저널 논문: Lee, J., Kim, J., Kang, J., Jo, E., Park, D. C., & Choi, S. (2024). Telemetry-based haptic rendering for racing game experience improvement. IEEE transactions on haptics. [성과와 관련된 이미지] 그림 1. 원격 측정 데이터 기반 햅틱 효과 생성 전체 파이프라인. (a): 게임 프로세스가 사용자 로컬에 원격 측정 데이터를 생성하면, 햅틱 효과 생성 프로세스에서 주기적으로 접근하여 효과를 생성한다. (b): 엔진 소음, 충돌, 노면 효과에 대한 햅틱 신호 생성이 개별적으로 이뤄지고, 사용자가 선택한 적절한 가중치로 병합되어 적절한 구동기로 전달된다. 그림 2. 햅틱 레이싱 시뮬레이터. 햅틱 구동기로 레이싱 게임에 적합한 낮은 주파수 대역 출력에 적합한 다양한 형태의 베이스 쉐이커가 사용된다. 구동기는 시트 등과 바닥에, 시뮬레이터 자체에 부착된다.

[최승문 교수] 가상 충돌을 위한 진동과 전기 자극을 결합한 다중촉감 햅틱 피드백

[연구의 필요성] 실내 가상 스포츠에서 발생하는 충돌 정보는 사용자에게 대부분 시각 정보로만 전달된다. 가상 스포츠에서 발생하는 즉각적인 충돌 정보를 현실적으로 제공하기 위해서는 가볍고 착용가능한 햅틱 장치를 통해 진동, 힘 등이 결합한 다중촉감 햅틱 자극이 제시되어야 한다. 전기 자극은 (Electrical Muscle Stimulation; EMS) 피부 위에 부착된 전극을 통해 전기 신호가 근육으로 도달하여 근수축을 유발하는 방법으로 쉽고 가볍기 때문에 다양한 신체 부위, 상황에서 사용하기 용이하나 다른 햅틱 자극과 결합되는 경우가 적다. 이 연구에서는 가상 충돌에 적합한 진동과 전기 자극을 결합한 다중촉감 햅틱 피드백 방법을 제시한다. [포스텍이 가진 고유의 기술] 본 연구에서는 진동과 전기 자극을 동시에 제공할 수 있으면서 가볍고 쉽게 착용할 수 있는 햅틱 장치를 개발하고, 장치의 세부 내용을 모두 공개하였다. 또한, 가상 충돌의 반응을 순간적이고 짧은 힘과 잔여 진동으로 나누고 각각을 EMS와 진동으로 표현하는 방법을 제안하였다. 사용자 실험을 통해 사용자가 역동적으로 움직임에 의해 발생하는 가상 충돌은 제안한 다중촉감 햅틱 피드백이 제시될 때 사용자의 경험을 가장 향상시키는 것을 확인하였다. 전기 자극과 진동을 결합한 다중촉감 햅틱 피드백 장치와 렌더링 방법은 포스텍만이 가진 고유 기술이라고 할 수 있다. [연구의 의미] 본 연구는 사용자의 역동적인 움직임에 발생하는 가상 충돌에 대해 전기 자극과 진동이 결합한 다중촉감 햅틱 피드백의 효과를 보여주었다. 연구 결과는 가상 스포츠뿐만 아니라 사용자의 역동적인 움직임에 의해 발생하는 사용자와 가상 물체사이의 상호작용에 대해 햅틱 자극을 렌더링 하는 데 활용될 수 있다. [연구결과의 진행 상태 및 향후 계획] 본 연구에서는 다중촉감 햅틱 피드백을 손과 팔에 제시했을 때 가상 스포츠에서 사용자 경험을 조사하였다. 후속 연구에서는 자극 부위를 어깨까지 확장하여 더 큰 상체 움직임을 유발하고, 가상 스포츠 외의 상황에 적용하여 그 효과를 확인하고자 한다. [성과와 관련된 실적] 국제 저널 논문: Lee, J., & Choi, S. (2024). Multimodal Haptic Feedback for Virtual Collisions Combining Vibrotactile and Electrical Muscle Stimulation. IEEE Transactions on Haptics. [성과와 관련된 이미지] [그림 1] 개발한 가볍고 착용가능한 다중촉각 햅틱 장치. EMS 전극은 손등과 팔에 부착되어 손가락 굽힘 또는 손등 폄 동작을 생성하여 충돌 시 발생하는 힘을 표현한다. 진동 구동기는 손가락에 고정되어 충돌에서 발생하는 잔여 진동을 표현한다. [그림 2] 가상 테니스 및 복싱에서 제안한 장비 및 방법의 적용. 사용자가 라켓으로 공을 맞출 때 혹은 사용자가 주먹으로 상대의 얼굴을 가격할 때와 같이 가상 충돌이 발생하면 사용자의 손과 팔에 다중감각 햅틱 피드백이 제시된다.

[최승문 교수] 짧은 소리와 촉각 사이의 교차 모달 음높이 매칭

[연구의 필요성] 소리와 촉각 진동 자극을 함께 사용하는 컨텐츠들이 증가하고 있다. 이에 따라 소리와 함께 사용하기에 적합한 진동 자극을 디자인하기위 한 연구들 또한 진행되고 있다. 소리와 함께 사용되는 진동은 소리와 일치감이 높을수록 사용자 경험이 증가하게 된다. 이러한 일치감을 증가시키기 위한 노력이 이루어지고 있으나, 청각과 촉각의 서로 다른 지각적 특성들이 이를 어렵게 만든다. [포스텍이 가진 고유의 기술] 본 연구는 짧은 소리와 음높이적으로 일치감 높은 진동 자극을 디자인하기 위한 연구로서 진동의 주파수 특성에 집중하여 짧은 소리를 위한 소리-촉각 변환 방법을 제공한다. 짧은 소리들과 어울리는 진동 주파수에 대한 데이터를 사용자로부터 수집하여 소리로부터 가장 일치감 높은 진동 주파수를 생성하는 함수를 구현하였다. [연구의 의미] 본 연구는 소리가 가지고 있는 주파수적 특성만으로 음높이적으로 가장 일치감 있는 진동 주파수를 생성하는 데 활용될 수 있다. 이를 활용하여 소리와 촉각이 함께 사용되는 컨텐츠에 적용시킨다면 사용자들에게 더 나은 시촉각 경험을 제공할 수 있다. 즉, 본 연구는 더 나은 사용자 경험을 제공하는 시-촉각 변환에 기여한다. [연구결과의 진행 상태 및 향후 계획] 본 연구에서는 짧은 소리와 음높이적으로 가장 어울리는 진동 주파수를 알아보았다. 보다 더 높은 소리-진동 간의 일치감을 이끌어 내기 위해서는 음높이적 측면 뿐만 아니라, 일치감에 영향을 미치는 다른 특성들을 조사하여 이를 증진 시키는 연구를 진행하면 좋을 것이다. [성과와 관련된 실적] 국제 저널 논문: Kim, DG., Lee, J., Yun, G., & Choi, S. (2024). Sound-to-Touch Crossmodal Pitch Matching for Short Sounds. IEEE Transactions on Haptics. [성과와 관련된 이미지] 그림 1. 소리로부터 음높이적으로 가장 어울리는 진동을 생성하는 변환 과정. 그림 2. [Main Results] 소리종류에 따른 가장 어울리는 진동 주파수에 대한 점수