[김동우/옥정슬 교수] Enhancing Ligand Validity and Affinity in Structure-Based Drug Design with Multi-Reward Optimization

[연구의 필요성] 구조 기반 신약 설계(Structure-based Drug Design, SBDD)는 단백질 구조가 주어졌을 때, 이에 결합 가능한 3차원 분자를 생성하는 것을 목표로 합니다. 기존 연구들은 주로 학습 데이터의 통계적 분포를 모사하는 데 집중하여, 신약 개발에 요구되는 특정 성질에 최적화된 분자를 효과적으로 생성하지 못하였습니다. 또는, 하나의 특성(예: 결합 친화도)만을 최적화하는 방법에 그쳐, 합성 용이성이나 구조적 안정성과 같은 다른 중요한 속성의 저하를 초래하는 문제가 있었습니다. 따라서, 신약 개발에 필수적인 다양한 분자 특성들을 동시에 고려하고 최적화할 수 있는 연구가 필요시 됩니다. [포스텍이 가진 고유의 기술] 이 연구는 SBDD에서 요구되는 다양한 분자 특성을 동시에 만족시키기 위해, 다중 보상 최적화(Multi-reward Optimization)를 직접 선호도 최적화(Direct Preference Optimization, DPO)와 결합한 새로운 프레임워크를 제안합니다. 분자 생성의 백본으로 Bayesian Flow Network(BFN)를 채택하고, 사전 학습된 생성 모델을 DPO를 통해 미세 조정(fine-tuning)하였습니다. 생성된 분자에 대해 외부 소프트웨어나 평가 지표를 활용해 보상 값을 계산한 뒤, 서로 다른 보상 간의 스케일 차이를 정규화하고, 보상 예측의 불확실성이 클 경우 패널티를 부여하는 전략을 적용하여 최종 보상을 산출합니다. 이 통합된 보상 신호를 기반으로 DPO를 수행함으로써, 모델이 다양한 분자 특성을 균형 있게 학습할 수 있도록 하였습니다. BFN과 DPO를 결합한 다중 보상 최적화 방식을 SBDD에 적용한 것은 본 연구가 최초입니다. [연구의 의미] 이 연구는 SBDD에서 생성된 분자의 신약 후보로서의 활용 가능성을 크게 향상시켰다는 점에서 실질적인 의의를 가집니다. BFN에 DPO을 접목하여 다중 보상 최적화를 수행한 결과, 결합 친화도, 구조적 안정성, 약물화 가능성 등 신약 개발에 핵심적인 다수의 지표에서 동시적인 성능 향상을 달성하였습니다 특히, 기존 연구들이 도달했던 파레토 프론트(Pareto front)를 성공적으로 확장하였음을 실험적으로 확인하였으며, 생성된 분자의 유효성을 평가하는 벤치마크에서도 본 모델은 기존 최첨단 기법들 대비 현저히 높은 유효성 통과율을 기록하였습니다. 우리의 연구결과가 단일 지표에 최적화된 기존 모델들을 뛰어넘어, 다양한 분자 특성을 균형 있게 고려한 생성이 가능함을 입증합니다. [연구결과의 진행 상태 및 향후 계획] 이 연구는 인공지능 분야 최우수 학술대회 중 하나인 ICML 2025 (International Conference on Machine Learning)에 채택되어 포스터 세션에서 발표될 예정입니다. 또한 현재 관련 기술에 대한 특허 출원도 준비 중에 있습니다. 향후에는 본 기법을 Reinforcement Learning 및 Multi-task Optimization의 최신 연구성과와 결합하여 성능을 더욱 향상시키는 것을 목표로 합니다. 아울러, 외부 평가 도구 사용에 따른 계산 비용 및 시간 소모를 줄이기 위해, Active Learning에서 활용되는 기법을 접목하여 후속 연구로 확장해 나갈 계획입니다. [성과와 관련된 실적] Seungbeom Lee, Munsun Jo, Jungseul Ok, Dongwoo Kim “Enhancing Ligand Validity and Affinity in Structure-Based Drug Design with Multi-Reward Optimization”, International Conference on Machine Learning (ICML), 2025. [성과와 관련된 이미지]

[이남훈 교수] SAFE: Finding Sparse and Flat Minima to Improve Pruning

[연구의 필요성] 최근 대규모 인공지능 모델의 활용이 증가함에 따라, 제한된 자원 하에서 모델을 효율적으로 구동할 수 있는 모델 압축 기법의 중요성이 부각되고 있다. 특히 가지치기(pruning)는 모델의 파라미터를 대거 제거함으로써 메모리와 연산량을 동시에 절감할 수 있어 주요한 방법으로 주목받고 있다. 그러나 높은 압축률에서는 성능 저하가 불가피한 경우가 많아, 이를 완화하는 방법의 개발이 핵심 과제로 남아 있다. [포스텍이 가진 고유의 기술] 본 연구는 제약 최적화 기법을 토대로, 평탄한 손실 지형 위의 희박한 모델을 효과적으로 탐색하는 최적화 알고리즘을 제안한다. 이는 손실 함수의 첨예도(sharpness)를 낮추는 것이 일반화 성능 향상과 밀접한 관련이 있다는 기존 연구에 기반한 것으로, 특히, 평탄성 유도를 목표로 한 희박성 제약 최적화 문제를 설정하고, 이를 교차방향승수법(ADMM)과 첨예도 인식 최소화 전략을 결합하여 SAFE (Sparsification via ADMM with Flatness Enforcement) 알고리즘을 설계하였다. 특히, 이 과정에서 유도되는 파라미터 크기 기반 사영 방식이 가지는 성능 상의 제약을 극복하고자, 유클리드 거리를 일반화한 이차식 거리 개념을 도입함으로써 다양한 중요도 점수를 유연하게 반영할 수 있는 SAFE+를 추가로 제안하였다. [연구의 의미] 본 연구는 성능 저하를 최소화하며 모델 희박화를 달성하려는 압축 연구의 주요 과제에 대해, 기존 연구에서 밝혀진 평탄도의 중요성에 착안한 새로운 접근을 제시하였다. 제약 최적화 기반의 희박화 및 평탄화 기법을 통해 설계하고 알고리즘의 수렴성을 이론적으로 분석하였다. 실험적으로는 다양한 도메인에서의 적용 가능성과 노이즈에 대한 강건한 성능을 확보할 수 있음을 보였다. 이는 대규모 모델이 보편화되는 상황에서, 모델 경량화에 기여할 수 있는 효과적이자 이론적으로 분석된 방안을 새로 제시하였다는 점에서 학술적·실용적 의의가 크다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 인공지능 분야 최우수 국제 학술 대회인 International Conference on Machine Learning (ICML 2025)에서 spotlight 논문으로 채택되어 발표될 예정이다. 향후 연구에서는 이를 더욱 대규모 학습 환경에도 효율적으로 사용 가능할 수 있도록 알고리즘을 개선하고, 알고리즘에 대한 이론적인 분석을 확장하는 것을 목표로 한다. [성과와 관련된 실적] Dongyeop Lee, Kwanhee Lee, Jinseok Chung, and Namhoon Lee. “SAFE: Finding Sparse and Flat Minima to Improve Pruning”, International Conference on Machine Learning (ICML), 2025. [성과와 관련된 이미지]

[이남훈 교수] SASSHA: Sharpness-aware Adaptive Second-order Optimization with Stable Hessian Approximation

[연구의 필요성] 모델의 규모가 커질수록 성능이 향상된다는 연구들이 다수 보고되면서, 최근에는 ChatGPT, Gemini 와 같은 대규모 모델이 활발히 활용되고 있다. 그러나 이러한 모델의 학습에는 방대한 데이터셋과 거대한 모델 크기 때문에 막대한 시간이 소요되며, 모델 파라미터를 수백만 번 이상 업데이트해야 하는 경우도 많다. 예를 들어, GPT-4는 1만 개 이상의 A100GPU를 사용해 약 4개월간 학습되었으며, 이 과정에서 약 1억 달러가 넘는 비용이 투입된 것으로 알려져 있다. 이러한 배경에서 모델 학습 속도를 높이는 것은 대규모 모델의 확장을 가능하게 하고, 학습 비용 절감의 핵심 과제로 부상하고 있다. 최근에는 이를 해결하기 위한 방안으로, 2차 미분 정보를 근사적으로 활용하는 근사 2차 최적화 방법 (approximate second-order optimization)이 주목받고 있다. 하지만 역설적으로, 이러한 기법들은 학습의 궁극적 목표인 새로운 데이터에 대한 일반화 성능에서 기존의 1차 최적화 방법보다 떨어진다는 경향이 여러 연구를 통해 보고된 바 있다. 이는 근사 2차 최적화 방식의 실질적인 활용 가능성에 대한 근본적인 의문을 제기했다. 본 연구에서는 이러한 한계를 극복하고자, 일반화 성능을 효과적으로 개선함과 동시에 계산 효율성까지 확보할 수 있는 새로운 근사 2차 최적화 알고리즘을 제안한다. 이 알고리즘은 기존 기법의 실용적 약점을 보완하여, 대규모 모델의 학습을 보다 빠르게 수행할 수 있는 가능성을 제시한다. [포스텍이 가진 고유의 기술] 본 연구에서는 근사 2차 최적화 기법이 낮은 일반화 성능을 보이는 원인을 손실 함수의 지형적 구조(loss landscape) 관점에서 분석하였다. 실험적 및 이론적 분석을 통해, 근사 2차 최적화 기법이 찾아내는 해(solution)는 지나치게 곡률이 큰(sharp) 지점에 위치하는 경향이 있으며, 이것이 일반화 성능 저하의 핵심 원인 중 하나일 수 있음을 확인하였다. 이 문제를 해결하고자 우리는 곡률이 작은(flat) 최소점에 수렴하는 새로운 근사 2차 최적화 방법을 설계하였다. 그러나 곡률을 단순하게 줄이려는 과정에서 근사된 헤시안이 과도하게 억제되어 학습이 불안정해지는 문제가 발생한다. 이를 해결하기 위해, 본 연구에서는 곡률을 최소화하는 과정에서도 헤시안을 안정적으로 근사할 수 있는 기법을 고안하였으며, 이를 바탕으로 SASSHA (Sharpness-aware Adaptive Second-order Optimization with Stable Hessian Approximation) 라는 새로운 알고리즘을 제안한다. SASSHA는 기존의 2차 최적화 기법들보다 더 평평한 최소점 (flat minima)에 안정적으로 수렴함으로써 일반화 성능이 향상될 뿐 아니라, 최적화 경로 역시 곡률 변화가 적은 평탄한 영역을 따라가도록 유도된다. 이로 인해 과거에 계산한 헤시안 정보를 재사용하더라도 성능 저하 없이 학습을 지속할 수 있어, 헤시안 계산 횟수를 줄여 계산 효율성을 크게 향상시킬 수 있다. SASSHA는 이미지 분류, 자연어 처리 등 다양한 표준 딥러닝 과제에서 기존의 1차 및 2차 최적화 기법들을 모두 능가하였으며, 특히 레이블 노이즈(label noise)가 존재하는 환경에서도 기존의 최고 성능 기법인 SAM보다 더 뛰어난 견고함(robustness)을 보였다. [연구의 의미] 딥러닝 분야에서 모델의 규모는 계속해서 커지고 있지만, 이론적으로 더 빠른 수렴 속도를 제공하는 2차 최적화 방법은 실제로는 널리 사용되지 않고 있다. 그 주요 원인은 크게 두 가지로, 첫째는 높은 계산 및 메모리 비용, 둘째는 낮은 일반화 성능이다. 본 연구에서는 근사 2차 최적화 기법이 곡률이 작은 최소점으로 안정적으로 수렴하도록 유도하는 새로운 방법론을 제시하였다. 이를 통해 해당 기법의 일반화 성능을 향상시켰을 뿐 아니라, 동시에 그 과정에서 발생하는 부가적 이점을 활용하여 계산 효율성 또한 개선하였다. 그 결과, 기존에는 이론적인 가능성에 머물렀던 2차 최적화의 빠른 수렴 속도라는 잠재력을 실용적으로 실현할 수 있는 방법론을 제시하였다. 이 방법론은 다양한 학습 분야에서 앞으로 2차 기법의 실질적 활용 가능성을 더욱 확장시킬 중요한 기반이 될 것으로 기대된다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 인공지능 분야 최우수 국제 학술대회인 국제머신러닝학회(International Conference on Machine Learning) ICML 2025 에 논문으로 채택되어, 포스터 세션을 통해 발표될 예정이다. 향후 연구에서는 SASSHA의 가치를 보다 정밀하게 입증하기 위해 다음과 같은 다양한 방향으로 연구를 확장하고자 한다. 예를 들어, 초대규모 모델과 데이터에 대한 실험 확장, 다양한 아키텍처에의 적용 가능성 검증, 그리고 수렴 속도(convergence rate), 일반화 경계(generalization bound), 내재된 편향(implicit bias)과 같은 이론적 특성의 분석이 포함된다. 우리는 이러한 후속 연구를 SASSHA의 이론적·실용적 기여를 심화시킬 수 있는 의미 있는 기회로 보고 있으며, 지속적인 탐구를 이어갈 계획이다. [성과와 관련된 실적] Dahun Shin, Dongyeop Lee, Jinseok Chung, and Namhoon Lee. “SASSHA: Sharpness-aware Adaptive Second-order Optimization with Stable Hessian Approximation”, International Conference on Machine Learning (ICML), 2025. [성과와 관련된 이미지]

[김형훈 교수] Enabling Chatbots with Eyes and Ears: An Immersive Multimodal Conversation System for Dynamic Interactions

[연구의 필요성] 대화 시스템의 발전으로 챗봇은 인간과 유사한 방식으로 상호작용할 수 있을 만큼 정교하게 발전해 왔다. 최근에는 텍스트뿐만 아니라 이미지와 오디오 등 다양한 모달리티를 포함한 멀티모달 기능이 챗봇에 통합되면서, 보다 풍부한 대화가 가능해지고 있다. 그러나 지금까지의 멀티모달 챗봇 연구는 대부분 이미지 중심으로, 주어진 이미지에 대한 질문이나 지시에 단순히 응답하는 수준에 머물러 있다. 또한, 인간의 '눈'에 해당하는 시각 정보는 활용되고 있지만, '귀'에 해당하는 청각 정보를 이해하고 대화에 통합하려는 시도는 부족하다. 특히 이미지와 오디오를 결합한 통합적 접근은 아직 연구가 거의 이루어지지 않았으며, 멀티세션이나 멀티파티와 같은 복잡하고 동적인 현실 세계와 유사한 대화 시나리오에 멀티모달 기능을 접목한 연구도 부족하다. [포스텍이 가진 고유의 기술] 본 연구에서는 멀티모달, 멀티세션, 멀티파티가 최초로 통합된 대화 데이터셋인 M³C를 제안한다. M³C는 하나의 대화 에피소드가 세 개의 연속된 세션으로 구성되어 있으며, 총 4명의 화자가 등장한다. 각 세션에는 고정된 메인 화자와 함께 나머지 3명 중 2명의 화자가 참여해, 총 3명이 대화를 나눈다. 대화는 동일한 공간적, 시간적 맥락에서 이루어지며, 화자들은 주어진 이미지와 오디오를 실시간으로 보고 듣는 듯한 몰입감 속에서 상호작용한다. 또한 연구진은 M³C 데이터셋을 기반으로 학습된 모델도 함께 제안하였다. 제안한 모델은 연속된 세션 간의 대화 내용을 멀티모달 메모리로 구성하고, 현재 진행 중인 세션에서 필요한 메모리를 이미지, 오디오, 텍스트 등 모달리티에 관계없이 동일한 임베딩 공간 내에서 검색할 수 있다는 장점을 갖는다. [연구의 의미] 기존의 멀티모달 대화 데이터셋과 모델은 이미지 중심적이며, 멀티세션이나 멀티파티와 같은 동적인 시나리오를 통합한 사례가 부족하였다. 본 연구는 멀티모달, 멀티세션, 멀티파티를 최초로 통합한 데이터셋과 모델을 제안하였다는 점에서 큰 의의가 있다. 특히 기존 연구들이 멀티모달 요소에 대해 단순히 질문에 응답하거나 묘사하는 방식에 그쳤던 것과 달리, 본 연구에서는 실제로 화자들이 이미지와 오디오를 보고 듣는 듯한 맥락에서 자연스럽게 대화에 반영할 수 있도록 하여 멀티모달 대화의 수준을 강화하였다. 또한, 제안된 모델은 이전 세션의 메모리를 검색할 때 텍스트, 이미지, 오디오 등 다양한 모달리티를 통합적으로 처리하고 검색할 수 있어, 기존 방식보다 더 유연하고 효과적인 검색이 가능하다는 점에서도 의의가 있다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 자연어처리 최우수 학회인 ACL 2025 Main에 수락되어 발표될 예정이다. 향후 연구진들은 인간의 대화 환경에 보다 유사하고 복잡한 상황에서도 자연스럽게 상호작용할 수 있는 강인한 멀티모달 챗봇을 연구하고, 이를 임바디드와 같은 가상환경에도 확장, 적용할 계획이다. [성과와 관련된 실적] Enabling Chatbots with Eyes and Ears: An Immersive Multimodal Conversation System for Dynamic Interactions Jihyoung Jang*, Minwook Bae*, Minji Kim, Dilek Hakkani-Tur, and Hyounghun Kim. Proceedings of ACL 2025. [성과와 관련된 이미지] Figure 1. Example of M³C Figure 2. Overall architecture of our model

[이근배 교수] Multi-Facet Blending for Faceted Query-by-Example Retrieval

[연구의 필요성] Query-by-Example (QBE)는 주어진 문서(query document)와 유사한 문서를 찾는 작업입니다. 그러나 하나의 문서는 보통 여러 facet (e.g. scientific paper의 경우 background, method, result)을 포함하고 있기 때문에, 어떤 관점에서 유사성을 판단해야 하는지 모호한 경우가 많습니다. 기존의 QBE 접근 방식은 주로 citation 정보에 기반해 학습되므로, scientific paper domain에 한정되며, 미리 정해진 facet에 대해서만 유사 문서를 검색할 수 있다는 한계가 있습니다. 이에 우리는 도메인에 구애받지 않고, 사용자가 정의한 facet 중심의 유사 문서를 효과적으로 검색할 수 있는 새로운 QBE 방법을 제안합니다. [포스텍이 가진 고유의 기술] 이를 위해 우리는 여러 facet을 조합하여 데이터를 증강하는 FaBle (Multi-Facet Blending) 기법을 제안합니다. 먼저, LLM을활용해 각 facet에 대해 유사한(similar) 및 비유사한(dissimilar) facet 쌍을 생성하고, 이를 조합하여 facet별 positive/negative 문서 쌍을 구성합니다. 이러한 triplet 데이터를 기반으로 triplet loss를 적용해, 특정 facet에 집중한 유사 문서 검색이 가능하도록 모델을 학습합니다. 또한, 제안하는 방법의 도메인 일반화 가능성과 robustness를 입증하고, 향후 faceted QBE의 확장성을 탐색하기 위해 교육 아이템 도메인에서의 테스트셋 FEIR(Faceted Educational Exam Item Retrieval)을 새롭게 구축했습니다. [연구의 의미] 본 연구는 도메인에 구애받지 않고, 사용자 정의 facet에 따라 보다 세분화된 문서 검색이 가능하도록 하는 augmentation 기법을 제안합니다. 또한, 기존에 scientific paper domain에 국한되었던 faceted QBE를 넘어, 교육 도메인에 특화된 새로운 테스트셋 FEIR을 함께 제안합니다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 ACL 2025에서 발표될 예정 [성과와 관련된 실적] Heejin Do*, Sangwon Ryu*, Jonghwi Kim, Gary Geunbae Lee, “Multi-Facet Blending for Faceted Query-by-Example Retrieval”, ACL 2025 [성과와 관련된 이미지]

[이근배 교수] Retrieval-Augmented Fine-Tuning With Preference Optimization For Visual Program Generation

[연구의 필요성] Ladder Diagram (LD)는 산업 현장에서 사용되는 컨트롤러인 Programmable Logic Controller (PLC)를 제어하는데 자주 활용되는 시각 기반 프로그래밍 언어(VPL)이다. LLM은 텍스트 기반 프로그래밍 언어 생성에는 뛰어난 성과를 보여왔지만, 시각 기반 프로그래밍 언어, 그 중에서도 특히 LD와 같이 다양한 도메인 특화 configuration이 존재하는 언어의 경우에는 생성하기 어려웠다. 이러한 프로그램은 산업 현장 자동화에 필수적이기에, LD와 같은 프로그램을 자동 생성할 수 있다면 산업 자동화를 크게 가속할 수 있게 된다. [포스텍이 가진 고유의 기술] 본 연구에서는 기존에 VPL을 생성하는데 자주 사용되었던 프롬프트 기반 방법론으로는 LD를 생성하는데 어려움이 있음을 먼저 밝혀냈다. 이에, 2-stage로 구성된 학습 기반 방법론을 제시하였다. 먼저, Retrieval-Augmented Fine-Tuning으로 LD program이 비슷한 맥락에서 프로그램의 일부를 재사용하는 경향이 있다는 점을 학습 과정에서 활용하여 성능을 크게 높일 수 있었다. 이어서, 생성 정확도를 더 높이기 위해 VPL을 그래프 형태로 취급해 원본 프로그램에서 손상을 가해 preference pair를 만들고 이를 이용하여 DPO를 수행하여 성능을 더욱 향상시켰다. [연구의 의미] 본 연구는 기존에 LLM으로 생성할 수 없었던 LD를 생성할 수 있게 해냈다는 것에서 의미를 가진다. 또한 본 연구에서 제시하는 방법론은 그래프 형태로 환원될 수 있는 VPL에 일반적으로 적용이 가능한 방법이기에 LD뿐만이 아닌 다른 VPL을 학습 기반으로 생성하는 경우에도 도움이 될 것이다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 자연어처리 분야 최우수 국제학술대회인 ACL 2025에 소개될 예정이다. 추후에는 해당 방법론을 다른 VPL에 적용하여 기술의 일반성을 검증하고자 한다. [성과와 관련된 실적] Deokhyung Kang*, Jeonghun Cho*, Yejin Jeon, Sunbin Jang, Minsub Lee, Jawoon Cho, Gary Geunbae Lee, Retrieval-Augmented Fine-Tuning With Preference Optimization For Visual Program Generation, ACL 2025 (*: Equal contribution) [성과와 관련된 이미지]

[이근배 교수] Safeguarding RAG Pipelines with GMTP: A Gradient-based Masked Token Probability Method for Poisoned Document De

[연구의 필요성] Retrieval Augmented Generation(RAG) 기술 사용시 공격자가 LLM의 비정상적 및 악의적 응답 생성을 위한 문서를 데이터베이스에 주입하여 사용자의 만족도 및 RAG 기술의 안전성 측면에서 위험성이 존재함. [포스텍이 가진 고유의 기술] 문서를 검색하는 과정에서 발생하는 Retriever의 gradient와 BERT와 같은 Masked Language Model(MLM)의 masked token 예측 능력을 활용해 악성 문서의 수상한 부분을 탐지하여 악성 문서를 필터링함. [연구의 의미] 사용자는 본 연구를 기존 RAG 시스템에 추가적인 장치 없이 간단하게 적용할 수 있으며, 다른 방어 기법들보다 낮은 연산 비용으로 악성 문서들을 효율적으로 필터링할 수 있음. 다양한 공격 기법에 대하여 90% 이상의 필터링 성능을 보였으며, 향후 방어기법에 적응하는 공격기법에 확장 예정. [연구결과의 진행 상태 및 향후 계획] 아예 말을 하지 못하는 사람을 대상으로, 얼굴 사진을 통해 목소리 정보를 예측하고, 예측된 목소리를 기반으로 음성을 생성하는 보조기술 연구를 진행하고자 합니다 [성과와 관련된 실적] Published to Findings of the Association for Computational Linguistics: ACL 2025 [성과와 관련된 이미지]

[최승문 교수] SkinHaptics: 자기 촉각 상호작용을 향상시키기 위한 피부 부드러움 인지 및 가상 신체 구현 기술 탐구

[연구의 필요성] 가상현실에서 사용자에게 촉각 피드백을 전달하기 위해서는 일반적으로 햅틱 장치를 손에 쥐거나 착용해야 한다. 자기 촉각(self-touch)은 사용자가 자신의 신체 일부를 다른 신체 부위로 만지는 행위에서 발생하는 촉각 극으로 외부 햅틱 장치 없이도 촉각 피드백을 전달할 수 있는 가능성을 지닌다. 기존의 자가 촉각 연구의 주요 쟁점은 사용자가 자신의 신체를 만지고 있다는 것을 인식함으로써 생기는 몰입 저하와 풍부한 촉각 피드백을 전달하기 어렵다는 점이다. 본 연구에서는 부드럽고 변형 가능한 객체에 촉각 피드백을 제공하기 위한 SkinHaptics를 제안하여 자가 촉각 상호작용에서 나타난 연구 간극을 메꾸고자 한다. [포스텍이 가진 고유의 기술] 본 연구에서는 외부 장치 없이 사용자의 신체를 햅틱 자극의 매개로 활용하는 자기 촉각 개념을 확장하여, 피부의 부드러움 지각과 가상 신체 체화 기술을 결합한 새로운 햅틱 인터페이스인 SkinHaptics를 제안하였다. SkinHaptics는 기존의 자기 촉각 접근법들이 다루지 않았던 피부 부위의 물리적 특성과 지각 능력, 시각-촉각 표현 방식을 포괄적으로 탐구하였다. 우선, 사용자의 손의 다양한 부위와 제스처를 조합하여 피부의 부드러움을 정량적으로 측정하고, 사용자가 감지할 수 있는 부드러움 차이의 범위와 분해능을 도출하였다. 또한, 자가 촉각 연구에서 문제가 되는 사용자가 자신의 신체를 만지고 있다는 인식을 줄이기 위해, 가상현실에서 제시되는 가상 손-객체 시각 표현 방식을 조작하고, 이들의 체화감 및 햅틱 경험에 미치는 영향을 비교 분석하였다. 그 결과, 자기 손에 대한 체화감을 낮추는 표현 방식이 햅틱 경험 향상에 효과적임을 밝혔다. [연구의 의미] 본 연구는 사용자의 손을 햅틱 인터페이스로 활용하여, 외부 장치 없이도 가상 객체의 다양한 부드러움을 표현하라 수 있는 방법을 제시하였다. 또한, 시각적 표현을 다르게 하여 체화 수준을 조절함으로써 자기 촉각 경험을 향상시킬 수 있는 방법을 제안하였다. 이는 자기 촉각 상호작용을 위한 설계와 구현에 있어 새로운 방향을 제시한 것으로, 향후 자기 촉각을 사용한 햅틱 인터페이스 기술의 기반이 될 수 있다. [연구결과의 진행 상태 및 향후 계획] 후속 연구에서는 손을 넘어 다양한 신체 부위로의 적용 가능성을 탐색하고, 피부 온도와 같은 외부 환경 요인이 햅틱 지각에 미치는 영향을 제어함으로써, 더 일관되고 안정적인 피드백 품질을 확보하는 방안을 함께 모색할 계획이다. 또한 제스처 수행 정확도를 높이기 위한 가이드 기술과, 보다 넓은 부드러움 표현 범위를 확보하기 위한 웨어러블 요소의 통합도 고려 중이다. [성과와 관련된 실적] 국제 학술대회 논문: Jungeun Lee, Minha Jeon, Jinyoung Lee, Seungmoon Choi, and Seungjae Oh. SkinHaptics: Exploring Skin Softness Perception and Virtual Body Embodiment Techniques to Enhance Self-Haptic Interactions. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems. CHI ’25. ACM. [성과와 관련된 이미지] [그림 1] Head-mounted diplay를 착용한 사용자가 가상 현실 속 가상 물체를 누르고 있다. 부드러운 변형가능한 물체의 햅틱 효과를 제공하는 자기 햅틱 인터페이스 방법론인 SkinHaptics는 사용자가 자신의 손을 눌러 물체의 다양한 부드러움을 체험할 수 있도록 한다. [그림 2] SkinHaptics의 사용 시나리오.

[최승문 교수] 다감각 콘텐츠에서 목표 사용자 경험을 실현하는 햅틱 모션 효과 자동 조정

[연구의 필요성] 햅틱 모션 효과는 영상 속 시청각 정보와 정렬된 물리적 움직임 효과로, 다감각 콘텐츠의 몰입감을 높이는 핵심 요소이다. 효과 설계자는 영상 속 시각적 움직임을 참고하여 모션 효과 생성을 시작하고, 콘텐츠의 맥락이나 예술적 연출을 반영하기 위해 조정 단계를 거친다. 이 조정 단계는 바람직한 사용자 경험을 위해 필수적이지만, 모션이 여러 축으로 구성되어 설계 공간이 크기 때문에 조정에 따른 결과를 예측하기가 복잡하다. 이에 따라 모션 효과의 제작에는 반복적인 조정이 수반되며, 많은 시간과 비용이 소모된다. 이를 지원하기 위한 조정 자동화 연구가 필요하다. [포스텍이 가진 고유의 기술] 본 연구는 모션 효과를 통해 특정 지각적·정서적 느낌을 유도하는 자동 조정 방법을 제안하고 효과성을 검증하였다. 본 방법은 조정 대상인 모션 효과와 해당 효과를 통해 유도하고자 하는 느낌을 형용사 점수 형태로 입력 받아, 자동 조정 과정을 거쳐 목표 경험을 유도하는 수정된 모션 효과를 출력한다. 특히 설계자가 설정하는 목표 경험 값들은 모션과 영상을 같이 감상하는 상태에서 설정되게 되는데, 모션 조정 시에는 영상 효과를 제거하고 진행함으로써, 관객이 조정된 모션을 영상과 함께 감상하여도 목표 경험이 효과적으로 유도 가능하다. [연구의 의미] 본 연구는 효과 설계에서 예술적 판단에 해당하는 설계 의도가 최적의 사용자 경험에 필수적인 요소임에도 자동화가 어려운 영역임을 인지하고, 이러한 의도를 보다 쉽게 반영할 수 있는 형태로 모션 생성을 수행하였다. 기존 모션 생성 방식과는 달리, 모션의 파형 변화가 사용자 경험에 구체적으로 어떤 영향을 미치는지 투명하게 파악할 수 있다는 점에서 방법 제시 외에도 지각적인 인사이트를 줄 수 있다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 전체 세 개의 사용자 실험을 통해 모션 조정 기법을 설계, 검증, 보완하였다. 향후에는 다양한 사용자 집단 및 콘텐츠 유형에 대해 본 기술의 적용 가능성을 확장하고, 진동, 소리 등 다른 감각 자극과의 통합 조정 기법 개발로 나아갈 계획이다. 또한, 전문가 의견을 바탕으로 실무에 적용 가능한 저작 도구 개발도 검토 중이다. [성과와 관련된 실적] 국제 학회 논문: Lee, J., Jeong, D., Han, S. H., & Choi, S. (2025, April). Automatic Tuning of Haptic Motion Effects to Evoke Specific Feelings in Multisensory Content. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1–19). https://doi.org/10.1145/3706598.3713908 [성과와 관련된 이미지] Figure 1 본 모션 자동 조정 방법의 티저 이미지. Figure 2 본 모션 자동 조정 방법의 결과. 입력 모션 파형(위)을 같이 입력 받은 다양한 목표 경험(점수 1 또는 점수 2)을 낼 수 있게 조정된 모션 효과 결과(중간, 아래)이다.