[이근배/옥정슬 교수] Multi-Dimensional Optimization for Text Summarization via Reinforcement Learning

[연구의 필요성] 좋은 요약문을 결정하는 것은 하나의 요소로만 정할 수 있는 것이 아니라, coherence, consistency, fluency, relevance 등 다양한 지표를 포함하여 평가한다. 기존의 연구들은 여러 지표들 중 하나의 지표만을 집중하여 개선하고자 하였지만, 하나의 지표를 개선하는 것이 다른 지표에서의 하락을 동반하기도 했다. 따라서, 본 연구에서는 다방면에서 훌륭한 요약문을 생성하는 multi-dimensional optimization 방법을 제안합니다. [포스텍이 가진 고유의 기술] 우리는 다방면에서 훌륭한 요약문을 생성하기 위해서 여러 지표들을 optimize하기 위해서 강화 학습을 사용합니다. Unified-evaluator를 통해 4개의 지표를 평가하며, 해당 점수들을 리워드로 사용합니다. MDO 방법으로 2가지를 제안하며 MDOmin은 매 iteration 마다 가장 점수의 지표를 리워드로 사용하여 좋지 않은 지표를 향상 시켜 밸런스를 맞추었고, MDOpro는 각 loss의 gradient를 project하여, implicit한 trade-off 관계를 해소하였다. [연구의 의미] 본 연구는, 좋은 요약문을 평가하는 여러가지 지표들을 multi-task learning으로 접근하여, 다방면에서 훌륭한 요약문을 생성하기 위해서 2가지의 방법론을 제안한다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 ACL 2024에서 발표될 예정이며, 향후 Large Language Model 로의 확장을 계획 중에 있습니다. [성과와 관련된 실적] Sangwon Ryu*, Heejin Do*, Yunsu Kim, Gary Geunbae Lee, Jungseul Ok, “Multi-Dimensional Optimization for Text Summarization via Reinforcement Learning”, ACL 2024 [성과와 관련된 이미지]

[이근배/옥정슬 교수] Key-Element-Informed sLLM Tuning for Document Summarization

[연구의 필요성] 최근 GPT의 발전에 따라, 요약 태스크에서도 LLM이 좋은 성능을 보이고 있다. 하지만, 성능이 좋은 GPT의 경우, 비용과 모델의 크기가 클 뿐아니라, 모델이 공개 되어있지 않기에, 활용에 한계가 있다. 하지만 오픈 소스 LLM들의 경우 본문의 중요한 내용을 잘 포함하지 못하는 문제가 있다. 우리는 NER 모델을 사용하여 본문의 named entity에 강조 토큰을 추가하여, instruction을 구성한 후, 모델이 중요 element들을 요약문에 포함할 수 있도록 instruction-tuning을 하여, 기존 sLLM이 요약태스크에서 가지고 있던 문제점을 해결한다. [포스텍이 가진 고유의 기술] 우리는 뉴스 요약문에 필요한 element들을 추출하기 위해서 NER과 extractive summarization을 활용한다. NER 모델로 본문과 요약문의 entity들을 추출한 후, 정답 요약문에 어떤 entity가 주로 포함되는 지 비율을 파악한다. 포함 비율이 높은 entity들을 강조 토큰을 통해 prompt에 표시한다. 또한 중요 맥락을 파악하기 위해서 extractive summarization 모델로 본문의 가장 중요한 문장을 추출한 후, 별도의 강조 토큰을 추가한다. 각 강조 토큰에 대한 description을 본문과 함께 추가하여 전체 instruction을 구성한 후, LoRA를 통해 instruction-tuning을 진행한다. [연구의 의미] 기존에 본문의 중요한 element들을 요약문에 잘 포함시키지 못했던 sLLM의 문제점을 해소하기 위해 element 강조 토큰을 추가한 instruction을 통해 tuning한다. 또한, 본문의 길이 별 분석을 통해, 본문의 길이가 길수록 key element들을 포함시키도록 도와주는 것을 보인다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 INTERSPEECH 2024에서 발표될 예정이며, 향후 Large Language Model 로의 확장을 계획 중에 있습니다. [성과와 관련된 실적] Sangwon Ryu*, Heejin Do*, Yunsu Kim, Gary Geunbae Lee, Jungseul Ok, “Key-Element-Informed sLLM Tuning for Document Summarization**”, INTERSPEECH** 2024 [성과와 관련된 이미지]

[이근배 교수] Acoustic Feature Mixup for Balanced Multi-aspect Pronunciation Assessment

[연구의 필요성] 자동 발음 평가 (Automatic Pronunciation Assessment)는 비원어민 학습자의 발화를 자동으로 평가하는 기술로, 최근에는 정확도뿐만 아니라 완성도, 강세 등 다측면을 평가하여 풍부한 피드백을 제공하는 Multi-aspect assessment에 대한 관심이 높아지고 있다. 하지만, 비원어민 학습자의 발화 데이터에 대해 다측면 점수 레이블을 확보하는 것은 고비용과 전문성을 요하며, 매겨진 레이블은 대부분 심각한 점수 불균형을 내포하고 있다. 본 연구에서는 데이터 희소성과 점수 레이블 불균형 문제를 해결하기 위한 두 가지 Acoustic Feature Mixup 전략을 제안한다. [포스텍이 가진 고유의 기술] 본 연구에서는 선형 보간을 사용하여 고정된 비율로 Acoustic Feautre들을 혼합 (Mixup) 하는 static AM과, 비선형 보간을 사용하여 보다 정교하게 feature들을 혼합하는 dynamic AM을 제안한다. 두 쌍에만 혼합 정책이 적용되는 기존 Mixup 방식들과 달리, 제안된 두 가지 AM 기법은 배치 내 평균값을 정책에 포함시킴으로써 전체 배치를 고려하도록 한다. 추가적으로, 자동 음성 인식 결과와 원본 정답 음소를 비교하여 세밀한 오류율 특징들을 통합함으로써 발음 오류에 대한 직접적인 힌트를 모델에 제공한다. [연구의 의미] 본 연구에서 제안된 Acoustic Feature Mixup 기법을 통해 기존 데이터의 점수 분포를 이동시켜 결핍된 점수로의 분포 이동을 유도함으로써 다측면 점수 예측을 위한 균형 잡힌 학습을 가능케한다. 이로 인해 다측면에 대한 모델의 전반적인 점수 예측 성능이 향상되고, 특히 점수 불균형이 심한 측면에서의 평가 성능이 크게 향상됨을 보였다. 본 연구는 기존에 발음 평가에서 적용된 적 없던 Mixup 기법이 Acoustic feature와 점수에 효과적으로 적용되는 것이 균형 잡힌 학습에 도움 줄 수 있음을 보여준다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 Interspeech 2024 학회에서 구두 발표될 예정이다. 향후 자동 발음 평가에서의 점수 불균형 해소를 위한 학습 방법론을 확장시킬 계획이다. [성과와 관련된 실적] Heejin Do, Wonjun Lee, Gary Geunbae Lee, “Acoustic Feature Mixup for Balanced Multi-aspect Pronunciation Assessment”, Interspeech 2024 [성과와 관련된 이미지]

[김광선 교수] Low-overhead General-purpose Near-Data Processing in CXL Memory Expanders

[연구의 필요성] 거대언어모델과 빅데이터 등 최신 응용이 다루는 데이터의 크기가 급속도로 꾸준히 증가함에 따라 비용 효율적으로 메모리를 확장하기 위해 Compute Express Link (CXL)을 통한 메모리 확장 기술이 새로운 연결 표준으로 떠오르고 있다. 특히 CXL.mem 프로토콜은 Load/Store 명령어를 통한 메모리 시멘틱 접근으로 PCIe 대비 낮은 지연시간으로 CXL 메모리 확장기에 대한 통신을 지원한다. 이는 메모리 용량 확장에 도움이 되지만, Local 메모리 접근과 비교해 CXL link의 낮은 대역폭 및 추가적인 지연시간은 메모리 집약적 응용의 성능을 저하시키는 문제를 유발한다. 이를 해결하기 위해 메모리와 가까운 곳에 추가적인 연산 프로세서를 추가하여 메모리 집약적 연산을 오프로드하는 데이터-근처-처리(Near-Data Proccesisng, NDP) 기술을 개발할 필요가 있다. 그러나 기존의 NDP 연구는 특정 응용도메인에 특화된 하드웨어 로직을 이용하여 범용적이지 않은 문제가 있다. 반면, CPU와 GPU코어를 활용한 기존 범용 NDP기술은 메모리 집약적 연산에 최적화되지 않아 효율이 낮다. 또한 기존의 CXL.io/PCIe 를 통해 MMIO 기반 NDP 오프로딩 방식은 높은 지연시간을 가지고 있어, 짧고 빈번하게 실행되는 연산을 오프로딩하기에 적합하지 않은 문제를 가지고 있다. 따라서, 본 연구는 CXL.mem을 통해 지연시간이 낮은 NDP 오프로딩 기술 및 메모리 집약적 응용에 최적화된 효율적인 범용 NDP 하드웨어 구조를 제안한다. [포스텍이 가진 고유의 기술] 본 연구에서는 CXL 메모리에서 범용 NDP 연산을 효율적으로 할 수 있는 M2NDP기술을 제안하였다. M2NDP는 CXL.mem 프로토콜을 활용해 낮은 지연시간으로 호스트와 NDP 컨트롤러 간의 다양한 통신을 지원하는 Memory-mapped function(M2func) 기술 및 메모리 집약적 연산에 최적화된 효율적 범용 NDP 유닛 아키텍처인 Memory-mapped µthreading(M2µthr)으로 구성되어 있다. M2func는 CXL 컨트롤러에 패킷 필터를 도입하여 미리 지정된 특정 메모리 주소 영역에 대한 접근이 발생했을 때, 주소에 대응되는 미리 지정된 기능을 실행시키는 방식으로, NDP 커널 관리 및 오프로드를 포함한 다양한 통신을 낮은 지연시간으로 지원한다. 이렇게 NDP 커널이 오프로드 된 이후에는 M2µthr아키텍처로 설계된 효율적 범용 NDP 유닛을 통해 커널 연산을 수행한다. 이 아키텍처는 CPU와 GPU 아키텍처의 하이브리드 방식으로 볼 수 있는데, 낮은 하드웨어 비용으로 응용의 메모리 수준 병렬성 활용을 극대화하기 위해 수많은 µthread를 동시에 실행하여 하드웨어 사용률을 높인다. 이로써 메모리 용량을 CXL 기술을 통해 크게 확장하면서 NDP 기술을 통해 데이터 처리를 가속하여 대용량 데이터를 다루는 응용 실행 성능을 크게 향상시킬 수 있다. [연구의 의미] 최근 거대언어모델 등 생성형 AI 기술이 빠르게 발전하면서 언어 모델 자체가 커질 뿐만 아니라 긴 문맥을 지원하면서 대용량 메모리와 높은 대역폭의 중요성이 매우 커졌다. 한편 GPU는 메모리 용량이 매우 작은 것이 치명적인 단점인데, 이에 대한 효과적인 대안이 없어 현재 생성형AI 서비스의 비용을 낮추기 어려운 상황이다. 또한 검색증강생성(RAG) 기술도 CPU 와 GPU에서 효율적으로 지원하기 어렵다는 한계가 있다. 본 연구에서 개발한 기술은 이와 같은 응용을 포함하여, 대용량 데이터를 다루는 다양한 응용을 위해 메모리 확장과 가속을 동시에 실현할 수 있다. 이로써 미래 AI 및 빅데이터 기술의 발전과 확산에 기여할 수 있다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 2024년 11월에 컴퓨터 아키텍처 분야 최우수 국제학술대회인 IEEE/ACM International Symposium on Microarchitecture (MICRO)에서 발표될 예정이다. 본 연구에서 개발된 기술을 바탕으로 데이터센터를 위한 확장성 높은 시스템 구조와 자원 관리 기법을 개발하여 거대언어 모델 서빙을 효율적으로 실현하기 위한 후속 연구를 진행하고 있다. [성과와 관련된 실적] – Hyungkyu Ham*, Jeongmin Hong*, Geonwoo Park, Yunseon Shin, Okkyun Woo, Wonhyuk Yang, Jinhoon Bae, Eunhyeok Park, Hyojin Sung, Euicheol Lim, Gwangsun Kim. “Low-overhead General-purpose Near-Data Processing in CXL Memory Expanders”, To appear in the 57th IEEE/ACM International Symposium on Microarchitecture (MICRO), 2024. – Hyungkyu Ham, Hyunuk Cho, Minjae Kim, Jueon Park, Jeongmin Hong, Hyojin Sung, Eunhyeok Park, Euicheol Lim, Gwangsun Kim. “Near-Data Processing in Memory Expander for DNN Acceleration on GPUs” IEEE Computer Architecture Letters 20.2 (2021): 171-174 – Hyungkyu Ham, Hyunuk Cho, Hyojin Sung, Eunhyeok Park, Gwangsun Kim. Memory expansion device performing near data processing function and accelerator system including the same. 국내 특허 출원(10-2022-0071298), 미국 특허 출원(18/066,158) – Hyungkyu Ham, Hyunuk Cho, Hyojin Sung, Eunhyeok Park, Gwangsun Kim. Host device performing near data processing function and accelerator system including the same. 국내 특허 출원(10-2022-0137080), 미국 특허 출원(18/066,161) – Gwangsun Kim, Hyungkyu Ham, Jeongmin Hong. Controller for memory expansion, memory expander, and data processing method therefor. 국내 특허 출원(10-2024-0028438), PCT 출원 진행중 [성과와 관련된 이미지]

[김동우 교수] Mitigating Oversmoothing Through Reverse Process of GNNs for Heterophilic Graphs

[연구의 필요성] 기존에 제안된 그래프 신경망은 이웃한 정점들끼리 동일한 분류에 속할 가능성이 높은 동종애(homophilic) 그래프에 적용될 때는 높은 성능을 보이지만, 이웃한 노드들끼리 다른 분류에 속할 가능성이 높은 이종친화적(heterophilic) 그래프에서는 낮은 성능을 보인다. 이종친화적인(heterophilic) 특징을 가지는 그래프에서는 멀리 떨어져 있는 정점들과의 관계를 잘 학습하는 것이 중요해 깊은 그래프 신경망을 이용해야 하는데, “oversmoothing” 문제로 인해 신경망을 깊이 쌓기가 어렵기 때문이다. “oversmoothing” 문제란, 그래프 신경망을 깊게 쌓을 수록, 출력되는 각 정점들의 특징값(node representation)이 유사해져서, 서로 구분하기 어려워지는 문제를 가리킨다. Oversmoothing 문제에 대해서 기존 연구는, 그래프 신경망을 통한 정점의 특징값 학습 과정이 열 확산 과정과 본질적으로 동일한 형태를 가지고 있어 피하기 어려운 문제라고 지적하기도 했다. 이러한 문제로 인해, 여전히 그래프 신경망을 통해 이종친화적(heterophilic) 그래프의 정점을 분류하는 것은 어려운 문제이다. [포스텍이 가진 고유의 기술] 본 연구에서는 기존의 그래프 신경망의 역과정을 활용해 이종친화적(heterophilic) 그래프의 정점 분류 성능을 향상시켰다. 긴 쇠막대기의 한쪽 끝을 불에 달구면, 처음에는 반대쪽 끝편은 뜨겁지 않다. 하지만 시간이 지나면 열이 확산되어 반대쪽 끝편도 뜨거워진다. 이처럼, 열은 시간이 지날수록 퍼져나가 평형 상태에 도달한다. 기존의 그래프 신경망을 쌓는 것은 정점의 특징값 정보가 열처럼 다른 정점들로 퍼져나가도록 해서, 깊게 쌓으면 열의 평형상태와 같이 모든 정점의 특징값이 비슷해지도록 만들었다. 역과정을 활용하는 것은, 열이 확산되기 전에 좁은 구역에 집중되어 있어 다른 구역들과 차이가 두드러지는 시점으로 시간을 거슬러 올라가는 것이다. 즉, 본 연구에서 제안한 역과정 그래프 신경망을 쌓으면, 구조망을 통과하는 정점들 사이의 특징값의 차이가 두드러지는 결과물을 출력할 수 있다. [그림1]은 역과정이 가지는 효과를 직관적으로 설명하기 위한 예시이다. 본 연구에서는 기존에 제안된 세 개의 신경구조망 구조, GRAND, GCN, GAT에 대한 역과정을 구현하는 방식을 제안하였다. 구현한 구조를 실제 데이터에 적용한 결과를 시각화하여 나타낸 것이 [그림2]이다. [연구의 의미] 제안된 그래프 신경망의 역과정은 oversmoothing 문제를 완화한다. oversmoothing 문제는 그래프 신경망을 깊게 쌓지 못하게 하여, 표현력을 제한하고 멀리 떨어진 정점과의 관계를 보는 것을 방해하였다. 본 연구에서 제안하는 방법은 oversmoothing 문제를 해결하는 새로운 방법을 제시한다. 또한, 기존에 oversmoothing 문제로 인해 해결이 어렵던 문제 중 하나인 이종친화적(heterophilic) 그래프에서의 정점 분류 문제의 성능을 높였다. [연구결과의 진행 상태 및 향후 계획] 제안된 방법은 이종친화적(heterophilic) 그래프 데이터에서 기존의 방법에 비해 좋은 성능을 보인다. 하지만 역과정을 구현하기 위해서는 기존의 그래프 신경망이 특정 조건을 만족하도록 제한을 두어야 한다. 이것은 그래프 신경망의 표현력을 제한해 성능 향상 폭을 낮출 수 있다. 때문에, 좀 더 낮은 수준의 제한으로 역과정을 구현할 수 있는 방법을 찾아 성능을 더 향상시킬 계획이다. [성과와 관련된 실적] MoonJeong Park, Jaeseung Heo, Dongwoo Kim, “Mitigating Oversmoothing Through Reverse Process of GNNs for Heterophilic Graphs”, 2024 International Conference on Machine Learning (ICML) [성과와 관련된 이미지] [그림1] 주어진 예시는 지뢰찾기 문제로, 격자 그래프 X(0)로부터 모든 지뢰를 찾는 것을 목표로 한다. 각각의 격자는 그래프의 정점을 나타내며, 각 정점은 대각선 방향을 포함한 여덟개의 인접한 정점들과 연결되어 있다. X(0) 상황에서 각 격자마다 주어진 숫자는, 이웃 정점 중 지뢰인 정점의 개수를 나타낸다. 인접행렬 A와 차수행렬 D를 이용하면, X(k+1) = AD-1X(k)과 같이 그림의 순과정을 나타낼 수 있다. 역과정을 통해 얻은 X(-1)에서는, 5보다 큰 값을 가지는 정점을 선택함으로써 지뢰를 100%의 정확도로 찾아낼 수 있지만, 순과정을 통해 얻은 X(1)에서는 지뢰를 찾는 정확도가 50%로 떨어진다. [그림2] 실제 “지뢰찾기” 데이터에서 순과정과 역과정이 일어날 때 각 정점이 가지는 특징값의 변화를 시각화한 이미지이다. 상단의 이미지는 순과정과 역과정 모두를 사용하는, 본 연구에서 제안한 방법을 사용했을 때의 이미지이고, 하단의 이미지는 순과정만을 사용한 기존의 방법론을 사용했을 때의 이미지이다. 처음에 주어진 X(0)에서의 정점 특징값은 순과정이 진행될수록 다른 정정의 특징값들과 비슷해진다. 반면 역과정이 진행되는 경우에는, 정점의 특징값의 차이가 더 두드러진다.

[한욱신 교수] 머신러닝에 기초한 효과적이고 효율적인 JSON 스키마 추론 방법

[연구의 필요성] 웹 API 데이터 교환, 빅데이터 분석 등 현대의 데이터 중심 응용 소프트웨어에서는 JSON 데이터 형식의 사용이 점차 증가하고 있다. JSON 데이터는 스키마 없이 사용 가능한 유연성 덕분에 빠르게 확산되어 사용되고 있지만, 이로 인해 대규모 JSON 데이터의 효율적인 처리가 어려워지고 질의 성능이 저하되는 문제가 발생한다. 따라서, 스키마가 명시되어 있지 않은 JSON 문서들에서 JSON 스키마를 자동으로 추론하는 기술이 절실히 요구된다. [포스텍이 가진 고유의 기술] 본 연구에서 ReCG는 JSON 스키마 추론 문제를 탐색 문제로 정의하고, 머신러닝 기법들을 사용하여 다양한 후보 스키마를 체계적으로 탐색하여 최적의 스키마를 도출한다 (그림 1). 또한, 트리 구조의 JSON 스키마를 위에서부터 아래로 생성하는 기존의 하향식 스키마 생성법의 한계를 지적하며 스키마를 아래에서부터 위로 생성하는 상향식 스키마 생성법을 소개한다. 이를 통해 이전 단계에서 생성된 스키마 정보를 이용하여 보다 정확한 스키마의 후보를 생성할 수 있다. 이러한 접근 방식은 기존 JSON 스키마 추론법의 한계를 극복하고, 더 정확한 JSON 스키마의 추론을 가능하게 한다. ReCG는 기존의 최고 성능 스키마 추론법과 비교하여 46%의 정확도 향상을 보인다 (그림 2). [연구의 의미] ReCG를 활용하면 JSON 문서의 스키마를 자동으로 추론하여 데이터 검증, 질의 최적화, 데이터 이주 등 다양한 작업을 효율적으로 수행할 수 있다. 이 기술은 특히 스키마가 명확하지 않은 대규모 JSON 데이터를 다루는 웹 API 서비스, 빅데이터 분석 등 다양한 분야에서 활용 가능한 유용한 기술이다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 데이터베이스 분야 최고 학술대회인 VLDB 2024에 발표될 예정이다. 향후 계획으로는 ReCG에서 사용되는 매개 변수를 데이터의 특성에 맞춰 자동적으로 결정하는 연구와, 하향식과 상향식 스키마 생성법을 결합한 동적 스키마 생성법에 대해 연구하고자 한다. [성과와 관련된 실적] Yun, J., Tak, B., and Han, W., “ReCG: Bottom-Up JSON Schema Discovery Using a Repetitive Cluster-and-Generalize Framework”, In 50th Int’l Conf. on Very Large Data Bases (VLDB) / Proc. the VLDB Endowment (PVLDB), Aug. 2024 (Corresponding Author) [성과와 관련된 이미지] 그림 1. ReCG가 JSON 문서로부터 JSON 스키마를 찾는 탐색 과정에 대한 시각화. 상태(네모 모양)가 전이됨에 따라 스키마 노드들이 아래에서부터 위쪽으로 생성되는 상향식 스키마 생성법을 채택한다. 그림 2. ReCG의 성능 평가. ReCG는 기존에 최고 성능을 보이던 알고리즘인 Jxplain과 비교하여 46%의 F1 점수의 향상을 보인다.

[황인석 교수] LLM 및 홈IoT 기반의 어린이 언어 발달을 위한 개인 맞춤형 학습 목표 추출 및 동화책 생성 시스템

[연구의 필요성] 아동은 각자 다른 환경에서 자라난다. 자라면서 접하고 학습하는 어휘 또한 개별 아동마다 다를 수밖에 없다. 그러나 지금까지의 어휘 평가 및 중재는 표준적이고 정형화된 도구에만 의존하였다. 즉, 정해진 어휘 목록 중 아동이 얼마나 많은 어휘를 아느냐를 통해 아동의 어휘 능력을 평가하였고, 기성 동화책과 장난감을 이용하여 아동에게 필요한 어휘를 중재하였다. 점점 강조되는 다양성과 개인화의 물결 속에서 개별 아동이 알아야 하는 맞춤형 어휘를 뽑아내고 이를 효과적으로 전달할 수 있는 맞춤형 중재 도구에 대한 필요성이 대두되는 가운데, 본 연구진은 이를 학제간 융합적 문제로 정의하고 그 기술적 가능성을 탐구하였다. [포스텍이 가진 고유의 기술] 본 연구진은 이화여대 언어병리학과 연구진과의 협업을 통해 (1) 홈 IoT 기기를 통한 개별 아동의 일상 언어 환경에 대한 프로파일링, (2) 언어병리학적 이론에 입각한 개인 맞춤형 학습 목표 어휘 추출 알고리즘, (3) 거대언어모델과 생성형 인공지능을 통해 해당 어휘를 자연스럽게 맥락에 녹여내어 아동에게 전달할 수 있는 개인 맞춤형 동화책의 생성, (4) 그리고 아동의 어휘 발달과 언어환경 변화에 따라 지속적으로 어휘 추출 및 동화책 생성 과정을 갱신하는 전주기적 시스템, 일명 OSOS를 개발하였다. 언어병리학적 이론과 실제 전문가들의 경험적인 노하우를 시스템에 반영하였고, 개별 아동의 필요에 따라서 어휘 선정 기준을 다양하게 변경할 수 있도록 하여 개인화의 가능성을 높였다. [연구의 의미] 본 연구는 아동의 어휘 평가와 중재에 대한 개인화의 필요성을 포착하고, 이를 시스템을 통해 구현해낸 최초의 연구이다. 아동의 언어 환경에 대한 프로파일링 결과, 가정별로 상이한 언어환경 및 이에 따른 어휘 학습 기준의 개인화 필요성을 확인하였으며, 본 연구진이 개발한 OSOS 시스템을 이용해 생성해낸 동화책을 통하여 아동이 목표 어휘를 일상속에서 자연스럽고 효과적으로 습득하는 것을 확인할 수 있었다. 이는 앞으로 거대언어모델, 생성형 인공지능, 동화책 등의 일상 미디어를 이용한 아동 언어 학습의 개인화에 대한 더 넓은 확장의 가능성을 내포한다. [연구결과의 진행 상태 및 향후 계획] 본 연구진은 앞으로도 이처럼 생성형 인공지능을 이용하여 아동의 어휘 발달을 돕는 시스템을 개발해나갈 예정이다. 아동언어전문가들과 협업하며 언어병리학적 원리에 근거하여 텍스트와 이미지를 개별 아동 맞춤형으로 변형하여 생성해냄으로써 개인화된 보조가 가능하도록 돕는 연구를 지속적으로 수행해나가려고 한다. [성과와 관련된 실적] – 국제 학술대회 논문: Jungeun Lee, Suwon Yoon, Kyoosik Lee, Eunae Jeong, Jae-Eun Cho, Wonjeong Park, Dongsun Yim, Inseok Hwang. “Open Sesame? Open Salami! Personalizing Vocabulary Assessment-Intervention for Children via Pervasive Profiling and Bespoke Storybook Generation” ACM CHI 2024. – 본 논문은 CHI’24 학회에서 Honorable Mention (Top 5%) 상을 수상하였음. 논문 : https://doi.org/10.1145/3613904.3642580 비디오 : https://youtu.be/AhVR0ZQHm4Q?si=Uy0ySvDSrsECoCZK [성과와 관련된 이미지] 그림 1. 시스템의 전반적인 동작 과정을 나타내는 그림 그림 2. 시스템을 이용하여 제작한 예시 동화책

[최승문 교수] 컨트롤러 손잡이의 물성에 따른 물체의 인지되는 길이 증강

[연구의 필요성] 현재 상용 VR 컨트롤러는 가상환경에서 제공되는 물체의 형태의 크기와 상관없이 항상 똑같은 형태를 가지고 있어, 상호작용 시 시–촉각 불일치가 발생하고 몰입감 있는 환경을 만들기 어렵다. 이를 개선하기 위해 많은 연구자들이 실제로 물체의 형태가 변화하는 형상 변형 컨트롤러가 개발하였고, 현재 이에 이용할 수 있는 형상 인지에 대한 실험을 많이 진행하고 있다. 그 결과로, VR환경에서 컨트롤러를 쥐고 상호작용할 때, 1) 손잡이 부분의 정보와 2) 물체가 지닌 관성텐서 성분을 통해 컨트롤러의 형태정보를 얻을 수 있다고 한다. 그러나 현재까지 형상인지에 대한 관성텐서의 연구는 많이 진행되어왔으나, 손잡이 정보에 따른 형상 인지에 대한 연구는 이루어지지 않았다. 이에 본 연구에서는 컨트롤러의 손잡이가 형상 인지에 주는 영향에 대해 조사하였다. [포스텍이 가진 고유의 기술] 인간이 물체를 손에 쥐고 시각 정보를 차단한 채, 물체를 들고, 흔들고, 비꼬는 등의 형태를 통해 물체의 형상에 대한 정보를 얻어내는 것을 역동적 접촉 (Dynamic touch)를 통한 정보 획득이라고 한다. 많은 연구자들이 역동적 접촉을 할 때, 물체가 지닌 관성텐서(관성 모먼트와 관성곱)가 형상인지에 큰 영향을 준다는 것을 알아냈고, 이를 이용한 형상인지에 대한 다수의 연구가 진행되어왔다. 그러나, 직접적으로 손과 접촉된 손잡이의 성질이 형상 인지에 주는 영향을 본 연구는 거의 존재하지 않는다. 이에 본 연구에서는 실제로 접촉한 손잡이의 물성이 달라질 경우 사람이 어떠한 방식으로 물체의 형상을 인지하는지 확인하였다. 그 결과, 첫번째로 손잡이 부분이 강성이 작아져, 즉 말랑말랑해질 경우, 사람은 물체를 더 길다고 인식하였다. 두번째로, 손잡이의 열 전도율이 증가할 경우 물체를 더욱 짧다고 인식하였으며, 마지막으로 물체 손잡이의 질감(텍스쳐) 역시 인지되는 길이를 증가시키거나 감소시키는 중요한 역할을 한다는 것을 알게 되었다. 이처럼 손잡이의 물성에 따라 물체의 인지되는 길이 변화에 대한 연구는 아직까지 진행된 바 없으며, 이는 포스텍만이 가진 고유 기술이라고 할 수 있다. [연구의 의미] 손잡이의 성질이 상호작용하는 물체의 길이 인지에 영향을 줄 수 있다는 최초의 논문으로 연구적 의미가 크다고 할 수 있다. 더 나아가, 본 연구에서 도출한 손잡이의 물성 변화가 주는 컨트롤러의 길이 인지변화의 결과를 이용하여 동적으로 손잡이 물성을 변화시킬 수 있는 장치를 개발하여 인지되는 물체의 길이를 변화시키는 등의 다이나믹한 가상환경을 만들어 낼 수 있다. [연구결과의 진행 상태 및 향후 계획] 현재 연구는 손잡이 물성의 상호작용하는 물체의 인지적인 길이에의 영향에만 초점을 맞춰 연구를 진행했다. 더 나아가 실제로 물성을 동적으로 변화시킬 수 있는 컨트롤러를 만들어, 가상환경에서 다양한 효과를 연출하고, 사람들의 사용자 경험을 증진시키고자 한다. [성과와 관련된 실적] 국제 학술대회 논문: Chaeyong Park and Seungmoon Choi. Augmenting Perceived Length of Handheld Controllers: Effects of Object Handle Properties. In Proceedings of the ACM conference on Human Factors in Computing Systems (Honolulu, HI, USA, May 11-16, 2024). CHI ’24. ACM. [성과와 관련된 이미지] [그림 1] 본 연구의 개념도. 가상환경에서 사용자가 물체를 손에 쥐고 상호작용할 때, 손잡이의 부드러움, 열전도율, 질감이 물체의 인지적인 길이에 영향을 준다.

[최승문 교수] 다감각 콘텐츠를 위한 전신 시청각-햅틱 동시성 지각

[연구의 필요성] 햅틱 효과는 미디어 콘텐츠 경험 향상에 효과적인 수단이다. 사용자 대다수가 기록된 로그가 아닌 온라인 스트리밍을 통해 미디어 콘텐츠를 경험하기 때문에 햅틱 피드백의 원활한 실시간 전달을 보장하는 것이 사용자에게 중요하다. 햅틱 효과는 콘텐츠 시청각 정보를 기반으로 생성되므로 시청각 자극보다 뒤늦게 나오게 된다. 실시간 전달을 보장하기 위해서는 사람이 알아챌 수 없는 시간 지연 조사가 필요하다. [포스텍이 가진 고유의 기술] 본 연구는 다양한 신체 부위에 대한, 미디어 콘텐츠를 활용한 시간적 지각 연구이다. 이전 연구와 달리 미디어 콘텐츠 활용에 적합하게 시각-햅틱, 청각-햅틱 간이 아닌 시청각-햅틱 간의 시간 지연 지각을 조사했으며, LED, 사인파 소리 등 기본 자극이 아닌 자극 복잡도가 높은 미디어 콘텐츠 클립을 사용하였다. 본 연구는 실시간 햅틱 생성 연구에 바로 사용 가능하며, 다른 특징의 미디어 콘텐츠 사용으로 적용이 어려울 경우에도 신체 부위에 대한 경향성은 참조 가능하다. [연구의 의미] 본 연구는 전신 햅틱의 중요성에도 불구 다양한 신체 부위에 대한 첫 시간적 지각 연구이다. 실험 결과 몸통-손-발 순으로 머리에서 멀어질수록 시간 지연 역치 값이 유의하게 작아지는 패턴을 관찰했다. 반면 시간 지연 전체 범위는 신체 부위간 유사했으며 차이는 유의하지 않았다. 이전 연구 대비 복잡도가 높은 자극 사용은 낮은 민감도의 시간 지연 지각을 야기했으며, 역치 값 증가로 이어졌다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 다감각 콘텐츠를 위한 다양한 요소들 중 전신 햅틱의 사용을 우선으로 조사했다. 본 결과는 다양한 콘텐츠 종류, 참여자 집단 등으로 확장될 필요가 있다. 또한 햅틱 효과 설계자를 위해 주파수, 파형 포락선, 펄스 수 등 다양한 햅틱 파라미터의 영향성을 확인할 필요가 있다. [성과와 관련된 실적] 국제 학회 논문: Lee, J., Yun, G., & Choi, S. (2024). Audiovisual-Haptic Simultaneity Perception Across the Body for Multisensory Applications. [성과와 관련된 이미지] 그림 1. 세 신체 부위에 대한 동시성 판단(A)-(C) 및 허용 정도(D)의 회귀 곡선. 음영 처리된 영역은 여러 참여자 응답에 대한 파라미터의 95% CI 내의 곡선을 나타낸다. 동일한 문자로 그룹화된 막대는 Tukey 테스트에서 큰 차이를 나타내지 않았음을 나타낸다.