[이근배 교수] Optimizing Two-Pass Cross-Lingual Transfer Learning: Phoneme Recognition and Phoneme to Grapheme Translation

[연구의 필요성] 세계에는 수 많은 언어가 있지만, 대부분의 언어 기술 개발은 소수의 널리 사용되는 언어에 집중되어 있습니다. 저자원 언어 (low resource languages) 연구는 모든 언어 사용자에게 언어 기술의 혜택을 제공하는 것을 목표로 합니다. 저자원 언어에서의 음성인식 성능을 향상시키기 위해서 음성 데이터외의 텍스트 데이터를 활용할 수 있는 방법과 언어간 정보 교환 방법을 제시합니다. 또한 저자원 언어를 지원하는 기술을 개발함으로써, 보건, 교육, 법률 지원 등과 같은 다양한 자연어처리 서비스를 사용자의 모국어로 제공할 수 있습니다. [연구의 의미] 이 연구는 음성 인식(ASR)과 같은 언어 기술을 저자원 언어로 확장하는 데 중요한 기여를 합니다. 사용자의 발화를 음성기호를 먼저 인식한 후, 기계 번역 기술을 활용하여 언어별 텍스트로 변환하는 방법을 채택하여 언어간 음성의 특성을 더욱 잘 공유할 수 있습니다. 음성기호를 언어별 텍스트로 번역하는 과정에 다량의 텍스트 데이터를 활용하여 사전학습을 진행할 수 습니다. 또한 이러한 음성인식 과정을 최적화 할 수 있는 다양한 방법론을 제시합니다. 이를 통해 널리 사용되지 않는 언어들도 기술의 혜택을 받을 수 있게 됩니다. [연구결과의 진행 상태 및 향후 계획] 10개 국어의 음성인식을 지원하는 현 연구를 바탕으로 추가적인 데이터 확보 및 활용을 통해 인식 가능한 언어의 수를 늘리며 동시에 언어 간의 정보 공유를 극대화하여 기존 언어에서의 음성인식 성능 또한 향상시킬 계획입니다. [성과와 관련된 실적] Accepted, IEEE Workshop on Automatic Speech Recognition and Understanding, 2023 [성과와 관련된 이미지]

[박찬익 교수] A Novel Cross-Shard Protocol for Hierarchical State Sharding Blockchain

[연구의 필요성] 블록체인 기반 서비스 확산을 위해서는 블록체인 성능 확장성을 높이는 것이 중요하다. 본 연구는 5/6세대 통신에서 구현되는 에지 컴퓨팅 특성을 활용하여 블록체인 성능 확장성을 높이는 것을 목표로 한다. 구체적으로, 에지 컴퓨팅은 계층성을 가지며 이는 상위 레벨의 대규모 클라우드 서버들과 하위 레벨의 소규모 에지 서버들로 구성되며, 각 레벨은 물리적 위치 기반의 샤딩 존으로 분할된다. 사용자들은 같은 존의 다른 사용자들과 대부분의 거래를 수행하며, 일부 사용자들은 다른 존으로 이동하여 새로운 존에서 거래를 수행할 수 있다. 따라서, 사용자 이동성을 적절히 다루지 않으면, 크로스 샤드 트랜잭션이 지속적으로 증가하므로 오버헤드가 커진다. [포스텍이 가진 고유의 기술] 위와 같은 에지 컴퓨팅의 특성을 고려하여, 개별 샤드를 처리하는 로컬 체인과 크로스 샤드를 처리하는 메인체인으로 구성된 새로운 계층적 블록체인 플랫폼을 제안하였다. 상위 메인체인에서의 합의 과정을 통해 효과적으로 크로스 샤드 트랜잭션 처리를 지원하며, 또한 사용자 이동성을 고려하는 동적 지역성 프로토콜을 지원한다. 기존 블록체인 트랜잭션 처리 구조인 실행-정렬-검증 (Execute-Order-Validate, XOV) 모델을 계층적 샤딩 환경에 맞춘 정렬-실행-정렬-검증 (Order-Execution-Order-Validation) 모델을 제안하여 실효성을 평가하였다. [연구의 의미] 최근 5/6세대 이동통신 (5G/6G) 네트워크 기술이 등장함에 따라, 그 근간이 되는 에지 컴퓨팅의 중요성이 날로 커지고 있다. 에지 컴퓨팅의 주요 서비스로는 사물 인터넷, 스마트 시티, 스마트 공장, 자율 주행 자동차, 자전거 및 차량 공유 서비스와 같은 긱 이코노미 (Gig economy), 하이퍼 로컬 서비스 등의 다양한 시나리오들을 포함한다. 하지만, 에지 컴퓨팅 환경상에서의 블록체인 연구는 에지 컴퓨팅 자원 할당/분배 등 자원 관리 측면에서 블록체인 기법을 적용하는 방향이 대부분이며, 블록체인 성능 확장성 해결을 위해 에지 컴퓨팅 환경을 직접적으로 활용하는 연구는 매우 초기 단계이다. 따라서, 본 연구는 이러한 방향으로의 초기 연구로써 높은 잠재성을 갖는다고 판단하며, 우리나라가 세계 최초로 상용화에 성공한 5세대 통신 뿐 아니라 향후 6세대 통신까지 글로벌 서비스 경쟁력을 확보하는 의미를 가진다. [연구결과의 진행 상태 및 향후 계획] 현재 연구의 초기 버전은 개발 및 평가가 완료되었으며 연구 신뢰성을 위해 국제 논문을 작성하여 피어 리뷰를 받고, 향후 실제 에지컴퓨팅 환경에 사용 가능한 플랫폼화 작업을 진행 중이다. [성과와 관련된 실적] 1. A Novel Cross-Shard Protocol for Hierarchical State Sharding Blockchain, Yongrae Jo, Chanik Park, The 29th ACM Symposium on Operating System Principles, Poster Presentation, October 23 – October 26, 2023, Koblenz 2. A Blockchain Sharding Protocol supporting Dynamic Locality in Mobile Edge Computing, Yongrae Jo, Chanik Park, the 13th International Conference on ICT Convergence (ICTC 2022), October 19 – October 21, 2022, Jeju 3. 에지 컴퓨팅을 위한 계층적 블록체인에서의 통합 실행 모델, 조용래, 박찬익, 2023 한국컴퓨터종합학술대회 4. MEC-Chain : 동적 지역성을 지원하는 고성능 블록체인, 조용래, 박찬익, 2022 한국컴퓨터종합학술대회 [성과와 관련된 이미지]

[김광선 교수] Bandwidth-Effective DRAM Cache for GPUs with Storage-Class Memory

[연구의 필요성] 다양한 응용에서 다루는 데이터의 크기가 빠르게 증가함에 따라, 이를 가속하는 GPU의 메모리 용량 부족 문제가 점차 심화되고 있다. 현재 고성능 GPU에 사용되는 High-Bandwidth Memory(HBM)는 최신 딥러닝 모델 및 대규모 그래프 분석 등에서 요구하는 메모리 용량을 제공하지 못한다. 이로 인한 GPU 메모리 용량 초과(oversubscription) 문제는 CPU와 GPU 간의 반복적인 데이터 이동과 이로 인한 성능 저하를 유발한다. GPU 메모리 oversubscription을 피하기 위해 여러 GPU를 사용하거나 더 많은 메모리 장치를 가진 더 큰 GPU를 만들 수 있지만, 이는 GPU의 비용을 초선형으로 증가하게 만든다. 한편, 최근에 Storage-Class Memory (SCM)가 DRAM의 용량 제한 문제를 해결할 수 있는 잠재적인 해결책으로 주목받고 있다. 하지만 SCM으로 GPU의 DRAM을 완전히 대체하는 것은 높은 지연시간과 에너지 소비, 낮은 대역폭, 제한적인 내구성 때문에 문제가 된다. 이를 완화하기 위해 SCM과 DRAM 캐시를 함께 사용하는 것이 해결책이 될 수 있으나, 기존 DRAM 캐시 연구는 지연시간에 민감한 CPU 환경에 초점을 맞추었으며, GPU 워크로드와 SCM의 특성을 종합적으로 고려하지 않아 GPU 메모리 시스템에서 그대로 이용하기 적합하지 않다. 따라서, 본 연구는 GPU를 위해 SCM과 DRAM 캐시를 함께 사용하는 메모리 시스템을 설계하여 GPU 메모리 용량 제한을 비용 효율적으로 극복하는 방안을 제시한다. [포스텍이 가진 고유의 기술] 본 연구에서는 SCM으로 인한 성능 하락을 최소화하기 위해 SCM의 장치 특성과 GPU의 메모리 접근 패턴을 종합적으로 고려한 Score metric를 새롭게 정의하고 이를 기반으로 ‘GPU를 위한 SCM 인지 DRAM 캐시 우회 정책’을 제안했다. 또한 DRAM 캐시 태그 접근으로 인한 오버헤드를 최소화하며 유효 DRAM 대역폭을 증가시키기 위해 L2 캐시의 일부를 DRAM 캐시 라인 태그를 저장하는 용도로 사용하는 Configurable Tag Cache (CTC)를 제안했다. CTC miss로 인한 DRAM 캐시 태그 접근 오버헤드 또한 줄이기 위해 모든 DRAM 캐시 라인 태그 및 메타데이터를 각 DRAM 행 내 하나의 열에 공동 배치하는 Aggregated Metadata-In-Last-column (AMIL) DRAM cache 구조를 제안했다. 이 구조는 기존 Tag-And-Data (TAD) 방식의 DRAM 캐시 구조가 ECC 보호 기능을 유지하지 못하는 문제를 극복하기도 한다. [연구의 의미] 본 연구는 세계 최초로 GPU 워크로드를 고려한 효율적인 DRAM cache와 SCM 통합 메모리 시스템을 설계했다. 이는 GPU의 메모리 용량을 크게 증가시켜 메모리 oversubscription으로 인한 성능 저하를 해결한다. 또한, 본 연구는 SCM이 CPU 환경에 비해 GPU 환경에는 적합하지 않다는 인식을 깨고, GPU 시스템에서도 SCM의 성능 영향을 최소화하여 사용할 수 있음을 보였다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 2024년 컴퓨터 아키텍처 분야 최우수 국제학술대회인 IEEE International Symposium on High-Performance Computer Architecture (HPCA)에서 발표될 예정이다. 향후 대용량 메모리를 요구하는 초거대 AI를 위한 GPU기반 학습 및 추론 시스템에 HMS를 이용하여 성능을 높이고 비용을 낮추는 연구를 계획중이다. [성과와 관련된 실적] a. Jeongmin Hong, Sungjun Cho, Geonwoo Park, Wonhyuk Yang, Young-Ho Gong, and Gwangsun Kim, “Bandwidth-Effective DRAM Cache for GPUs with Storage-Class Memory”, HPCA’24 (Accepted) b. Jeongmin Hong, Sungjun Cho, and Gwangsun Kim. “Overcoming Memory Capacity Wall of GPUs With Heterogeneous Memory Stack.” IEEE Computer Architecture Letters 21.2 (2022): 61-64 c. 김광선, 조성준, 홍정민. 하이브리드 메모리 장치 및 그 관리 방법. 국내 특허 출원 (출원번호: 10-2022-0172820). [성과와 관련된 이미지]

[김동우 교수] Hyperbolic VAE via Latent Gaussian Distributions

[연구의 필요성] 주어진 데이터의 표상(representation)을 학습할 때, 데이터들에 내재되어 있는 계층 구조를 표상에 투영하면은 여러 과제(task)들에서 많은 도움을 줄 수 있다. 하지만 클래스 정보와 같은 외부 정보 없이 이런 계층적 표상(hierarchical representation)을 학습하는 것은 일반적으로 어렵다. 쌍곡선 변분 오토인코더(hyperbolic variational auto-encoder)는 변분 오토인코더의 잠재 공간(latent space)을 쌍곡선 공간(hyperbolic space)으로 바꿈으로써 비지도 학습(unsupervised learning)으로 계층적 표상을 학습할 수 있는 방법 중의 하나이다. 기존 연구들에서 쌍곡선 변분 오토인코더가 계층적 표상을 잘 학습하는 것을 보여주었지만, 학습 안정성의 문제로 작은 이미지와 같은 간단한 데이터들에 실험환경이 한정되어 있다는 것이 문제이다. 쌍곡선 변분 오토인코더의 학습 안정성을 높여 좀 더 다양한 종류의 데이터들에서도 계층적 표상 학습을 가능케 하는 것이 본 연구의 목적이다. [포스텍이 가진 고유의 기술] 쌍곡선 변분 오토인코더에서 중요하고 학습 안정성에 영향을 미치는 부분은 쌍곡선 분포(hyperbolic distribution)이다. 이번 연구에서는 일변수 가우시안 분포(univariate Gaussian distribution)들의 기하(geometry)가 쌍곡선 공간이 되는 것에서 착안하여, 일변수 가우시안 분포들 사이의 쿨백-라이블러 발산(Kullback-Leibler divergence)을 이용하여 새로운 쌍곡선 분포를 제안한다. 그리고 계산을 통해 새로 제안한 분포가 정규 분포(Normal distribution)와 감마 분포(Gamma distribution)라는 안정적이라고 알려진 두 분포의 곱이 됨을 보인다. 실제로 모델 기반 강화학습(model-based reinforcement learning)을 통해 게임을 푸는 복잡한 과제에서 기존의 쌍곡선 분포들은 학습에 실패한 반면, 우리가 제안한 쌍곡선 분포는 안정적으로 잘 학습하고 기존의 기술들과 동등한 성능을 내는 것을 실험적으로 보여줬다. [연구의 의미] 본 연구에서는 안정적으로 학습할 수 있고 기존의 방법론들보다 성능도 뛰어난 쌍곡선 변분 오토인코더를 제안하였다. 안정적이고 성능이 뛰어난 쌍곡선 변분 오토인코더를 제안함으로써 계층적 표상 학습의 영역을 기존보다 훨씬 복잡한 데이터들까지 확장할 수 있다는 것이 이번 연구의 의미라고 생각한다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 기계 학습 최우수 학회 중 하나인 NeurIPS 2023에서 포스터 발표를 할 예정이다. 현재 고해상도의 이미지나 로봇 시뮬레이션과 같은 복잡한 데이터들을 보유하고 있는 과제들에서 우리의 기술을 검증해보고 있는 중이다. [성과와 관련된 실적] Seunghyuk Cho, Juyong Lee, and Dongwoo Kim, “Hyperbolic VAE via Latent Gaussian Distributions”, Advances in Neural Information Processing Systems, 2023 [성과와 관련된 이미지]

[최승문 교수] 4D 경험 향상을 위한 카메라와 물체 모션 효과 병합

[연구의 필요성] 기존의 시청각 자료와 함께 추가적인 감각들을 제공하는 4D 경험의 관심이 증가함에 따라 4D 효과의 자동 저작이 연구되고 있다. 모션 효과는 4D 효과 중 의자를 움직여 가속, 회전, 기울임 등의 운동감각을 자극하는 효과들로 이 역시 자동화 연구가 진행되고 있다. 이로 인해 모션 효과의 종류가 정립되고, 특정한 종류의 모션 효과를 자동으로 저작하는 기술들이 개발되었으나 아직까지 그 결과물은 단일 종류의 모션 효과에 머물러 표현력에 한계를 가진다. 이에 본 연구에서는 자동으로 카메라와 물체 모션 효과를 병합하여 더욱 풍부한 모션 효과를 생성하는 알고리즘을 제시하며, 사용자 평가를 통해 이가 4D 경험 향상에 미치는 영향을 분석한다. [포스텍이 가진 고유의 기술] 본 연구에서는 기존의 단일 클래스의 정보만을 반영하는 모션 효과 자동 저작 기술을 보완하고자 자동으로 카메라와 물체 기반의 모션 효과를 병합하는 알고리즘을 제시하였으며, 사용자 실험 결과 해당 알고리즘의 결과물은 더욱 풍부한 움직임으로 기존의 방법들과는 차별화되는 4D 경험을 제공하였다. 카메라와 물체 모션 효과 사이의 자동 병합은 본 연구가 처음으로 이는 포스텍만이 가진 고유한 기술이다. [연구의 의미] 본 연구는 처음으로 카메라와 물체 모션 효과 사이의 자동 병합 알고리즘을 제시한 논문으로, 사용자 평가를 통해 4D 경험 향상에 있어 병합 모션 효과의 효용성을 보여주었다. 본 논문의 결과와 발견은 4D 경험에서의 모션 효과에 대한 이해를 확장하며, 기존의 단일 종류 모션 효과들을 효과적으로 병합함으로써 자동 저작된 모션 효과의 표현력을 한 단계를 끌어올리는 데 기여한다. [연구결과의 진행 상태 및 향후 계획] 본 연구에서는 모션 효과의 속도만을 이용하여 가중치를 조절하였을 뿐 영상 속 물체나 배경의 색, 크기 속도 등이 정밀히 고려되지 않았다. 병합 과정에 해당 변수들을 추가한다면 더욱 정밀한 가중치 알고리즘을 도출할 수 있을 것이다. 또한 현재는 카메라와 물체 2가지의 종류의 모션 효과만을 고려하고 있지만, 소리, 맥락 등 다른 종류의 모션 효과를 추가하여 모션 효과 사이의 상호작용을 파악하고 일반화된 병합 알고리즘을 찾는 것 역시 중요한 연구가 될 것이다. [성과와 관련된 실적] 국제 저널 논문: Park, J., Han, S., & Choi, S. (2023). Merging Camera and Object Haptic Motion Effects for Improved 4D Experiences. 2023 IEEE International Symposium on Mixed and Augmented Reality (ISMAR’23). [성과와 관련된 이미지]

[이근배 교수] EXPLORING THE VIABILITY OF SYNTHETIC AUDIO DATA FOR AUDIO-BASED DIALOGUE STATE TRACKING

[연구의 필요성] 해당 연구는 목적 지향형 대화 시스템에서 사용자와 시스템 간 대화로부터 관련 정보를 추출하는 중요한 역할을 하는 ‘대화 상태 추적’ (Dialogue State Tracking, DST)에 대한 필요성을 다룹니다. 그러나 이전 연구는 주로 텍스트 기반 자료에 한정되어 있었으며, 이는 실제 인간 음성 데이터의 부족 때문이었습니다. 그러나 아이폰의 SIRI나 삼성의 빅스비처럼, 많은 대화 인터페이스가 음성을 통해 이루어 진다는 점을 통해서, 대화 상태 추적의 연구가 음성 신호를 이용하는 것으로 확장 될 필요성이 있었습니다. [연구의 의미] 이 연구는 실제 사람의 목소리가 부족한 환경에서 합성 음성 데이터가 이를 대체 할 수 있는지 활용 가능성을 탐구합니다. 우리는 합성 음성 데이터를 사용하여 대화 상태 추적 모델을 개발하고, 이를 cascading (단계적) 및 end-to-end (E2E) 모델로 훈련시킵니다. 그리고 이러한 모델을 실제 인간 음성 데이터에서 테스트하여 신뢰성을 검증하였습니다. 또한 연구를 통해 음성 모드에 맞는 종합적인 평가를 수행할 수 있도록 ‘PhonemeF1 지표’를 소개하였습니다. 연구 결과 합성 데이터를 사용해도 실제 사람의 목소리에 적용할 수 있는 가능성을 보여주는 결과를 얻었습니다. (아래 표) [연구결과의 진행 상태 및 향후 계획] 해당 연구에서 생성된 데이터와 베이스라인 모델을 인터넷에 공개하여, 많은 연구자들이 사용할 수 있도록 하였습니다. [성과와 관련된 실적] Jihyun Lee, Yejin Jeon, Wonjun Lee, Yunsu Kim, Gary Geunbae Lee. “EXPLORING THE VIABILITY OF SYNTHETIC AUDIO DATA FOR AUDIO-BASED DIALOGUE STATE TRACKING” ASRU 2023 accept. [성과와 관련된 이미지]

[서영주/황인석 교수] ProxiFit: Magnetic Sensing Using a Single Commodity Mobile toward Holistic Weight Exercise Monitoring

[연구의 필요성] 많은 사람이 일상적으로 운동하지만 매일 어떤 운동을 했는지, 또 몇 번 했는지 등을 하나하나 기록하는 것은 매우 번거롭다. 따라서 이를 보조하기 위한 웨어러블, 모바일 기기 기반의 운동 추적 연구가 많이 진행된 바 있다. 상업적으로도 운동 추적 기기 시장은 빠르게 성장해, 전세계적으로 2020년 363억달러에서 2028년 1143억 달러로 3배 이상 시장 성장이 예상된다.[1] 그러나 지금까지 연구는 대부분 기기를 착용한 신체 부위가 운동할 때 함께 움직인다고 가정하고 가속도계로 운동을 추적했다. 웨어러블 기기는 보통 손목과 같은 상체에 착용한다는 점을 고려하면 이러한 방식으로 하체운동은 추적이 어렵다. 이외 다른 방식으로 운동을 추적하는 연구도 있지만, 웨어러블 기기를 부자연스러운 위치에 착용해야 하거나 운동기구를 개조해야 하는 등 실용성이 떨어졌다. 따라서 본 연구에서는 내장된 지자계를 활용해 하나의 모바일 기기만으로 상 · 하체 운동을 모두 추적하는 시스템을 개발했다. [포스텍이 가진 고유의 기술] ProxiFit은 운동 기구가 대부분 철로 이루어져 있다는 사실에 착안해 지자계 기반의 운동 추적 시스템을 구현했다. 운동기구에 포함된 철의 움직임을 지자계로 파악하기 때문에, 상체에 스마트워치 등 사용자의 모바일 기기를 하나만 착용하더라도 하체운동까지 추적할 수 있다. 하나의 상용 기기만 필요한 기존 시스템은 대부분 가속도계만 사용하기 때문에 상체운동만 지원하며, 이에 반해 ProxiFit은 전반적으로 하체운동까지 넓게 지원하는 최초의 운동 추적 시스템이다. 또한 기기를 몸에 착용하지 않아도 되므로 아예 기기를 눈앞에 거치한 채로 운동을 추적할 수도 있다. 이러면 동영상 등 화면을 보면서 운동하려는 사람 또한 ProxiFit으로 기기를 거치한 채 운동을 추적할 수 있기 때문에 굉장히 실용적이며 실생활에 널리 사용할 수 있다. [연구의 의미] ProxiFit은 운동을 하고 있는지 여부를 감지하는 것부터 어떤 운동을 하고 있는지, 그리고 몇 번 동작을 반복했는지 세는 것까지 총체적인 운동 과정을 추적할 수 있다. ProxiFit이 지원하는 운동 종류는 다양한데, 모바일 기기 하나만으로 레그 프레스, 레그 컬, 힙 어브덕션 등 다양한 기구운동은 물론이고 덤벨 컬, 덤벨 킥백 등 프리웨이트 운동까지 추적할 수 있다. 이전에는 이렇게 폭넓은 운동을 지원하려면 추가적인 센서를 신체에 부착하거나 운동 기구 자체를 개조해야 했던 것과 달리, 하나의 COTS (Commercial Off-The-Shelf) 기기만으로 기구 개조 없이 다양한 운동 추적이 가능한 ProxiFit은 훨씬 뛰어난 실용성을 바탕으로 실생활에 바로 적용할 수 있다. 또, 주변 운동기구로 인한 간섭, 기기 위치 등 실생활에서 발생할 수 있는 다양한 조건에서도 시스템 안정성을 보였다. [연구결과의 진행 상태 및 향후 계획] 본 연구에서는 모바일 기기 내장 센서만으로 전반적인 운동을 추적할 수 있는 시스템을 개발했다. 앞으로도 이처럼 일상에서 사용하는 스마트 기기와 내장 센서를 활용해 추가 부담 없이 다양한 생활에 도움을 주는 시스템에 대한 연구를 지속하려고 한다. 시연 영상 : https://www.youtube.com/watch?v=inHF2pkdGJc [성과와 관련된 실적] 국제 학술대회 논문: Jiha Kim, Younho Nam, Jungeun Lee, Young-Joo Suh, Inseok Hwang. “ProxiFit: Proximity Magnetic Sensing Using a Single Commodity Mobile toward Holistic Weight Exercise Monitoring,” ACM UbiComp 2023. (Also Published in ACM IMWUT (Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies)). [성과와 관련된 이미지] 그림 1. ProxiFit이 추적할 수 있는 다양한 운동의 예시 그림. 왼쪽부터 레그 컬, 체스트 프레스, 덤벨 킥백, 덤벨 컬과, ProxiFit 시스템 사용 예 그림 2. ProxiFit 시스템의 구조도. 그림 3. ProxiFit 시스템이 달성하는 운동 분류에 대한 정확도.

[곽수하 교수] HIER: Metric Learning Beyond Class Labels via Hierarchical Regularization

[연구의 필요성] 척도 학습 (Metric learning)은 데이터 간의 유사성을 반영하는 임베딩 공간을 학습하는 방법론으로서 이미지 검색, 얼굴 인증, 사람 식별 시스템 등에서의 핵심 기술로 사용된다. 기존 척도 학습 방법들은 데이터의 클래스 동등성에 기반하여 학습된다. 그러나 클래스 정보는 데이터의 의미론적 유사성을 완전하게 반영하지 못한다는 한계가 있다. 예를 들어, 강아지와 고양이는 서로 다른 클래스이지만, 둘 다 포유류의 하위 클래스이다. 이러한 데이터의 잠재적인 의미론적 계층 구조를 고려하지 못하면, 학습된 임베딩 공간은 데이터의 실제 유사성을 제대로 반영하지 못하게 되나, 현재까지는 이러한 계층 구조를 고려할 수 있는 척도 학습에 대한 연구가 부족한 상황이다. [포스텍이 가진 고유의 기술] 본 연구는 데이터의 복잡하고 다양한 계층 구조를 직접적인 주석 정보 없이 파악하고, 해당 구조를 임베딩 공간 내에 효과적으로 반영하는 것을 목표로 한다. 이를 위해, 본 연구에서는 데이터들을 계층적으로 군집화 할 수 있는 새로운 기법인 HIER를 제안한다. 구체적으로, 제안하는 방법은 데이터들의 상위 계층을 나타내는 매개변수인 계층적 프록시 (hierarchical proxy)를 도입함으로써, 프록시와 데이터 간의 계층적 상하 관계를 학습한다. 특히, 계층 구조를 표현하는 데에 적합한 특성을 가진 쌍곡선 공간 (Hyperbolic space)을 활용하여, 데이터의 의미론적 계층 구조를 정교하게 근사하는 방법을 제안한다. [연구의 의미] 본 연구는 데이터의 의미적 계층 구조를 주석 없이 자기 지도적으로 파악하고, 이를 활용하여 데이터의 실제 유사성을 보다 정확히 반영할 수 있는 임베딩 공간을 학습하는 방법을 새롭게 제안했다는 점에서 큰 의미를 가진다. 이를 통해 기존의 척도 학습 방법들이 가지고 있는 한계를 극복함으로써, 이미지 검색, 얼굴 인식, 사람 식별 등 다양한 응용 분야에서의 성능 향상을 기대할 수 있다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 2023년 컴퓨터비전 분야 최우수 국제학술대회 중 하나인 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)에서 소개되었다. 현재는 다양한 이기종 데이터들이 섞여 있을 수 있는 실제 시나리오에서의 척도 학습 문제에 대한 연구를 진행중이다. [성과와 관련된 실적] Sungyeon Kim, Boseung Jeong, Suha Kwak, “HIER: Metric Learning Beyond Class Labels via Hierarchical Regularization”, CVPR 2023 [성과와 관련된 이미지]

[곽수하/조성현 교수] Human Pose Estimation in Extremely Low-light Conditions

[연구의 필요성] 인간 자세 추정은 영상에서 인간의 관절의 위치를 추정하는 방법으로 자율주행자동차, 감시카메라 시스템 등에서의 보조 시스템으로 사용된다. 최근 학습 기반의 방법들은 인간 자세에 대한 주석을 제공하는 대량의 데이터셋을 활용하여 신경망을 학습하여 인간 자세 추정에서의 큰 성능 향상을 이뤘다. 이러한 학습 기반의 방법에 활용되는 데이터셋들은 빛이 충분히 밝은 환경에서 촬영된 영상만을 제공하며 종래의 기술들 또한 빛이 충분한 환경에서 촬영된 영상에서의 성능 향상에 집중한다. 하지만 야간과 같이 빛이 부족한 환경에서의 영상들은 주로 저 노출, 잡음, 블러 등의 열화에 의해 크게 훼손되어 종래의 기술들로 인간 자세 추정이 불가능 하다. 본 연구는 극한의 저조도 환경에서의 인간 자세 추정 문제를 제안하고, 해결책을 제시하는 것을 목표로 한다. [포스텍이 가진 고유의 기술] 본 연구는 저조도 환경에서의 인간 자세 추정 데이터셋을 구축하는 방법과 제안하는 데이터셋을 효과적으로 활용하여 저조도 환경에서의 인간 자세 추정 신경망을 학습하는 것을 목표로 한다. 학습 기반 방법을 위한 저조도 환경에서의 데이터셋을 구축하기 위해서는 저조도 영상들과 그에 해당하는 인간 자세 주석 처리를 수행해야 한다. 하지만 저조도 환경에서는 저 노출, 잡음 등의 열화 때문에 정확한 주석 처리를 수행하는 것이 힘들다. 본 발명에서는 듀얼카메라 시스템을 활용해 저조도 영상 및 밝은 영상을 동시에 수집하고 밝은 영상의 정보를 활용해 저조도 영상에 정확한 주석 처리를 하는 방법을 제안한다. 또한 밝은 영상의 특권 정보를 활용해 저조도 영상에서의 인간 자세 추정을 효율적으로 학습하는 방법을 제안한다. [연구의 의미] 본 연구에서는 극한의 저조도 환경에서의 저조도 영상과 밝은 영상을 동시에 포함하는 인간 자세 추정 데이터셋을 구성하는 방법과 밝은 영상의 특권 정보를 활용하여 저조도 환경에서의 인간 자세 추정을 가능하게 하는 방법을 최초로 제안함으로써 저조도 환경에서 인간 자세 추정을 효과적으로 수행할 수 있도록 한다. [연구결과의 진행 상태 및 향후 계획] 본 연구는 2023년 컴퓨터비전 분야 최우수 국제학술대회 중 하나인 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)에서 소개되었다. 실제 세계에서의 다른 방해요소(예: 날씨) 등에서의 인식 문제에 대한 연구를 현재 진행 중이다. [성과와 관련된 실적] Sohyun Lee*, Jaesung Rim*, Boseung Jeong, Geonu Kim, ByungJu Woo, Haechan Lee, Sunghyun Cho, Suha Kwak, “Human Pose Estimation in Extremely Low-light Conditions”, CVPR 2023 [성과와 관련된 이미지]