[연구의 필요성]
인간 자세 추정은 영상에서 인간의 관절의 위치를 추정하는 방법으로 자율주행자동차, 감시카메라 시스템 등에서의 보조 시스템으로 사용된다. 최근 학습 기반의 방법들은 인간 자세에 대한 주석을 제공하는 대량의 데이터셋을 활용하여 신경망을 학습하여 인간 자세 추정에서의 큰 성능 향상을 이뤘다. 이러한 학습 기반의 방법에 활용되는 데이터셋들은 빛이 충분히 밝은 환경에서 촬영된 영상만을 제공하며 종래의 기술들 또한 빛이 충분한 환경에서 촬영된 영상에서의 성능 향상에 집중한다. 하지만 야간과 같이 빛이 부족한 환경에서의 영상들은 주로 저 노출, 잡음, 블러 등의 열화에 의해 크게 훼손되어 종래의 기술들로 인간 자세 추정이 불가능 하다. 본 연구는 극한의 저조도 환경에서의 인간 자세 추정 문제를 제안하고, 해결책을 제시하는 것을 목표로 한다.

[포스텍이 가진 고유의 기술]
본 연구는 저조도 환경에서의 인간 자세 추정 데이터셋을 구축하는 방법과 제안하는 데이터셋을 효과적으로 활용하여 저조도 환경에서의 인간 자세 추정 신경망을 학습하는 것을 목표로 한다. 학습 기반 방법을 위한 저조도 환경에서의 데이터셋을 구축하기 위해서는 저조도 영상들과 그에 해당하는 인간 자세 주석 처리를 수행해야 한다. 하지만 저조도 환경에서는 저 노출, 잡음 등의 열화 때문에 정확한 주석 처리를 수행하는 것이 힘들다. 본 발명에서는 듀얼카메라 시스템을 활용해 저조도 영상 및 밝은 영상을 동시에 수집하고 밝은 영상의 정보를 활용해 저조도 영상에 정확한 주석 처리를 하는 방법을 제안한다. 또한 밝은 영상의 특권 정보를 활용해 저조도 영상에서의 인간 자세 추정을 효율적으로 학습하는 방법을 제안한다.

[연구의 의미]
본 연구에서는 극한의 저조도 환경에서의 저조도 영상과 밝은 영상을 동시에 포함하는 인간 자세 추정 데이터셋을 구성하는 방법과 밝은 영상의 특권 정보를 활용하여 저조도 환경에서의 인간 자세 추정을 가능하게 하는 방법을 최초로 제안함으로써 저조도 환경에서 인간 자세 추정을 효과적으로 수행할 수 있도록 한다.

[연구결과의 진행 상태 및 향후 계획]
본 연구는 2023년 컴퓨터비전 분야 최우수 국제학술대회 중 하나인 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)에서 소개되었다. 실제 세계에서의 다른 방해요소(예: 날씨) 등에서의 인식 문제에 대한 연구를 현재 진행 중이다.

[성과와 관련된 실적]
Sohyun Lee*, Jaesung Rim*, Boseung Jeong, Geonu Kim, ByungJu Woo, Haechan Lee, Sunghyun Cho, Suha Kwak, “Human Pose Estimation in Extremely Low-light Conditions”, CVPR 2023

[성과와 관련된 이미지]