[연구의 필요성]
– 야간이나 실내와 같은 빛이 부족한 환경에서는 카메라의 노출 시간이 길어지기 때문에 종종 흔들린 영상을 얻게 된다. 이러한 흔들림은 사용자에게 불편함을 초래하거나 영상인식 등의 성능을 하락시킬 수 있다. 최근에 흔들린 영상의 복원을 위해 학습 기반의 인공지능 기법을 활용하는 연구가 활발하게 진행되고 있으나 이러한 인공지능을 학습시키기 위해서는 흔들린 영상과 그에 해당하는 선명한 영상을 포함한 학습 데이터셋이 필요하다. 그러나 흔들린 영상과 선명한 영상을 동시에 얻는 것이 쉽지 않기 때문에 대부분 실제가 아닌 합성된 데이터를 사용하여 인공지능을 학습시키는 방법을 취하고 있다. 그러나 합성된 데이터가 실제 데이터를 완벽히 재현할 수 없기 때문에 합성 데이터셋으로 학습된 인공지능은 실제로 흔들린 영상을 복원할 때 실패하는 경우가 많다.

[포스텍이 가진 고유의 기술]
– 실제로 흔들린 영상의 복원을 학습하기 위해서는 실제로 흔들린 영상과 그에 대응하는 선명한 영상으로 이루어진 대량의 학습 데이터가 필수적이다. 본 연구진은 이를 위해 실제로 흔들린 영상과 그에 대응하는 선명한 영상을 획득하는 방법을 개발하였다. 빔 스플리터와 두 대의 카메라를 활용해 흔들린 영상과 선명한 영상을 동시에 촬영할 수 있는 카메라 시스템을 구축하였으며 인공지능 기법의 학습을 용이하게 하기 위해 흔들린 영상과 선명한 영상 사이의 공간적 정합 기법 및 색 정합 기법을 개발하였다. 또한 개발한 카메라 시스템 및 정합 기법을 활용하여 인공지능의 학습 및 평가에 사용할 수 있는 5000장 규모의 실제 흔들린 영상 데이터셋을 최초로 수집하였다. 다양한 실험을 통해 본 연구진이 개발한 데이터가 기존 합성 데이터에 비해 실제로 흔들린 영상에서 기존 인공지능 기법의 성능을 크게 개선할 수 있음을 보였다.

[연구의 의미]
– 기존 연구들은 실제 학습 데이터셋의 부재로 인해 합성된 데이터셋에 의존했다. 본 연구의 결과는 이러한 기존 연구의 한계점을 극복하고 실제 환경에서 높은 성능을 낼 수 있는 영상 복원 방법의 연구에 토대가 될 것이라 기대된다.
– 흔들린 사진과 같은 훼손 영상은 CCTV나 자율주행 자동차에서 쉽게 발생할 수 있는 문제이다. 실제 환경에서 훼손된 영상에 대한 영상 복원은 단순히 영상의 품질을 개선하는 것 외에도 영상 인식의 성능 역시 크게 개선시킬 수 있어 더 스마트한 CCTV나 자율주행 자동차의 개발에 활용될 수 있다.

[연구결과의 진행 상태 및 향후 계획]
– 본 연구는 흔들린 영상 복원 인공지능의 학습에 활용 가능한 실제 영상 데이터셋을 최초로 개발하여 2020년 컴퓨터비전 분야 최우수 국제학술대회 중 하나인 ECCV에서 소개되었다. 포스텍 컴퓨터그래픽스 연구실은 실제로 훼손된 영상을 복원하기 위한 인공지능 기법을 개발하는 연구를 지속적으로 수행하고 있으며, 특히 본 연구 결과를 바탕으로 실제 학습데이터를 수집하는 어려움을 없애고 대량의 학습 데이터를 쉽게 생성할 수 있는 사실적이고 정교한 훼손 영상 합성 기법을 개발하고 있다.

[성과와 관련된 실적물]
논문 발표
– Real-World Blur Dataset for Learning and Benchmarking Deblurring Algorithms, Jaesung Rim, Haeyun Lee, Jucheol Won, Sunghyun Cho, In: Proceedings of the European Conference on Computer Vision (ECCV), 2020.

[성과와 관련된 이미지]