[Abstract]

이미지, 영상, 음성, 텍스트를 통합적으로 처리하는 옴니모달 AI는 여러 모달리티에 걸친 풍부한 맥락을 이해할 수 있다. 그러나 입력 길이가 늘어날수록 추론 시간과 메모리 사용량이 급격히 증가하며, 이는 실제 활용에 큰 제약이 된다. 본 강연에서는 먼저 멀티모달 AI에서 옴니모달 AI에 이르는 주요 연구 흐름과 대표 사례를 짚어 보고, 이 과정에서 입력 맥락의 규모가 어떻게 확대되어 왔는지 살펴본다. 이어 과제 수행에 필요한 정보는 보존하면서 입력 맥락을 줄이는 Context Compression의 원리와 연구 동향을 다루며, 시각 토큰의 병합 기법과 제거 기법을 비교하여 각 접근의 특성과 한계를 정리한다. 다음으로 모델 출력에 미치는 영향을 기반으로 토큰 중요도를 추정하는 ZOO-Prune을 소개한다. 마지막으로 이를 옴니모달 AI로 확장하는 과정에서 제기되는 연구 과제로서 모달리티별 연산 배분과 스트리밍 영상의 기억 관리 문제를 논의한다.

[Biography]