[연구의 필요성]
Marked Temporal Point Process (MTPP)은 discrete한 시간대에 발생하는 이벤트를 모델링하기 위해 많이 사용되어 왔습니다. 딥러닝의 발달로 RNN, Transformer와 같이 이벤트 사이의 관계성을 네트워크를 활용하여 모델링하는 연구가 많은 관심을 받아왔습니다. 하지만 이런 모델링 방식들은 개별적인 이벤트가 전체 데이터에 어떠한 영향을 미치는지 분석하고 파악하는 것에 어려움을 겪습니다. 따라서 본 연구에서는 Neural ODEs를 활용해 개별 이벤트의 영향력을 모델링하는 framework를 제시하고, 제시한 framework의 표현력과 differential equation을 활용한 이점들을 분석합니다.

[포스텍이 가진 고유의 기술]
일반적인 framework는 두개의 부분으로 구성되어 있습니다. 하나의 이벤트가 어떻게 이벤트의 발생 시기와, 발생한 이벤트의 종류에 영향을 주는 것인지를 표현하기 위해 2개의 프로세스로 나누어 예측합니다. 두개의 프로세스는 모두 hidden state의 프로세스로 표현된 후 decoding 과정을 거칩니다. 이때 multi-dimensional differential equation을 활용하여 이벤트들의 개별적 영향력을 동시에 효율적으로 모델링할 수 있습니다.

앞서 제시한 framework의 유효성을 검증하기 위하여 개별 이벤트의 영향력을 선형적으로 합치는 linear한 모델을 소개합니다. 이때 영향력의 구간을 hyper parameter로 지정하여 모든 시간대의 영향력을 동시에 모델링하는 학습 기법을 제안합니다.

[연구의 의미]
본 연구의 시계열 데이터 생성 모델은 이벤트 사이의 영향력을 배제하고, 개별적인 이벤트로부터 전체 이벤트를 표현할 수 있다는 가능성을 제시하였습니다. 이러한 방법을 통해 MTPP를 구성하는 요소들의 영향력을 시각화하고 분석할 수 있습니다. 또한 ODE를 활용한 모델링 방식을 차용함에 따라서 다양한 미분 계산에서의 효율성을 보이고 학습 시간을 단축시킬 수 있었습니다.

[연구결과의 진행 상태 및 향후 계획]
본 연구는 인공지능 분야 최우수 국제학술대회 ICLR 2024에서 포스터로 발표될 예정입니다. 향후 graph를 포함한 다양한 도메인으로의 확장과, framework를 활용한 생존분석 등의 연구 또한 계획 중에 있습니다.

[성과와 관련된 실적]
Yujee Song, Donghyun Lee, Rui Meng, Won Hwa Kim, “Decoupled Marked Temporal Point Process using Neural Ordinary Differential Equations”, International Conference on Learning Representations (ICLR), 2024.

[성과와 관련된 이미지]