[연구의 필요성]

- 인공신경망의 이론적인 표현력에 대한 많은 연구가 있었으며, 이 중 대표적으로 보편근사정리(universal approximation theorem)들이 있다. 특히 완전연결(fully connected) 신경망의 경우, 임의의 연속함수를 원하는 정확도만큼 근사할 수 있음이 잘 알려져있다.

- 하지만 이러한 결과들은 모두 "정확한 실수 값과 실수 연산을 다룰 수 있다"는 비현실적인 가정을 하고 있다. 실제 인공신경망은 부동소수점(floating-point) 값과 부동소수점 연산을 이용하여 구현되기에, 실제 상황에는 전혀 적용되지 않는 결과들이다.

[포스텍이 가진 고유의 기술]

- 부동소수점을 이용하여 정의된 인공신경망이 임의의 부동소수점 함수를 정확히 표현하기 위해서는, 활성화 함수(activation function)의 구별가능성(distinguishability) 조건이 반드시 필요하다는 것을 증명했다.

- 위 결과의 역 또한 성립함을 증명했다. 즉, 구별가능성 조건(+ 추가적인 약한 조건)만 만족되면, 부동소수점 인공신경망이 임의의 부동소수점 함수를 정확히 표현할 수 있음을 보인 것이다.

- 실제로 널리 사용되는 활성화 함수(예: ReLU, tanh) 중 대다수가 구별가능성 조건을 만족함을 수학적으로 보였다.

[연구의 의미]

- 지금까지 알려진 "부동소수점 인공신경망의 표현력"에 관한 결과들 중 가장 좋은 결과이다.

- 부동소수점 인공신경망이 모든 함수를 표현하기 위한 필요충분 조건을 세계 최초로 찾아냈다.

- 널리 쓰이고 있는 활성화 함수에 거의 모두 적용가능한, 강력한 결과이다.

[연구결과의 진행 상태 및 향후 계획]

- 기계학습 분야 최고학회 중 하나인 ICML에 채택되었고, 학회에서 포스터 발표되었다.

[성과와 관련된 실적]

Geonho Hwang, Yeachan Park, Wonyeol Lee, Sejun Park. "Floating-Point Neural Networks Can Represent Almost All Floating-Point Functions", ICML 2025.

[성과와 관련된 이미지]