Controlabilidad de ecuaciones diferenciales neuronales

"Controlabilidad de ecuaciones diferenciales neuronales", organizado por CITMAga. Impartirá Antonio Álvarez López (Instituto de Ciencias Matemáticas da Universidad Autónoma de Madrid)

Duración: 1 h.

Abstract:

Las ecuaciones diferenciales ordinarias neuronales (neural ODEs), que representan el límite en tiempo continuo de las redes neuronales, se han establecido en los últimos años como una herramienta clave en el aprendizaje supervisado. Una de las ventajas que ofrecen es la interpretación de diversos paradigmas del aprendizaje automático desde una perspectiva del control de ecuaciones diferenciales. Por ejemplo, el entrenamiento de una red para la clasificación de datos se puede abordar como un problema de controlabilidad simultánea, donde el sistema debe interpolar N pares de puntos en el espacio euclídeo d-dimensional. En esta charla, introduciremos el formalismo matemático del problema de aprendizaje supervisado, de las redes neuronales y de las neural ODEs, y posteriormente compartiremos dos resultados recientes en esta dirección.

En el primero, se estima el número de neuronas necesario para controlar simultáneamente los N puntos iniciales cuando estos se toman según la medida uniforme en el hipercubo d-dimensional. Bajo la única hipótesis de posición general, clasificamos clústeres de d puntos desde cualquier configuración inicial, empleando únicamente O(N/d) neuronas. En segundo lugar, se explora el papel jugado por la anchura y la profundidad del modelo en la interpolación. Para concluir, consideramos la extensión natural del problema a la interpolación de dos medidas en el espacio de Wasserstein-1, y lo resolvemos cuando la medida final es uniforme.