Investigaciones de académico UC, Mircea Petrache, son seleccionadas para ser presentadas en NeurIPS 2023, el encuentro internacional más importante sobre Inteligencia Artificial

Dos artículos del profesor de la Facultad de Matemáticas UC, Mircea Petrache, fueron escogidos como ponencias para la próxima conferencia Neural Information Processing Systems 2023 (NeurIPS), que se realizará desde el 10 al 16 de diciembre en el Centro de Convenciones Ernest N. Morial (New Orleans, Estados Unidos), y que reúne cerca de 10 mil académicos y académicas en torno a la Inteligencia Artificial.

Este año, más de 12 mil papers postularon para ser presentados durante el encuentro, pero solo se escogieron unos 3 mil: “Como Facultad de Matemáticas, se trata de un hito muy importante, porque demuestra las contribuciones que estamos realizando en torno a temáticas actuales, y evidencia la calidad de investigación que hacemos en Chile, con resultados que impactan a la comunidad internacional”, dijo el director de Investigación y Postgrado, Jorge González.

Por su parte, Petrache valoró la posibilidad de ser parte de este espacio, uno de los más connotados en términos de machine learning. “Es una conferencia a la que asiste una comunidad que valora mucho el punto de vista matemático, porque sirve para clarificar cómo programar de mejor forma algoritmos complejos. Esto demuestra que, desde la matemática, se puede aportar directamente en temas reales y tecnológicos”, dijo el académico UC.

SOBRE LAS INVESTIGACIONES

El primer artículo se titula "Three iterations of (d − 1)-WL test distinguish non isometric clouds of d-dimensional points", y fue desarrollado junto a Pablo Barceló, Cristóbal Rojas, Valentino Delle Rose y Alexander Kozachinskyi, todos UC.

El trabajo desarrolla la teoría de Graph Neural Networks geométricos, es decir, redes neuronales que trabajan con grafos y procesan información basada en las distancias entre vértices. Por ejemplo, las propiedades químicas de una molécula dependen de las posiciones 3D de sus átomos, y se ha demostrado en trabajos anteriores, que poder distinguir formas incide de forma contundente sobre la precisión de algoritmos de inteligencia artificial que trabajan con moléculas.

En el resultado se demuestra, matemáticamente y con técnicas de geometría, un criterio para garantizar que una dada arquitectura pueda distinguir las formas de cualquier pareja de nubes de puntos en el espacio. Esto contesta, por primera vez de forma completa, a una pregunta formulada por varios grupos de la comunidad de aprendizaje profundo en química computacional y farmacéutica.

“El desarrollo de algoritmos de inteligencia artificial para química computacional está en rápido crecimiento, y cada año que pasa, las nuevas arquitecturas computacionales crecen en complejidad y profundidad matemática. Ahí el papel de la geometría es central, como demuestra el reconocimiento que tuvo nuestro trabajo en una conferencia tan importante como NeurIPS.  Varios grupos que trabajan en inteligencia artificial para química computacional nos han contactado después de hacer público nuestro trabajo, para discutir formas de aplicar nuestro criterio, y de extender las ideas geométricas desarrolladas a otras clases de algoritmos. Creo que construir más entendimiento matemático de los algoritmos ya es considerado una guía crucial para subir su precisión y eficiencia, y fomentar el avance de estas nuevas tecnologías”, explicó el investigador.

El segundo estudio recibe el nombre de “Approximation Generalization Trade-offs under (Approximate) Group Equivariance”, y fue desarrollado junto a Shubhendu Trivedi, del Laboratorio de Ciencia Computacional e Inteligencia Artificial del Instituto de Tecnología de Massachusetts (MIT).

Una de las diferencias fundamentales entre la forma de procesar información por humanos y por máquinas, conocida desde los comienzos de la investigación en redes neuronales, es que los humanos tienen un conocimiento innato de las simetrías, mientras que las redes neuronales no.

En un ejemplo, consideramos un database de imágenes de gatos y la tarea sencilla de dibujar el contorno del gato. Si cambiamos el gato de posición en la imagen, a un humano le parece natural la forma en la cual cambiar la respuesta: bastará aplicar el mismo movimiento al contorno antes de mover el gato, lo que representa una simetría natural asociada a nuestra tarea. Por otro lado, una red neuronal clásica considera cada imagen como un ejemplo completamente nuevo, y debe aprender a dibujar el contorno desde cero. Similarmente, en física se sabe que al cambiar sistema de referencia, las leyes no cambian, y esto es algo que hay que saber incluir para redes neuronales que trabajen procesos físicos. Las redes neuronales que tienen una respuesta precisa a la acción de simetrías y cambios de coordenadas, se llaman redes neuronales equivalentes.

Dibujar contornos de figuras es una tarea con cierto conjunto de transformaciones asociadas: un movimiento rígido del gato corresponde a un movimiento rígido de su contorno. Imponer esto directamente desde la arquitectura de una red neuronal, la hace una red neuronal equivariante.

Si entendemos las simetrías geométricas de una tarea y las incorporamos en la estructura de las redes neuronales, se obtienen resultados más precisos, usando menos recursos computacionales. Esto se conocía, pero no estaba cuantificado antes de este trabajo. Por primera vez, describimos cuantitativamente los principios subyacentes a “cuántas simetrías sirven” para una determinada tarea. La primera idea cuantifica el principio que “mientras más simetrías distintas se incluyen, más eficiente es el cálculo”, porque se usarán menos parámetros en los modelos. La segunda idea que cuantificamos es que, al sumar más simetrías, aumenta el riesgo de que la red sea demasiado rígida, y puede perder en precisión una tarea fijada. Al demostrar cotas sobre aumento de eficiencia y pérdida de precisión, verificamos por primera vez que debe existir una “cantidad correcta” de simetrías, y esto para cualquier tarea que le demos a un algoritmo de aprendizaje. En este caso, se encuentra el equilibrio entre hacer que la red sea más flexible para ajustarse a los datos, y mantener el número de parámetros bajo control.

TRAYECTORIA ACADÉMICA

La investigación de Mircea Petrache se centra en desarrollar nuevos métodos matemáticos para el aprendizaje profundo e inteligencia artificial, creando usando ideas desde geometría métrica, probabilidades, análisis matemático, y física matemática. En particular, las líneas que está desarrollando incluyen cotas de precisión e incertidumbre para redes neuronales con simetrías, análisis de estructuras geométricas de datasets reales en larga dimensión, estudio de dinámicas de aprendizaje por análisis de Fourier y comparando con redes neuronales biológicas.

El profesor Petrache creó también un nuevo curso de Introducción a Métodos Matemáticos para Aprendizaje Profundo en la UC, que busca introducir a los estudiantes de pregrado a nuevos temas matemáticos en Deep Learning, a un nivel accesible.