Presentamos Pathways: una arquitectura de inteligencia artificial de próxima generación
Cuando reflexiono sobre las últimas dos décadas de investigación en ciencias de la computación, pocas cosas me inspiran más que el notable progreso que hemos visto en el campo de la inteligencia artificial.
En 2001, algunos colegas sentados a pocos metros de mí en Google se dieron cuenta de que podían usar una técnica poco conocida en ese momento llamada aprendizaje automático para ayudar a corregir las consultas de búsqueda mal escritas. (Recuerdo que me sorprendió ver que funcionaba para todo, desde "ayambic pitnamiter" hasta "unnblevaiabel"). Hoy en día, la inteligencia artificial (IA) enriquece muchas de las cosas que hacemos, ya sea ayudarte a capturar una bonita selfie, proporcionar resultados de búsqueda más útiles o advertir a cientos de millones de personas sobre cuándo y dónde ocurrirán las inundaciones. Veinte años de avances en la investigación han ayudado a elevar la IA de una idea prometedora a una ayuda indispensable en la vida diaria de miles de millones de personas. Y a pesar de todo ese progreso, todavía estoy entusiasmado con su potencial aún sin explotar: la IA está preparada para ayudar a la humanidad a enfrentar algunos de los desafíos más difíciles que hemos enfrentado, desde problemas persistentes como enfermedades y desigualdad hasta amenazas emergentes como el cambio climático.
Pero igualar la profundidad y complejidad de estos desafíos urgentes requerirá sistemas de IA nuevos y más capaces, sistemas que puedan combinar los enfoques probados de IA con direcciones de investigación incipientes para poder solucionar problemas que no podemos resolver hoy. Con ese fin, los equipos de Google Research están trabajando en elementos de una arquitectura de inteligencia artificial de próxima generación que creemos ayudará a hacer realidad tales sistemas.
A esta nueva arquitectura de IA la llamamos Pathways.
Pathways es una nueva forma de pensar sobre la IA que aborda muchas de las debilidades de los sistemas existentes y sintetiza sus fortalezas. Para mostrarte lo que quiero decir, veamos algunas de las deficiencias actuales de la IA y cómo Pathways puede mejorarlas.
Los modelos de IA actuales suelen estar entrenados para hacer sólo una cosa. Pathways nos permitirá entrenar un solo modelo para hacer miles o millones de cosas.
Los sistemas de IA actuales a menudo se entrenan desde cero para cada nuevo problema: los parámetros del modelo matemático se inician literalmente con números aleatorios. Imagínate que, cada vez que aprendieras una nueva habilidad (saltar la cuerda, por ejemplo), olvidaras todo lo que habías aprendido (cómo mantener el equilibrio, cómo saltar, cómo coordinar el movimiento de tus manos) y comenzaras a aprender cada nueva habilidad desde cero.
Así es más o menos cómo entrenamos la mayoría de los modelos de aprendizaje automático en la actualidad. En lugar de extender los modelos existentes para aprender nuevas tareas, entrenamos cada nuevo modelo desde cero para hacer una cosa y sólo una cosa (o, a veces, especializamos un modelo general para una tarea específica). El resultado es que terminamos desarrollando miles de modelos para miles de tareas individuales. No sólo el aprendizaje de cada nueva tarea toma más tiempo de esta manera, sino que también requiere de muchos más datos para aprender cada nueva tarea, ya que estamos tratando de aprender todo sobre el mundo y los detalles de esa tarea desde cero (completamente diferente a cómo las personas abordan nuevas tareas).
En cambio, nos gustaría entrenar un modelo que no sólo pueda manejar muchas tareas separadas, sino que también aproveche y combine sus habilidades existentes para aprender nuevas tareas de manera más rápida y efectiva. De esa manera, lo que un modelo aprende al entrenarse en una tarea, por ejemplo, aprender cómo las imágenes aéreas pueden predecir la elevación de un paisaje, podría ayudarle a aprender otra tarea, por ejemplo, predecir cómo fluirán las aguas de una inundación a través de ese terreno.
Queremos que un modelo tenga diferentes capacidades a las que se pueda recurrir según sea necesario, y que se integren para realizar tareas nuevas y más complejas, un poco más parecido a la forma en que el cerebro de los mamíferos generaliza a lo largo de diferentes tareas.
Los modelos actuales se centran principalmente en un sentido. Pathways permitirá múltiples sentidos.
Las personas dependen de múltiples sentidos para percibir el mundo. Eso es muy diferente de cómo los sistemas de IA actuales digieren la información. La mayoría de los modelos actuales procesan sólo una modalidad de información a la vez. Pueden captar texto, imágenes o voz, pero normalmente no los tres a la vez.
Pathways podría permitir modelos multimodales que abarquen la vista, el oído y la comprensión del lenguaje simultáneamente. Entonces, ya sea que el modelo esté procesando la palabra "leopardo", el sonido de alguien que dice "leopardo" o un video de un leopardo corriendo, la misma respuesta se activa internamente: el concepto de leopardo. El resultado es un modelo más perspicaz y menos propenso a errores y sesgos.
Y, por supuesto, un modelo de IA no tiene por qué limitarse a estos sentidos tan familiares; Pathways podría manejar formas de datos más abstractas, ayudando a encontrar patrones útiles que han eludido a los científicos humanos en sistemas complejos como la dinámica climática.
Los modelos actuales son densos e ineficientes. Pathways los hará mínimos y eficientes.
Un tercer problema es que la mayoría de los modelos actuales son "densos", lo que significa que toda la red neuronal se activa para realizar una tarea, sin importar si es muy simple o realmente complicada.
Esto también es muy diferente a la forma en que las personas abordan los problemas. Tenemos muchas partes diferentes de nuestro cerebro que están especializadas para diferentes tareas, pero sólo recurrimos a las partes relevantes para una situación determinada. Hay cerca de cien mil millones de neuronas en tu cerebro, pero dependes de una pequeña fracción de ellas para interpretar esta oración.
La IA puede funcionar de la misma manera. Podemos construir un modelo único que se active "escasamente", lo que significa que sólo se activan pequeñas rutas a través de la red según sea necesario. De hecho, el modelo aprende dinámicamente qué partes de la red son buenas en qué tareas; aprende cómo enrutar las tareas a través de las partes más relevantes del modelo. Un gran beneficio de este tipo de arquitectura es que no sólo tiene una mayor capacidad para aprender una variedad de tareas, también es más rápido y mucho más eficiente energéticamente, porque no activamos toda la red para cada tarea.
Por ejemplo, GShard y Switch Transformer son dos de los modelos de aprendizaje automático más grandes que jamás hayamos creado, pero debido a que ambos usan una activación escasa, consumen menos de una décima parte de la energía que esperaría de modelos densos de tamaño similar, sin dejar de ser tan precisos como los modelos densos.
Entonces, para recapitular: los modelos de aprendizaje automático de hoy tienden a especializarse demasiado en tareas individuales cuando podrían sobresalir en muchas. Dependen de una forma de entrada cuando pueden sintetizar varias. Y con demasiada frecuencia recurren a la fuerza bruta cuando bastan la destreza y la especialización de conocimientos.
Por eso estamos construyendo Pathways, que permitirá que un único sistema de IA se generalice en miles o millones de tareas, comprenda diferentes tipos de datos y lo haga con una eficiencia notable; esto nos permitirá pasar de la era de los modelos de propósito único que simplemente reconocen patrones, a una en la que más sistemas inteligentes reflejan una comprensión más profunda de nuestro mundo y pueden adaptarse a nuevas necesidades.
Ese último punto es crucial. Estamos familiarizados con muchos de los mayores desafíos globales de la actualidad y estamos trabajando en tecnologías para ayudar a abordarlos. Pero también estamos seguros de que existen importantes desafíos futuros que aún no hemos anticipado, y muchos exigirán soluciones urgentes. Por lo tanto, con mucho cuidado y siempre en línea con nuestros Principios de IA, estamos creando el tipo de sistema de IA de próxima generación que puede adaptarse rápidamente a las nuevas necesidades y resolver nuevos problemas en todo el mundo a medida que surgen, ayudando a la humanidad a aprovechar al máximo el futuro que tenemos por delante.
