Lo que aprendimos sobre la IA y el aprendizaje profundo en 2022

Es un momento tan bueno como cualquier otro para discutir las implicaciones de los avances en inteligencia artificial (IA). 2022 vio un progreso interesante en el aprendizaje profundo, especialmente en modelos generativos. Sin embargo, a medida que aumentan las capacidades de los modelos de aprendizaje profundo, también aumenta la confusión que los rodea.

Por un lado, modelos avanzados como ChatGPT y DALL-E muestran resultados fascinantes y la impresión de pensar y razonar. Por otro lado, a menudo cometen errores que prueban que carecen de algunos de los elementos básicos de inteligencia que tenemos los humanos.

La comunidad científica está dividida sobre qué hacer con estos avances. En un extremo del espectro, algunos científicos han ido tan lejos como para decir que los modelos sofisticados son sensibles y se les debe atribuir personalidad. Otros han sugerido que los enfoques actuales de aprendizaje profundo conducirán a la inteligencia general artificial (AGI). Mientras tanto, algunos científicos han estudiado las fallas de los modelos actuales y señalan que, aunque son útiles, incluso los sistemas de aprendizaje profundo más avanzados sufren el mismo tipo de fallas que tenían los modelos anteriores.

Fue en este contexto que el Debate AGI #3 en línea se llevó a cabo el viernes, organizado por el presidente de Montreal AI Vincent Boucher y el investigador de AI Gary Marcus. La conferencia, que contó con charlas de científicos de diferentes orígenes, discutió lecciones de la ciencia cognitiva y la neurociencia, el camino hacia el razonamiento de sentido común en IA y sugerencias para arquitecturas que pueden ayudar a dar el siguiente paso en IA.

¿Qué falta en los sistemas de IA actuales?

“Los enfoques de aprendizaje profundo pueden proporcionar herramientas útiles en muchos dominios”, dijo el lingüista y científico cognitivo Noam Chomsky. Algunas de estas aplicaciones, como la transcripción automática y el autocompletado de texto, se han convertido en herramientas en las que confiamos todos los días.

“Pero más allá de la utilidad, ¿qué aprendemos de estos enfoques sobre la cognición, el pensamiento, en particular el lenguaje?” dijo Chomsky. “[Deep learning] Los sistemas no distinguen entre lenguajes posibles e imposibles. Cuanto más se mejoran los sistemas, más profunda se vuelve la falla. Lo harán aún mejor con lenguajes imposibles y otros sistemas”.

Esta falla es evidente en sistemas como ChatGPT, que puede producir texto que es gramaticalmente correcto y consistente, pero con fallas en la lógica y los hechos. Los presentadores de la conferencia brindaron numerosos ejemplos de tales fallas, como modelos de lenguaje grandes que no pueden clasificar oraciones en función de la longitud, cometen errores graves en problemas lógicos simples y hacen declaraciones falsas e inconsistentes.

Según Chomsky, los enfoques actuales para avanzar en los sistemas de aprendizaje profundo, que se basan en agregar datos de entrenamiento, crear modelos más grandes y usar una “programación inteligente”, solo exacerbarán los errores que cometen estos sistemas.

“En resumen, no nos dicen nada sobre el lenguaje y el pensamiento, sobre la cognición en general, o sobre lo que es ser humano o cualquier otro vuelo de fantasía en la discusión contemporánea”, dijo Chomsky.

Marcus dijo que una década después de la revolución del aprendizaje profundo de 2012, se ha logrado un progreso considerable, “pero quedan algunos problemas”.

Presentó cuatro aspectos clave de la cognición que faltan en los sistemas de aprendizaje profundo:

1. Abstracción: los sistemas de aprendizaje profundo como ChatGPT luchan con conceptos básicos como contar y clasificar elementos.
2. Razonamiento: los modelos de lenguaje extenso no logran razonar sobre cosas básicas, como colocar objetos en contenedores. “La genialidad de ChatGPT es que puede responder a la pregunta, pero desafortunadamente no puedes contar con las respuestas”, dijo Marcus.
3. Composicionalidad: Los seres humanos entienden el lenguaje en términos de totalidades compuestas de partes. La IA actual continúa luchando con esto, lo que se puede observar cuando se les pide a modelos como DALL-E que dibujen imágenes que tengan estructuras jerárquicas.
4. Realidad: “Los humanos mantienen activamente modelos mundiales imperfectos pero confiables. Los modelos de lenguaje grande no lo hacen y eso tiene consecuencias”, dijo Marcus. “No se pueden actualizar gradualmente dándoles nuevos datos. Por lo general, deben volver a capacitarse para incorporar nuevos conocimientos. Alucinan.

IA y razonamiento de sentido común

Las redes neuronales profundas seguirán cometiendo errores en casos adversos y extremos, dijo Yejin Choi, profesor de ciencias de la computación en la Universidad de Washington.

“El verdadero problema al que nos enfrentamos hoy es que simplemente no conocemos la profundidad o amplitud de estos casos contradictorios o extremos”, dijo Choi. “Mi idea es que esto va a ser un verdadero desafío que mucha gente podría estar subestimando. La verdadera diferencia entre la inteligencia humana y la IA actual sigue siendo muy amplia”.

Choi dijo que la brecha entre la inteligencia humana y la artificial se debe a la falta de sentido común, que describió como “la materia oscura del lenguaje y la inteligencia” y “las reglas tácitas de cómo funciona el mundo” que influyen en la forma en que las personas usan e interpretan idioma.

Según Choi, el sentido común es trivial para los humanos y difícil para las máquinas porque las cosas obvias nunca se dicen, hay un sinfín de excepciones a cada regla y no existe una verdad universal en los asuntos de sentido común. “Es algo ambiguo y desordenado”, dijo.

El investigador y neurocientífico de IA, Dileep George, enfatizó la importancia de la simulación mental para el razonamiento del sentido común a través del lenguaje. El conocimiento para el razonamiento de sentido común se adquiere a través de la experiencia sensorial, dijo George, y este conocimiento se almacena en el sistema perceptivo y motor. Usamos el lenguaje para sondear este modelo y desencadenar simulaciones en la mente.

“Puede pensar en nuestro sistema perceptivo y conceptual como el simulador, que se adquiere a través de nuestra experiencia sensoriomotora. El lenguaje es algo que controla la simulación”, dijo.

George también cuestionó algunas de las ideas actuales para crear modelos mundiales para sistemas de IA. En la mayoría de estos planos de modelos del mundo, la percepción es un preprocesador que crea una representación sobre la cual se construye el modelo del mundo.

“Es poco probable que funcione porque se necesita acceder a muchos detalles de la percepción sobre la marcha para poder ejecutar la simulación”, dijo. “La percepción tiene que ser bidireccional y tiene que usar conexiones de retroalimentación para acceder a las simulaciones”.

La arquitectura para la próxima generación de sistemas de IA

Si bien muchos científicos están de acuerdo en las deficiencias de los sistemas de IA actuales, difieren en el camino a seguir.

David Ferrucci, fundador de Elemental Cognition y ex miembro de IBM Watson, dijo que no podemos cumplir nuestra visión de IA si no podemos hacer que las máquinas “expliquen por qué están produciendo el resultado que están produciendo”.

La empresa de Ferrucci está trabajando en un sistema de IA que integra diferentes módulos. Los modelos de aprendizaje automático generan hipótesis basadas en sus observaciones y las proyectan en un módulo de conocimiento explícito que las clasifica. Las mejores hipótesis son luego procesadas por un módulo de razonamiento automatizado. Esta arquitectura puede explicar sus inferencias y su modelo causal, dos características que faltan en los sistemas de IA actuales. El sistema desarrolla su conocimiento y modelos causales a partir de enfoques clásicos de aprendizaje profundo e interacciones con humanos.

El científico de IA Ben Goertzel enfatizó que “los sistemas de redes neuronales profundas que actualmente dominan el panorama comercial actual de IA no progresarán mucho hacia la construcción de sistemas AGI reales”.

Goertzel, quien es mejor conocido por acuñar el término AGI, dijo que mejorar los modelos actuales como GPT-3 con verificadores de hechos no solucionará los problemas que enfrenta el aprendizaje profundo y no los hará capaces de generalizarse como la mente humana.

“La ingeniería de inteligencia verdadera y abierta con inteligencia general es totalmente posible, y hay varias rutas para llegar allí”, dijo Goertzel.

Propuso tres soluciones, incluida la realización de una simulación cerebral real; hacer un complejo sistema de autoorganización que es bastante diferente del cerebro; o crear una arquitectura cognitiva híbrida que auto-organice el conocimiento en un gráfico de conocimiento auto-reprogramado y auto-reescrito que controle un agente encarnado. Su iniciativa actual, el proyecto OpenCog Hyperon, explora este último enfoque.

Francesca Rossi, becaria de IBM y líder global de ética de IA en el Centro de Investigación Thomas J. Watson, propuso una arquitectura de IA que se inspira en la ciencia cognitiva y el “Marco de pensamiento rápido y lento” de Daniel Kahneman.

La arquitectura, denominada SlOw and Fast AI (SOFAI), utiliza un enfoque multiagente compuesto por solucionadores rápidos y lentos. Los solucionadores rápidos se basan en el aprendizaje automático para resolver problemas. Los solucionadores lentos son más simbólicos, atentos y computacionalmente complejos. También hay un módulo metacognitivo que actúa como árbitro y decide qué agente resolverá el problema. Al igual que el cerebro humano, si el solucionador rápido no puede abordar una situación nueva, el módulo metacognitivo se la pasa al solucionador lento. Este ciclo luego vuelve a entrenar al solucionador rápido para aprender gradualmente a abordar estas situaciones.

“Esta es una arquitectura que se supone que funciona tanto para los sistemas autónomos como para respaldar las decisiones humanas”, dijo Rossi.

Jürgen Schmidhuber, director científico de The Swiss AI Lab IDSIA y uno de los pioneros de las técnicas modernas de aprendizaje profundo, dijo que muchos de los problemas planteados sobre los sistemas de IA actuales se han abordado en sistemas y arquitecturas introducidos en las últimas décadas. Schmidhuber sugirió que resolver estos problemas es una cuestión de costo computacional y que, en el futuro, podremos crear sistemas de aprendizaje profundo que puedan hacer metaaprendizaje y encontrar nuevos y mejores algoritmos de aprendizaje.

De pie sobre los hombros de conjuntos de datos gigantes

Jeff Clune, profesor asociado de informática en la Universidad de Columbia Británica, presentó la idea de “algoritmos generadores de IA”.

“La idea es aprender tanto como sea posible, arrancar desde comienzos muy simples hasta AGI”, dijo Clune.

Dicho sistema tiene un bucle externo que busca en el espacio de posibles agentes de IA y, en última instancia, produce algo que es muy general y muy eficiente en la muestra. La evidencia de que esto es posible es el “algoritmo muy costoso e ineficiente de la evolución darwiniana que finalmente produjo la mente humana”, dijo Clune.

Clune ha estado discutiendo algoritmos de generación de IA desde 2019, que cree que se basan en tres pilares clave: arquitecturas de metaaprendizaje, algoritmos de metaaprendizaje y medios efectivos para generar entornos y datos. Básicamente, este es un sistema que puede crear, evaluar y actualizar constantemente nuevos entornos y algoritmos de aprendizaje.

En el debate de AGI, Clune agregó un cuarto pilar, que describió como “aprovechar los datos humanos”.

“Si ve años y años de videos sobre agentes que realizan esa tarea y se entrena previamente en eso, entonces puede aprender tareas muy, muy difíciles”, dijo Clune. “Ese es un gran acelerador para estos esfuerzos para tratar de aprender tanto como sea posible”.

Aprender de los datos generados por humanos es lo que ha permitido a GPT, CLIP y DALL-E encontrar formas eficientes de generar resultados impresionantes. “La IA ve más lejos al pararse sobre los hombros de conjuntos de datos gigantes”, dijo Clune.

Clune terminó prediciendo un 30 % de posibilidades de tener AGI para 2030. También dijo que los paradigmas de aprendizaje profundo actuales, con algunas mejoras clave, serán suficientes para lograr AGI.

Clune advirtió: “No creo que estemos listos como comunidad científica y como sociedad para que AGI llegue tan pronto, y debemos comenzar a planificar esto lo antes posible. Tenemos que empezar a planificar ahora”.