O3 de OpenAI aún no es AGI, pero simplemente hizo algo que ninguna otra IA ha hecho

El último modelo de lenguaje grande de OpenAI aún no está disponible, pero ya tenemos algunas formas de saber qué puede y qué no puede hacer.

El lanzamiento “o3” de OpenAI se dio a conocer el 20 de diciembre en forma de un video infomercial, lo que significa que la mayoría de las personas ajenas a la empresa no tienen idea de lo que realmente es capaz de hacer. (Se está dando acceso anticipado a los grupos externos de pruebas de seguridad).

Además: 15 formas en que la IA me ahorró tiempo en el trabajo en 2024

Aunque el video presentó mucha discusión sobre varios logros de referencia, el mensaje del cofundador y director ejecutivo de OpenAI, Sam Altman, en el video fue muy breve. Su afirmación más importante, y además vaga, fue que o3 “es un modelo increíblemente inteligente”.

ARC-AGI puso a prueba o3

OpenAI planea lanzar la versión “mini” de o3 a finales de enero y la versión completa algún tiempo después, dijo Altman.

Un outsider, sin embargo, ha tenido la oportunidad de poner a prueba a o3, en cierto sentido.

La prueba, en este caso, se llama “Corpus de Abstracción y Razonamiento para la Inteligencia General Artificial” o ARC-AGI. Es una colección de “desafíos para los sistemas inteligentes”, un nuevo punto de referencia. El ARC-AGI se anuncia como “el único punto de referencia diseñado específicamente para medir la adaptabilidad a la novedad”. Eso significa que está destinado a evaluar la adquisición de nuevas habilidades, no sólo el uso de conocimientos memorizados.

Además: ¿Por qué la ética se está convirtiendo en el mayor desafío de la IA?

Algunos consideran la AGI, inteligencia artificial general, como el Santo Grial: el logro de un nivel de inteligencia artificial que podría igualar o superar la inteligencia humana. La idea de ARC-AGI es guiar la IA hacia “sistemas artificiales más inteligentes y más parecidos a los humanos”.

El modelo o3 obtuvo una precisión del 76% en ARC-AGI en una evaluación coordinada formalmente por OpenAI y el autor de ARC-AGI, François Chollet, científico de la unidad de inteligencia artificial de Google.

Un cambio en las capacidades de la IA

En el sitio web de ARC-AGI, Chollet escribió la semana pasada que la puntuación del 76% es la primera vez que la IA supera la puntuación de un humano en el examen, como lo ejemplifican las respuestas de los trabajadores humanos de Mechanical Turk que tomaron la prueba y quienes, en promedio, obtuvo una puntuación ligeramente superior al 75% de aciertos.

Chollet escribió que la puntuación alta es “un aumento sorprendente e importante de la función escalonada en las capacidades de la IA, que muestra una capacidad novedosa de adaptación a tareas nunca antes vista en los modelos de la familia GPT”. Y añadió: “Toda la intuición sobre las capacidades de la IA deberá actualizarse para o3”.

El logro marca “un verdadero avance” y “un cambio cualitativo en las capacidades de la IA”, declaró Chollet. Chollet predice que la capacidad de o3 para “adaptarse a tareas que nunca antes había enfrentado” significa que “debe planificar que estas capacidades sean competitivas con el trabajo humano en un plazo bastante corto”.

Los comentarios de Chollet son dignos de mención porque nunca ha sido un defensor de la IA. En 2019, cuando creó ARC-AGI, me dijo en una entrevista que tuvimos para ZDNET que el flujo constante de “artículos de prensa grandilocuentes” de empresas de IA “sugieren engañosamente que la IA a nivel humano quizás esté a unos años de distancia”, mientras que consideraba tal hipérbole “una ilusión”.

Las preguntas ARC-AGI son fáciles de entender para las personas y bastante fáciles de resolver. Cada desafío muestra de tres a cinco ejemplos de la pregunta y la respuesta correcta, y luego al examinado se le presenta una pregunta similar y se le pide que proporcione la respuesta que falta.

Las preguntas no están basadas en texto sino en imágenes. Primero se muestra una cuadrícula de píxeles con formas coloreadas, seguida de una segunda versión que ha sido modificada de alguna manera. La pregunta es: ¿Cuál es la regla que cambia la imagen inicial en la segunda imagen?

En otras palabras, el desafío no depende directamente del lenguaje natural, el área célebre de los grandes modelos de lenguaje. En cambio, prueba la formulación de patrones abstractos en el dominio visual.

Pruebe ARC-AGI usted mismo

Puede probar ARC-AGI usted mismo en el sitio web del desafío de Chollet. Respondes al desafío “dibujando” en una cuadrícula vacía, completando cada píxel con el color correcto para crear la cuadrícula correcta de píxeles de colores como “respuesta”.

Es divertido, como jugar al Sudoku o al Tetris. Lo más probable es que, incluso si no puedes articular verbalmente cuál es la regla, descubrirás rápidamente qué cuadros deben colorearse para producir la solución. La parte que lleva más tiempo es tocar cada píxel de la cuadrícula para asignar su color.

Además: Por qué el avance cuántico de Google es “realmente notable” y qué sucederá después

Una respuesta correcta produce una animación de lanzamiento de confeti en la página web y el mensaje: “Has resuelto el rompecabezas diario del premio ARC. Aún eres más (generalmente) inteligente que la IA”.

Tenga en cuenta que cuando o3 o cualquier otro modelo realiza la prueba, no actúa directamente sobre los píxeles. En cambio, el equivalente se introduce en la máquina como una matriz de filas y columnas de números que deben transformarse en una matriz diferente como respuesta. Por lo tanto, los modelos de IA no “ven” la prueba de la misma manera que lo hace un humano.

Lo que aún no está claro

A pesar de los logros de o3, es difícil hacer declaraciones definitivas sobre las capacidades de o3. Debido a que el modelo de OpenAI es de código cerrado, todavía no está claro exactamente cómo el modelo resuelve el desafío.

Al no ser parte de OpenAI, Chollet tiene que especular sobre cómo o3 está haciendo lo que está haciendo.

Conjetura que el logro es el resultado de que OpenAI cambió la “arquitectura” de o3 con respecto a la de sus predecesores. Una arquitectura en IA se refiere a la disposición y relación de los elementos funcionales que dan estructura al código.

Además: si ChatGPT produce código generado por IA para tu aplicación, ¿a quién pertenece realmente?

Chollet especula en el blog que “en el momento de la prueba, el modelo busca en el espacio de posibles Cadenas de Pensamiento (CoT) que describen los pasos necesarios para resolver la tarea, de una manera tal vez no muy diferente a la búsqueda en árbol de Monte Carlo al estilo AlphaZero”.

El término cadena de pensamiento se refiere a un enfoque cada vez más popular en la IA generativa en el que el modelo de IA puede detallar la secuencia de cálculos que realiza en busca de la respuesta final. AlphaZero es el famoso programa de inteligencia artificial de la unidad DeepMind de Google que venció a los humanos en el ajedrez en 2016. Una búsqueda de árboles de Monte Carlo es un enfoque informático que existe desde hace décadas.

En un intercambio de correo electrónico, Chollet me contó un poco más sobre su pensamiento. Le pregunté cómo llegó a esa idea de una búsqueda de cadenas de pensamiento. “Claramente, cuando el modelo está ‘pensando’ durante horas y generando millones de tokens en el proceso de resolver un único rompecabezas, debe estar haciendo algún tipo de búsqueda”, respondió Chollet.

Chollet añadió:

Es completamente obvio por las características de latencia/coste del modelo que está haciendo algo completamente diferente a la serie GPT. No es la misma arquitectura, ni nada remotamente parecido. El factor definitorio del nuevo sistema es una gran cantidad de búsquedas en el momento de la prueba. Anteriormente, 4 años de ampliación de la misma arquitectura (la serie GPT) no habían producido ningún progreso en ARC, y ahora este sistema, que claramente tiene una nueva arquitectura, está creando un cambio funcional gradual en las capacidades, por lo que la arquitectura lo es todo.

Hay una serie de advertencias aquí. OpenAI no reveló cuánto dinero se gastó en una de sus versiones de o3 para resolver ARC-AGI. Esa es una omisión significativa porque un criterio de ARC-AGI es el costo en dólares reales de usar chips GPU como proxy de la “eficiencia” del modelo de IA.

Chollet me dijo en un correo electrónico que el enfoque de o3 no equivale a un enfoque de “fuerza bruta”, pero bromeó: “Por supuesto, también se podría definir la fuerza bruta como ‘lanzar una cantidad excesiva de cómputo a un problema simple’. ‘ en cuyo caso se podría decir que es fuerza bruta”.

Además, Chollet señala que o3 fue entrenado para realizar la prueba ARC-AGI utilizando el conjunto de datos de entrenamiento de la competencia. Eso significa que aún no está claro cómo abordaría el examen una versión limpia de o3, sin preparación para el examen.

También: El generador de vídeo Sora AI de OpenAI ya está aquí: cómo probarlo

Chollet me dijo en un correo electrónico: “Será interesante ver qué puntuación obtiene el sistema base sin información relacionada con ARC, pero en cualquier caso, el hecho de que el sistema esté ajustado para ARC a través del conjunto de entrenamiento no invalida su rendimiento”. “Para eso está el conjunto de entrenamiento. Hasta ahora nadie había podido lograr puntuaciones similares, incluso después de entrenar en millones de tareas ARC generadas”.

o3 todavía falla en algunas tareas fáciles

A pesar de la incertidumbre, una cosa parece muy clara: quienes anhelan AGI se sentirán decepcionados. Chollet enfatiza que la prueba ARC-AGI es “una herramienta de investigación” y que “aprobar ARC-AGI no equivale a alcanzar AGI”.

“De hecho, no creo que o3 sea AGI todavía”, escribe Chollet en el blog ARC-AGI. “O3 todavía falla en algunas tareas muy fáciles, lo que indica diferencias fundamentales con la inteligencia humana”.

Para demostrar que todavía no estamos al nivel de inteligencia humana, Chollet señala algunos de los problemas simples en ARC-AGI que o3 no puede resolver. Uno de esos problemas implica simplemente mover un cuadrado de color en una cantidad determinada, un patrón que rápidamente se vuelve claro para un ser humano.

Chollet planea presentar una nueva versión de ARC-AGI en enero. Predice que reducirá drásticamente los resultados de o3. “Sabrás que AGI está aquí cuando el ejercicio de crear tareas que sean fáciles para los humanos comunes pero difíciles para la IA se vuelva simplemente imposible”, concluye.