Noticias
O3 de OpenAI aún no es AGI, pero simplemente hizo algo que ninguna otra IA ha hecho
Sam Altman y los diputados de OpenAI analizan el rendimiento del nuevo modelo o3 en la prueba ARC-AGI.
OpenAI/ZDNET
El último modelo de lenguaje grande de OpenAI aún no está disponible, pero ya tenemos algunas formas de saber qué puede y qué no puede hacer.
El lanzamiento “o3” de OpenAI se dio a conocer el 20 de diciembre en forma de un video infomercial, lo que significa que la mayoría de las personas ajenas a la empresa no tienen idea de lo que realmente es capaz de hacer. (Se está dando acceso anticipado a los grupos externos de pruebas de seguridad).
Además: 15 formas en que la IA me ahorró tiempo en el trabajo en 2024
Aunque el video presentó mucha discusión sobre varios logros de referencia, el mensaje del cofundador y director ejecutivo de OpenAI, Sam Altman, en el video fue muy breve. Su afirmación más importante, y además vaga, fue que o3 “es un modelo increíblemente inteligente”.
ARC-AGI puso a prueba o3
OpenAI planea lanzar la versión “mini” de o3 a finales de enero y la versión completa algún tiempo después, dijo Altman.
Un outsider, sin embargo, ha tenido la oportunidad de poner a prueba a o3, en cierto sentido.
La prueba, en este caso, se llama “Corpus de Abstracción y Razonamiento para la Inteligencia General Artificial” o ARC-AGI. Es una colección de “desafíos para los sistemas inteligentes”, un nuevo punto de referencia. El ARC-AGI se anuncia como “el único punto de referencia diseñado específicamente para medir la adaptabilidad a la novedad”. Eso significa que está destinado a evaluar la adquisición de nuevas habilidades, no sólo el uso de conocimientos memorizados.
Además: ¿Por qué la ética se está convirtiendo en el mayor desafío de la IA?
Algunos consideran la AGI, inteligencia artificial general, como el Santo Grial: el logro de un nivel de inteligencia artificial que podría igualar o superar la inteligencia humana. La idea de ARC-AGI es guiar la IA hacia “sistemas artificiales más inteligentes y más parecidos a los humanos”.
El modelo o3 obtuvo una precisión del 76% en ARC-AGI en una evaluación coordinada formalmente por OpenAI y el autor de ARC-AGI, François Chollet, científico de la unidad de inteligencia artificial de Google.
Un cambio en las capacidades de la IA
En el sitio web de ARC-AGI, Chollet escribió la semana pasada que la puntuación del 76% es la primera vez que la IA supera la puntuación de un humano en el examen, como lo ejemplifican las respuestas de los trabajadores humanos de Mechanical Turk que tomaron la prueba y quienes, en promedio, obtuvo una puntuación ligeramente superior al 75% de aciertos.
Chollet escribió que la puntuación alta es “un aumento sorprendente e importante de la función escalonada en las capacidades de la IA, que muestra una capacidad novedosa de adaptación a tareas nunca antes vista en los modelos de la familia GPT”. Y añadió: “Toda la intuición sobre las capacidades de la IA deberá actualizarse para o3”.
El logro marca “un verdadero avance” y “un cambio cualitativo en las capacidades de la IA”, declaró Chollet. Chollet predice que la capacidad de o3 para “adaptarse a tareas que nunca antes había enfrentado” significa que “debe planificar que estas capacidades sean competitivas con el trabajo humano en un plazo bastante corto”.
Los comentarios de Chollet son dignos de mención porque nunca ha sido un defensor de la IA. En 2019, cuando creó ARC-AGI, me dijo en una entrevista que tuvimos para ZDNET que el flujo constante de “artículos de prensa grandilocuentes” de empresas de IA “sugieren engañosamente que la IA a nivel humano quizás esté a unos años de distancia”, mientras que consideraba tal hipérbole “una ilusión”.
Las preguntas ARC-AGI son fáciles de entender para las personas y bastante fáciles de resolver. Cada desafío muestra de tres a cinco ejemplos de la pregunta y la respuesta correcta, y luego al examinado se le presenta una pregunta similar y se le pide que proporcione la respuesta que falta.
La forma básica de ARC-AGI es tener de tres a cinco ejemplos de entrada y salida, que representan la pregunta y su respuesta, y luego un ejemplo final de entrada para el cual se debe proporcionar la respuesta proporcionando la imagen de salida correcta. Es bastante fácil para un humano descubrir qué imagen producir tocando píxeles de colores, incluso si no puede articular la regla per se.
Premio ARCP
Las preguntas no están basadas en texto sino en imágenes. Primero se muestra una cuadrícula de píxeles con formas coloreadas, seguida de una segunda versión que ha sido modificada de alguna manera. La pregunta es: ¿Cuál es la regla que cambia la imagen inicial en la segunda imagen?
En otras palabras, el desafío no depende directamente del lenguaje natural, el área célebre de los grandes modelos de lenguaje. En cambio, prueba la formulación de patrones abstractos en el dominio visual.
Pruebe ARC-AGI usted mismo
Puede probar ARC-AGI usted mismo en el sitio web del desafío de Chollet. Respondes al desafío “dibujando” en una cuadrícula vacía, completando cada píxel con el color correcto para crear la cuadrícula correcta de píxeles de colores como “respuesta”.
Es divertido, como jugar al Sudoku o al Tetris. Lo más probable es que, incluso si no puedes articular verbalmente cuál es la regla, descubrirás rápidamente qué cuadros deben colorearse para producir la solución. La parte que lleva más tiempo es tocar cada píxel de la cuadrícula para asignar su color.
Además: Por qué el avance cuántico de Google es “realmente notable” y qué sucederá después
Una respuesta correcta produce una animación de lanzamiento de confeti en la página web y el mensaje: “Has resuelto el rompecabezas diario del premio ARC. Aún eres más (generalmente) inteligente que la IA”.
Tenga en cuenta que cuando o3 o cualquier otro modelo realiza la prueba, no actúa directamente sobre los píxeles. En cambio, el equivalente se introduce en la máquina como una matriz de filas y columnas de números que deben transformarse en una matriz diferente como respuesta. Por lo tanto, los modelos de IA no “ven” la prueba de la misma manera que lo hace un humano.
Lo que aún no está claro
A pesar de los logros de o3, es difícil hacer declaraciones definitivas sobre las capacidades de o3. Debido a que el modelo de OpenAI es de código cerrado, todavía no está claro exactamente cómo el modelo resuelve el desafío.
Al no ser parte de OpenAI, Chollet tiene que especular sobre cómo o3 está haciendo lo que está haciendo.
Conjetura que el logro es el resultado de que OpenAI cambió la “arquitectura” de o3 con respecto a la de sus predecesores. Una arquitectura en IA se refiere a la disposición y relación de los elementos funcionales que dan estructura al código.
Además: si ChatGPT produce código generado por IA para tu aplicación, ¿a quién pertenece realmente?
Chollet especula en el blog que “en el momento de la prueba, el modelo busca en el espacio de posibles Cadenas de Pensamiento (CoT) que describen los pasos necesarios para resolver la tarea, de una manera tal vez no muy diferente a la búsqueda en árbol de Monte Carlo al estilo AlphaZero”.
El término cadena de pensamiento se refiere a un enfoque cada vez más popular en la IA generativa en el que el modelo de IA puede detallar la secuencia de cálculos que realiza en busca de la respuesta final. AlphaZero es el famoso programa de inteligencia artificial de la unidad DeepMind de Google que venció a los humanos en el ajedrez en 2016. Una búsqueda de árboles de Monte Carlo es un enfoque informático que existe desde hace décadas.
En un intercambio de correo electrónico, Chollet me contó un poco más sobre su pensamiento. Le pregunté cómo llegó a esa idea de una búsqueda de cadenas de pensamiento. “Claramente, cuando el modelo está ‘pensando’ durante horas y generando millones de tokens en el proceso de resolver un único rompecabezas, debe estar haciendo algún tipo de búsqueda”, respondió Chollet.
Chollet añadió:
Es completamente obvio por las características de latencia/coste del modelo que está haciendo algo completamente diferente a la serie GPT. No es la misma arquitectura, ni nada remotamente parecido. El factor definitorio del nuevo sistema es una gran cantidad de búsquedas en el momento de la prueba. Anteriormente, 4 años de ampliación de la misma arquitectura (la serie GPT) no habían producido ningún progreso en ARC, y ahora este sistema, que claramente tiene una nueva arquitectura, está creando un cambio funcional gradual en las capacidades, por lo que la arquitectura lo es todo.
Hay una serie de advertencias aquí. OpenAI no reveló cuánto dinero se gastó en una de sus versiones de o3 para resolver ARC-AGI. Esa es una omisión significativa porque un criterio de ARC-AGI es el costo en dólares reales de usar chips GPU como proxy de la “eficiencia” del modelo de IA.
Chollet me dijo en un correo electrónico que el enfoque de o3 no equivale a un enfoque de “fuerza bruta”, pero bromeó: “Por supuesto, también se podría definir la fuerza bruta como ‘lanzar una cantidad excesiva de cómputo a un problema simple’. ‘ en cuyo caso se podría decir que es fuerza bruta”.
Además, Chollet señala que o3 fue entrenado para realizar la prueba ARC-AGI utilizando el conjunto de datos de entrenamiento de la competencia. Eso significa que aún no está claro cómo abordaría el examen una versión limpia de o3, sin preparación para el examen.
También: El generador de vídeo Sora AI de OpenAI ya está aquí: cómo probarlo
Chollet me dijo en un correo electrónico: “Será interesante ver qué puntuación obtiene el sistema base sin información relacionada con ARC, pero en cualquier caso, el hecho de que el sistema esté ajustado para ARC a través del conjunto de entrenamiento no invalida su rendimiento”. “Para eso está el conjunto de entrenamiento. Hasta ahora nadie había podido lograr puntuaciones similares, incluso después de entrenar en millones de tareas ARC generadas”.
o3 todavía falla en algunas tareas fáciles
A pesar de la incertidumbre, una cosa parece muy clara: quienes anhelan AGI se sentirán decepcionados. Chollet enfatiza que la prueba ARC-AGI es “una herramienta de investigación” y que “aprobar ARC-AGI no equivale a alcanzar AGI”.
“De hecho, no creo que o3 sea AGI todavía”, escribe Chollet en el blog ARC-AGI. “O3 todavía falla en algunas tareas muy fáciles, lo que indica diferencias fundamentales con la inteligencia humana”.
Para demostrar que todavía no estamos al nivel de inteligencia humana, Chollet señala algunos de los problemas simples en ARC-AGI que o3 no puede resolver. Uno de esos problemas implica simplemente mover un cuadrado de color en una cantidad determinada, un patrón que rápidamente se vuelve claro para un ser humano.
Un problema de ejemplo de ARC-AGI donde falló el modelo o3.
Premio ARCP
Chollet planea presentar una nueva versión de ARC-AGI en enero. Predice que reducirá drásticamente los resultados de o3. “Sabrás que AGI está aquí cuando el ejercicio de crear tareas que sean fáciles para los humanos comunes pero difíciles para la IA se vuelva simplemente imposible”, concluye.
Chatgpt no es un monolito.
Desde que Operai lanzó por primera vez el Buzzy Chatbot en 2022, ha implementado lo que parece un nuevo modelo cada pocos meses, utilizando una panoplia confusa de nombres.
Varios competidores de Operai tienen populares Alternativas de chatgptcomo Claude, Géminis y perplejidad. Pero los modelos de Openai se encuentran entre los más reconocibles de la industria. Algunos son buenos para tareas cuantitativas, como la codificación. Otros son mejores para hacer una lluvia de ideas sobre nuevas ideas.
Si está buscando una guía sobre qué modelo usar y cuándo, está en el lugar correcto.
GPT-4 y GPT-4O
Openai lanzó por primera vez GPT-4 en 2023 como su modelo de lenguaje grande. El CEO Sam Altman dijo en un podcast de abril que la modelo tomó “cientos de personas, casi todo el esfuerzo de Openi” para construir.
Desde entonces, ha actualizado su modelo insignia a GPT-4O, que lanzó por primera vez el año pasado. Es tan inteligente como GPT-4, que es capaz de acumular el SAT, el GRE y pasar la barra, pero es significativamente más rápido y mejora sus “capacidades entre el texto, la voz y la visión”, dice Openii. El “O” significa Omni.
4O puede traducir rápidamente el habla y ayudar con el álgebra lineal básica, y tiene las capacidades visuales más avanzadas.
Sus imágenes de estilo Studio Ghibli tocaron la emoción en línea. Sin embargo, también planteó preguntas de derechos de autor cuando los críticos argumentaron que Operai se está beneficiando injustamente del contenido de los artistas.
Operai dice que 4O “se destaca en las tareas cotidianas”, como hacer una lluvia de ideas, resumir, escribir correos electrónicos y revisar informes.
GPT-4.5
Altman describió a GPT-4.5 en una publicación sobre X como “el primer modelo que se siente como hablar con una persona reflexiva”.
Historias relacionadas
Business Insider cuenta las historias innovadoras que desea saber
Business Insider cuenta las historias innovadoras que desea saber
Es el último avance en el paradigma de “aprendizaje sin supervisión” de OpenAI, que se centra en ampliar los modelos en el “conocimiento de las palabras, la intuición y la reducción de las alucinaciones”, dijo la miembro del personal técnico de Operai, Amelia Glaese, durante su presentación en febrero.
Entonces, si está teniendo una conversación difícil con un colega, GPT-4.5 podría ayudarlo a replantear esas conversaciones en un tono más profesional y tacto.
Operai dice que GPT-4.5 es “ideal para tareas creativas”, como proyectos de colaboración y lluvia de ideas.
O1 y O1-Mini
Openai lanzó una mini versión de O1, su modelo de razonamiento, en septiembre del año pasado y la versión completa en diciembre.
Los investigadores de la compañía dijeron que es el primer modelo capacitado para “pensar” antes de que responda y se adapte bien a las tareas cuantitativas, de ahí el “modelo de razonamiento” del apodo. Esa es una función de su técnica de entrenamiento, conocida como cadena de pensamiento, que alienta a los modelos a razonar a través de problemas descomponiéndolos paso a paso.
En un artículo publicado en la capacitación de seguridad del modelo, la compañía dijo que “los modelos de capacitación para incorporar una cadena de pensamiento antes de responder tienen el potencial de desbloquear beneficios sustanciales, al tiempo que aumentan los riesgos potenciales que provienen de una inteligencia aumentada”.
En un video de una presentación interna de Operai en los mejores casos de uso para O1, Joe Casson, un ingeniero de soluciones en OpenAI, demostró cómo O1-Mini podría resultar útil para analizar el máximo beneficio en una llamada cubierta, una estrategia de negociación financiera. Casson también mostró cómo la versión de vista previa de O1 podría ayudar a alguien razonar a través de cómo crear un plan de expansión de la oficina.
Operai dice que el modo Pro de O1, una “versión de O1 que utiliza más cómputo para pensar más y proporcionar respuestas aún mejores a los problemas más difíciles”, es mejor para un razonamiento complejo, como crear un algoritmo para el pronóstico financiero utilizando modelos teóricos o generar un resumen de investigación de varias páginas en tecnologías emergentes.
O3 y O3-Mini
Los modelos pequeños han estado ganando tracción en la industria durante un tiempo como una alternativa más rápida y rentable a los modelos de base más grandes. Operai lanzó su primer modelo pequeño, O3 Mini, en enero, solo semanas después de que la startup de la startup china Butterfly Effect debutó el R1 de Deepseek, que conmocionó a Silicon Valley, y los mercados, con sus precios asequibles.
Openai dijo que 03 Mini es el “modelo más rentable” en su serie de razonamiento. Está destinado a manejar preguntas complejas, y Openai dijo que es particularmente fuerte en ciencias, matemáticas y codificación.
Julian Goldie, un influencer de las redes sociales que se centra en la estrategia de SEO, dijo en una publicación sobre el medio que O3 “brilla en tareas de desarrollo rápido” y es ideal para tareas de programación básicas en HTML y CSS, funciones simples de JavaScript y la construcción de prototipos rápidos. También hay una versión “mini alta” del modelo que, según él, es mejor para la “codificación y lógica compleja”, aunque tenía algunos problemas de control.
En abril, Openai lanzó una versión completa de O3, que llama “nuestro modelo de razonamiento más poderoso que empuja la frontera a través de la codificación, matemáticas, ciencias, percepción visual y más”.
Operai dice que el O3 se usa mejor para “tareas complejas o de múltiples pasos”, como la planificación estratégica, la codificación extensa y las matemáticas avanzadas.
O4 mini
Operai lanzó otro modelo más pequeño, el O4 Mini, en abril. Dijo que está “optimizado para un razonamiento rápido y rentable”.
La compañía dijo que logra un rendimiento notable para el costo, especialmente en “Matemáticas, codificación y tareas visuales”. Fue el modelo de referencia con mejor rendimiento en el examen de matemáticas de invitación estadounidense en 2024 y 2025.
O4 Mini, y su mini versión, son excelentes para un razonamiento rápido y más sencillo. Son buenos para acelerar cualquier tarea de razonamiento cuantitativo que encuentre durante su día. Si está buscando un trabajo más profundo, opte por O3.
Scott Swingle, alumbre de DeepMind y fundador de la compañía de herramientas de desarrolladores con IA Abante AI, probó O4 con un problema de Euler, una serie de problemas computacionales desafiantes lanzados cada semana más o menos. Dijo en una publicación sobre X que O4 resolvió el problema en 2 minutos y 55 segundos, “Mucho más rápido que cualquier solucionador humano. Solo 15 personas pudieron resolverlo en menos de 30 minutos”.
Operai dice que el O4 Mini se usa mejor para “tareas técnicas rápidas”, como consultas rápidas relacionadas con STEM. Dice que también es ideal para el razonamiento visual, como extraer puntos de datos clave de un archivo CSV o proporcionar un resumen rápido de un artículo científico.
