Se le preguntó a Altman sobre los informes de que el acuerdo de 13 mil millones de dólares de OpenAI con Microsoft está en peligro de desmoronarse:

“No creo que nos estemos desenredando. No pretenderé que no haya desajustes ni desafíos. Obviamente hay algunos. Pero en general, creo que ha sido algo tremendamente positivo para ambas empresas”.

Con respecto a la carrera armamentista de la computación con IA, se le preguntó a Altman si OpenAI necesitaba desarrollar sus propios recursos informáticos, en lugar de depender de socios (como NVIDIA y microsoft):

“No… Creo que debemos asegurarnos de tener suficiente computación del tipo que queremos, en la que podamos confiar y todo eso. Y puede haber razones por las que tenemos algunas ideas muy locas sobre cosas que nos gustaría construir que son, ya sabes, de alto riesgo y alta recompensa. Pero ciertamente no necesitamos que OpenAI se vuelva realmente bueno en la construcción de centros de datos a gran escala similares a computadoras”.

Sorkin le preguntó a Altman sobre el hecho de que nunca recibió ninguna participación en OpenAI, que busca pasar de una entidad sin fines de lucro a una empresa principal con fines de lucro.

“Mira, es raro que no obtuviera capital… No lo quería… Si pudiera retroceder en el tiempo, lo habría tomado… sólo un poquito, sólo para nunca tenerlo. para responder a esta pregunta”.

De cara a cómo serán los próximos uno o dos años de progreso en la IA, Altman dijo:

“Los agentes son de lo que todo el mundo habla… ya sabes, esta idea de que puedes darle a un sistema de IA una tarea bastante complicada, como un tipo de tarea que le asignas a un humano muy inteligente y que tarda un tiempo en ponerse en marcha y realizarla. y utilizar un montón de herramientas y crear algo de valor. Ese es el tipo de cosas que esperaría el próximo año… Si funciona tan bien como esperamos, realmente puede transformar las cosas”.

Algunas de las cosas más interesantes que dijo Altman estaban relacionadas con el cofundador de OpenAI, Elon Musk, y su startup xAI, que compite directamente con ChatGPT. Refiriéndose a xAI, Altman dijo: “Supongo que serán un competidor realmente serio… Tremendo respeto por la rapidez con la que construyeron ese centro de datos”, refiriéndose a Colossus, el enorme clúster de supercomputación de xAI impulsado por 100.000 GPU Nvidia H100.

Luego, la conversación giró hacia la nueva influencia política de Elon Musk que surge de su estrecha relación con el presidente electo Donald Trump, y cómo Musk podría usar esa influencia para beneficiar a su imperio y castigar a sus competidores:

“Sería profundamente antiestadounidense utilizar el poder político (en la medida en que lo tiene Elon) para perjudicar a sus competidores… No creo que Elon lo hiciera”.

Altman reflexionó sobre su relación personal con Musk, que se ha deteriorado: “Crecí con él como un megahéroe… Todavía me alegro de que exista”.

Cuando se le preguntó si los informes sobre las leyes de escala de la IA podrían estar chocando contra una pared, Altman no se lo creyó:

“Siempre me ha llamado la atención lo mucho que a la gente le encanta especular: ¿hay un muro? ¿Seguirá escalando? En lugar de simplemente mirar la curva de progreso y decir: ‘Tal vez no debería apostar una exponencial contra otra exponencial como esa’”.

Altman adelantó una serie de lanzamientos y demostraciones diarias de OpenAI que se llevarán a cabo durante las próximas semanas:

“Tenemos un montón de cosas nuevas y geniales… Haremos ’12 días de OpenAI’ a partir de mañana, pero lanzaremos algo o haremos una demostración todos los días durante los próximos 12 días de la semana”.

Esta publicación se ha actualizado para aclarar una cita de Sam Altman.

Hola, soy Azeem.

Estoy en la Cumbre DealBook en Nueva York hoy y acabo de escuchar a Sam Altman hablar sobre su visión sobre los próximos años:

Espero que en 2025 tengamos sistemas que la gente mire, incluso aquellos que son escépticos sobre el progreso actual, y digan: ‘Vaya, no esperaba eso’. Los agentes son de lo que todo el mundo habla y por una buena razón. Esta idea de que puedes darle a un sistema de IA una tarea bastante complicada, el tipo de tarea que le darías a un ser humano muy inteligente, que lleva un tiempo implementar y usar un montón de herramientas y crear algo de valor. Ese es el tipo de cosas que esperaría el próximo año. Y eso es un gran problema. Si eso funciona tan bien como esperamos, realmente puede transformar las cosas.

Los agentes han estado en mi hoja de ruta por un tiempo. El año pasado hablé de nuestra mil millones de agentes futuros e invirtió en un par de nuevas empresas que construyen sistemas agentes. En la publicación de hoy, analizamos cómo pensamos que pasaremos de asistentes de inteligencia artificial como ChatGPT a miles de millones de agentes que nos respaldan en segundo plano. ¡Disfrutar!

Por

y

En un futuro muy cercano, los trabajadores del conocimiento podrían contar con el apoyo de miles de agentes de IA, todos operando en paralelo. Esto no es futurismo especulativo. Jensen Huang de Nvidia habló recientemente sobre el papel de los agentes Ya juega en Nvidia y cómo ve su futuro:

Puntilla: ¿Ya estás utilizando cadenas de razonamiento y herramientas como o1 en nuestro propio negocio para mejorarlo?

Jensen: Absolutamente. Nuestro sistema de ciberseguridad actual no puede funcionar sin nuestros propios agentes. Contamos con agentes de IA que ayudan a diseñar chips: Hopper no sería posible, Blackwell no sería posible y ni siquiera pensamos en Rubin. Contamos con diseñadores de chips de IA, ingenieros de software de IA e ingenieros de verificación de IA, y los construimos todos internamente. Tenemos la capacidad y preferiríamos aprovechar la oportunidad para explorar la tecnología nosotros mismos. Espero que Nvidia algún día sea una empresa de 50.000 empleados con 100 millones de asistentes de IA […] Las IA reclutarán a otras IA para resolver problemas […] Por lo tanto, seremos simplemente una gran base de empleados, algunos de ellos digitales y otros biológicos.

De manera similar, Sam Altman anticipa el surgimiento de una unicornio unipersonal—Una empresa de mil millones de dólares administrada por un solo individuo que aprovecha un ejército de agentes de IA.

Los asistentes de IA actuales, como ChatGPT, requieren una participación humana constante: son copilotos, no actores autónomos. La próxima evolución, que ya está en marcha, es la de agentes que ejecutan tareas de forma independiente una vez que se les asigna un objetivo, muy parecido a delegar a un equipo experimentado y dar un paso atrás mientras ellos se encargan del resto. Y no hay límite para el tamaño de este equipo.

Para ayudarle a entender esto, nos asociamos con

ingeniero de aprendizaje automático, escritor y editor en jefe de .

Juntos, exploraremos tres áreas en la publicación de hoy:

• El estado actual de los agentes de IA y sus aplicaciones en el mundo real.

• ¿Por qué su adopción generalizada se está volviendo inevitable?

• Cómo esta transición podría conducir a un futuro en el que miles de millones de agentes aumenten el trabajo humano.

Los agentes han sido una prioridad para los científicos informáticos durante décadas, pero hasta hace poco se lograron pocos avances. Lo lejos que hemos llegado se refleja mejor en una cita de un artículo de 1997 por los científicos informáticos Christopher Welty y Louis Hoebel, quienes luego escribieron

Cualquiera que tenga conocimientos sobre “agentes” no puede evitar reconocer que, como tecnología de inteligencia artificial, normalmente hay muy poca inteligencia real involucrada. En cierto sentido, los Agentes pueden definirse como IA a pequeña escala que funciona.

La era ChatGPT introdujo sistemas basados ​​en LLM que actualmente consideramos “agentes de IA”. Los primeros prototipos como BebéAGIpor ejemplo, demostró que la planificación de tareas podría permitir a los LLM actuar de forma autónoma.

Ejemplo de Yohei Nakajima

Las últimas mejoras se han capturado en puntos de referencia (consulte la Informe sobre el estado de la IA 2024 para profundizar) e investigaciones que demuestran que los LLM existentes se pueden utilizar para crear agentes que aprenden continuamente en entornos abiertos (como Minecraft).

Lanzamiento de DeepMind gatoun “agente generalista” que utiliza la misma idea subyacente en los LLM para realizar tareas, desde apilar bloques con un brazo robótico real hasta subtitular imágenes. Joon Park y sus colegas propusieron Agentes generativos como una caja de arena interactiva que se utilizará principalmente para las ciencias sociales. En ciencias duras, investigadores de Stanford crearon un laboratorio virtual que utilizaba agentes crear 92 nuevos diseños de nanocuerposincluidos múltiples nanocuerpos con actividad de unión exitosa contra el virus que causa Covid-19 (como se destaca en EV#501).

En la empresa, Adepto imaginó un asistente digital que podría convertir un comando de texto en una serie de acciones, como hacer un plano para una pieza nueva de un automóvil, y recaudó 350 millones de dólares hacerlo antes de ser absorbido en Amazon.

En el ámbito del consumo, empresas emergentes como Shortwave han desarrollado agentes que pueden desempeñar el papel de asistentes ejecutivos para gestionar y estructurar la información en dominios como el correo electrónico. Azeem ha invertido en dos nuevas empresas de agentes, WordWare y Mellizo.

Mientras tanto, Microsoft ha estado aprovechando su fortaleza en software empresarial para establecer silenciosamente un punto de apoyo en esta área. Encima 100.000 de sus clientes empresariales ya están experimentando en Copilot Studio, creando agentes autónomos personalizados o implementando soluciones listas para usar.

Hiscox, una aseguradora, utilizó agentes para reducir el tiempo de cotización de riesgos complejos de tres días a unos pocos minutos. De manera similar, McKinsey, utilizando el ecosistema de agentes de Microsoft, ha reducido su flujo de trabajo de admisión de proyectos de 20 días a dos días.

Durante el siglo pasado, hemos sido testigos de asombrosos aumentos de productividad en industrias como la manufacturera y la agrícola: las fábricas producen productos exponencialmente más rápido y las granjas alimentan a miles de millones con una fracción de la fuerza laboral que alguna vez necesitaron. Sin embargo, en las aulas todavía se necesita un maestro para educar a 30 estudiantes. Esto es La maldición de Baumol. Cuando los salarios aumentan en sectores de alta productividad como el manufacturero, los servicios intensivos en mano de obra deben aumentar los salarios para competir, incluso si su productividad permanece estancada. Así, mientras los productos manufacturados se abaratan, muchos servicios se encarecen.

En el centro de esta cuestión está nuestra incapacidad para escalar nuestra propia humano tiempo. Según la Ley de Amdahl, la velocidad de un sistema está limitada por su componente más lento. En muchas partes del sector de servicios, esto se reduce a limitaciones en torno a los procesos dependientes de los seres humanos. La Revolución Industrial superó las limitaciones físicas mediante la mecanización; La IA podría ser una oportunidad similar para superar los obstáculos cognitivos al otro lado de…

1. Velocidad: Los sistemas de IA operan mucho más allá de los tiempos de reacción humanos, procesando datos en milisegundos. El LLM más rápido produce resultados a 6000 veces la velocidad que puede alcanzar un humano.

2. Escala: Podemos implementar tantos agentes de IA como lo permitan nuestros recursos computacionales, superando potencialmente la población humana.

3. Paralelización: Las tareas se pueden dividir entre miles o incluso millones de agentes de IA. En lugar de analizar 100 documentos secuencialmente, 100 agentes de IA pueden procesarlos simultáneamente y fusionar sus hallazgos en un solo informe.

4. Eficiencia de costes: Con el tiempo, los agentes se vuelven más baratos que la mano de obra humana, especialmente cuando se escala. En este momento podemos conseguir un sistema protoagente para realizar un metanálisis de 200 artículos de ArXiv por aproximadamente el 1% del costo humano. AlphaFold predijo 200 millones de estructuras proteicas, cada una de las cuales tradicionalmente cuesta $100,000 y un doctorado completo para determinar.

5. Personalización: En lugar de dividir un servicio humano entre muchos, la IA permite experiencias individualizadas para todos: un tutor privado para usted o su hijo, por ejemplo.

6. Aprendizaje y adaptación: Como sostiene el investigador independiente Gwern Branwen: “Todo problema suficientemente difícil se convierte en un problema de aprendizaje por refuerzo.“Cada desafío complejo requiere tomar secuencias de decisiones bajo incertidumbre donde cada elección afecta las opciones y resultados futuros, que es exactamente lo que resuelve el aprendizaje por refuerzo. Con esto, los sistemas de IA pueden ejecutar millones de experimentos paralelos, agregar sus aprendizajes mediante el reparto de peso y actuar sobre esos conocimientos de una manera que los sistemas biológicos no pueden.

Durante el próximo año, el despliegue de agentes tomará un “Gatear, caminar, correr” acercarse. Las empresas están experimentando con casos de uso simples, antes de expandirse en complejidad. De ahí todo lo que se habla de los agentes de servicio al cliente, una implementación fácil y de riesgo relativamente bajo. Pero la complejidad y la variedad de tareas que un agente puede realizar crecerán.

Para pensar más en una evolución que podríamos comenzar a ver el próximo año, veamos una profesión que todos aman… los abogados.

De acuerdo a una base de datos mantenida por el Departamento de Trabajo de EE. UU.los abogados realizan 22 tareas profesionales distintas. Una de estas tareas principales es la preparación de escritos y dictámenes legales para presentaciones judiciales. Imagine a un socio de una firma de abogados asignando un complejo escrito de apelación a lo que parece ser un único asistente de IA, pero que en realidad es una orquesta de agentes especializados, cada uno con una “experiencia” distinta.

El proceso comienza en el momento en que se cargan los expedientes del caso. Un agente coordinador (un director de proyectos de IA, por así decirlo) analiza inmediatamente los requisitos del tribunal y los plazos de presentación. En cuestión de segundos, un agente de investigación revisa bases de datos legales a una velocidad sobrehumana. Identifica todos los precedentes relevantes y patrones sutiles en el razonamiento judicial en casos similares. Al mismo tiempo, un agente de análisis de casos examina el expediente del juicio, relaciona los hechos del caso con elementos legales e identifica argumentos prometedores que los abogados humanos podrían pasar por alto en miles de páginas de testimonios.

Así como un agente de redacción elabora argumentos preliminares en un lenguaje legal preciso, un agente de gestión de citaciones garantiza que cada referencia cumpla con los estándares del Bluebook y valida que cada caso citado siga siendo una buena ley. Un agente de cumplimiento técnico monitorea continuamente el formato, el recuento de palabras y las reglas judiciales en tiempo real, mientras que un agente de control de calidad valida las cotizaciones y garantiza la coherencia lógica. El agente coordinador contrata a otros agentes, gestiona los flujos de trabajo y resuelve conflictos.

Y esto es sólo para una única tarea…

La magia del sistema agente es que puede escalar. Podría tener una docena o más de informes preparados en paralelo. Lo que comienza con unos pocos agentes especializados manejando un informe legal rápidamente se convierte en cascada. Empezar con 1,3 millones de abogados estadounidensescada uno de los cuales despliega 5 agentes especializados para cada una de las 22 tareas que realizan; eso ya son mil millones de agentes. Eso es sólo para 1 millón de abogados… Se estima que hay 1.000 millones trabajadores del conocimiento en todo el mundo. Habrá miles de millones de agentes. Y esto supone 5 agentes por tarea. ¿Pero por qué no 5, 10, 100 agentes? Teóricamente no hay más límite que el de eficacia.

Pero hacer que las organizaciones de abogados sean más eficientes no es lo único que los agentes permitirán. Como señala Flo Crivello, fundador y CEO de Lindy, cuando las herramientas se vuelven exponencialmente más baratas, pasan de ser activos corporativos a permitir la creatividad individual:

Un poco de limpieza: planeo aumentar el precio de Interconnects en el nuevo año. Estoy produciendo mucho más contenido del que esperaba y el servidor de Discord está funcionando fantástico. Es un buen momento para actualizar a una suscripción anual; en realidad, se trata de un gran descuento navideño hasta que el precio suba en 2025. O siempre puedes Regala Interconexiones! Recordatorio: ofrezco 80% de descuento en descuentos para estudiantes.

Administrar suscripción

Y este es un último recordatorio de que estaré en NeurIPS en Vancouver la próxima semana. Comuníquese si está en la ciudad.

El lanzamiento de o1 de OpenAI se comunicó para hacer pensar a la gente que utilizaba activamente algún tipo de búsqueda (aparte del aprendizaje por refuerzo ingenuo), tanto en el momento del entrenamiento como en el de las pruebas. Se habían dicho muchas cosas antes de esto: el “autojuego” en Q*, Noam Brown liderando un equipo para trabajar en la búsqueda en OpenAI y muchos otros humo y espejos.

En mi primera publicación en o1, traté de tomar las comunicaciones corporativas de OpenAI y los medios de sus empleados al pie de la letra para descubrir qué está pasando: ¿Qué significaría para o1 de OpenAI utilizar la búsqueda?

Hoy hago lo contrario… ¿Qué significaría para sistemas similares a o1 utilizar exclusivamente aprendizaje por refuerzo a gran escala sin recompensas intermedias o de proceso? Esto no incluye ninguna expansión de los pasos actuales en la cadena de razonamiento como un “árbol” o representaciones similares. Este es el argumento de que toda la “búsqueda” en o1 de OpenAI (y algunas de las replicaciones) está dentro del comportamiento de entrenamiento de aprendizaje por refuerzo. Los algoritmos de aprendizaje por refuerzo “buscan” para maximizar sus funciones de valor interno y recompensas extrínsecas en el entorno, pero es mucho menos intuitivo cómo se hace que algo como Monte Carlo Tree Search (MCTS).

El resumen de la publicación original fue que vi o1 de OpenAI como:

1. Procesar recompensas en el entrenamiento, proporcionando señales de recompensa por paso de razonamiento (basándose en mi Q* Hipótesis).

2. Búsqueda de profundidad 1 en el momento de la prueba con un verificador por paso de razonamiento como cabezal de valor independiente o incorporado (por ejemplo, un verificador generativo).

¿Por dónde empezamos en el otro camino? ¿Qué suposición es incorrecta?

Estaba viendo la gran conferencia de la profesora Sasha Rush, Especulaciones sobre la escala del tiempo de prueba (diapositivas aquí), y era obvio que nos encontramos en una encrucijada con respecto a los tipos de sistemas de IA que podemos construir con modelos de lenguaje. Los modelos o1 de OpenAI son los primeros de una nueva generación. Sasha explora 4 áreas que podrían estar involucradas en sistemas de capacitación como o1 de OpenAI, catalogadas como “Los sospechosos”:

1. Adivina + Comprobar

2. Recompensas del proceso

3. Buscar / AlfaZero

4. Aprendiendo a corregir

En particular, para ir en contra de mi primera publicación, necesito explicar cómo se puede construir o1 de OpenAI sin ninguno de los siguientes:

• Búsqueda en línea en el momento de la prueba que controla la cantidad de computación gastada, es decir eliminando Search/AlpaZero de los sospechosos.

• Recompensas intermedias que supervisan el proceso de formación, es decir eliminar las recompensas del proceso de los sospechosos.

Esto deja a los sospechosos como “Adivina + Verifica” y “Aprende a corregir”. Estas son las ideas más simples entre las cuatro.

Como todas las discusiones sobre o1, para hacer esto, tenemos que comenzar con el gráfico de cálculo fundamental en el momento de la prueba para ver dónde encajan las ideas.

Lo que implica el gráfico de cálculo en el momento de la prueba es que de alguna manera la cantidad de cálculo gastado se puede controlar como un parámetro de generación. Esto se debe a que el equipo de modelado definitivamente puede controlar el gráfico de la izquierda, el cálculo del tiempo de entrenamiento. Emparejarlos juntos, donde la izquierda es un régimen controlable y la derecha pueden ser simplemente puntos muestreados del comportamiento natural, está empujando la narrativa en la dirección de un cómputo controlable en el tiempo de prueba.

La versión más intuitiva de esto sería un factor de ramificación en la búsqueda superficial, pero una alternativa podría ser un mensaje que simplemente le indique al modelo cuánto tiempo puede generar. Para este último, es importante recordar que OpenAI enfatizó que este tipo de modelo solo podría haberse realizado una vez que se lograron avances en el contexto a largo plazo.

La otra forma en que se podría crear el gráfico de cálculo en el momento de la prueba es muestreando generaciones y trazando la tasa de ganancias versus la cantidad de tokens que usó el modelo en su propia decodificación autorregresiva estándar. Lo que esto parece es que, para los conjuntos de evaluación, se toman muestras del modelo varias veces, no necesariamente solo una vez por mensaje, como es tradicional. Luego, agruparemos las respuestas en las regiones informáticas específicas del momento de la prueba en las que terminaron las finalizaciones.

A continuación se muestra un diagrama que muestra el escenario hipotético con múltiples finalizaciones por mensaje de evaluación.

A continuación, agrupe las ejecuciones de evaluación por cálculo gastado por el modelo y califique las respuestas. Asegúrese de que para cada mensaje haya suficientes evaluaciones representativas.

Finalmente, agregue las puntuaciones. Convierta los contenedores de cálculo en el momento de la prueba en puntuaciones y luego ordene los contenedores por cálculo gastado.

Luego, puedes convertir esto en una ley de escala de inferencia, sin utilizar ninguna búsqueda.

Incluso si este es el caso, sospecho que OpenAI eventualmente desarrollará la capacidad de controlar la duración de su generación por sí solo. Incluso solo la mitad izquierda del gráfico original de OpenAI, escalar el entrenamiento de RL, es potencialmente un cambio radical en la forma en que se entrenan los modelos de lenguaje.

Compartir

En segundo lugar, con una arquitectura más simple, es más importante controlar los datos de entrenamiento.. Hay dos cosas que creo que son importantes aquí: verificaciones y continuaciones. Primero, recordemos la terminología básica en la publicación del blog OpenAI o1:

Nuestro algoritmo de aprendizaje por refuerzo a gran escala enseña al modelo cómo pensar productivamente usando su cadena de pensamiento en un proceso de formación altamente eficiente en datos.

La pregunta clave que surge una y otra vez en el aprendizaje por refuerzo de los círculos de retroalimentación humana en estos días es “¿Qué datos se utilizan realmente para RLHF?”. El RLHF estándar, tal como lo conocíamos por modelos como InstructGPT y Llama 3.1, en realidad se trata principalmente de controlar el estilo y, al mismo tiempo, mejorar marginalmente el rendimiento en algunas capacidades. La señal es muy débil, como se ve en el 80% de los datos de preferencia de Llama 3.1 que son “chat general”.

Lo que hace o1, y hacia lo que se dirigen otros proyectos, es obtener su señal de recompensa explícitamente a partir de resultados mensurables: verificaciones. O1 de OpenAI se entrena en una gran variedad de mensajes en los que hay una respuesta verificable. Pueden ser problemas matemáticos, errores de código con pruebas unitarias, instrucciones con restricciones y otras cosas. Sospecho que una gran proporción de los datos de entrenamiento de o1 son estos, lo que permite la “eficiencia de datos” mencionada anteriormente.

OpenAI sigue entrenando sobre estas indicaciones, a veces el modelo lo hace bien y aprende de eso, y a veces necesita ayuda. Aquí es donde continuaciones entra. Nuevamente, citando la publicación del blog, como lo destaca Sasha Rush:

o1 aprende a perfeccionar su cadena de pensamiento y refinar las estrategias que utiliza. Aprende a reconocer y corregir sus errores. Aprende a dividir los pasos complicados en otros más simples. Aprende a probar un enfoque diferente cuando el actual no funciona.

Todos los datos que mencioné anteriormente son recompensas basadas en resultados. Para llegar allí, OpenAI utiliza una amplia retroalimentación de LLM como juez sobre cadenas de razonamiento intermedias. Los modelos de lenguaje existentes pueden identificar fácilmente dónde falla una cadena de pensamiento y pueden generar un siguiente paso para que el modelo intente completarla correctamente.

Las correcciones y continuaciones están en espíritu muy cerca de las recompensas del proceso. La diferencia clave es que la supervisión que estoy analizando en esta propuesta para o1 no necesita ocurrir en cada paso; puede haber algún conjunto de pasos que se verifican sólo cuando se llega a una respuesta final incorrecta.

Además, es probable que OpenAI tenga otros verificadores generativos (aprendidos) que van más allá de dominios simples como las matemáticas y el código, pero esta área es mucho más confusa. Podría ser un modelo de recompensa muy avanzado, podría ser algo completamente nuevo, no lo sabemos. Aún así, la última cita del blog de OpenAI que destaca Sasha Rush nos mostró lo importante que era el ciclo de retroalimentación de las continuaciones y la RL:

Al entrenar un modelo para el razonamiento, una cosa que inmediatamente me viene a la mente es hacer que los humanos escriban su proceso de pensamiento y se entrenen en él. Cuando vimos que si entrenas el modelo usando RL para generar y perfeccionar su propia cadena de pensamientos, puede hacerlo incluso mejor que si los humanos escribieran cadenas de pensamiento para él. Ese fue el “¡Ajá!” momento en el que realmente podrías escalar esto.

Este es un bucle de datos sintéticos prolongado y prolongado. La parte RL es necesaria para inducir comportamientos creativos, eso realmente creo, y todo el andamiaje que la rodea tiene como objetivo guiar la señal de aprendizaje hacia adelante.

La mejor parte de este punto de vista, que conlleva un conjunto completamente diferente de preguntas de investigación, es que encaja mejor con la famosa frase de Rich Sutton. amarga lección. Al limitar realmente el dominio y la estructura del problema, OpenAI pudo ampliar el cálculo de entrenamiento que gastaron en la etapa de aprendizaje por refuerzo. Sasha Rush destaca esta cita en su charla:

La amarga lección se basa en las observaciones históricas de que 1) los investigadores de IA a menudo han intentado incorporar conocimiento a sus agentes, 2) esto siempre ayuda a corto plazo y es personalmente satisfactorio para el investigador, pero 3) a largo plazo se estanca e incluso inhibe un mayor progreso, y 4) el progreso revolucionario eventualmente llega mediante un enfoque opuesto basado en escalar el cálculo mediante búsqueda y aprendizaje.

Nuevamente volvemos a la búsqueda. Lo que hay que recordar es que los métodos de aprendizaje por refuerzo utilizados durante el entrenamiento son una versión de la exploración de búsqueda para maximizar la recompensa. Dada la diversidad de comportamientos, parece como si OpenAI hiciera que RL pudiera funcionar por más tiempo sin sufrir degradación. Esto indica que tienen una regularización sólida (lo que podría dificultar el aprendizaje) o un conjunto de capacitación amplio y diverso (o, probablemente, ambas cosas).

Con RL, no es necesario que haya una estructura explícita para la búsqueda. tener algo Estilo AlphaZero para una tarea de generación de lenguaje sería muy complicado: no está nada claro cómo un modelo de lenguaje puede generar de manera confiable un paso de razonamiento a la vez mientras se bifurca y obtiene verificación. El lenguaje es confuso, y si lo aceptamos, tal vez lo correcto sea usar solo un modelo y muchas RL. Entonces, para responder Las preguntas de Rush:

¿Crees que están haciendo MCTS durante el entrenamiento?

No.

¿Esa parte surge de forma natural?

Sí, dependiendo de cómo definas “natural”.

Vimos algunos comportamientos RL muy extraños en Tulú 3 dejando nuestro entrenamiento RLVR (otro método que se ajusta solo a partir de las recompensas de resultados) funcionando por más tiempo del útil para el uso general. En concreto, vimos la comportamientos como “espera, déjame comprobar eso” varias veces en una expansión de cadena de pensamiento. Lo que necesitamos es mantener este tipo de entrenamiento manteniendo el comportamiento coherente en una variedad más amplia de tareas.

Tengo la intención de publicar más sobre o1 en los próximos meses; ahora tenemos una larga lista de compañeros, desde Fuegos artificiales F1, Nosotros Forja, DeepSeek R1 Lite, Qwen QwQy otras versiones menores. Estos están mostrando el rango potencial en estos modelos, aunque sigo pensando que la versión de OpenAI es la más robusta con diferencia.

Más allá de esto, abordaré temas como: cómo lo reproduciría (¿lo reproduciré?), cómo veo la literatura, qué esconde OpenAI, cómo las versiones abiertas deberían y serán diferentes, y todos los gustos. Asegúrate de suscribirte y darme tu opinión sobre lo que es más interesante.

Gracias a Hamish Ivison y Dylan Patel por solidificarme la idea de “muestreo” del cálculo del tiempo de prueba. Crédito a Sasha Rush por su excelente charla e intercambios en Twitter.