Un poco de limpieza: planeo aumentar el precio de Interconnects en el nuevo año. Estoy produciendo mucho más contenido del que esperaba y el servidor de Discord está funcionando fantástico. Es un buen momento para actualizar a una suscripción anual; en realidad, se trata de un gran descuento navideño hasta que el precio suba en 2025. O siempre puedes Regala Interconexiones! Recordatorio: ofrezco 80% de descuento en descuentos para estudiantes.

Administrar suscripción

Y este es un último recordatorio de que estaré en NeurIPS en Vancouver la próxima semana. Comuníquese si está en la ciudad.

El lanzamiento de o1 de OpenAI se comunicó para hacer pensar a la gente que utilizaba activamente algún tipo de búsqueda (aparte del aprendizaje por refuerzo ingenuo), tanto en el momento del entrenamiento como en el de las pruebas. Se habían dicho muchas cosas antes de esto: el “autojuego” en Q*, Noam Brown liderando un equipo para trabajar en la búsqueda en OpenAI y muchos otros humo y espejos.

En mi primera publicación en o1, traté de tomar las comunicaciones corporativas de OpenAI y los medios de sus empleados al pie de la letra para descubrir qué está pasando: ¿Qué significaría para o1 de OpenAI utilizar la búsqueda?

Hoy hago lo contrario… ¿Qué significaría para sistemas similares a o1 utilizar exclusivamente aprendizaje por refuerzo a gran escala sin recompensas intermedias o de proceso? Esto no incluye ninguna expansión de los pasos actuales en la cadena de razonamiento como un “árbol” o representaciones similares. Este es el argumento de que toda la “búsqueda” en o1 de OpenAI (y algunas de las replicaciones) está dentro del comportamiento de entrenamiento de aprendizaje por refuerzo. Los algoritmos de aprendizaje por refuerzo “buscan” para maximizar sus funciones de valor interno y recompensas extrínsecas en el entorno, pero es mucho menos intuitivo cómo se hace que algo como Monte Carlo Tree Search (MCTS).

El resumen de la publicación original fue que vi o1 de OpenAI como:

1. Procesar recompensas en el entrenamiento, proporcionando señales de recompensa por paso de razonamiento (basándose en mi Q* Hipótesis).

2. Búsqueda de profundidad 1 en el momento de la prueba con un verificador por paso de razonamiento como cabezal de valor independiente o incorporado (por ejemplo, un verificador generativo).

¿Por dónde empezamos en el otro camino? ¿Qué suposición es incorrecta?

Estaba viendo la gran conferencia de la profesora Sasha Rush, Especulaciones sobre la escala del tiempo de prueba (diapositivas aquí), y era obvio que nos encontramos en una encrucijada con respecto a los tipos de sistemas de IA que podemos construir con modelos de lenguaje. Los modelos o1 de OpenAI son los primeros de una nueva generación. Sasha explora 4 áreas que podrían estar involucradas en sistemas de capacitación como o1 de OpenAI, catalogadas como “Los sospechosos”:

1. Adivina + Comprobar

2. Recompensas del proceso

3. Buscar / AlfaZero

4. Aprendiendo a corregir

En particular, para ir en contra de mi primera publicación, necesito explicar cómo se puede construir o1 de OpenAI sin ninguno de los siguientes:

• Búsqueda en línea en el momento de la prueba que controla la cantidad de computación gastada, es decir eliminando Search/AlpaZero de los sospechosos.

• Recompensas intermedias que supervisan el proceso de formación, es decir eliminar las recompensas del proceso de los sospechosos.

Esto deja a los sospechosos como “Adivina + Verifica” y “Aprende a corregir”. Estas son las ideas más simples entre las cuatro.

Como todas las discusiones sobre o1, para hacer esto, tenemos que comenzar con el gráfico de cálculo fundamental en el momento de la prueba para ver dónde encajan las ideas.

Lo que implica el gráfico de cálculo en el momento de la prueba es que de alguna manera la cantidad de cálculo gastado se puede controlar como un parámetro de generación. Esto se debe a que el equipo de modelado definitivamente puede controlar el gráfico de la izquierda, el cálculo del tiempo de entrenamiento. Emparejarlos juntos, donde la izquierda es un régimen controlable y la derecha pueden ser simplemente puntos muestreados del comportamiento natural, está empujando la narrativa en la dirección de un cómputo controlable en el tiempo de prueba.

La versión más intuitiva de esto sería un factor de ramificación en la búsqueda superficial, pero una alternativa podría ser un mensaje que simplemente le indique al modelo cuánto tiempo puede generar. Para este último, es importante recordar que OpenAI enfatizó que este tipo de modelo solo podría haberse realizado una vez que se lograron avances en el contexto a largo plazo.

La otra forma en que se podría crear el gráfico de cálculo en el momento de la prueba es muestreando generaciones y trazando la tasa de ganancias versus la cantidad de tokens que usó el modelo en su propia decodificación autorregresiva estándar. Lo que esto parece es que, para los conjuntos de evaluación, se toman muestras del modelo varias veces, no necesariamente solo una vez por mensaje, como es tradicional. Luego, agruparemos las respuestas en las regiones informáticas específicas del momento de la prueba en las que terminaron las finalizaciones.

A continuación se muestra un diagrama que muestra el escenario hipotético con múltiples finalizaciones por mensaje de evaluación.

A continuación, agrupe las ejecuciones de evaluación por cálculo gastado por el modelo y califique las respuestas. Asegúrese de que para cada mensaje haya suficientes evaluaciones representativas.

Finalmente, agregue las puntuaciones. Convierta los contenedores de cálculo en el momento de la prueba en puntuaciones y luego ordene los contenedores por cálculo gastado.

Luego, puedes convertir esto en una ley de escala de inferencia, sin utilizar ninguna búsqueda.

Incluso si este es el caso, sospecho que OpenAI eventualmente desarrollará la capacidad de controlar la duración de su generación por sí solo. Incluso solo la mitad izquierda del gráfico original de OpenAI, escalar el entrenamiento de RL, es potencialmente un cambio radical en la forma en que se entrenan los modelos de lenguaje.

Compartir

En segundo lugar, con una arquitectura más simple, es más importante controlar los datos de entrenamiento.. Hay dos cosas que creo que son importantes aquí: verificaciones y continuaciones. Primero, recordemos la terminología básica en la publicación del blog OpenAI o1:

Nuestro algoritmo de aprendizaje por refuerzo a gran escala enseña al modelo cómo pensar productivamente usando su cadena de pensamiento en un proceso de formación altamente eficiente en datos.

La pregunta clave que surge una y otra vez en el aprendizaje por refuerzo de los círculos de retroalimentación humana en estos días es “¿Qué datos se utilizan realmente para RLHF?”. El RLHF estándar, tal como lo conocíamos por modelos como InstructGPT y Llama 3.1, en realidad se trata principalmente de controlar el estilo y, al mismo tiempo, mejorar marginalmente el rendimiento en algunas capacidades. La señal es muy débil, como se ve en el 80% de los datos de preferencia de Llama 3.1 que son “chat general”.

Lo que hace o1, y hacia lo que se dirigen otros proyectos, es obtener su señal de recompensa explícitamente a partir de resultados mensurables: verificaciones. O1 de OpenAI se entrena en una gran variedad de mensajes en los que hay una respuesta verificable. Pueden ser problemas matemáticos, errores de código con pruebas unitarias, instrucciones con restricciones y otras cosas. Sospecho que una gran proporción de los datos de entrenamiento de o1 son estos, lo que permite la “eficiencia de datos” mencionada anteriormente.

OpenAI sigue entrenando sobre estas indicaciones, a veces el modelo lo hace bien y aprende de eso, y a veces necesita ayuda. Aquí es donde continuaciones entra. Nuevamente, citando la publicación del blog, como lo destaca Sasha Rush:

o1 aprende a perfeccionar su cadena de pensamiento y refinar las estrategias que utiliza. Aprende a reconocer y corregir sus errores. Aprende a dividir los pasos complicados en otros más simples. Aprende a probar un enfoque diferente cuando el actual no funciona.

Todos los datos que mencioné anteriormente son recompensas basadas en resultados. Para llegar allí, OpenAI utiliza una amplia retroalimentación de LLM como juez sobre cadenas de razonamiento intermedias. Los modelos de lenguaje existentes pueden identificar fácilmente dónde falla una cadena de pensamiento y pueden generar un siguiente paso para que el modelo intente completarla correctamente.

Las correcciones y continuaciones están en espíritu muy cerca de las recompensas del proceso. La diferencia clave es que la supervisión que estoy analizando en esta propuesta para o1 no necesita ocurrir en cada paso; puede haber algún conjunto de pasos que se verifican sólo cuando se llega a una respuesta final incorrecta.

Además, es probable que OpenAI tenga otros verificadores generativos (aprendidos) que van más allá de dominios simples como las matemáticas y el código, pero esta área es mucho más confusa. Podría ser un modelo de recompensa muy avanzado, podría ser algo completamente nuevo, no lo sabemos. Aún así, la última cita del blog de OpenAI que destaca Sasha Rush nos mostró lo importante que era el ciclo de retroalimentación de las continuaciones y la RL:

Al entrenar un modelo para el razonamiento, una cosa que inmediatamente me viene a la mente es hacer que los humanos escriban su proceso de pensamiento y se entrenen en él. Cuando vimos que si entrenas el modelo usando RL para generar y perfeccionar su propia cadena de pensamientos, puede hacerlo incluso mejor que si los humanos escribieran cadenas de pensamiento para él. Ese fue el “¡Ajá!” momento en el que realmente podrías escalar esto.

Este es un bucle de datos sintéticos prolongado y prolongado. La parte RL es necesaria para inducir comportamientos creativos, eso realmente creo, y todo el andamiaje que la rodea tiene como objetivo guiar la señal de aprendizaje hacia adelante.

La mejor parte de este punto de vista, que conlleva un conjunto completamente diferente de preguntas de investigación, es que encaja mejor con la famosa frase de Rich Sutton. amarga lección. Al limitar realmente el dominio y la estructura del problema, OpenAI pudo ampliar el cálculo de entrenamiento que gastaron en la etapa de aprendizaje por refuerzo. Sasha Rush destaca esta cita en su charla:

La amarga lección se basa en las observaciones históricas de que 1) los investigadores de IA a menudo han intentado incorporar conocimiento a sus agentes, 2) esto siempre ayuda a corto plazo y es personalmente satisfactorio para el investigador, pero 3) a largo plazo se estanca e incluso inhibe un mayor progreso, y 4) el progreso revolucionario eventualmente llega mediante un enfoque opuesto basado en escalar el cálculo mediante búsqueda y aprendizaje.

Nuevamente volvemos a la búsqueda. Lo que hay que recordar es que los métodos de aprendizaje por refuerzo utilizados durante el entrenamiento son una versión de la exploración de búsqueda para maximizar la recompensa. Dada la diversidad de comportamientos, parece como si OpenAI hiciera que RL pudiera funcionar por más tiempo sin sufrir degradación. Esto indica que tienen una regularización sólida (lo que podría dificultar el aprendizaje) o un conjunto de capacitación amplio y diverso (o, probablemente, ambas cosas).

Con RL, no es necesario que haya una estructura explícita para la búsqueda. tener algo Estilo AlphaZero para una tarea de generación de lenguaje sería muy complicado: no está nada claro cómo un modelo de lenguaje puede generar de manera confiable un paso de razonamiento a la vez mientras se bifurca y obtiene verificación. El lenguaje es confuso, y si lo aceptamos, tal vez lo correcto sea usar solo un modelo y muchas RL. Entonces, para responder Las preguntas de Rush:

¿Crees que están haciendo MCTS durante el entrenamiento?

No.

¿Esa parte surge de forma natural?

Sí, dependiendo de cómo definas “natural”.

Vimos algunos comportamientos RL muy extraños en Tulú 3 dejando nuestro entrenamiento RLVR (otro método que se ajusta solo a partir de las recompensas de resultados) funcionando por más tiempo del útil para el uso general. En concreto, vimos la comportamientos como “espera, déjame comprobar eso” varias veces en una expansión de cadena de pensamiento. Lo que necesitamos es mantener este tipo de entrenamiento manteniendo el comportamiento coherente en una variedad más amplia de tareas.

Tengo la intención de publicar más sobre o1 en los próximos meses; ahora tenemos una larga lista de compañeros, desde Fuegos artificiales F1, Nosotros Forja, DeepSeek R1 Lite, Qwen QwQy otras versiones menores. Estos están mostrando el rango potencial en estos modelos, aunque sigo pensando que la versión de OpenAI es la más robusta con diferencia.

Más allá de esto, abordaré temas como: cómo lo reproduciría (¿lo reproduciré?), cómo veo la literatura, qué esconde OpenAI, cómo las versiones abiertas deberían y serán diferentes, y todos los gustos. Asegúrate de suscribirte y darme tu opinión sobre lo que es más interesante.

Gracias a Hamish Ivison y Dylan Patel por solidificarme la idea de “muestreo” del cálculo del tiempo de prueba. Crédito a Sasha Rush por su excelente charla e intercambios en Twitter.