¿Qué es lo primero que deberían hacer los profesores que se sumergen en la inteligencia artificial generativa?

¿Deberían aprender a aprovechar la IA para crear el plan de lección perfecto? ¿Utilizar la herramienta para generar preguntas para un cuestionario? ¿O deberían aprender primero sobre los posibles sesgos y la desinformación que a menudo se introducen en el contenido generado por IA antes de utilizarlo en su trabajo diario?

Deberían comenzar con lo básico, según OpenAI, creador de ChatGPT y una de las empresas de investigación de inteligencia artificial más destacadas del mundo. El mes pasado, la empresa lanzó un curso en línea de una hora de duración y a su propio ritmo. para profesores de K-12 sobre la definición, el uso y los daños de la IA generativa en el aula. Se lanzó en colaboración con Common Sense Media, una organización nacional sin fines de lucro que califica y revisa una amplia gama de contenido digital según su idoneidad para la edad.

Desde su lanzamiento el 20 de noviembre, alrededor de 10.000 educadores han tomado el curso, y el 98 por ciento de los docentes “compartieron que el curso ofrecía nuevas ideas o estrategias que podrían aplicar a su trabajo”, dijo Robbie Torney, director senior de programas de IA. en Common Sense Media, en un correo electrónico.

Para Eric Curts, entrenador de IA para distritos escolares del noreste de Ohio, el curso es una “buena introducción” para los educadores que aún no han experimentado con ChatGPT o cualquier otro chatbot de IA generativa.

“No se trata sólo de hablar de los beneficios que aporta la IA. También aborda cuestiones como la necesidad de privacidad de los datos”, dijo. “Menciona varias veces que no se debe incluir información de identificación personal sobre los estudiantes”.

El curso también cubre “incitar” a la IA a realizar las tareas que usted desea, dijo Drew Olssen, coordinador de tecnología del distrito escolar de Agua Fría en Avondale, Arizona. El curso viene con una “biblioteca de indicaciones” con ejemplos de indicaciones que los maestros pueden uso: desde redactar correos electrónicos hasta crear un cuestionario para la clase.

“Es una plantilla básica y agradable de lo que harías si ingresaras a ChatGPT por primera vez”, dijo.

Formar a los profesores para que utilicen la IA requiere recursos y tiempo que muchos distritos escolares no tienen, afirmó Olssen, por lo que un curso como este, junto con otros cursos introductorios gratuitos, puede ser un buen punto de partida.

Una encuesta representativa a nivel nacional Un estudio de más de 700 profesores, realizado por el Centro de Investigación EdWeek este otoño, indicó que el 58 por ciento no había recibido ningún desarrollo profesional sobre IA generativa. Esto fue una disminución del 13 por ciento desde la última vez que el Centro de Investigación EdWeek encuestó a los maestros en la primavera. Hubo solo un aumento del 1 por ciento (del 5 al 6 por ciento) en los docentes que dijeron que recibían formación profesional continua en IA generativa.

“Estamos en las primeras etapas de adopción de la IA en K-12. Nuestra primera prioridad es equipar a los educadores con recursos fundamentales para utilizar las herramientas de inteligencia artificial de manera reflexiva y modelar un uso eficaz y responsable en el aula. Este curso, intencionadamente simple, breve y accesible, fue diseñado para comenzar a construir esa base. Estamos entusiasmados de que los educadores quieran recursos más detallados sobre estos temas”, dijo un portavoz de OpenAI.

Un curso intensivo sobre IA generativa necesita más detalles, dicen los expertos

No todo el mundo está de acuerdo con la cantidad de temas nuevos introducidos en el curso de una hora de OpenAI (que le llevó a este reportero unos 30 minutos completar) y el ritmo al que se tratan.

“Para meter tanto, [a teacher] Está garantizado que lo superará rápidamente”, dijo Eryk Salvaggio, investigador del meta(LAB) de la Universidad de Harvard, que ha trabajado en pedagogía basada en IA.

Salvaggio dijo que si bien el curso brinda a los docentes consejos sobre el uso de la IA para ahorrar tiempo y ser más productivos, aún enfatiza que los docentes deben seguir “iterando” los resultados de una consulta solicitada.

“¿La IA realmente ahorra más tiempo a los docentes que si hicieran la tarea ellos mismos?” dijo Salvaggio.

El curso OpenAI se divide en tres secciones: una explicación de la IA, consejos prácticos sobre cómo los profesores pueden usar la IA para preparar lecciones o enseñar y una lección sobre los riesgos que implica el uso de ChatGPT en el aula. Cada módulo tiene secciones de videos y cuestionarios asociados para que los profesores prueben sus conocimientos a medida que avanzan en el curso.

El principal mecanismo de capacitación es crear indicaciones sólidas para ChatGPT para que los profesores obtengan los resultados que buscan. A través de diferentes ejemplos, el curso detalla qué constituye la “mejor” indicación en comparación con una indicación “OK” o menos detallada.

Sin embargo, los ejemplos no cubren varias tareas comunes en el aula, dijo Curts, como nivelar un texto, hacer adaptaciones para estudiantes con discapacidades o idear actividades para la clase.

En las sesiones de formación del propio Curts, que duran tres horas, dedica una hora a abordar los riesgos del uso de IA generativa, que incluyen plagio, “deepfakes”y preocupaciones sobre la privacidad de los datos. La sección de OpenAI sobre daños es mucho más breve y no analiza el plagio ni los deepfakes.

“A [cover risks] correctamente, merece mucho más tiempo del que se puede dedicar en un curso introductorio como este, pero al menos pone estos temas en el radar de los profesores, lo cual creo que es importante”, dijo Curts.

El curso no explica en profundidad cómo funciona la IA, lo que otros expertos en IA identificaron como una oportunidad perdida.

“Gastan una frase en ello [at the beginning]. No se unen [how AI works] a sus limitaciones”, dijo Pat Yongpradit, director académico de Code.org y líder de TeachAI, una iniciativa que apoya a las escuelas en el uso y la enseñanza de la tecnología.

Por ejemplo, dijo, la razón por la que una herramienta como ChatGPT está sesgada es porque refleja los prejuicios del mundo que nos rodea.

Existe la suposición subyacente de que es demasiado técnico para que un consumidor medio (como un profesor) comprenda cómo funciona la IA generativa. Pero los profesores deberían tener al menos un nivel “medio” de conocimiento para entender por qué la IA funciona como lo hace, afirmó.

Además, “es importante lograr que la gente tome buenas decisiones sobre el uso de la IA”, añadió Yongpradit. El curso podría haber agregado ejemplos de sesgos específicos, o incluso ejemplos en los que no es apropiado usar IA debido a sus sesgos, dijo.

Torney, de Common Sense, dijo que el curso es una manera para que “los profesores ocupados adquieran habilidades esenciales en poco tiempo”.

Los detalles complejos y técnicos sobre cómo funciona ChatGPT se dividieron en partes manejables para que los profesores los abordaran a su propio ritmo, dijo. “Anticipamos que se necesitará más capacitación”, añadió Torney.

Los distritos pueden aprovechar este rumbo, pero tienen que trazar un camino a seguir

Yongpradit espera que el curso introductorio de OpenAI despierte el apetito de los profesores por aprender más sobre la IA.

“Lo peor sería si los profesores pensaran que este curso es todo el desarrollo profesional que necesitan”, dijo. “Tampoco creo que los creadores crean que esto sea suficiente. Esta es una pequeña porción de una oportunidad más grande”.

Yongpradit sugiere el desarrollo profesional continuo a través de comunidades de aprendizaje profesional, donde los profesores puedan compartir sus experiencias sobre el uso de la IA en sus aulas y aprender unos de otros.

El distrito escolar de Agua Fría ha implementado una versión de esta capacitación desde 2022, poco después del lanzamiento de ChatGPT por primera vez, dijo Olssen, coordinador de tecnología del distrito. Olssen reunió a un grupo de profesores, bibliotecarios, formadores de alfabetización y administradores que se reúnen todos los meses para discutir cómo utilizar la IA en las aulas.

“Es un tipo de modelo de formación de formadores”, dijo Olssen, “en el que estos embajadores dirigen sesiones de formación con otros educadores cada trimestre”.

El mes pasado, el grupo discutió cómo ir más allá del uso de la IA para realizar tareas simples como generar hojas de trabajo y, en cambio, se centró en cómo se podría usar la IA para crear experiencias de aprendizaje “más profundas” para los estudiantes, a través de proyectos o trabajos de investigación.

Cuando se trata de abordar los sesgos inherentes de la IA generativa y el potencial de desinformación, Olssen dijo que el distrito capacita a maestros y estudiantes, al comienzo del año escolar, sobre cómo evaluar el rendimiento de la IA. La capacitación del distrito es “muy explícita en cuanto a verificar la claridad, precisión, relevancia y ética de lo que escupe una plataforma de IA”, dijo.

El curso OpenAI presenta una comprensión superficial de estos riesgos, dijo Olssen, pero más allá de cualquier curso introductorio, corresponde a los distritos escolares hacer que los maestros sean plenamente conscientes de los daños de “confiar demasiado” en cualquier tecnología.

“Los educadores también están ávidos de más contenido; un tema importante en la retroalimentación ha sido el deseo de un curso más largo”, dijo Torney.

¿Quiere leer más sobre cómo los profesores pueden utilizar (y aprender sobre) la IA? Estén atentos al nuevo informe especial de la Semana de la Educación que se publicará el lunes.

Se le preguntó a Altman sobre los informes de que el acuerdo de 13 mil millones de dólares de OpenAI con Microsoft está en peligro de desmoronarse:

“No creo que nos estemos desenredando. No pretenderé que no haya desajustes ni desafíos. Obviamente hay algunos. Pero en general, creo que ha sido algo tremendamente positivo para ambas empresas”.

Con respecto a la carrera armamentista de la computación con IA, se le preguntó a Altman si OpenAI necesitaba desarrollar sus propios recursos informáticos, en lugar de depender de socios (como NVIDIA y microsoft):

“No… Creo que debemos asegurarnos de tener suficiente computación del tipo que queremos, en la que podamos confiar y todo eso. Y puede haber razones por las que tenemos algunas ideas muy locas sobre cosas que nos gustaría construir que son, ya sabes, de alto riesgo y alta recompensa. Pero ciertamente no necesitamos que OpenAI se vuelva realmente bueno en la construcción de centros de datos a gran escala similares a computadoras”.

Sorkin le preguntó a Altman sobre el hecho de que nunca recibió ninguna participación en OpenAI, que busca pasar de una entidad sin fines de lucro a una empresa principal con fines de lucro.

“Mira, es raro que no obtuviera capital… No lo quería… Si pudiera retroceder en el tiempo, lo habría tomado… sólo un poquito, sólo para nunca tenerlo. para responder a esta pregunta”.

De cara a cómo serán los próximos uno o dos años de progreso en la IA, Altman dijo:

“Los agentes son de lo que todo el mundo habla… ya sabes, esta idea de que puedes darle a un sistema de IA una tarea bastante complicada, como un tipo de tarea que le asignas a un humano muy inteligente y que tarda un tiempo en ponerse en marcha y realizarla. y utilizar un montón de herramientas y crear algo de valor. Ese es el tipo de cosas que esperaría el próximo año… Si funciona tan bien como esperamos, realmente puede transformar las cosas”.

Algunas de las cosas más interesantes que dijo Altman estaban relacionadas con el cofundador de OpenAI, Elon Musk, y su startup xAI, que compite directamente con ChatGPT. Refiriéndose a xAI, Altman dijo: “Supongo que serán un competidor realmente serio… Tremendo respeto por la rapidez con la que construyeron ese centro de datos”, refiriéndose a Colossus, el enorme clúster de supercomputación de xAI impulsado por 100.000 GPU Nvidia H100.

Luego, la conversación giró hacia la nueva influencia política de Elon Musk que surge de su estrecha relación con el presidente electo Donald Trump, y cómo Musk podría usar esa influencia para beneficiar a su imperio y castigar a sus competidores:

“Sería profundamente antiestadounidense utilizar el poder político (en la medida en que lo tiene Elon) para perjudicar a sus competidores… No creo que Elon lo hiciera”.

Altman reflexionó sobre su relación personal con Musk, que se ha deteriorado: “Crecí con él como un megahéroe… Todavía me alegro de que exista”.

Cuando se le preguntó si los informes sobre las leyes de escala de la IA podrían estar chocando contra una pared, Altman no se lo creyó:

“Siempre me ha llamado la atención lo mucho que a la gente le encanta especular: ¿hay un muro? ¿Seguirá escalando? En lugar de simplemente mirar la curva de progreso y decir: ‘Tal vez no debería apostar una exponencial contra otra exponencial como esa’”.

Altman adelantó una serie de lanzamientos y demostraciones diarias de OpenAI que se llevarán a cabo durante las próximas semanas:

“Tenemos un montón de cosas nuevas y geniales… Haremos ’12 días de OpenAI’ a partir de mañana, pero lanzaremos algo o haremos una demostración todos los días durante los próximos 12 días de la semana”.

Esta publicación se ha actualizado para aclarar una cita de Sam Altman.

Un poco de limpieza: planeo aumentar el precio de Interconnects en el nuevo año. Estoy produciendo mucho más contenido del que esperaba y el servidor de Discord está funcionando fantástico. Es un buen momento para actualizar a una suscripción anual; en realidad, se trata de un gran descuento navideño hasta que el precio suba en 2025. O siempre puedes Regala Interconexiones! Recordatorio: ofrezco 80% de descuento en descuentos para estudiantes.

Administrar suscripción

Y este es un último recordatorio de que estaré en NeurIPS en Vancouver la próxima semana. Comuníquese si está en la ciudad.

El lanzamiento de o1 de OpenAI se comunicó para hacer pensar a la gente que utilizaba activamente algún tipo de búsqueda (aparte del aprendizaje por refuerzo ingenuo), tanto en el momento del entrenamiento como en el de las pruebas. Se habían dicho muchas cosas antes de esto: el “autojuego” en Q*, Noam Brown liderando un equipo para trabajar en la búsqueda en OpenAI y muchos otros humo y espejos.

En mi primera publicación en o1, traté de tomar las comunicaciones corporativas de OpenAI y los medios de sus empleados al pie de la letra para descubrir qué está pasando: ¿Qué significaría para o1 de OpenAI utilizar la búsqueda?

Hoy hago lo contrario… ¿Qué significaría para sistemas similares a o1 utilizar exclusivamente aprendizaje por refuerzo a gran escala sin recompensas intermedias o de proceso? Esto no incluye ninguna expansión de los pasos actuales en la cadena de razonamiento como un “árbol” o representaciones similares. Este es el argumento de que toda la “búsqueda” en o1 de OpenAI (y algunas de las replicaciones) está dentro del comportamiento de entrenamiento de aprendizaje por refuerzo. Los algoritmos de aprendizaje por refuerzo “buscan” para maximizar sus funciones de valor interno y recompensas extrínsecas en el entorno, pero es mucho menos intuitivo cómo se hace que algo como Monte Carlo Tree Search (MCTS).

El resumen de la publicación original fue que vi o1 de OpenAI como:

1. Procesar recompensas en el entrenamiento, proporcionando señales de recompensa por paso de razonamiento (basándose en mi Q* Hipótesis).

2. Búsqueda de profundidad 1 en el momento de la prueba con un verificador por paso de razonamiento como cabezal de valor independiente o incorporado (por ejemplo, un verificador generativo).

¿Por dónde empezamos en el otro camino? ¿Qué suposición es incorrecta?

Estaba viendo la gran conferencia de la profesora Sasha Rush, Especulaciones sobre la escala del tiempo de prueba (diapositivas aquí), y era obvio que nos encontramos en una encrucijada con respecto a los tipos de sistemas de IA que podemos construir con modelos de lenguaje. Los modelos o1 de OpenAI son los primeros de una nueva generación. Sasha explora 4 áreas que podrían estar involucradas en sistemas de capacitación como o1 de OpenAI, catalogadas como “Los sospechosos”:

1. Adivina + Comprobar

2. Recompensas del proceso

3. Buscar / AlfaZero

4. Aprendiendo a corregir

En particular, para ir en contra de mi primera publicación, necesito explicar cómo se puede construir o1 de OpenAI sin ninguno de los siguientes:

• Búsqueda en línea en el momento de la prueba que controla la cantidad de computación gastada, es decir eliminando Search/AlpaZero de los sospechosos.

• Recompensas intermedias que supervisan el proceso de formación, es decir eliminar las recompensas del proceso de los sospechosos.

Esto deja a los sospechosos como “Adivina + Verifica” y “Aprende a corregir”. Estas son las ideas más simples entre las cuatro.

Como todas las discusiones sobre o1, para hacer esto, tenemos que comenzar con el gráfico de cálculo fundamental en el momento de la prueba para ver dónde encajan las ideas.

Lo que implica el gráfico de cálculo en el momento de la prueba es que de alguna manera la cantidad de cálculo gastado se puede controlar como un parámetro de generación. Esto se debe a que el equipo de modelado definitivamente puede controlar el gráfico de la izquierda, el cálculo del tiempo de entrenamiento. Emparejarlos juntos, donde la izquierda es un régimen controlable y la derecha pueden ser simplemente puntos muestreados del comportamiento natural, está empujando la narrativa en la dirección de un cómputo controlable en el tiempo de prueba.

La versión más intuitiva de esto sería un factor de ramificación en la búsqueda superficial, pero una alternativa podría ser un mensaje que simplemente le indique al modelo cuánto tiempo puede generar. Para este último, es importante recordar que OpenAI enfatizó que este tipo de modelo solo podría haberse realizado una vez que se lograron avances en el contexto a largo plazo.

La otra forma en que se podría crear el gráfico de cálculo en el momento de la prueba es muestreando generaciones y trazando la tasa de ganancias versus la cantidad de tokens que usó el modelo en su propia decodificación autorregresiva estándar. Lo que esto parece es que, para los conjuntos de evaluación, se toman muestras del modelo varias veces, no necesariamente solo una vez por mensaje, como es tradicional. Luego, agruparemos las respuestas en las regiones informáticas específicas del momento de la prueba en las que terminaron las finalizaciones.

A continuación se muestra un diagrama que muestra el escenario hipotético con múltiples finalizaciones por mensaje de evaluación.

A continuación, agrupe las ejecuciones de evaluación por cálculo gastado por el modelo y califique las respuestas. Asegúrese de que para cada mensaje haya suficientes evaluaciones representativas.

Finalmente, agregue las puntuaciones. Convierta los contenedores de cálculo en el momento de la prueba en puntuaciones y luego ordene los contenedores por cálculo gastado.

Luego, puedes convertir esto en una ley de escala de inferencia, sin utilizar ninguna búsqueda.

Incluso si este es el caso, sospecho que OpenAI eventualmente desarrollará la capacidad de controlar la duración de su generación por sí solo. Incluso solo la mitad izquierda del gráfico original de OpenAI, escalar el entrenamiento de RL, es potencialmente un cambio radical en la forma en que se entrenan los modelos de lenguaje.

Compartir

En segundo lugar, con una arquitectura más simple, es más importante controlar los datos de entrenamiento.. Hay dos cosas que creo que son importantes aquí: verificaciones y continuaciones. Primero, recordemos la terminología básica en la publicación del blog OpenAI o1:

Nuestro algoritmo de aprendizaje por refuerzo a gran escala enseña al modelo cómo pensar productivamente usando su cadena de pensamiento en un proceso de formación altamente eficiente en datos.

La pregunta clave que surge una y otra vez en el aprendizaje por refuerzo de los círculos de retroalimentación humana en estos días es “¿Qué datos se utilizan realmente para RLHF?”. El RLHF estándar, tal como lo conocíamos por modelos como InstructGPT y Llama 3.1, en realidad se trata principalmente de controlar el estilo y, al mismo tiempo, mejorar marginalmente el rendimiento en algunas capacidades. La señal es muy débil, como se ve en el 80% de los datos de preferencia de Llama 3.1 que son “chat general”.

Lo que hace o1, y hacia lo que se dirigen otros proyectos, es obtener su señal de recompensa explícitamente a partir de resultados mensurables: verificaciones. O1 de OpenAI se entrena en una gran variedad de mensajes en los que hay una respuesta verificable. Pueden ser problemas matemáticos, errores de código con pruebas unitarias, instrucciones con restricciones y otras cosas. Sospecho que una gran proporción de los datos de entrenamiento de o1 son estos, lo que permite la “eficiencia de datos” mencionada anteriormente.

OpenAI sigue entrenando sobre estas indicaciones, a veces el modelo lo hace bien y aprende de eso, y a veces necesita ayuda. Aquí es donde continuaciones entra. Nuevamente, citando la publicación del blog, como lo destaca Sasha Rush:

o1 aprende a perfeccionar su cadena de pensamiento y refinar las estrategias que utiliza. Aprende a reconocer y corregir sus errores. Aprende a dividir los pasos complicados en otros más simples. Aprende a probar un enfoque diferente cuando el actual no funciona.

Todos los datos que mencioné anteriormente son recompensas basadas en resultados. Para llegar allí, OpenAI utiliza una amplia retroalimentación de LLM como juez sobre cadenas de razonamiento intermedias. Los modelos de lenguaje existentes pueden identificar fácilmente dónde falla una cadena de pensamiento y pueden generar un siguiente paso para que el modelo intente completarla correctamente.

Las correcciones y continuaciones están en espíritu muy cerca de las recompensas del proceso. La diferencia clave es que la supervisión que estoy analizando en esta propuesta para o1 no necesita ocurrir en cada paso; puede haber algún conjunto de pasos que se verifican sólo cuando se llega a una respuesta final incorrecta.

Además, es probable que OpenAI tenga otros verificadores generativos (aprendidos) que van más allá de dominios simples como las matemáticas y el código, pero esta área es mucho más confusa. Podría ser un modelo de recompensa muy avanzado, podría ser algo completamente nuevo, no lo sabemos. Aún así, la última cita del blog de OpenAI que destaca Sasha Rush nos mostró lo importante que era el ciclo de retroalimentación de las continuaciones y la RL:

Al entrenar un modelo para el razonamiento, una cosa que inmediatamente me viene a la mente es hacer que los humanos escriban su proceso de pensamiento y se entrenen en él. Cuando vimos que si entrenas el modelo usando RL para generar y perfeccionar su propia cadena de pensamientos, puede hacerlo incluso mejor que si los humanos escribieran cadenas de pensamiento para él. Ese fue el “¡Ajá!” momento en el que realmente podrías escalar esto.

Este es un bucle de datos sintéticos prolongado y prolongado. La parte RL es necesaria para inducir comportamientos creativos, eso realmente creo, y todo el andamiaje que la rodea tiene como objetivo guiar la señal de aprendizaje hacia adelante.

La mejor parte de este punto de vista, que conlleva un conjunto completamente diferente de preguntas de investigación, es que encaja mejor con la famosa frase de Rich Sutton. amarga lección. Al limitar realmente el dominio y la estructura del problema, OpenAI pudo ampliar el cálculo de entrenamiento que gastaron en la etapa de aprendizaje por refuerzo. Sasha Rush destaca esta cita en su charla:

La amarga lección se basa en las observaciones históricas de que 1) los investigadores de IA a menudo han intentado incorporar conocimiento a sus agentes, 2) esto siempre ayuda a corto plazo y es personalmente satisfactorio para el investigador, pero 3) a largo plazo se estanca e incluso inhibe un mayor progreso, y 4) el progreso revolucionario eventualmente llega mediante un enfoque opuesto basado en escalar el cálculo mediante búsqueda y aprendizaje.

Nuevamente volvemos a la búsqueda. Lo que hay que recordar es que los métodos de aprendizaje por refuerzo utilizados durante el entrenamiento son una versión de la exploración de búsqueda para maximizar la recompensa. Dada la diversidad de comportamientos, parece como si OpenAI hiciera que RL pudiera funcionar por más tiempo sin sufrir degradación. Esto indica que tienen una regularización sólida (lo que podría dificultar el aprendizaje) o un conjunto de capacitación amplio y diverso (o, probablemente, ambas cosas).

Con RL, no es necesario que haya una estructura explícita para la búsqueda. tener algo Estilo AlphaZero para una tarea de generación de lenguaje sería muy complicado: no está nada claro cómo un modelo de lenguaje puede generar de manera confiable un paso de razonamiento a la vez mientras se bifurca y obtiene verificación. El lenguaje es confuso, y si lo aceptamos, tal vez lo correcto sea usar solo un modelo y muchas RL. Entonces, para responder Las preguntas de Rush:

¿Crees que están haciendo MCTS durante el entrenamiento?

No.

¿Esa parte surge de forma natural?

Sí, dependiendo de cómo definas “natural”.

Vimos algunos comportamientos RL muy extraños en Tulú 3 dejando nuestro entrenamiento RLVR (otro método que se ajusta solo a partir de las recompensas de resultados) funcionando por más tiempo del útil para el uso general. En concreto, vimos la comportamientos como “espera, déjame comprobar eso” varias veces en una expansión de cadena de pensamiento. Lo que necesitamos es mantener este tipo de entrenamiento manteniendo el comportamiento coherente en una variedad más amplia de tareas.

Tengo la intención de publicar más sobre o1 en los próximos meses; ahora tenemos una larga lista de compañeros, desde Fuegos artificiales F1, Nosotros Forja, DeepSeek R1 Lite, Qwen QwQy otras versiones menores. Estos están mostrando el rango potencial en estos modelos, aunque sigo pensando que la versión de OpenAI es la más robusta con diferencia.

Más allá de esto, abordaré temas como: cómo lo reproduciría (¿lo reproduciré?), cómo veo la literatura, qué esconde OpenAI, cómo las versiones abiertas deberían y serán diferentes, y todos los gustos. Asegúrate de suscribirte y darme tu opinión sobre lo que es más interesante.

Gracias a Hamish Ivison y Dylan Patel por solidificarme la idea de “muestreo” del cálculo del tiempo de prueba. Crédito a Sasha Rush por su excelente charla e intercambios en Twitter.