Estos profesionales fueron aturdidos por Operai Deep Research

¿Eres un periodista que quiere cubrir la IA? ¿O un experto en IA que busca entrar en el periodismo? La fecha límite para el 2025 Tarbell Fellowship es este viernes.

Comprender la IA es una publicación participante, lo que significa que podría recibir $ 50,000 para escribir para este boletín. Puede haga clic aquí Para obtener detalles sobre lo que estoy buscando o Vaya directamente al sitio web de Tarbell para aplicar.

A principios de este mes, Openai lanzó un nuevo producto llamado investigación profunda. Basado en una variante del modelo de razonamiento O3 (aún inédito), la investigación profunda puede pensar incluso para los modelos de razonamiento convencionales, hasta 30 minutos para las preguntas más difíciles. Y de manera crucial, puede buscar en la web, lo que le permite recopilar información sobre temas que son demasiado nuevos o oscuros para estar bien cubiertos en sus datos de capacitación.

Quería probar a fondo investigaciones profundas, por lo que solicité preguntas difíciles de una muestra aleatoria de lectores de IA. Uno de ellos fue Rick Wolnitzek, un arquitecto retirado que dirige el sitio web Architekwiki. Wolnitzek solicitó una lista de verificación detallada del código de construcción para un edificio educativo de 100,000 pies cuadrados.

Para responder a la pregunta de Wolnitzek, las investigaciones profundas comenzaron a explorar la web para obtener información sobre los códigos de construcción. Pronto descubrió el sitio web del Consejo de Código Internacional, pero parte de la información que necesitaba estaba detrás de un muro de pago.

“Teniendo en cuenta un sitio que no es de ICC, tal vez de un estado, podría ser un buen movimiento”, pensó el modelo.

La investigación profunda pronto encontró un página en el sitio web del Departamento de Educación de Arkansas que incluía un PDF de tres páginas de estándares ICC para instituciones educativas. En el sitio web del condado de Douglas, Nevada, encontró un PDF describiendo el número mínimo de accesorios de plomería requeridos para varios tipos de edificios. A Página del Departamento de Educación de California Resumió el número de baños requeridos en las escuelas K-12. La ciudad de Chelan, Washington, tenía un PDF de 13 páginas resumiendo los cambios de código recientes.

En total, el modelo de investigación profunda de Openai pensó durante 28 minutos y consultó 21 fuentes en línea para producir un Lista de verificación de 15,000 palabras.

El informe impresionó a Wolnitzek. Era “mejor que el trabajo interno, y cumple con el nivel de un profesional experimentado”, me dijo. “Creo que tomaría de seis a ocho horas o más preparar un informe como este, y sería una referencia útil para todo el equipo de diseño”.

Wolnitzek fue uno de los 19 lectores de IA comprensivos, incluidos un abogado antimonopolio, un maestro de secundaria, un ingeniero mecánico y un investigador médico, que me ayudó a poner a prueba las investigaciones profundas. No todos estaban tan impresionados con las respuestas de Operai como Wolnitzek. Pero siete de cada 19 encuestados, incluidos Wolnitzek, la respuesta de OpenAi fue en o cerca del nivel de un profesional experimentado en sus campos. La mayoría de los encuestados estimaron que tomaría al menos 10 horas de trabajo humano para producir un informe comparable.

Veo estos resultados como muy significativos. No es solo que una investigación profunda sea útil en una amplia gama de industrias. Su rendimiento demuestra las impresionantes capacidades del modelo O3 subyacente.

La investigación profunda descubre información de la misma manera iterativa que los investigadores humanos. Hará una búsqueda, encontrará un documento y lo leerá. Luego hará otra búsqueda, encontrará otro documento y lo leerá. A medida que el modelo lee más documentos y aprende más sobre un tema, puede refinar sus criterios de búsqueda y encontrar documentos que no aparecieran en resultados de búsqueda anteriores. Este proceso, que a veces las personas describen como “bajar una madriguera del conejo”, permite una investigación profunda para obtener una comprensión mucho más profunda de un tema de lo que era posible con los modelos de IA anteriores.

Todo esto es posible posible por la “capacidad de atención” más larga de O3, el modelo de razonamiento más poderoso de Openai. Tenemos conocido por tres años Esos modelos de lenguaje grande producen mejores resultados cuando se les pide que “piensen paso a paso”. Pero los LLM convencionales tendieron a confundirse o distraerse cuando intentaron realizar una larga secuencia de pasos de razonamiento.

Operai utilizó una técnica llamada refuerzo de aprendizaje para capacitar a los modelos de razonamiento para mantenerse enfocados mientras trabajan a través de cadenas de razonamiento más largas. Este enfoque funcionó particularmente bien para dominios como las matemáticas y la programación de computadoras donde el algoritmo de entrenamiento podría verificar fácilmente si el modelo había alcanzado una respuesta correcta.

Una gran pregunta abierta después del lanzamiento de O1 fue qué tan bien se generalizarían las mismas técnicas para los dominios “más suaves” como la ley, la arquitectura o la medicina. El sólido desempeño de las investigaciones profundas sugiere que esas técnicas se generalizan mejor que muchas personas, incluidas las cosas, esperadas. Y si eso es cierto, deberíamos esperar ver un rápido progreso continuo en las capacidades de IA durante el próximo año, y tal vez más allá de eso.

Operai no inventó esta categoría de producto. Esa distinción va a Google, que introdujo su propio producto de investigación profunda en diciembre. Entonces les pedí a mis voluntarios que evaluaran ambos modelos.

Cada participante me envió una pregunta difícil en su área de especialización. Envié dos respuestas, una de Openai y otra de Google. No les dije qué modelo produjo qué respuesta.

Las respuestas más cortas de Openai fueron de alrededor de 2,000 palabras y tardaron de cuatro a cinco minutos en escribir. El más largo, un análisis detallado de jugadores y estrategias de fútbol de fantasía: enoque más de 18,000 palabras y tomó una investigación profunda de Openai 17 minutos para escribir. En promedio, las respuestas de Google tendían a ser un poco más rápidas y más cortas que las de OpenAI.

Dieciséis de 19 lectores dijeron que preferían la respuesta de OpenAI, mientras que solo tres personas pensaron que la respuesta de Google era mejor.

Muchos de mis jueces voluntarios quedaron impresionados por las respuestas de Operai. Un abogado antimonopolio me dijo un Informe de 8,000 palabras “Se compara favorablemente con un abogado de nivel de entrada” y que un investigador humano tardaría de 15 a 20 horas en compilar la misma información. Ella dijo que le gustaría usar la herramienta de OpenAI profesionalmente, especialmente si se pudiera conectar a bases de datos comerciales como Westlaw o Lexisnexis, lo que le daría acceso a decisiones legales más oscuras.

Chris May, un ingeniero mecánico, solicitó instrucciones sobre cómo construir una planta de electrólisis de hidrógeno. Estimó que se necesitaría un profesional experimentado una semana para crear algo tan bueno como el Informe de 4.000 palabras OpenAi generó en cuatro minutos.

Heather Black Alexander, una maestra de secundaria en Chicago, elogió un Informe de 12,000 palabras Acerca de los programas de asesoramiento de la escuela intermedia que OpenAi produjeron en siete minutos. Alexander dijo que el informe era mejor de lo que esperaría de un empleado de nivel de entrada, y estimó que un investigador humano tardaría una semana en escribirlo.

Algunas personas notaron que las respuestas omitieron información reciente como la elección de Donald Trump. Esto podría deberse a que los modelos fueron entrenados antes de que Trump ganara las elecciones. Sin embargo, también se supone que estos productos de “investigación profunda” buscan información adicional al buscar en la web, por lo que deberían poder aprender sobre desarrollos recientes.

En la tabla anterior, las barras verdes representan a las personas que dijeron que un modelo produjo un trabajo que estaba a nivel de un profesional experimentado, o al menos por encima del nivel de un trabajador de nivel de entrada en su campo. El amarillo representa a las personas que compararon las respuestas de investigación profundas con los empleados o pasantes de nivel de entrada. Red representa a las personas que los compararon con estudiantes de medicina, estudiantes universitarios, estudiantes de secundaria o peor. Como puede ver, los lectores quedaron significativamente más impresionados con el modelo de OpenAI.

Aquí he desglosado cuánto tiempo pensaba que la gente se necesitaría para un ser humano producir un informe de calidad comparable. Había un gran rango. Cuatro personas estimaron que un investigador humano tomaría una semana duplicar un informe de OpenAI. Nadie pensó que ninguno de los informes de Google tomaría tanto tiempo. Por otro lado, dos lectores dijeron que solo tomaría 30 minutos reproducir las respuestas de Google. Nadie dijo eso sobre un informe de Operai.

Si es un suscriptor que paga, puede desplazarse hacia abajo hasta la parte inferior de este artículo para ver cómo cada uno de los 19 participantes calificó las respuestas de OpenAI y Google.

Las empresas se han apresurado a adoptar LLM en los últimos dos años. Una de las aplicaciones más populares ha sido los chatbots impulsados ​​por una técnica llamada generación de recuperación aumentada.

Suponga que ejecuta una empresa que tiene un millón de documentos en sus servidores: memorandos corporativos, solicitudes de servicio al cliente, manuales de instrucciones, contratos de venta, etc. Desea un chatbot que “conozca” todos estos documentos y pueda responder preguntas sobre su contenido.

Cuando un usuario hace una pregunta, un sistema RAG busca documentos relevantes utilizando una búsqueda de palabras clave, base de datos vectorialu otras técnicas. Los documentos más relevantes se insertan en la ventana de contexto de un LLM. Cuando funciona bien, un sistema de trapo crea la ilusión de un chatbot que comprende miles o incluso millones de documentos.

Pero si la pregunta del usuario es compleja o mal redactada, el sistema RAG podría no recuperar los documentos correctos. Este es un modo de falla común porque las técnicas utilizadas para encontrar y clasificar los documentos relevantes no son tan “inteligentes” como el LLM que genera la respuesta final.

Los nuevos productos de investigación profunda apuntan hacia un mejor paradigma para las aplicaciones RAG: si la búsqueda inicial no aparece los documentos correctos, el sistema puede buscar nuevamente con diferentes palabras clave o parámetros. Hacer esto una y otra vez, a lo que la investigación profunda de Openai lo hace, producirá un resultado mucho mejor que una tubería de trapo tradicional.

La razón por la que la gente no ha estado haciendo esto ya es que los primeros LLM no eran lo suficientemente buenos para seguir largas cadenas de razonamiento. Si alguien hubiera tratado de usar la técnica de investigación profunda con GPT-4 en 2023, el modelo se habría “atascado” después de algunas búsquedas.

Pero ahora que Openai ha demostrado qué tan bien funciona este paradigma, debería ser sencillo para que las empresas con aplicaciones de RAG existentes y de bajo rendimiento los actualicen con mejores modelos y un proceso más iterativo para la recuperación de documentos. Eso debería producir un rendimiento dramáticamente mejor, y espero que impulse el entusiasmo renovado por este tipo de sistema.

Curiosamente, el producto de investigación profunda de Google parece estar en algún lugar entre el enfoque de OpenAI y un sistema de trapo tradicional. Al igual que un sistema de RAG tradicional, la investigación profunda de Google opera en dos fases, primero recuperando un montón de documentos y luego generando una salida. Pero dentro de la primera etapa, la investigación profunda de Google tiene un proceso de búsqueda iterativo donde el resultado de una búsqueda informa la siguiente.

No sé si el producto de Google funciona relativamente mal porque tiene un proceso de razonamiento más rígido o porque el modelo subyacente de Google simplemente no es tan bueno como el O3 de OpenAI. O tal vez estos problemas están conectados: tal vez el proceso de búsqueda abierto utilizado por el producto de OpenAI solo es posible con un poderoso modelo de razonamiento como O3.

De cualquier manera, estoy seguro de que Google está trabajando duro para recuperar su liderazgo en una categoría de productos que Google inventó hace solo unos meses.

El éxito de Deep Research también sugiere que hay mucho espacio para mejorar los modelos de IA utilizando el “auto juego”. La gran idea de O1 era que permitir que un modelo “piense” durante más tiempo conduce a mejores respuestas. La investigación profunda de OpenAI demuestra que esto es cierto para una amplia gama de campos más allá de la programación de matemáticas y computadoras.

Y esto sugiere que hay mucho espacio para que estos modelos se “enseñen” a mejorar en una amplia gama de tareas cognitivas. Una empresa como OpenAI o Google puede generar datos de capacitación al tener un modelo “pensar” en una pregunta durante mucho tiempo. Una vez que tiene la respuesta correcta, puede usar la respuesta, y las fichas de pensamiento asociadas, para entrenar a la próxima generación de modelos de razonamiento.

Debido a que el algoritmo de entrenamiento sabe la respuesta correcta, debería poder entrenar al nuevo modelo para llegar a la respuesta correcta más rápidamente. Y luego, este nuevo modelo puede generar un nuevo lote de datos de entrenamiento que se centra en problemas aún más difíciles.

No espero que este proceso obtenga modelos de IA hasta la inteligencia a nivel humano porque eventualmente se toparán con las limitaciones I escribió acerca de en diciembre. Pero el éxito de la investigación profunda me hace pensar que el paradigma actual tiene más espacio para la cabeza de lo que pensé hace solo unas semanas.

Ahora aquí hay una ventaja para pagar suscriptores: un resumen de cómo cada uno de mis 19 voluntarios juzgó las respuestas de Openai y Google.