El próximo modelo de OpenAI está mostrando un ritmo de mejora más lento, según The Information.
Ha provocado un debate en Silicon Valley sobre si los modelos de IA están alcanzando un nivel de rendimiento.
El auge de la IA ha avanzado a buen ritmo porque los nuevos lanzamientos han sorprendido a los usuarios con enormes avances en el rendimiento.
¡Gracias por registrarte!
Accede a tus temas favoritos en un feed personalizado mientras estás en movimiento.
El próximo modelo emblemático de inteligencia artificial de OpenAI está mostrando mejoras menores en comparación con iteraciones anteriores, según The Information, en una señal de que la floreciente industria de la IA generativa puede estar acercándose a una meseta.
El próximo modelo del fabricante de ChatGPT, Orion, solo mostró una mejora moderada con respecto al GPT-4, según algunos empleados que lo usaron o probaron, informó The Information. El salto en Orion ha sido menor que el dado de GPT-3 a GPT-4, especialmente en tareas de codificación, añade el informe.
Reaviva el debate sobre la viabilidad de desarrollar modelos e IA cada vez más avanzados Leyes de escala: las reglas teóricas sobre cómo mejoran los modelos.
Sam Altman, director ejecutivo de OpenAI publicado en X en febrero que “las leyes de escala las decide Dios; las constantes las determinan los miembros del personal técnico”.
Las “leyes” citadas por Altman sugieren que los modelos de IA se vuelven más inteligentes a medida que aumentan su tamaño y obtienen acceso a más datos y potencia informática.
Es posible que Altman todavía suscriba la opinión de que una fórmula predeterminada decide qué tan inteligente puede ser la IA, pero el informe de The Information muestra que el personal técnico está cuestionando esas leyes en medio de un feroz debate en Silicon Valley sobre la creciente evidencia de que los modelos líderes están chocando contra un muro de rendimiento.
OpenAI no respondió de inmediato a una solicitud de comentarios de Business Insider.
Historias relacionadas
¿Las leyes de escalamiento han llegado a un callejón sin salida?
Si bien la capacitación de Orion aún no se ha completado, OpenAI ha recurrido a medidas adicionales para mejorar el rendimiento, como incorporar mejoras posteriores a la capacitación basadas en comentarios humanos, dijo The Information.
El modelo, presentado por primera vez hace un año, aún podría experimentar mejoras dramáticas antes de su lanzamiento. Pero es una señal de que las generaciones futuras de modelos de IA que han ayudado a las empresas a recaudar miles de millones de dólares y obtener valoraciones elevadas pueden parecer menos impresionantes con cada nueva iteración.
Hay dos razones principales por las que esto podría suceder.
El director ejecutivo de OpenAI, Sam Altman, cree firmemente en las “leyes de escala”.
Andrew Caballero-Reynolds/AFP/Getty Images
Los datos, un elemento vital de la ecuación de la ley de escala, han sido más difíciles de conseguir ya que las empresas han agotado rápidamente los datos disponibles en línea.
Han recopilado grandes cantidades de datos creados por humanos (incluidos textos, videos, artículos de investigación y novelas) para entrenar los modelos detrás de sus herramientas y funciones de inteligencia artificial, pero el suministro es limitado. La empresa de investigación Epoch AI predijo en junio que las empresas podrían agotar los datos textuales utilizables para 2028. Las empresas están tratando de superar las limitaciones recurriendo a datos sintéticos generados por la propia IA, pero eso también conlleva problemas.
“Para preguntas de conocimiento general, se podría argumentar que por ahora estamos viendo una meseta en el desempeño de los LLM”, dijo a The Information Ion Stoica, cofundador y presidente de la firma de software empresarial Databricks, y agregó que “datos factuales” Es más útil que los datos sintéticos.
La potencia informática, el otro factor que históricamente ha impulsado el rendimiento de la IA, tampoco es ilimitada. En un AMA de Reddit el mes pasado, Altman reconoció que su empresa enfrenta “muchas limitaciones y decisiones difíciles” sobre la asignación de sus recursos informáticos.
No es de extrañar que algunos expertos de la industria hayan comenzado a notar que los nuevos modelos de IA lanzados este año, así como los futuros, muestran evidencia de producir saltos más pequeños en el rendimiento que sus predecesores.
‘Rendimientos decrecientes’
Gary Marcus, profesor emérito de la Universidad de Nueva York y crítico abierto de la actual exageración de la IA, sostiene que el desarrollo de la IA está destinado a chocar contra una pared. Ha expresado claramente que muestra signos de “rendimientos decrecientes” y reaccionó a los informes de The Information con una publicación de Substack titulada “CONFIRMADO: Los LLM de hecho han alcanzado un punto de rendimiento decreciente”.
Cuando Anthropic, rival de OpenAI, lanzó su modelo Claude 3.5 en junio, Marcus descartó una publicación X que mostraba el rendimiento de Claude 3.5 con mejoras marginales sobre sus competidores en áreas como razonamiento a nivel de posgrado, código y matemáticas multilingües. Dijo que estaba en “el mismo estadio que muchos otros”.
El mercado de la IA ha gastado miles de millones de dólares tratando de derrotar a la competencia, sólo para lograr evidencia de “convergencia, en lugar de un crecimiento exponencial continuo”, dijo Marcus.
Ilya Sutskever, cofundador de OpenAI y ahora Safe Superintelligence, ha sugerido una idea similar. El lunes y siguiendo el reportaje de The Information, dijo a Reuters que los resultados de ampliar la capacitación previa se habían estancado, y agregó: “Ampliar lo correcto es más importante ahora que nunca”.
La industria de la IA seguirá buscando formas de generar grandes saltos en el rendimiento. El director ejecutivo de Anthropic, Dario Amodei, ha predicho que las ejecuciones de entrenamiento de modelos de IA entrarán en una nueva era el próximo año, en la que podrían costar 100 mil millones de dólares. Altman ha dicho anteriormente que entrenar ChatGPT-4 costó más de 100 millones de dólares. Queda por ver qué tan inteligente podría llegar a ser un modelo de IA cuando se le dedica tanto capital.
Optimismo en aumento
Otros líderes de Silicon Valley, incluido Altman, siguen siendo públicamente optimistas sobre el potencial de escalamiento actual de la IA. En julio, el director de tecnología de Microsoft, Kevin Scott, descartó las preocupaciones de que el progreso de la IA se hubiera estancado. “A pesar de lo que piensan otras personas, no estamos en rendimientos marginales decrecientes en la ampliación”, dijo Scott durante una entrevista con el podcast Training Data de Sequoia Capital.
También podría haber estrategias para hacer que los modelos de IA sean más inteligentes mejorando la parte de inferencia del desarrollo. La inferencia es el trabajo realizado para refinar los resultados de la IA una vez que han sido entrenados, utilizando datos que no se han visto antes.
El modelo OpenAI lanzado en septiembre, llamado OpenAI o1, se centró más en mejoras de inferencia. Logró superar a sus predecesores en tareas complejas, logrando un nivel de inteligencia similar al Ph.D. estudiantes en tareas de referencia en física, química y biología, según OpenAI.
Aún así, está claro que, al igual que Altman, gran parte de la industria sigue firme en su convicción de que las leyes de escala son el motor del rendimiento de la IA. Si los modelos futuros no convencen, cabe esperar una reevaluación del auge actual.
La lucha entre los creadores y los titanes tecnológicos de IA por la ley de derechos de autor y la licencia se está calentando. En una carta presentada a la Oficina de Política de Ciencia y Tecnología de la Administración Trump el 15 de marzo, más de 400 actores, escritores y directores pidieron al gobierno que defendiera la ley actual de derechos de autor.
Los firmantes incluyen a Paul McCartney, Guillermo del Toro, Ava Duvernay, Cynthia Erivo, Phoebe Waller-Bridge, Ayo Edebiri, Chris Rock y Mark Ruffalo. La carta solicita específicamente al gobierno que no otorgue excepciones de uso justo a las compañías tecnológicas que capacitan la IA.
El uso justo es un concepto fundamental en la ley de derechos de autor que brinda a las personas una excepción para usar contenido protegido, incluso si no son el titular de los derechos de autor, en casos limitados y específicos. Anteriormente, las compañías de IA, hambrientas por el contenido generado por los humanos para capacitar y mejorar sus modelos de IA, han necesitado pagar a los editores y catálogos de contenido por el acceso a ese material. Una excepción de uso justo facilitaría que las compañías tecnológicas accedan a contenido sin obstáculos legales.
Google y Openai propusieron cambios similares a la ley actual de derechos de autor en sus propuestas para el plan de acción de IA de la administración. Google escribió que tales excepciones le permiten “evitar negociaciones a menudo altamente impredecibles, desequilibradas y largas con los titulares de datos durante el desarrollo del modelo”. Operai escribió que las protecciones de uso justo para la IA son necesarias para proteger la seguridad nacional estadounidense.
Parte del reciente impulso gubernamental alrededor de la IA es una preocupación por la pérdida de la posición global y una ventaja tecnológica sobre el desarrollo de IA a adversarios como China. La IA china, como el rival de chatgpt Deepseek, continúa procesando, pero las preocupaciones abundan sobre su seguridad y falta de barandillas.
En otras palabras, compañías tecnológicas como Google y OpenAI, cada una valorada por la capitalización de mercado en los cientos de miles de millones y billones de dólares, no quieren pasar por el proceso legal establecido y pagar los derechos del contenido que necesitan para que su AIS sea competitivo con los desarrollados por China. Y quieren que la administración Trump codifique las protecciones para ellos como parte de su plan de acción de IA.
Los firmantes de Hollywood se oponen firmemente a la posibilidad de tal reescritura de la ley de derechos de autor. “Estados Unidos no se convirtió en una potencia cultural global por accidente”, dice la carta. “Nuestro éxito se deriva directamente de nuestro respeto fundamental por la IP y los derechos de autor que recompensa la toma de riesgos creativos por estadounidenses talentosos y trabajadores de todos los estados y territorio”.
La Oficina de Derechos de Autor de EE. UU. Ha estado desarrollando orientación sobre cómo manejar los reclamos de derechos de autor por contenido generado por IA. Pero la gente ha estado preocupada durante años, e incluso demandó, cómo los modelos de IA están entrenados de una manera que potencialmente viola los derechos de los titulares de derechos de autor. El doble huelga en el verano de 2023 por miembros del Guild de Escritores de América y el Gremio de Actores de Screen y la Federación Americana de Artistas de Televisión y Radio, o Sag-Aftra, incluyó a la IA como una de sus principales preocupaciones. Ni Openai ni Google han compartido exactamente qué contenido constituye sus bases de datos de capacitación para ChatGPT y Gemini.
La ecuación de derechos de autor se vuelve aún más complicada, ya que sabemos al menos una compañía que recibió un reclamo de derechos de autor para una imagen cuya IA genera cada parte. Deja espacio para la incertidumbre en cada lado del desastre que es los derechos de autor y la IA.
La administración Trump y la IA
Hasta este punto, no ha habido un progreso mucho significativo en la supervisión del gobierno o la legislación que regula cómo los gigantes tecnológicos como OpenAI y Google desarrollan IA. El ex presidente Biden consiguió que muchas de las principales compañías tecnológicas se comprometieran voluntariamente a desarrollar AI de manera responsable e intentó promulgar algunas barandillas en torno al desarrollo de la IA a través de la orden ejecutiva. Pero a las pocas horas de ser inaugurado, Trump retrocedió la orden ejecutiva de AI de Biden con una de las suyas.
En su propia orden ejecutiva sobre IA, Trump dijo que quiere “mantener y mejorar el dominio global de IA de Estados Unidos”. El Plan de Acción de AI es cómo planea promulgar su versión de la política tecnológica. El vicepresidente Vance presentó el plan, y más ampliamente la opinión de la administración sobre la tecnología, en una cumbre internacional sobre IA en enero.
Vance dijo: “Cuando conferencias como esta se convierten en discutir una tecnología de vanguardia, a menudo, creo que nuestra respuesta es ser demasiado consciente de sí misma, demasiado requerida por el riesgo. Pero nunca he encontrado un gran avance en la tecnología que claramente nos llama a hacer precisamente lo contrario”.
Además del llamado a los comentarios, una orden ejecutiva de enero del presidente Trump pidió que American AI estuviera “libre de sesgos ideológicos o agendas sociales diseñadas”.
Al mismo tiempo, los líderes tecnológicos como Sundar Pichai de Google y Sam Altman de Openai se han acercado a la nueva administración. Altman donó un millón de dólares de su propio dinero al Fondo de inauguración de Trump, y Google como compañía donó lo mismo. Altman y Pichai obtuvieron asientos de primera fila para la ceremonia de juramentación, junto con Mark Zuckerberg de Meta, Elon Musk de X y Jeff Bezos de Amazon. Es probable que los ejecutivos esperen que llegar al lado bueno de Trump los ayude a allanar el camino para el futuro de su empresa tecnológica, incluso si, en este caso, molestaría décadas de ley establecida de derechos de autor.
Muchos grupos de personas, no solo creadores, están preocupados de que el desarrollo y el uso no regulado de la IA puedan ser desastrosos.
¿Qué viene después para los derechos de autor y la IA?
Se espera que la Oficina de Derechos de Autor de los Estados Unidos publique un informe más sobre AI, específicamente sobre “implicaciones legales de capacitar a los modelos de IA en trabajos con derechos de autor, consideraciones de licencia y la asignación de cualquier posible responsabilidad”.
Mientras tanto, una serie de demandas activas podrían establecer precedentes importantes para la rama judicial. Thomson Reuters acaba de ganar su caso que dijo que una compañía de IA no tenía un caso de uso justo para usar su contenido para construir IA. La legislación como la Ley No Fakes también se está abriendo camino a través del Congreso, pero no está claro qué tipo de legislación futura de IA tendrá.
Para obtener más información, consulte cómo AI y Art Clash en SXSW y por qué la promesa anti-AI de una compañía resuena con los creadores.
Como Openai introdujo lo que todos los demás llaman a los agentes SDK, admitió que usar las capacidades existentes de manera unida “puede ser un desafío, a menudo requerir una amplia iteración rápida y una lógica de orquestación personalizada sin suficiente visibilidad o soporte incorporado”. En resumen, el uso de agentes necesitaba bastante programación, y esa no es la historia que cualquier proveedor de IA quiere vender.
Para devolver la narración a la idea de que gastar dinero en IA eventualmente erradicará la necesidad de un costoso desarrollo de software humano, o de hecho humanos, Openai está implementando una estructura para permitir una orquestación simple.
Primero resumamos cuáles son los problemas. Las tareas de agente implican al menos dos procesos que funcionan individualmente, con una tarea que comienza otra y con los resultados que se informan a un proceso de informes finales al final, con suerte en momentos similares. Los “resultados” también deben estar en un formato conocido (por ejemplo, una oración, un archivo, una imagen, una base de datos), pero esto no es fácil de generalizar. Incluso el camino feliz es un buen equilibrio: lidiar y explicar errores es otro problema. Todos estos son problemas de orquestación familiares. Pero como industria, nadie cree que la orquestación es un problema “resuelto”. Heavy LLM Uso también agrega la necesidad de controlar el uso del token; Las fichas son el nuevo oro negro.
Para comenzar el viaje de orquestación, OpenAI ha agregado algunas API nuevas a su plataforma central. En particular, ha introducido un básico Respuestas API Eso limpia algunos de los supuestos hechos por los agentes de chat.
En el sentido más simple, esto puede capturar la salida:
deopadai importarOpadai
cliente=Opadai()
respuesta=cliente.respuestas.crear(
modelo=“GPT-4O”,
aporte=“Escribe una historia de una oración a la hora de dormir sobre un unicornio”.
)
imprimir(respuesta.output_text)
Puede analizar imágenes en este nivel; y agregue una de las herramientas a continuación. Cuidado: es probable que los nuevos modelos dejen de admitir la API de finalización de chat existente: muchas características nuevas solo admiten la API de nuevas respuestas.
Veamos estas nuevas herramientas. Búsqueda web Permite que un agente rastree la web para tareas simples. El breve script de Python a continuación muestra cómo se le da a un modelo la opción de usar esta herramienta:
deopadai importarOpadai
cliente=Opadai()
respuesta=cliente.respuestas.crear(
modelo=“GPT-4O”,
herramientas=[{“type”:“web_search_preview”}],
aporte=“¿Qué historia de Kubernetes apareció hoy?”
)
imprimir(respuesta.output_text)
El reesponse También contendrá referencias a cualquier artículo citado. Estas consultas se pueden definir por tiempo o ubicación. También puede sopesar el costo, la calidad y la latencia.
Búsqueda de archivos es efectivamente una tienda vectorial alojada. Usted indica que la búsqueda de archivos es una herramienta disponible e identifica su tienda vectorial:
deopadai importarOpadai
cliente=Opadai()
respuesta=cliente.respuestas.crear(
modelo=“GPT-4O-Mini”,
aporte=“¿Qué es la investigación profunda de Operai?”,
herramientas=[{
“type”:“file_search”,
“vector_store_ids”:[“<vector_store_id>”]
}]
)
imprimir(respuesta)
Si es necesario, un agente lo usará. La respuesta citará los documentos utilizados en la respuesta. Puede limitar las respuestas a controlar el uso y la latencia del token. Hay límites para el tamaño total del archivo, los archivos buscados y el tamaño de la tienda Vector. Los tipos de documentos que se pueden buscar (por tipo de archivo) parecen extensos.
El Uso de la computadora La herramienta es interesante:
“La herramienta de uso de la computadora funciona en un bucle continuo. Envía acciones de la computadora, como click(x,y) o type(text)que su código se ejecuta en un entorno de computadora o navegador y luego devuelve capturas de pantalla de los resultados al modelo “.
Parece que está fingiendo ser selenio, la herramienta que usamos para probar las interfaces web a través de scripts. Obviamente, esto reconoce que todavía no estamos en el AIS solo hablando con otro mundo de AIS todavía. Pero al menos es un guiño a la idea de que no todo es un sitio web.
Probar agentes
Usaré los ejemplos de Python (definitivamente es un producto de Python-First, pero los documentos también muestran el script equivalente de JavaScript). Hemos ejecutado Python varias veces en mis publicaciones, pero en mi nuevo MacBook, solo verificaré que tenga Python instalado:
El resultado fue que python@3.13 3.13.2 ya está instalado y actualizado.
Mi pip también está allí (como PIP3).
Así que ahora puedo instalar los paquetes Operai:
Ah, recuerdo esto. Necesitamos un virtual:
Luego activo el virtual:
Y estamos listos para proceder.
Ahora, por supuesto, deberá usar y establecer un OpenAI_API_KEY. Me creé una nueva clave en la página de mi cuenta y establecí el opanai_api_key (no te preocupes, es mucho más largo que esto):
Y tienes que asegurarte de tener un poco de oro negro, me refiero a las fichas. He presentado algunas de las formas de evitar pagar OpenAi usando modelos locales, pero para esta publicación asumiré que está pagando por los tokens.
Como es tradicional, comencemos con una verificación de que los conceptos básicos anteriores están en su lugar a través de una simple solicitud con lo siguiente Haiku.py:
deagentes importarAgente,Corredor
agente=Agente(nombre=“Asistente”,instrucciones=“Eres un asistente útil”)
resultado=Corredor.run_sync(agente,“Escribe un haiku sobre la recursión en la programación”.)
imprimir(resultado.final_output)
Y obtenemos una buena respuesta:
(Un buen haiku tradicional debería mencionar las temporadas que pasan, pero no es por eso que estamos aquí). Por lo general, también verificaría mi equilibrio, pero no ha sido perturbado.
Nido de agentes
Como puede ver, ya hemos usado un agente. No es que interviniera de ninguna manera, pero llegaremos a eso.
OpenAI ha simplificado el proceso de orquestación con algunos términos simples. A manos libres es una introducción al mundo asincrónico, donde algo tiene que esperar algo más. Desglosemos su ejemplo, que ejecutaré como hola.py:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
deagentes importarAgente,Corredor
importarasincio
español_agent=Agente(
nombre=“Agente español”,
instrucciones=“Solo hablas español”.,
)
inglés_agent=Agente(
nombre=“Agente inglés”,
instrucciones=“Solo hablas inglés”,
)
triaje_agent=Agente(
nombre=“Agente de triaje”,
instrucciones=“Se transmite al agente apropiado basado en el idioma de la solicitud”.,
Esto muestra dos cosas básicas. En primer lugar, la configuración de roles para los agentes en inglés simple a los que estamos acostumbrados, pero también estableciendo la interacción entre los agentes. El agente de transferencia mantiene una lista de agentes disponibles para responder respuestas.
Ahora, esto implica que mi solicitud alemana no obtendrá la respuesta correcta. Entonces, si cambiamos la consulta dentro hola.py:
…
asíncrata defensorprincipal():
resultado=esperar Corredor.correr(triaje_agent,
aporte=“Wie Geht es Ihnen?”)
…
Y ejecutar nuestro nido de agentes:
Entonces, aunque OpenAi no tuvo problemas para traducir alemán, el agente de triaje no tenía un agente de idiomas relevante a la mano, por lo que hizo el trabajo y respondió en inglés. Es poco probable que nuestros clientes alemanes estén demasiado molestos, pero podemos mejorar.
Entonces, si finalmente agregamos el agente alemán y lo ponemos en la lista de transferencias a hola.py:
…
German_agent=Agente(
nombre=“Agente alemán”,
instrucciones=“Solo hablas alemán”,
)
triaje_agent=Agente(
nombre=“Agente de triaje”,
instrucciones=“Se transmite al agente apropiado basado en el idioma de la solicitud”.,
Podemos intentar esa solicitud alemana nuevamente:
Esta vez se llama al agente correcto y responde. Nuestros clientes alemanes ahora están más felices: ¡Ausgezeichnet! No olvides que mi terminal de urdimbre también te está dando los tiempos para estas respuestas.
Conclusión
Primero observamos el bucle de respuesta, que puede incluir más llamadas de herramientas. Si la respuesta tiene una transferencia, establecemos el agente en el nuevo agente y volvemos al inicio.
Hay opciones de registro debajo de esto, pero como de costumbre, OpenAI está dando una API de alto nivel en esta etapa, lo que debería fomentar la experimentación sin la necesidad de involucrarse demasiado con la orquestación.
Si bien he introducido agentes aquí, en publicaciones posteriores, veré más partes del SDK.
Vía Sahin Ahmed
Youtube.com/thenewstack
La tecnología se mueve rápidamente, no te pierdas un episodio. Suscríbase a nuestro canal de YouTube para transmitir todos nuestros podcasts, entrevistas, demostraciones y más.
David ha sido un desarrollador de software profesional con sede en Londres con Oracle Corp. y British Telecom, y un consultor que ayuda a los equipos a trabajar de una manera más ágil. Escribió un libro sobre diseño de la interfaz de usuario y ha estado escribiendo artículos técnicos desde entonces …
This website uses cookies so that we can provide you with the best user experience possible. Cookie information is stored in your browser and performs functions such as recognising you when you return to our website and helping our team to understand which sections of the website you find most interesting and useful.
Strictly Necessary Cookies
Strictly Necessary Cookie should be enabled at all times so that we can save your preferences for cookie settings.
If you disable this cookie, we will not be able to save your preferences. This means that every time you visit this website you will need to enable or disable cookies again.