La ventaja de OpenAI sobre las empresas rivales de IA se desvanece, según un informe

Cada año, durante los últimos siete, Nathan Benaich, fundador y socio general individual de la firma de inversión en IA Air Street Capital, que se encuentra en etapa inicial, ha elaborado un informe magistral sobre el “Estado de la IA”. Benaich y sus colaboradores reúnen una impresionante variedad de datos para proporcionar una excelente instantánea de las capacidades en evolución de la tecnología, el panorama de las empresas que la desarrollan, un estudio de cómo se está implementando la IA y un examen crítico de los desafíos que aún enfrenta el campo.

El liderazgo de OpenAI prácticamente se desvanece

Una de las grandes conclusiones del informe de este año, que se publicó a finales de la semana pasada, es que la ventaja de OpenAI sobre otros laboratorios de IA se ha erosionado en gran medida. Claude 3.5 Sonnet de Anthropic, Gemini 1.5 de Google, Grok 2 de X e incluso el modelo Llama 3.1 405 B de código abierto de Meta han igualado, o superado por poco en algunos puntos de referencia, el GPT-4o de OpenAI.

Pero, por otro lado, OpenAI todavía mantiene una ventaja por el momento en las tareas de razonamiento con el lanzamiento de su modelo o1 “Strawberry”, que el informe de Air Street caracterizó acertadamente como una extraña mezcla de habilidades lógicas increíblemente fuertes para algunas tareas, y sorprendentemente los débiles para los demás. (Para obtener más información sobre la fragilidad de las capacidades de razonamiento de o1, consulte la sección “Investigación” a continuación).

Los costos de inferencia caen rápidamente

Otra gran conclusión, me dijo Benaich, es hasta qué punto el costo de utilizar un modelo de IA entrenado (una actividad conocida como “inferencia”) está cayendo rápidamente. Hay varias razones para esto. Uno está relacionado con esa primera gran conclusión: con modelos menos diferenciados entre sí en cuanto a capacidades y rendimiento, las empresas se ven obligadas a competir en precio.

Otra razón es que los ingenieros de empresas como OpenAI y Anthropic (y sus socios hiperescaladores Microsoft y AWS, respectivamente) están descubriendo formas de optimizar la forma en que se ejecutan los modelos más grandes en grandes clústeres de GPU. El costo de los resultados del GPT-4o de OpenAI hoy es 100 veces menor por token (lo que equivale aproximadamente a 1,5 palabras) que el del GPT-4 cuando ese modelo debutó en marzo de 2023. Gemini 1.5 Pro de Google ahora cuesta un 76% menos. por token de salida que cuando se lanzó ese modelo en febrero de 2024.

Los investigadores de IA también se han vuelto buenos en la creación de pequeños modelos de IA que pueden igualar el rendimiento de LLM más grandes en diálogo, resumen o incluso codificación, y al mismo tiempo son mucho más baratos de ejecutar. En conjunto, estas dos tendencias significan que la economía de implementar soluciones basadas en IA está empezando a parecer mucho más atractiva que hace un año. En última instancia, esto puede ayudar a las empresas a encontrar el retorno de la inversión de la IA generativa que, según se quejan, ha sido difícil de alcanzar hasta ahora.

La robótica regresa

Otra tendencia clave que Benaich capta es cómo la robótica está volviendo a estar de moda, con empresas de robótica uniendo LLM y nuevos “modelos mundiales” con la tecnología existente para lograr avances significativos en hacer que los robots sean más capaces y más fáciles (además de más baratos) de implementar y personalizar.

El informe sobre el estado de la IA de Benaich siempre termina con algunas predicciones audaces para el próximo año (y Benaich se califica a sí mismo cada año según su desempeño). Entre las cosas que acertó el año pasado: que una producción de Hollywood utilizaría modelos genAI para efectos visuales. y que habría avances limitados en los esfuerzos internacionales de gobernanza de la IA. Entre ellas se equivocó: que una empresa gastaría más de mil millones de dólares en formar un solo LLM.

Este año, entre las predicciones del informe se encuentran que una alternativa de código abierto a o1 de OpenAI la superará en una serie de puntos de referencia y que una inversión de 10.000 millones de dólares de un estado soberano en una empresa de IA de EE. UU. provocará que el gobierno de EE. UU. instituya un plan de seguridad nacional. revisar. Volveremos el año que viene para ver cómo le fue a Benaich.

Fortune Brainstorm AI toma el pulso a una industria que cambia rápidamente

El informe sobre el estado de la IA no es la única manera de encontrar una visión general fantástica de lo que está sucediendo en la IA. Otro gran lugar para obtener una posición ventajosa sobre el panorama en rápida evolución de la IA y descubrir cómo la IA está impactando a los negocios es la próxima conferencia Brainstorm AI de Fortune en San Francisco. Este evento anual imprescindible se llevará a cabo los días 9 y 10 de diciembre y se llevará a cabo en el Hotel St. Regis.

La conferencia de este año incluirá conversaciones con, entre muchos otros: el científico jefe de inteligencia artificial general de amazon, Rohit Prasadquien nos actualizará sobre cómo Everything Store está tratando de garantizar que no se quede atrás en la carrera por crear una IA superpoderosa y súper útil; Liz Reidvicepresidente de búsqueda de Google, quien discutirá el futuro del producto estrella de Google en un mundo de inteligencia artificial; cristóbal jovenvicepresidente ejecutivo de desarrollo de negocios, estrategia y empresas de Microsoft, quien discutirá cómo el gigante tecnológico está tratando de ver lo que viene a continuación para la IA; Daniela Bragael fundador y director ejecutivo de Defined.ai, quien nos contará qué se necesita realmente para crear modelos de IA que funcionen para los clientes; y Colin Kaepernickex mariscal de campo del Super Bowl de los San Francisco 49ers y actual fundador y director ejecutivo de Lumi, una empresa que crea herramientas impulsadas por inteligencia artificial para creadores de contenido, quien hablará sobre su propia transformación de atleta profesional a emprendedor, y lo que la inteligencia artificial puede significar para los influencers. , marcas y más.

Estaré allí, por supuesto, ayudando a copresidir la discusión con un grupo de colegas ultra talentosos. ¡Espero que todos consideren unirse a mí! Y estoy muy emocionado de poder ofrecer a los lectores de Eye on AI una tarifa con descuento especial: ¡20 % de descuento sobre el precio normal de asistencia! Solo escribe el código KAHN20 en la sección Comentarios adicionales de la solicitud para asegurar su descuento. Puedes hacer clic aquí para saber más. Siga el enlace en esa página para postularse para asistir. ¡Recuerda utilizar el código de descuento!

Dicho esto, aquí hay más noticias sobre IA.

Jeremy Kahn
jeremy.kahn@fortune.com
@jeremyakahn

IA EN LAS NOTICIAS

El jefe del banco central de la India dice que la IA crea un riesgo para la estabilidad financiera. Shaktikanta Das, gobernador del Banco de la Reserva de la India, fue el último jefe del banco central en advertir que el creciente uso de la IA en los servicios financieros presenta riesgos potenciales, especialmente si los bancos y los fondos de cobertura utilizan en gran medida el mismo puñado de proveedores de tecnología, informó Reuters. .

El New York Times apunta a la startup de búsqueda de IA generativa Perplexity. Los abogados del periódico han enviado a Perplexity una carta de “cese y desista” pidiéndole que deje de acceder y utilizar el contenido de la publicación sin permiso, Diario de Wall Street informó. El director ejecutivo de Perplexity, Aravind Srinivas, dijo al Diario que la empresa no está ignorando el Veces’ solicitudes y respondería a su carta a finales de mes. “No tenemos ningún interés en ser antagonistas de nadie aquí”, dijo Srinivas al periódico. El New York Times ya está envuelto en una demanda con OpenAI, alegando que la empresa de IA viola la ley de derechos de autor al ingerir el Veces’ contenido. (Divulgación completa: Fortuna tiene un acuerdo de licencia con Perplexity.)

Google encarga pequeños reactores nucleares para alimentar centros de datos a medida que aumentan las demandas de energía de la IA. El Guardián informa que el gigante tecnológico ha llegado a un acuerdo con Kairos Power, con sede en California, para una flota de seis a siete mini reactores nucleares para generar energía para los centros de datos donde entrenará y ejecutará modelos de IA. Está previsto que el primer reactor esté en funcionamiento en 2030. Los grandes proveedores de la nube están mirando cada vez más a la energía nuclear para alimentar los centros de datos sin ampliar sus huellas de carbono. Amazon y Microsoft han cerrado acuerdos sobre energía nuclear en los últimos meses.

La ex directora de tecnología de OpenAI, Mira Murati, está tratando de contratar personal para un nuevo proyecto mientras continúa la agitación del personal. Eso es según un informe de The Information, que citó a dos fuentes anónimas familiarizadas con las actividades de Murati. Murati no le ha dicho al personal si está lanzando su propia startup o tratando de atraer a los empleados de OpenAI a una empresa existente a la que se unirá, según la publicación. También dijo que el equipo posterior a la capacitación de OpenAI, que ayuda a que los modelos de IA sean más seguros y amigables para el cliente, está en crisis luego de la salida de su ex director, Barret Zoph, cuya salida se anunció el mismo día que la de Murati, y su reemplazo por Liam. Fedus. Según la publicación, algunos investigadores han solicitado transferencias a otros equipos en lugar de trabajar con Fedus.

OpenAI contrata a un investigador clave de Microsoft. The Information informa que Sebastian Bubeck, quien lideró los esfuerzos de Microsoft para desarrollar una familia de pequeños modelos de lenguaje de código abierto y altamente capaces llamado Phi, ha sido atraído hacia OpenAI. Esto puede indicar que OpenAI quiere entrenar tipos de modelos similares. También puede indicar una mayor tensión entre OpenAI y su principal patrocinador y socio, Microsoft.

OJO EN LA INVESTIGACIÓN EN IA

¿Los LLM realmente razonan? Un provocativo estudio realizado por seis investigadores de Apple sugiere que la respuesta es no o, al menos, no particularmente bien y nada parecido a lo que hacen los humanos.

Los investigadores encontraron que cambios sutiles en la redacción de las preguntas o la adición de información irrelevante a las preguntas dieron como resultado degradaciones significativas en el desempeño de los LLM en las pruebas de referencia. Incluso los modelos de IA más recientes y potentes, incluido el o1-preview de OpenAI, que fue diseñado específicamente para funcionar mejor en tareas de razonamiento, experimentaron una caída en el rendimiento en el conjunto de datos alterado que crearon los investigadores. Esto sugiere que la capacidad de razonamiento de todos estos modelos está exagerada y, en cambio, en su mayoría simplemente memorizan las respuestas a las preguntas que encuentran durante el entrenamiento.

Al mismo tiempo, la investigación mostró que el rendimiento de los LLM más recientes y potentes se degradaba menos que el de los modelos más pequeños. Por lo tanto, puede ser que los modelos más grandes realicen algo más cercano al razonamiento humano, mientras que los modelos más pequeños no.

Puede leer el artículo de investigación completo en arxiv.org aquí.

FORTUNA EN LA IA

Por qué es probable que todavía falten varios años para la visión del robotaxi Cybercab de Elon Musk: por Jessica Mathews

Los departamentos de defensa y seguridad nacional de EE. UU. han pagado 700 millones de dólares por proyectos de inteligencia artificial desde el lanzamiento de ChatGPT, por Kali Hays

Dentro de la IA del drive-thru de Wendy’s que hace que pedir comida rápida sea aún más rápido, por John Kell

CALENDARIO DE IA

22 y 23 de octubre: TedAI, San Francisco

28-30 de octubre: Voz e IA, Arlington, Virginia.

19-22 de noviembre: Microsoft enciende, Chicago

Del 2 al 6 de diciembre: AWS re:Invent, Las Vegas

8-12 de diciembre: Sistemas de procesamiento de información neuronal (Neurips) 2024, Vancouver, Columbia Británica

9 y 10 de diciembre: Fortune Brainstorm AI, San Francisco (regístrese aquí)

ALIMENTO PARA EL CEREBRO

¿La reacción del público contra la genAI frenará su adopción generalizada por parte de los creadores? Muy posiblemente. El cineasta Morgan Neville dijo cableado que nunca volverá a utilizar la IA en sus películas después de enfrentar críticas generalizadas de los fanáticos por su uso de la IA para recrear la voz del fallecido chef y periodista de viajes Anthony Bourdain en su documental de 2021 sobre la vida de Bourdain. Correcaminos. Aunque Neville solo usó la voz generada por IA para leer el texto realmente escrito por Bourdain, el uso de la IA confundió a los espectadores, dijo Neville. cableado. Muchos asumieron que esos aspectos de la película eran completamente ficticios, lamentó. En general, Neville dijo que el uso de la IA había dañado la correcaminos credibilidad ante el público.

Neville no es el único creador que descubre que la IA puede socavar una reputación de autenticidad ganada con tanto esfuerzo. El fabricante de juguetes Lego, que casualmente es el medio central en el nuevo e innovador documental de Neville sobre el músico Pharell Williams, Pieza por pieza-ha renunciado a utilizar IA generativa para crear catálogos y anuncios después de que un experimento inicial con la tecnología generó un importante retroceso por parte de los aficionados a Lego.