Actualización 23 de noviembre de 2024:

El ex investigador principal de DeepMind, Nando de Freitas, ha negado rotundamente las acusaciones contra DeepMind hechas en el intercambio de correos electrónicos entre ejecutivos de OpenAI y Elon Musk.

“La mayor parte de lo que se dice sobre DeepMind en estas cartas es absoluta tontería. Éramos simplemente científicos, descubriendo la inteligencia, tratando de descubrir cómo hacer cosas buenas con ella”, escribe de Freitas.

El investigador, que en ese momento reportaba directamente al CEO de DeepMind, Demis Hassabis, acusa a Musk y a los líderes de OpenAI de abusar de la apertura de DeepMind: “Abrimos nuestros laboratorios a todas estas personas, especialmente a Elon, y ellos abusaron de nuestra apertura”.

De Freitas ve los correos electrónicos ahora publicados como un argumento a favor de una mayor apertura en el desarrollo de la IA: “La gente debe decidir, y no un grupo de multimillonarios jugando con los científicos”.

Según de Freitas, Ilya Sutskever acertó proféticamente: los investigadores hicieron todo el entrenamiento, las ideas y el código, pero ahora el único poder que les queda es protestar en aplicaciones propiedad de los mismos multimillonarios.

“Pero protestaremos. La IA debe ser para el pueblo, para todos los estados nacionales”, escribe de Freitas.

Compartir

Recomendar nuestro artículo

Compartir

De Freitas pasó más de una década en Deepmind como líder de AL y director senior de IA, y ahora es vicepresidente de Microsoft AI, la empresa asociada más grande e importante de OpenAI.

Artículo original del 17 de noviembre de 2024:

Elon Musk no quería que OpenAI pareciera la “perra del marketing” de Microsoft

Los correos electrónicos recientemente publicados sobre el conflicto legal entre Elon Musk y el director ejecutivo de OpenAI, Sam Altman, muestran lo que llevó a Musk a abandonar la empresa de inteligencia artificial que ayudó a crear.

La correspondencia muestra que Musk estuvo impulsado desde el principio por la preocupación de que Google y su laboratorio de inteligencia artificial DeepMind pudieran asumir una posición demasiado dominante.

“Deepmind me está causando un estrés mental extremo. Si ganan, serán realmente malas noticias con su única intención de gobernar la filosofía mundial.“, escribió Musk al cofundador de OpenAI, Greg Brockman, en febrero de 2016.

Musk y Altman fundaron OpenAI a finales de 2015 como una organización sin ánimo de lucro con el objetivo de desarrollar inteligencia artificial en beneficio de la humanidad.

“Si esto va a suceder de todos modos, parece que sería bueno que alguien que no sea Google lo hiciera primero”, escribió Sam Altman a Elon Musk en mayo de 2015.

Musk no quería que OpenAI pareciera la “perra del marketing” de Microsoft

Las primeras tensiones surgieron en septiembre de 2016, cuando OpenAI estaba negociando con Microsoft recursos informáticos. Microsoft ofreció 60 millones de dólares en potencia informática por 10 millones de dólares, pero quería que OpenAI promocionara la plataforma CNTK AI de Microsoft a cambio.

Al final, las partes acordaron un pago de 50 millones de dólares sin más condiciones. Musk estuvo de acuerdo si Microsoft no utilizaría el acuerdo con fines de relaciones públicas: “Valdría mucho más de 50 millones de dólares para no parecer la perra del marketing de Microsoft”, escribió Musk al entonces jefe de personal de OpenAI, Sam Teller.

Sutskever y Brockman critican la búsqueda de poder de Musk y Altman

La situación llegó a un punto crítico en 2017, cuando el liderazgo de OpenAI en torno a Ilya Sutskever y Greg Brockman expresaron su preocupación en un correo electrónico titulado “Pensamientos honestos” de que Musk podría obtener un “control absoluto unilateral” sobre una potencial inteligencia artificial general (AGI) como director ejecutivo de una filial planificada con fines de lucro.

Según OpenAI, Musk quería una propiedad mayoritaria de las acciones, el control inicial de la junta directiva y el puesto de director ejecutivo si la empresa se convertía a una estructura con fines de lucro.

“Usted declaró que no desea controlar el AGI final, pero durante esta negociación nos ha demostrado que el control absoluto es extremadamente importante para usted”, escribieron Sutskever y Brockman. “Nos preocupa que a medida que la empresa avance genuinamente hacia AGI, usted opte por conservar su control absoluto de la empresa a pesar de la intención actual de lo contrario”.

Musk, que había cofundado OpenAI específicamente para evitar tal concentración de poder, respondió con un ultimátum: “Chicos, ya he tenido suficiente. Este es el colmo. O hacen algo por su cuenta o continúan con OpenAI como una organización sin fines de lucro”. Ya no financiaré OpenAI hasta que hayas hecho un compromiso firme de quedarte o simplemente estoy siendo un tonto que básicamente te está proporcionando fondos gratuitos para que crees una startup. Las discusiones terminaron”.

Brockman y Sutskever también sospechaban de las ambiciones de Sam Altman de convertirse en director ejecutivo. “No entendemos por qué el título de CEO es tan importante para usted. Sus razones declaradas han cambiado, y es difícil entender realmente qué lo impulsa”, escribieron, preguntándole a Altman cómo un puesto de CEO en OpenAI se “conectaría con su posición política”. objetivos.”

Sutskever estuvo involucrado en el derrocamiento temporal de Altman en noviembre de 2024 y dejó la compañía en mayo de 2024 para lanzar su propia startup de inteligencia artificial centrada en superinteligencia segura. Brockman regresó recientemente a trabajar en OpenAI después de una pausa de tres meses.

División final

A principios de 2018, Musk intensificó sus críticas, diciendo que OpenAI estaba en “camino hacia un fracaso seguro en relación con Google”, y pidió “medidas inmediatas y dramáticas”. Descartó la idea de Altman de una oferta inicial de monedas (ICO) como una “pérdida masiva de credibilidad”. Como último recurso, sugirió “una gran expansión de OpenAI y una gran expansión de Tesla AI. Quizás ambas simultáneamente”.

“Para ser claro, respeto mucho sus habilidades y logros, pero no estoy contento con cómo se han manejado las cosas. Es por eso que he tenido problemas para interactuar con OpenAI en los últimos meses. O arreglamos las cosas y mi compromiso aumenta mucho o no lo hacemos y caeré a casi cero y reduciré públicamente mi asociación”, escribió Musk.

Las conversaciones fracasaron y, en febrero de 2018, Musk renunció a la junta directiva de OpenAI. En su momento, OpenAI explicó que la renuncia de Musk tenía que ver con evitar conflictos de intereses en su rol como CEO de Tesla. Dadas las numerosas tensiones entre las partes, esta explicación ahora parece muy aséptica.

Cuando OpenAI formó una rama con fines de lucro en marzo de 2019 para invertir miles de millones en centros de datos y talento, se renovó el contacto por correo electrónico entre las partes. Musk enfatizó que el anuncio de la reestructuración debería indicar claramente que no tenía ningún interés financiero en OpenAI.

Las tensiones entre Musk y OpenAI continúan hasta el día de hoy. Musk está demandando a OpenAI por su cambio a un modelo con fines de lucro y afirma que Microsoft ahora controla la empresa. Desde entonces, inició xAI, con el objetivo de crear lo que él llama el modelo de IA más poderoso para fines de 2024.

Los correos electrónicos surgieron de documentos judiciales sobre la disputa legal en curso entre Musk y Altman, publicados como parte del proceso y compilados por un autor de la plataforma LessWrong.

Cada semana, Quartz recopila lanzamientos de productos, actualizaciones y noticias sobre financiación de empresas y empresas emergentes centradas en la inteligencia artificial.

Esto es lo que está sucediendo esta semana en la industria de la IA en constante evolución.

Actualización de escritura y modo de voz avanzado de ChatGPT

OpenAI anunció esta semana que está comenzando a implementar el modo de voz avanzado en la versión del navegador web de ChatGPT. Los usuarios pagos de ChatGPT Plus, Team, Enterprise y Edu podrán iniciar una conversación en tiempo real en el sitio web de ChatGPT.

La startup de IA también anunció que actualizó la capacidad de escritura creativa de su modelo GPT-4o para tener una “escritura más natural, atractiva y personalizada”. El modelo actualizado también puede funcionar mejor con archivos cargados, dijo OpenAI.

La familia de modelos Tülu 3 del Instituto Allen para la IA

El Instituto Allen de IA anunció esta semana su familia Tülu 3 de modelos abiertos y optimizados. El proceso de ajuste fino, o post-entrenamiento, refina los modelos para realizar tareas específicas.

A través de Tülu 3, los desarrolladores e investigadores pueden encontrar conjuntos de datos de código abierto, recetas de entrenamiento de modelos, códigos y marcos de evaluación. Los modelos varían entre 8 mil millones y 70 mil millones de parámetros, o las variables que un modelo aprende de los datos de entrenamiento que guían su capacidad para hacer predicciones, según Ai2.

Serie C de 130 millones de dólares de Enveda para medicina asistida por IA

Enveda, una empresa de biotecnología que utiliza IA para convertir compuestos naturales en nuevos medicamentos, anunció esta semana una ronda de financiación Serie C de 130 millones de dólares con exceso de suscripción. La ronda fue liderada por Kinnevik y FPV, y eleva la financiación total de Enveda a 360 millones de dólares.

La financiación ayudará a la empresa a avanzar en su cartera de diez candidatos a fármacos en desarrollo. Enveda está construyendo una plataforma impulsada por IA llamada “secuenciador” “que combina datos metabolómicos con aprendizaje automático y experimentos biológicos de alto rendimiento para responder dos preguntas fundamentales de cualquier muestra natural a escala: (1) ¿Cuáles son las moléculas? y ( 2) ¿Qué hacen?”, dijo la empresa.

“Algunos de los mayores avances farmacéuticos del mundo se han derivado de sólo el 0,1% de la química de la naturaleza”, dijo Viswa Colluru, director ejecutivo de Enveda, en un comunicado. “Desarrollamos nuestra plataforma para expandir rápidamente el acceso a la química de la naturaleza para encontrar terapias a aproximadamente cuatro veces la velocidad, y ya está brindando resultados en forma de una línea profunda y diferenciada. Esta financiación nos ayudará a hacer avanzar a múltiples candidatos hacia catalizadores clínicos interesantes durante el próximo año, confirmando nuestra visión rectora de que la química de la vida es una excelente fuente de nuevos medicamentos”.

Serie B de 50 millones de dólares de Pickle Robot para robots de producción

Pickle Robot, que desarrolla sistemas de automatización robótica para la descarga de camiones, anunció esta semana una ronda de financiación Serie B de 50 millones de dólares. La compañía, que se autodenomina pionera en IA física, también anunció que seis clientes ordenaron más de 30 robots de producción en el tercer trimestre para su implementación a principios de 2025. La tecnología de IA física de Pickle Robot combina un sistema de visión con modelos básicos de IA generativa entrenados en millones de datos reales de operaciones logísticas y de almacén.

“Los clientes de Pickle Robot están experimentando el valor de la IA física aplicada a un proceso logístico común que desafía miles de operaciones todos los días”, dijo AJ Meyer, director ejecutivo y fundador de Pickle Robot, en un comunicado. “La nueva financiación y nuestras relaciones estratégicas con los clientes permiten a Pickle trazar el futuro de la robótica de la cadena de suministro, ampliar rápidamente las capacidades de nuestros productos principales y hacer crecer nuestro negocio para ofrecer un enorme valor al cliente ahora y en el futuro”.

Inversión de capital de 55 millones de dólares de Lightning AI

Lightning AI, la compañía detrás del marco de aprendizaje profundo PyTorch Lightning, anunció esta semana una inversión de capital de 50 millones de dólares que incluía a Nvidia (NVDA) y JP Morgan (JPM).

PyTorch Lightning ha recibido más de 160 millones de descargas desde que se lanzó Lightning AI hace un año. Lightning AI combina docenas de herramientas de desarrollo de IA independientes en una plataforma de múltiples nubes donde los desarrolladores pueden crear, entrenar e implementar modelos de IA y alojar aplicaciones de IA de forma segura.

“Construir su propia plataforma de IA hoy es como construir su propio Slack: es complejo, costoso y no es fundamental para su negocio”, dijo William Falcon, fundador y director ejecutivo de Lightning AI, en un comunicado. “El valor para las empresas radica en sus datos, conocimiento del dominio y modelos únicos, no en el mantenimiento de la infraestructura de IA. Tenemos miles de desarrolladores entrenando e implementando modelos por sí solos a una escala que habría requerido equipos de desarrolladores sin Lightning”.

Agentes reflexivos de IA para la gestión del ciclo de ingresos de la atención sanitaria

Thoughtful AI lanzó esta semana sus agentes de IA especializados para la gestión del ciclo de ingresos en el sector sanitario. Los nuevos agentes de la empresa de transformación del ciclo de ingresos impulsados ​​por IA incluyen CODY para codificación y revisión de notas, y CAM para procesamiento de reclamaciones.

“Nuestro equipo de agentes de IA convierte a RCM de un cuello de botella en una potencia, utilizando IA y automatización para abordar tareas tediosas y que requieren mucho tiempo para que los equipos de atención médica puedan optimizar los ingresos y centrarse en lo más importante: los pacientes”, Alex Zekoff, cofundador. y director ejecutivo de Thoughtful AI, en un comunicado.

Plataforma de creación de anuncios de vídeo para juegos de Reforged Labs

Reforged Labs, un servicio de creación de videos impulsado por inteligencia artificial para estudios de juegos móviles, lanzó esta semana su servicio de publicidad en video impulsado por inteligencia artificial que, según afirma, puede ofrecer anuncios personalizados y rentables en menos de 24 horas. El motor de inteligencia artificial patentado de la startup fue entrenado con miles de anuncios de juegos, dijo Reforged Labs.

“Queremos ayudar a nivelar el campo de juego para los estudios de juegos con recursos limitados”, dijo en un comunicado Robert Huynh, director ejecutivo y cofundador de Reforged Labs. “Con nuestra solución creativa de servicio completo diseñada para el marketing de juegos, los estudios pueden beneficiarse de plantillas de anuncios probadas y producción y edición impulsadas por IA, todo sin largos resúmenes ni grandes presupuestos”.

Para las últimas noticias, Facebook, Gorjeo e Instagram.

El modelo o1 de OpenAI ha demostrado que el escalado del tiempo de inferencia (usar más computación durante la inferencia) puede mejorar significativamente las capacidades de razonamiento de un modelo de lenguaje. LLaVA-o1, un nuevo modelo desarrollado por investigadores de varias universidades de China, lleva este paradigma a los modelos de lenguaje de visión (VLM) de código abierto.

Los primeros VLM de código abierto suelen utilizar un enfoque de predicción directa, generando respuestas sin razonar sobre el mensaje y los pasos necesarios para resolverlo. Sin un proceso de razonamiento estructurado, son menos eficaces en tareas que requieren razonamiento lógico. Las técnicas de estimulación avanzadas, como las de cadena de pensamiento (CoT), donde se anima al modelo a generar pasos de razonamiento intermedios, producen algunas mejoras marginales. Pero los VLM suelen producir errores o alucinar.

Los investigadores observaron que un problema clave es que el proceso de razonamiento en los VLM existentes no es suficientemente sistemático y estructurado. Los modelos no generan cadenas de razonamiento y muchas veces se quedan estancados en procesos de razonamiento donde no saben en qué etapa se encuentran y qué problema específico deben resolver.

“Observamos que los VLM a menudo inician respuestas sin organizar adecuadamente el problema y la información disponible”, escriben los investigadores. “Además, con frecuencia se desvían de un razonamiento lógico para llegar a conclusiones, en lugar de presentar una conclusión prematuramente y luego intentar justificarla. Dado que los modelos de lenguaje generan respuestas token por token, una vez que se introduce una conclusión errónea, el modelo generalmente continúa por un camino de razonamiento defectuoso”.

Razonamiento de varias etapas

OpenAI o1 utiliza escala de tiempo de inferencia para resolver el problema de razonamiento sistemático y estructurado y permite que el modelo haga una pausa y revise sus resultados a medida que resuelve gradualmente el problema. Si bien OpenAI no ha publicado muchos detalles sobre el mecanismo subyacente de o1, sus resultados muestran direcciones prometedoras para mejorar las capacidades de razonamiento de los modelos fundamentales.

Inspirándose en o1, los investigadores diseñaron LLaVA-o1 para realizar un razonamiento etapa por etapa. En lugar de generar una cadena de razonamiento directa, LLaVA-o1 divide el proceso de razonamiento en cuatro etapas distintas:

Resumen: El modelo primero proporciona un resumen de alto nivel de la pregunta, delineando el problema central que debe abordar.

Subtítulo: Si hay una imagen presente, el modelo describe las partes relevantes, centrándose en elementos relacionados con la pregunta.

Razonamiento: A partir del resumen, el modelo realiza un razonamiento lógico y estructurado para derivar una respuesta preliminar.

Conclusión: Finalmente, el modelo presenta un resumen conciso de la respuesta basada en el razonamiento anterior.

Sólo la etapa de conclusión es visible para el usuario; las otras tres etapas representan el proceso de razonamiento interno del modelo, similar al rastro de razonamiento oculto de o1. Este enfoque estructurado permite a LLaVA-o1 gestionar su proceso de razonamiento de forma independiente, lo que conduce a un mejor rendimiento en tareas complejas.

“Este enfoque estructurado permite al modelo gestionar de forma independiente su proceso de razonamiento, mejorando su adaptabilidad y rendimiento en tareas de razonamiento complejas”, escriben los investigadores.

LLaVA-o1 también introduce una novedosa técnica de escalado de tiempo de inferencia llamada “búsqueda de haz a nivel de etapa”. La búsqueda de haces a nivel de etapa genera múltiples resultados candidatos en cada etapa de razonamiento. Luego selecciona al mejor candidato en cada etapa para continuar el proceso de generación. Esto contrasta con el enfoque clásico del mejor de N, en el que se solicita al modelo que genere múltiples respuestas completas antes de seleccionar una.

“En particular, es el diseño de salida estructurado de LLaVA-o1 lo que hace que este enfoque sea factible, permitiendo una verificación eficiente y precisa en cada etapa”, escriben los investigadores. “Esto valida la eficacia de la producción estructurada para mejorar la escala de tiempo de inferencia”.

Entrenamiento LLaVA-o1

Para entrenar LLaVA-o1, los investigadores compilaron un nuevo conjunto de datos de alrededor de 100.000 pares de imagen-pregunta-respuesta obtenidos de varios conjuntos de datos VQA ampliamente utilizados. El conjunto de datos cubre una variedad de tareas, desde la respuesta a preguntas de varios turnos hasta la interpretación de gráficos y el razonamiento geométrico.

Los investigadores utilizaron GPT-4o para generar procesos de razonamiento detallados de cuatro etapas para cada ejemplo, incluidas las etapas de resumen, título, razonamiento y conclusión.

Luego, los investigadores ajustaron Llama-3.2-11B-Vision-Instruct en este conjunto de datos para obtener el modelo LLaVA-o1 final. Los investigadores no han publicado el modelo, pero planean publicar el conjunto de datos, llamado LLaVA-o1-100k.

LLaVA-o1 en acción

Los investigadores evaluaron LLaVA-o1 en varios puntos de referencia de razonamiento multimodal. A pesar de haber sido entrenado en solo 100.000 ejemplos, LLaVA-o1 mostró mejoras de rendimiento significativas con respecto al modelo Llama base, con un aumento promedio en la puntuación de referencia del 6,9%.

Además, la búsqueda de haces a nivel de etapa generó mejoras adicionales en el rendimiento, lo que demuestra la eficacia del escalamiento del tiempo de inferencia. Debido a limitaciones de recursos computacionales, los investigadores solo pudieron probar la técnica con un tamaño de haz de 2. Esperan mejoras aún mayores con tamaños de haz más grandes.

Sorprendentemente, LLaVA-o1 superó no sólo a otros modelos de código abierto del mismo tamaño o más grandes, sino también a algunos modelos de código cerrado como GPT-4-o-mini y Gemini 1.5 Pro.

“LLaVA-o1 establece un nuevo estándar para el razonamiento multimodal en VLM, ofreciendo un rendimiento sólido y escalabilidad, especialmente en tiempo de inferencia”, escriben los investigadores. “Nuestro trabajo allana el camino para futuras investigaciones sobre el razonamiento estructurado en VLM, incluidas posibles expansiones con verificadores externos y el uso del aprendizaje por refuerzo para mejorar aún más las capacidades complejas de razonamiento multimodal”.