Connect with us

Noticias

La sorpresa de MidJourney: una nueva investigación sobre la fabricación de LLMS escribe de manera más creativa

Published

on

Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información


MidJourney es mejor conocido como uno de los principales generadores de imágenes de IA, con casi 20 millones de usuarios en su canal de discordia, según los rastreadores de terceros, y presumiblemente más sobre eso en su sitio web, pero sus ambiciones están comenzando a expandirse.

Después de la noticia a fines del verano de 2024 de que estaba construyendo su propia informática y hardware de IA, la compañía lanzó esta semana un nuevo trabajo de investigación junto con expertos en aprendizaje automático en la Universidad de Nueva York (NYU) sobre la capacitación de modelos de idiomas grandes basados ​​en texto (LLM) como Meta’s Open Source Llama y los modelos de fuentes homónimos de MITRAL para escribir de manera más creativa.

La colaboración, documentada en un nuevo trabajo de investigación publicado en AI Code Community Hugging Face, presenta dos nuevas Technieques: Optimización de preferencias directas diversificadas (DDPO) y Optimización de preferencias de odds ratios de odds (DORPO) diversificadas, diseñadas para expandir el rango de posibles resultados mientras se mantiene la coherencia y la lectura.

Para una compañía mejor conocida por sus modelos de generación de imágenes de IA de difusión, el nuevo enfoque de MidJourney para repensar la creatividad en LLM basados ​​en texto muestra que no está limitando sus ambiciones a las imágenes, y que una imagen puede no valer mil palabras.

¿Podría una LLM-Native MidJourney o una versión ajustada de un LLM existente estar en las tarjetas de la pequeña startup de arranque? Me puse en contacto con el fundador de MidJourney, David Holz, pero aún no he recibido respuesta.

Independientemente de una oferta de LLM de Midjourney LLM de primera parte, las implicaciones de su nueva investigación van más allá de los ejercicios académicos y podrían usarse para ayudar a alimentar una nueva ola de capacitación de LLM entre equipos de IA empresariales, desarrolladores de productos y creadores de contenido que buscan mejorar el texto generado por IA.

También muestra que, a pesar de los recientes intereses e inversiones entre los proveedores de modelos de IA en nuevos modelos de lenguaje multimodal y de razonamiento, todavía queda mucho jugo por exprimirse, cognitivamente y en cuanto a rendimiento, a partir de LLM basados ​​en texto clásicos basados ​​en transformadores.

El problema: la escritura generada por IA se derrumba alrededor de salidas homogéneas

En dominios como la asistencia de codificación o asistencia de codificación basada en hechos, se espera que los LLM generen una sola mejor respuesta.

Sin embargo, la escritura creativa es inherentemente abierta, lo que significa que hay muchas respuestas válidas a un solo mensaje.

Para un ejemplo proporcionado por los investigadores de la mediana edad, dado un aviso como “Escribe una historia sobre un perro en la luna”el LLM podría explorar múltiples caminos diversos como:

  • El perro mascota de un astronauta se fue accidentalmente después de una misión lunar.
  • Un perro que se encuentra en una colonia espacial canina futurista.
  • Un perro varado que se hace amigo de una especie alienígena.

A pesar de esta gama de posibilidades, las LLM ajustadas a las instrucciones a menudo convergen en historias y temas similares. Esto sucede porque:

  1. Las técnicas posteriores a la capacitación priorizan la preferencia del usuario sobre la originalidad, reforzando las respuestas populares pero repetitivas.
  2. La sintonización de instrucciones a menudo suaviza la variación, haciendo que los modelos favorecen las respuestas “seguras” sobre las únicas.
  3. Las técnicas de promoción de la diversidad existentes (como el ajuste de la temperatura) funcionan solo en el momento de la inferencia, en lugar de ser horneados en el proceso de aprendizaje del modelo.

Esto lleva a la narración homogeneizada, donde la escritura creativa generada por IA se siente repetitiva y carece de sorpresa o profundidad.

La solución: modificar los métodos posteriores a la capacitación para priorizar la diversidad

Para superar estas limitaciones, los investigadores introdujeron DDPO y DORPO, dos extensiones de los métodos de optimización de preferencias existentes. La innovación central en estos enfoques es el uso de la desviación, una medida de cuánto difiere una respuesta de los demás, para guiar la capacitación.

Así es como funciona:

  1. Durante el entrenamiento, el modelo recibe un mensaje de escritura y múltiples respuestas posibles.
  2. Cada respuesta se compara con otras para el mismo aviso, y se calcula una puntuación de desviación.
  3. Las respuestas raras pero de alta calidad se ponderan más en el entrenamiento, alentando al modelo a aprender de diversos ejemplos.

Al incorporar la desviación en la optimización de preferencia directa (DPO) y la optimización de preferencias de odds ratio (ORPO), el modelo aprende a producir respuestas de alta calidad pero más variadas.

Este método asegura que las historias generadas por IA no converjan en una sola estructura predecible, sino que exploran una gama más amplia de personajes, configuraciones y temas, tal como lo haría un escritor humano.

Lo que hicieron los investigadores de MidJourney para lograr esto

El estudio involucró a la capacitación de LLM en tareas de escritura creativa utilizando un conjunto de datos del Subreddit R/WritingPrompts, una comunidad de Reddit donde los usuarios publican y responden con historias cortas.

Los investigadores utilizaron dos modelos base para su entrenamiento:

  • Meta’s Llama-3.1-8b (Un modelo de 8 mil millones de parámetros de la serie Llama 3).
  • Mistral-7B-V0.3 (Un modelo de 7 mil millones de parámetros de la IA Mistral).

Luego, tomaron estos modelos a través de los siguientes procesos:

  1. Autorización supervisada (SFT): Los modelos se ajustaron primero con LORA (adaptación de bajo rango) para ajustar los parámetros de manera eficiente.
  2. Optimización de preferencias:
    • DPO y ORPO se usaron como líneas de base—Estos métodos estándar se centran en mejorar la calidad de la respuesta en función de las señales de preferencia del usuario.
    • DDPO y DORPO se aplicaron luegoIntroducción de ponderación basada en la desviación para fomentar más respuestas únicas.
  3. Evaluación:
    • Evaluación automática: diversidad semántica y estilística medida utilizando técnicas basadas en la incrustación.
    • Evaluación humana: los jueces evaluaron si los resultados eran diversos y atractivos en comparación con GPT-4O y Claude 3.5.

Hallazgos clave del entrenamiento:

  • DDPO superó significativamente a DPO estándar en términos de diversidad de producción mientras mantiene la calidad.
  • Llama-3.1-8b con DDPO logró el mejor equilibrio de calidad y diversidad, produciendo respuestas que fueron más variado que GPT-4O mientras mantiene la coherencia.
  • Cuando se redujo el tamaño del conjunto de datosLos modelos DDPO aún mantenían la diversidad, aunque requerían que un cierto número de muestras de capacitación diversas fuera completamente efectiva.

Implicaciones empresariales: ¿Qué significa para aquellos que usan AI para producir respuestas creativas, como en la redacción de marketing, la narración corporativa y las secuencias de comandos de cine/televisión/videojuegos?

Para los equipos de IA que administran la implementación de LLM, mejorar la diversidad de la producción mientras mantiene la calidad es un desafío crítico. Estos hallazgos tienen implicaciones significativas para las organizaciones que dependen del contenido generado por IA en aplicaciones como:

  • IA conversacional y chatbots (asegurando respuestas variadas y atractivas).
  • Herramientas de marketing de contenidos y narración de cuentos (evitando una copia repetitiva generada por IA).
  • Desarrollo de juegos y diseño narrativo (creando diversos diálogo y historias de ramificación).

Para los profesionales responsables de ajustar e implementar modelos en un entorno empresarial, esta investigación proporciona:

  • Un nuevo enfoque para el entrenamiento de LLM que mejora la creatividad sin sacrificar la calidad.
  • Una alternativa práctica al ajuste de diversidad de tiempo de inferencia (como los ajustes de temperatura) al integrar la diversidad en el proceso de aprendizaje en sí.
  • El potencial para desarrollar aplicaciones de IA más atractivas, desde herramientas de escritura asistidas por AI-AI hasta asistentes virtuales que pueden adaptar dinámicamente sus respuestas.

Para aquellos que manejan la orquestación y la automatización del modelo de IA, esta investigación destaca:

  • La importancia de ajustar los modelos en la etapa de entrenamiento, reduciendo la necesidad de ajustes posteriores al procesamiento en el despliegue.
  • Una forma de introducir la narración adaptativa en las aplicaciones impulsadas por la IA, asegurando la variabilidad al tiempo que mantiene alta la calidad del contenido.
  • Un método para hacer que las salidas de LLM sean más humanas, lo cual es crucial para aplicaciones que requieren narración interactiva, participación del cliente o creación de contenido dinámico.

El futuro de los proyectos creativos generados por IA se ve brillante

El éxito de DDPO y DORPO demuestra que la capacitación de LLM con objetivos centrados en la diversidad puede producir mejoras significativas en la escritura creativa. Algunas ideas incluyen:

  1. Integrar el aprendizaje basado en la desviación en los modelos de IA empresariales Para mejorar la diversidad de respuesta en aplicaciones orientadas al cliente.
  2. Explorando cómo se aplican estos métodos a otras tareas generativascomo poesía con IA, escritura de guiones o narración de cuentos.
  3. Desarrollo de enfoques de entrenamiento híbrido Ese equilibrio Capacidades de diversidad e instrucciones de seguimiento para asistentes de IA.

Para aquellos interesados ​​en aplicar estas técnicas, los investigadores planean que su código esté disponible en público en este repositorio de GitHub

Ya sea que esté ajustando las LLM para aplicaciones comerciales u optimización de la orquestación de IA a gran escala, este estudio proporciona información procesable sobre cómo los modelos pueden ser más dinámicos, atractivos y receptivos a las tareas creativas.

Al adoptar estas técnicas, los equipos de IA pueden ir más allá de los resultados rígidos y formulados, construyendo sistemas de IA que no solo son inteligentes sino que también son realmente imaginativos.

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

El objetivo de Chatgpt es ser un ‘super asistente’ para cada parte de tu vida

Published

on

Gracias al proceso de descubrimiento legal, el juicio antimonopolio de Google con el Departamento de Justicia ha proporcionado una visión fascinante del futuro de ChatGPT.

Un documento interno de estrategia de Operai titulado “CHATGPT: H1 2025 Strategy” describe la aspiración de la compañía para construir un “Super Asistente de IA que lo entienda profundamente y es su interfaz para Internet”. Aunque el documento está muy redactado en partes, revela que OpenAI tiene como objetivo que ChatGPT pronto se convierta en mucho más que en un chatbot.

“En la primera mitad del próximo año, comenzaremos a evolucionar ChatGPT a un súper asistente: uno que lo conoce, comprenda lo que le importa y ayuda con cualquier tarea que una persona inteligente, confiable e emocionalmente inteligente con una computadora pueda hacer”, lee el documento de finales de 2024. “La sincronización es adecuada. Los modelos como 02 y 03 finalmente son lo suficientemente inteligentes como para realizar tareas de agente de la computación, como el uso de la computadora, las herramientas como el uso de la computadora, las herramientas pueden ser correctas, la capacidad de los modelos a las acciones de 02 y la capacidad de 03 es lo suficientemente inteligente como para realizar las tareas de los agentes. Los paradigmas de interacción como la multimodalidad y la interfaz de usuario generativa permiten que ChatGPT y los usuarios se expresen de la mejor manera para la tarea “.

El documento continúa describiendo a un “Super Asistente” como “una entidad inteligente con habilidades en forma de T” para tareas ampliamente aplicables y de nicho. “La parte amplia se trata de facilitar la vida: responder una pregunta, encontrar un hogar, contactar a un abogado, unirse a un gimnasio, planificar vacaciones, comprar regalos, administrar calendarios, realizar un seguimiento de las TODO, enviar correos electrónicos”. Menciona la codificación como un ejemplo temprano de una tarea más nicho.

Incluso cuando lee las redacciones, está claro que OpenAi ve el hardware como esencial para su futuro, y que quiere que las personas piensen en ChatGPT como no solo como una herramienta, sino como un compañero. Esto rastrea con Sam Altman Recientemente diciendo que los jóvenes están usando ChatGPT como un “asesor de vida”.

“Hoy, ChatGPT está en nuestras vidas a través de los factores de forma existentes: nuestro sitio web, teléfono y aplicaciones de escritorio”, dice otra parte del documento de estrategia. “Pero nuestra visión para ChatGPT es ayudarlo con toda su vida, sin importar dónde se encuentre. En casa, debería ayudar a responder preguntas, reproducir música y sugerir recetas. Sobre la marcha, debería ayudarlo a llegar a lugares, encontrar los mejores restaurantes o ponerse al día con amigos. En el trabajo, debería ayudarlo a tomar notas de reuniones o prepararse para la gran presentación. Y en solo caminatas, debería ayudarlo a reflexionar y Wind Down”.

Al mismo tiempo, Operai se encuentra en una posición tambaleante. Su infraestructura no puede manejar el creciente uso de ChatGPT, lo que explica el enfoque de Altman en la construcción de centros de datos. En una sección del documento que describe la competencia AI Chatbot, la compañía escribe que “estamos liderando aquí, pero no podemos descansar”, y que “el crecimiento y los ingresos no se alinearán para siempre”.

Reconoce que hay “poderosos titulares que aprovecharán su distribución para ventender sus propios productos”, y afirma que OpenAI abogará por la regulación que requiere que otras plataformas permitan a las personas establecer ChatGPT como el asistente predeterminado. (Casualmente, se rumorea que Apple pronto permitirá que los usuarios de iOS también seleccionen Gemini de Google para consultas Siri. Meta AI solo alcanzó mil millones de usuarios, gracias principalmente a sus muchos ganchos en Instagram, WhatsApp y Facebook).

“Tenemos lo que necesitamos para ganar: uno de los productos de más rápido crecimiento de todos los tiempos, una marca definida por categorías, un líder de investigación (razonamiento, multimodal), un líder de cómputo, un equipo de investigación de clase mundial y un número cada vez mayor de personas efectivas con agencias motivadas para enviar”, dice el documento de Openai. “No confiamos en los anuncios, dándonos flexibilidad sobre qué construir. Nuestra cultura valora la velocidad, los movimientos audaces y la autodisrupción. Mantener estas ventajas es un trabajo duro pero, si lo hacemos, durarán por un tiempo”.

  • Pollos de manzana: Por primera vez en una década, Apple no tendrá a sus ejecutivos participar en John Gruber’s Podcast anual después de WWDC Live. Gruber recientemente escribió el ensayo viral “Algo está podrido en el estado de Cupertino”, que se discutió ampliamente en los círculos de manzanas. Aunque no ha conectado públicamente esa pieza crítica con la compañía que se retira de su podcast, es fácil ver la línea de transmisión. Dice mucho sobre el estado de Apple cuando sus líderes ni siquiera quieren participar en lo que históricamente ha sido un foro amistoso.
  • Elon estaba alto: Como Elon almizcle intenta replantear la visión del público sobre él haciendo entrevistas sobre SpaceX, The New York Times informa que el año pasado, estaba tomando tanta ketamina que “estaba afectando su vejiga”. Según los informes, “viajó con una caja de medicamentos diarias que contenía unas 20 píldoras, incluidas las de las marcas del estimulante Adderall”. Tanto el almizcle como la Casa Blanca han tenido múltiples oportunidades para refutar directamente este informe, y no lo han hecho. Ahora, Musk se está alejando al menos parcialmente de Doge junto con tenientes clave como Steve Davis. Dege puede ser un fracaso basado en las propias esperanzas declaradas de Musk para los recortes de gastos, pero su cercanía con Trump ciertamente ha ayudado a rescatar a X de la ruina financiera y cultivar el negocio de SpaceX. Ahora, el trabajo más difícil comienza: salvar a Tesla.

“La forma en que hacemos el ranking es sacrosanto para nosotros”. – CEO de Google Sundar Pichai en Descifradorexplicando por qué los resultados de búsqueda de la compañía no se cambiarán para el presidente Trump o cualquier otra persona.

“En comparación con los cambios tecnológicos anteriores, estoy un poco más preocupado por el impacto laboral … sí, las personas se adaptarán, pero es posible que no se adapten lo suficientemente rápido”. – CEO antrópico Dario amodei en CNN Da la alarma sobre la tecnología que está desarrollando.

“Meta es una compañía muy diferente a la que era hace nueve años cuando me despidieron”. – Fundador de Anduril Palmer Luckey narración Ashlee Vance Por qué se está vinculando con Mark Zuckerberg Para hacer auriculares para el ejército.

  • El aplanamiento de la organización AI de Meta ha entrado en vigencia, con VP Ahmad al-Dahle ya no supervisa a todo el grupo. Ahora, es co-lidera “Fundaciones AGI” con Amir FrenkelVicepresidente de ingeniería, mientras Connor Hayes ejecuta todos los productos de IA. Los tres hombres ahora informan a Meta CPO Chris Coxque ha enmarcado diplomáticamente los cambios como una forma de “dar a cada organización más propiedad”.
  • Cofundador de Xbox J Allard lidera un nuevo grupo de dispositivos ‘Breakthrough’ en Amazon llamado Zeroone. Uno de los dispositivos estará relacionado con el hogar inteligente, según los listados de trabajo.
  • CJ Mahoneyun ex funcionario de la administración Trump, está siendo promovido a asesor general de Microsoft, que también ha contratado Lisa Mónaco de la última administración de Biden para liderar la política global.
  • Reed Hastings se une a la junta de antrópico “porque creo en su enfoque para el desarrollo de la IA y para ayudar a la humanidad al progreso”. (Se une a la Junta Corporativa de Anthrope, no a la Junta Supervisora ​​de su Fideicomiso de Beneficio Público que puede contratar y despedir a los directores corporativos).
  • Barrios de Sebastiánanteriormente SVP en Mercado Libre, se une a Roblox como vicepresidente sénior de ingeniería para varias áreas, incluidos anuncios, descubrimiento de juegos y el trabajo de moneda virtual de la compañía.
  • Fidji Simo’s El reemplazo en Instacart será director de negocios Chris Rogersquien se convertirá en el próximo CEO de la compañía el 15 de agosto después de que ella se une oficialmente a OpenAI.

Si aún no lo ha hecho, no olvide suscribirse a El bordeque incluye acceso ilimitado a Línea de comando y todos nuestros informes.

Como siempre, agradezco sus comentarios, especialmente si tiene pensamientos sobre este tema o una idea de la historia para compartir. Puede responder aquí o hacerme hacer más información sobre la señal.

Continue Reading

Noticias

10 formas excelentes pero inesperadas de usar ChatGPT: los usuarios de Reddit revelan sus consejos de energía

Published

on

Como parte de mi trabajo, siempre estoy buscando nuevas formas de usar CHATGPT, para poder compartir algunos de los mejores ejemplos con los lectores de TechRadar.

El otro día, mientras navegaba por Reddit, me topé con un hilo de u/bn_from_zentara titulado “¿Qué es lo más inesperado y realmente útil que ha usado Chatgpt para que nunca habías imaginado que una IA podría ayudar?” Y me ha impresionado seriamente algunas de las ideas.

Continue Reading

Noticias

OpenAI Can Stop Pretending – The Atlantic

Published

on

OpenAI is a strange company for strange times. Valued at $300 billion—roughly the same as seven Fords or one and a half PepsiCos—the AI start-up has an era-defining product in ChatGPT and is racing to be the first to build superintelligent machines. The company is also, to the apparent frustration of its CEO Sam Altman, beholden to its nonprofit status.

When OpenAI was founded in 2015, it was meant to be a research lab that would work toward the goal of AI that is “safe” and “benefits all of humanity.” There wasn’t supposed to be any pressure—or desire, really—to make money. Later, in 2019, OpenAI created a for-profit subsidiary to better attract investors—the types of people who might otherwise turn to the less scrupulous corporations that dot Silicon Valley. But even then, that part of the organization was under the nonprofit side’s control. At the time, it had released no consumer products and capped how much money its investors could make.

Then came ChatGPT. OpenAI’s leadership had intended for the bot to provide insight into how people would use AI without any particular hope for widespread adoption. But ChatGPT became a hit, kicking “off a growth curve like nothing we have ever seen,” as Altman wrote in an essay this past January. The product was so alluring that the entire tech industry seemed to pivot overnight into an AI arms race. Now, two and a half years since the chatbot’s release, Altman says some half a billion people use the program each week, and he is chasing that success with new features and products—for shopping, coding, health care, finance, and seemingly any other industry imaginable. OpenAI is behaving like a typical business, because its rivals are typical businesses, and massive ones at that: Google and Meta, among others.

Now 2015 feels like a very long time ago, and the charitable origins have turned into a ball and chain for OpenAI. Last December, after facing concerns from potential investors that pouring money into the company wouldn’t pay off because of the nonprofit mission and complicated governance structure, the organization announced plans to change that: OpenAI was seeking to transition to a for-profit. The company argued that this was necessary to meet the tremendous costs of building advanced AI models. A nonprofit arm would still exist, though it would separately pursue “charitable initiatives”—and it would not have any say over the actions of the for-profit, which would convert into a public-benefit corporation, or PBC. Corporate backers appeared satisfied: In March, the Japanese firm Softbank conditioned billions of dollars in investments on OpenAI changing its structure.

Resistance came as swiftly as the new funding. Elon Musk—a co-founder of OpenAI who has since created his own rival firm, xAI, and seems to take every opportunity to undermine Altman—wrote on X that OpenAI “was funded as an open source, nonprofit, but has become a closed source, profit-maximizer.” He had already sued the company for abandoning its founding mission in favor of financial gain, and claimed that the December proposal was further proof. Many unlikely allies emerged soon after. Attorneys general in multiple states, nonprofit groups, former OpenAI employees, outside AI experts, economists, lawyers, and three Nobel laureates all have raised concerns about the pivot, even petitioning to submit briefs to Musk’s lawsuit.

OpenAI backtracked, announcing a new plan earlier this month that would have the nonprofit remain in charge. Steve Sharpe, a spokesperson for OpenAI, told me over email that the new proposed structure “puts us on the best path to” build a technology “that could become one of the most powerful and beneficial tools in human history.” (The Atlantic entered into a corporate partnership with OpenAI in 2024.)

Yet OpenAI’s pursuit of industry-wide dominance shows no real signs of having hit a roadblock. The company has a close relationship with the Trump administration and is leading perhaps the biggest AI infrastructure buildout in history. Just this month, OpenAI announced a partnership with the United Arab Emirates and an expansion into personal gadgets—a forthcoming “family of devices” developed with Jony Ive, former chief design officer at Apple. For-profit or not, the future of AI still appears to be very much in Altman’s hands.


Why all the worry about corporate structure anyway? Governance, boardroom processes, legal arcana—these things are not what sci-fi dreams are made of. Yet those concerned with the societal dangers that generative AI, and thus OpenAI, pose feel these matters are of profound importance. The still more powerful artificial “general” intelligence, or AGI, that OpenAI and its competitors are chasing could theoretically cause mass unemployment, worsen the spread of misinformation, and violate all sorts of privacy laws. In the highest-flung doomsday scenarios, the technology brings about civilizational collapse. Altman has expressed these concerns himself—and so OpenAI’s 2019 structure, which gave the nonprofit final say over the for-profit’s actions, was meant to guide the company toward building the technology responsibly instead of rushing to release new AI products, sell subscriptions, and stay ahead of competitors.

“OpenAI’s nonprofit mission, together with the legal structures committing it to that mission, were a big part of my decision to join and remain at the company,” Jacob Hilton, a former OpenAI employee who contributed to ChatGPT, among other projects, told me. In April, Hilton and a number of his former colleagues, represented by the Harvard law professor Lawrence Lessig, wrote a letter to the court hearing Musk’s lawsuit, arguing that a large part of OpenAI’s success depended on its commitment to safety and the benefit of humanity. To renege on, or at least minimize, that mission was a betrayal.

The concerns extend well beyond former employees. Geoffrey Hinton, a computer scientist at the University of Toronto who last year received a Nobel Prize for his AI research, told me that OpenAI’s original structure would better help “prevent a super intelligent AI from ever wanting to take over.” Hinton is one of the Nobel laureates who has publicly opposed the tech company’s for-profit shift, alongside the economists Joseph Stiglitz and Oliver Hart. The three academics, joining a number of influential lawyers, economists, and AI experts, in addition to several former OpenAI employees, including Hilton, signed an open letter in April urging the attorneys general in Delaware and California—where the company’s nonprofit was incorporated and where the company is headquartered, respectively—to closely investigate the December proposal. According to its most recent tax filing, OpenAI is intended to build AGI “that safely benefits humanity, unconstrained by a need to generate financial return,” so disempowering the nonprofit seemed, to the signatories, self-evidently contradictory.

Read: ‘We’re definitely going to build a bunker before we release AGI’

In its initial proposal to transition to a for-profit, OpenAI still would have had some accountability as a public-benefit corporation: A PBC legally has to try to make profits for shareholders alongside pursuing a designated “public benefit” (in this case, building “safe” and “beneficial” AI as outlined in OpenAI’s founding mission). In its December announcement, OpenAI described the restructure as “the next step in our mission.” But Michael Dorff, another signatory to the open letter and a law professor at UCLA who studies public-benefit corporations, explained to me that PBCs aren’t necessarily an effective way to bring about public good. “They are not great enforcement tools,” he said—they can “nudge” a company toward a given cause but do not give regulators much authority over that commitment. (Anthropic and xAI, two of OpenAI’s main competitors, are also public-benefit corporations.)

OpenAI’s proposed conversion also raised a whole other issue—a precedent for taking resources accrued under charitable intentions and repurposing them for profitable pursuits. And so yet another coalition, composed of nonprofits and advocacy groups, wrote its own petition for OpenAI’s plans to be investigated, with the aim of preventing charitable organizations from being leveraged for financial gain in the future.

Regulators, it turned out, were already watching. Three days after OpenAI’s December announcement of the plans to revoke nonprofit oversight, Kathy Jennings, the attorney general of Delaware, notified the court presiding over Musk’s lawsuit that her office was reviewing the proposed restructure to ensure that the corporation was fulfilling its charitable interest to build AI that benefits all of humanity. California’s attorney general, Rob Bonta, was reviewing the restructure, as well.

This ultimately led OpenAI to change plans. “We made the decision for the nonprofit to stay in control after hearing from civic leaders and having discussions with the offices of the Attorneys General of California and Delaware,” Altman wrote in a letter to OpenAI employees earlier this month. The for-profit, meanwhile, will still transition to a PBC.

The new plan is not yet a done deal: The offices of the attorneys general told me that they are reviewing the new proposal. Microsoft, OpenAI’s closest corporate partner, has not yet agreed to the new structure.


One could be forgiven for wondering what all the drama is for. Amid tension over OpenAI’s corporate structure, the organization’s corporate development hasn’t so much as flinched. In just the past few weeks, the company has announced a new CEO of applications, someone to directly oversee and expand business operations; OpenAI for Countries, an initiative focused on building AI infrastructure around the world; and Codex, a powerful AI “agent” that does coding tasks. To OpenAI, these endeavors legitimately contribute to benefiting humanity: building more and more useful AI tools; bringing those tools and the necessary infrastructure to run them to people around the world; drastically increasing the productivity of software engineers. No matter OpenAI’s ultimate aims, in a race against Google and Meta, some commercial moves are necessary to stay ahead. And enriching OpenAI’s investors and improving people’s lives are not necessarily mutually exclusive.

The greater issue is this: There is no universal definition for “safe” or “beneficial” AI. A chatbot might help doctors process paperwork faster and help a student float through high school without learning a thing; an AI research assistant could help climate scientists arrive at novel insights while also consuming huge amounts of water and fossil fuels. Whatever definition OpenAI applies will be largely determined by its board. Altman, in his May letter to employees, contended that OpenAI is on the best path “to continue to make rapid, safe progress and to put great AI in the hands of everyone.” But everyone, in this case, has to trust OpenAI’s definition of safe progress.

The nonprofit has not always been the most effective check on the company. In 2023, the nonprofit board—which then and now had “control” over the for-profit subsidiary—removed Altman from his position as CEO. But the company’s employees revolted, and he was reinstated shortly thereafter with the support of Microsoft. In other words, “control” on paper does not always amount to much in reality. Sharpe, the OpenAI spokesperson, said the nonprofit will be able to appoint and remove directors to OpenAI’s separate for-profit board, but declined to clarify whether its board will be able to remove executives (such as the CEO). The company is “continuing to work through the specific governance mandate in consultation with relevant stakeholders,” he said.

Sharpe also told me that OpenAI will remove the cap on shareholder returns, which he said will satisfy the conditions for SoftBank’s billions of dollars in investment. A top SoftBank executive has said “nothing has really changed” with OpenAI’s restructure, despite the nonprofit retaining control. If investors are now satisfied, the underlying legal structure is irrelevant. Marc Toberoff, a lawyer representing Musk in his lawsuit against OpenAI, wrote in a statement that “SoftBank pulled back the curtain on OpenAI’s corporate theater and said the quiet part out loud. OpenAI’s recent ‘restructuring’ proposal is nothing but window dressing.”

Lessig, the lawyer who represented the former OpenAI employees, told me that “it’s outrageous that we are allowing the development of this potentially catastrophic technology with nobody at any level doing any effective oversight of it.” Two years ago, Altman, in Senate testimony, seemed to agree with that notion: He told lawmakers that “regulatory intervention by governments will be critical to mitigate the risks” of powerful AI. But earlier this month, only a few days after writing to his employees and investors that “as AI accelerates, our commitment to safety grows stronger,” he told the Senate something else: Too much regulation would be “disastrous” for America’s AI industry. Perhaps—but it might also be in the best interests of humanity.

Continue Reading

Trending