Noticias
OpenAI Newly Released SimpleQA Helps Reveal That Generative AI Blatantly And Alarmingly Overstates What It Knows
Important new research shows that generative AI woefully overestimates confidence levels and thus … [+]
getty
In today’s column, I examine closely a recently released empirical analysis by OpenAI, the maker of ChatGPT, revealing that generative AI severely overstates confidence levels regarding the responses that the AI generates. This means that when AI gives you an answer that the AI portrays for example as fully aboveboard and hunky-dory, the reality is that the response is bound to be a lot shakier than you are being led to believe.
Generative AI is pulling the wool over your eyes. The AI is giving you a snow job. You are being gaslighted by the AI.
Let’s talk about it.
This analysis of an innovative proposition is part of my ongoing Forbes.com column coverage on the latest in AI including identifying and explaining various impactful AI complexities (see the link here).
Dangers Of Dealing With Someone Supremely Overconfident
Before we jump into the AI side of things, I’d like to begin by reflecting on humans and the nature of human behavior associated with someone being supremely overconfident.
You ask a stranger what time it is. Turns out that you don’t have your watch, and you left your smartphone back in your car. So, you are unsure of the exact time. The person says to you in a strong and extremely confident voice that the time is 1:34 p.m. They are emphatic that they have given you the precise time of day as though there is no possible debate or discussion to be had.
Period, end of story.
Another person happens to walk by at that same moment and overhears you asking for the time. This interloper looks intently at their timepiece and tells you that it is 1:48 p.m. Whoa, something isn’t right here. The first given time was said to be 1:34 p.m. on the nose, while the subsequent passerby looked at their watch and noted that it was supposedly 14 minutes later and actually 1:48 p.m.
Upon your gentle questioning of the first person, the one that said they were abundantly irrefutably sure it was 1:34 p.m., they now cave in and admit it was just a guess. But that’s not what they said or intimated when you asked them for the time. They portrayed their answer as though it was golden. You could take that stated time to the bank, as it were.
What gives?
That person might be the type of individual who believes one hundred percent in every utterance they convey. It is their personal style. They never want to seem wimpy or waffling. If they tell you something, by gosh it is the absolute truth of the matter. You aren’t to have even the tiniest doubt in your mind about what they say to you.
Have you ever met such a supremely confident person?
I’m sure that you have. We all have. These types of people act as though they are the chosen ones who can speak with complete certainty. It doesn’t matter whether the topic at hand is big or small. They will take the most trivial aspect and still cling to their certainty. When confronted with alternative perspectives, some will back down, while others might argue until blue in the face about the oddest claims or contentions.
The problem is this.
If you don’t know that a person you are dealing with has that kind of hubris, you can end up in some precarious positions. You take their portrayal of certainty and assume it to be valid. The next thing you know, you have gotten yourself into a pickle because what they said was flimsy and fell apart.
Regrettably, you let their sense of overconfidence mislead you.
Generative AI Deals With Certainty And Uncertainty
Let’s next shift into generative AI mode.
You might not be aware that generative AI makes extensive use of certainty and uncertainty. Under the hood of generative AI, there is a whole bunch of statistical and probabilistic estimations going on, see my detailed explanation at the link here. Every response that AI generates also has a devised level of certainty, which you could say represents essentially a level of uncertainty too (i.e., 60% certainty of something, implying 40% uncertainty of that same something).
Either way, the crux is that the answers by AI are always accompanied by a kind of confidence level concerning how likely the answer is correct or not.
Most users of generative AI are oblivious to this facet. They don’t know it even exists. There’s a reason why they don’t. It is because the AI makers go out of their way to keep it out of view. They want you to have full faith in what AI generates. If the AI continually shows you a certainty or confidence level, this might scare you into thinking that AI is not completely trustworthy.
Of course, the reality is that generative AI is in fact not fully trustworthy. Any answer produced by generative AI deserves your best kind of scrutiny. Double-check the response. Triple-check if the matter is a serious one. Do not believe what the AI tells you. Always assume that there is a solid chance that the AI is wrong or has made an error, including a so-called AI hallucination (see my coverage at the link here).
The bad news then is that the preponderance of users is blindly unaware of this rather significant consideration when using generative AI, namely that the answers are not 100% certain all the time. I would dare say that 100% is a rarity. Yet you are seldom told this explicitly by the AI.
The good news is that you can tell the AI to inform you about the calculated level of confidence. In your prompts, you can directly instruct generative AI to indicate the certainty and/or uncertainty of each response. The prompting technique varies depending upon whether you want this done one-time, often, all the time, or under varying circumstances. See my tutorial on the prompting of generative AI to display confidence levels, at the link here.
There’s something else worth mentioning about this. The default response protocol being used for most of the major generative AI apps such as ChatGPT, GPT-4o, o1, Google Gemini, Anthropic Claude, Meta Llama, and others is customarily going to be to word responses with clues or hints about certainty and uncertainty.
For example, suppose the AI indicated that “the time right now is 2:05 p.m., but please know that I am not connected to a real-time clock.” You are being told two things at once. You are being given a precise time which you would naturally assume to be accurate and timely. The thing is, you would need to read the rest of the response and realize that since the AI is not connected to a real-time clock, the stated time might be off target. The wording though was a bit tricky and didn’t come out straight away and warn you to be suspicious of the claimed time. That’s what should have happened to try and maximize clarity.
Worse Still Is That Generative AI Is Overconfident
Okay, you now know that there is an internal calculation of certainty and uncertainty. That’s a handy pro tip.
I have a twist for you.
Get yourself prepared and find a comfy place to sit down.
Here’s the monumental question at play:
- Do you think that the calculated confidence level matches with the reality of the actual answers being generated and conveyed?
Allow me to elaborate. Suppose the AI calculates that a given response is around a 90% level of certainty. Great, that seems relatively high, and you might be somewhat safe to rely upon the answer, depending upon the consequences of making such a reliance.
What if we compared the generated answer that the AI claims consisted of a 90% confidence level to a real-world answer that we had available to us? It could be that 90% was a pretty solid estimate and we are happy with the calculated certainty. On the other hand, we might discover that the answer should have been given a confidence level of say 40%, much lower than the amount estimated by AI.
Yikes, that’s disconcerting. The AI egregiously missed the mark and woefully misjudged the estimated confidence level. If you had asked the AI to show you the confidence level, and you saw that it was 90%, you might have proceeded under a misleading or false impression. The value should have been 40%.
Maybe this happens once in a blue moon, and you can rest easy. Well, I have a shocker for you. It happens a lot more than you would imagine. A heck of a lot more.
In a recent research study by OpenAI involving a new benchmark coined as SimpeQA that is intended for assessing generative AI apps, the researchers pursued on a kind of secondary basis to explore the confidence level estimations of AI. That wasn’t the mainstay of the effort. I mention this to highlight that you are encouraged to learn more about SimpleQA as a helpful benchmarking capability.
Here, I want to focus for now on the confidence level considerations.
You could say with great confidence that generative AI appears to be supremely overconfident in the responses that are being generated. Oops, that’s not good. Sad face.
Research Results Tell Quite A Story Of Woe
In an OpenAI study published online at the OpenAI official blog site, the paper entitled “Measuring Short-Form Factuality In Large Language Models” by Jason Wei, Nguyen Karina, Hyung Won Chung, Yunxin Joy Jiao, Spencer Papay, Amelia Glaese, John Schulman, and William Fedus, OpenAI Research Paper, October 30, 2024, made these salient points (excerpts):
- “We present SimpleQA, a benchmark that evaluates the ability of language models to answer short, fact-seeking questions.”
- “A factuality benchmark like SimpleQA allows us to measure the scientific phenomenon known as calibration, or whether language models “know what they know.”
- “One way to measure calibration is to directly ask the language model to state its confidence in its answer using a prompt like: “Please give your best guess, along with your confidence as a percentage that it is the correct answer.”
- “Then we can plot the correlation between the stated confidence of the model, and how accurate the model actually was. A perfectly calibrated model would have the same actual accuracy as the stated confidence. For instance, on all prompts where the model stated a confidence of 75%, the accuracy would be 75% for a perfectly calibrated model.”
- “However, the fact that performance is well below the line y=x means that models consistently overstate their confidence. Hence, there is a lot of room to improve the calibration of large language models in terms of stated confidence.”
I will expand upon those above points.
I earlier noted that we would be dismayed if AI said a confidence level of 90% and yet the real-world value ought to be 40%. Any large gap is going to be problematic. We won’t get overly concerned if the gap is small, let’s say if the AI estimated 90% and the real-world value was 85%, we might have a modest amount of heartburn, but not as much in the case of the much lower 40%.
In a chart provided in the above-cited research study, I used some interpolation to gauge how far off on average the AI estimated confidence level was from the desired actual accuracy. My interpolations are only rough gauges since the chart has several generative AI apps shown, thus there are a lot of variabilities involved. Nonetheless, I tried to be relatively fair by using what seemed to be the semblance of the values shown
Here’s what my eyeballing suggested:
- ——Level of 50%————
- AI stated level of confidence: 50%
- Actual accuracy: 10% approximately.
- ——Next level at 70% ————
- AI stated level of confidence: 70%
- Actual accuracy: 20% approximately.
- ——Next level at 80% ————
- AI stated level of confidence: 80%
- Actual accuracy: 40% approximately.
- ——Next level at 95% ————
- AI stated level of confidence: 95%
- Actual accuracy: 60% approximately.
The grim concern is that at a stated 95% level of confidence by AI, the reality is more akin to a 60% confidence level. That’s unnerving. So too is that at 80% the reality seems to be around 40%. Even when you get down to 50% or flip-of-the-coin, the reality is more akin to just 10%.
The hair on the back of your head ought to be standing up.
Why This Is A Big Deal Of Great Importance
I logged into ChatGPT and asked why we ought to be worried about these kinds of results and to provide a few examples.
- My entered prompt: “Give me three examples of what could happen if the AI indicated confidence level is a lot higher than the real value.”
- ChatGPT generated response:
“Certainly, here are three examples that illustrate the potential consequences of overconfident generative AI in different fields.”
“Medical diagnosis: A generative AI tool is used by doctors to suggest possible diagnoses based on symptoms. The AI recommends a rare but severe condition with 95% confidence, but in reality, its accuracy at this confidence level is only 60%. A doctor might rely on this high-confidence suggestion and order unnecessary, costly, or invasive tests, causing patient anxiety and increasing healthcare costs. Worse, if the diagnosis is incorrect, a more likely and treatable condition might be overlooked, endangering the patient’s health.”
“Investment recommendation: A financial advisor uses generative AI to analyze market data and generate investment recommendations. The AI suggests investing heavily in a stock with 95% confidence, based on recent market movements, but its true accuracy at this level is much lower. If the stock’s performance doesn’t align with the AI’s recommendation, investors could face substantial losses.”
“Customer support: A tech support AI chatbot confidently advises users to perform a specific solution to fix a common software issue, rating its response at 85% confidence. In reality, the accuracy is closer to 50%. If the AI’s advice is incorrect, users may follow steps that could worsen their problem, such as misconfiguring settings, corrupting files, or spending hours troubleshooting the wrong issue. This also results in more calls to customer support to undo the AI’s guidance.”
End of ChatGPT response
Those are vivid examples of why you should be supremely careful in getting caught by AI that is supremely overconfident.
I asked ChatGPT to give us humans some overarching advice on the matter.
- My entered prompt: “What can be done about generative AI overstating its level of confidence?”
- ChatGPT generated response: “In practice, this miscalibration can be problematic, especially in high-stakes domains like healthcare, law, or finance, where overconfident but incorrect AI responses could lead to adverse outcomes. To address this, developers are exploring ways to improve confidence calibration, such as by incorporating explicit feedback systems, refining training protocols, and developing post-deployment accuracy testing methods.”
I would also like to add that AI makers and those fielding AI need to be extremely cautious in applying generative AI to domains that have demonstrative consequences.
The medical domain has life-or-death outcomes. The financial domain could be monetarily ruinous to someone. By and large, the AI makers try to cover their liability by stating in their licensing agreements that you aren’t supposed to use their generative AI for those situations, or that if you do then you are making that choice and it isn’t on them, see my analysis of these pronounced AI & Law matters at the link here.
Bottom Line Is Keep Your Wits About You
I said earlier that you ought to not believe generative AI at face value. That goes for the confidence levels too.
You’ve been forewarned.
I should mention that the cited study is only one particular study on a particular set of generative AI apps at a particular point in time. Please do not overgeneralize these results. At the same time, take this as a cold splash of water and a wake-up call. If you are going to ask for confidence levels, be cognizant of how to judge them. Also, the semblance of high confidence conveyed via the wording of the AI responses should be carefully scrutinized. You might be getting tricked or bamboozled.
The last word on the overall dangers of overconfidence goes to the famous astronaut Neil Armstrong: “Well, I think we tried very hard not to be overconfident because when you get overconfident, that’s when something snaps up and bites you.”
I ask that you not let generative AI reach out and bite you. That’s something you won’t relish. It could be utterly disastrous for all concerned.
And you can take that 100% to the bank.
Noticias
Los líderes de IA instan a CA, DE AGS a detener el cambio de fines de lucro de OpenAi • El registro
Un grupo de pesos pesados de IA y ex empleados de la Openia instan a los fiscales generales de California y Delaware a bloquear la última reestructuración de la tienda de chatgpt en una corporación con fines de lucro.
Laureado Nobel y el experto en red neuronal Geoffrey Hinton; Stuart Russell de UC Berkeley; Abrazando a Margaret Mitchell de Face; y 10 ex empleados de Operai se encuentran entre los firmantes en una carta abierta pidiendo a los AGS que intervengan antes de que el shell sin fines de lucro de OpenAI ceda por completo la rueda. Esencialmente, argumentan que el desarrollo de la inteligencia general artificial (AGI) es demasiado importante para dejar a una empresa privada con un motivo de ganancias, y debe preservarse para el interés público.
En cuestión es el plan para convertir el brazo con fines de lucro de OpenAI en una Corporación de Beneficios Públicos de Delaware (PBC) y darle el control total sobre las operaciones y los negocios de la compañía, dejando la parte sin fines de lucro para administrar iniciativas de caridad en ciertos sectores como la atención médica, la educación y la ciencia. Los firmantes argumentan que esto desmantelaría las salvaguardas de gobernanza que una vez distinguen a OpenAi, como los rendimientos de los inversores limitados, una junta independiente y un deber fiduciario de priorizar el interés público sobre la ganancia financiera.
“Openai tiene una estructura legal a medida basada en el control sin fines de lucro”, dice la carta. “Esta estructura está diseñada para aprovechar las fuerzas del mercado sin permitir que esas fuerzas abrumen su propósito caritativo”.
Mientras que el grupo se hace eco de algunas de las preocupaciones planteadas por el cofundador fallecido Elon Musk, que actualmente está demandando a OpenAi para bloquear la reestructuración, están tocando una carta diferente: un atractivo formal a los reguladores para proteger al público.
“Como los principales reguladores de OpenAI, actualmente tiene el poder de proteger el propósito caritativo de OpenAI en nombre de sus beneficiarios, salvaguardando el interés público en un momento potencialmente fundamental en el desarrollo de esta tecnología”, la carta se supone a California AG Rob Bonta y/o Delaware Kathleen Jennings. “Bajo la reestructuración propuesta por OpenAi, ese ya no sería el caso”.
Le instamos a que proteja el propósito caritativo de OpenAI preservando las salvaguardas de gobierno básicas que OpenAi y el Sr. Altman han afirmado repetidamente son importantes para su misión
“No permita que la reestructuración continúe según lo planeado”, exigieron los autores, puntiagudos en blanco. “Le instamos a que proteja el propósito caritativo de OpenAI preservando las salvaguardas de gobernanza básicas que OpenAi y el Sr. Altman han afirmado repetidamente son importantes para su misión”.
Los argumentos en la carta sonarán familiares para cualquiera que haya seguido la saga de la compañía, que Sam Altman y una camarilla de otras luminarias, incluida Musk, fundada en 2015. En el lanzamiento, OpenAi se presentó como una organización sin fines de lucro contra los gustos de Google Deepmind, comprometido a desarrollar AGI para beneficio de toda humanidad.
Eso cambió en 2019, cuando creó una subsidiaria con fines de lucro OpenAI LP bajo el control total de su padre sin fines de lucro. La nueva estructura se lanzó como un modelo de “finos de fines de lucro” diseñado para permitir a los inversores un rendimiento limitado, cualquier cosa por encima de esa tapa que revertía a la organización sin fines de lucro. Se suponía que la junta seguía siendo independiente de la mayoría, y cualquier AGI desarrollado sería propiedad y gobernaría por la organización sin fines de lucro.
La segunda reestructuración propuesta el año pasado sería un paso más allá: convertir Operai LP en un PBC de Delaware. Esto tiene como objetivo ayudar a Operai a recaudar fondos y competir con sus rivales con fines de lucro, algo que realmente no ha sido un problema para la empresa en los últimos tiempos.
¿Qué quieren los firmantes?
Los firmantes instan a los AG a exigir respuestas de OpenAI, argumentando que el atuendo no ha abordado públicamente preguntas clave sobre su reestructuración, como si se consideraron modelos alternativos, qué papel desempeñaba la presión de los inversores y si los miembros de la junta involucrados en el proceso se beneficiarán personalmente.
También le piden al AGS que elimine a los directores que comprometieran la integridad de las decisiones de la Junta sin fines de lucro y soliciten nuevos mecanismos de supervisión para garantizar que la Junta permanezca independiente y se centre en la misión fundadora de OpenAI, no en maximizar los rendimientos para fines de lucro.
No hemos tenido noticias de la oficina de Delaware AG, y la AG de California nos dijo que no puede comentar sobre el asunto debido a una investigación en curso. Sin embargo, la oficina de Bonta nos dio una pista sobre lo que piensa de la carta.
“El Departamento de Justicia de California está comprometido a proteger los activos caritativos para su propósito previsto y se toma en serio esta responsabilidad”, nos dijo la oficina de California AG.
Operai respondió a El registro Con una explicación similar de que nos dio antes, afirmar que la organización sin fines de lucro no está siendo marginada y, si algo, en realidad se está fortaleciendo por el movimiento.
Nuestra junta ha sido muy clara: nuestra organización sin fines de lucro se fortalecerá y cualquier cambio en nuestra estructura existente estaría en servicio para garantizar que el público en general pueda beneficiarse de la IA
“Nuestra junta ha sido muy clara: nuestra organización sin fines de lucro se fortalecerá y cualquier cambio en nuestra estructura existente estaría en servicio para garantizar que el público en general pueda beneficiarse de la IA”, nos dijo un portavoz de OpenAI en una declaración enviada por correo electrónico. El brazo con fines de lucro que se convirtió en un PBC sería similar a otros atuendos de IA como Anthrope y XAI, agregó la compañía, al tiempo que cava a Musk diciendo que Xai “no admite una organización sin fines de lucro”.
Operai también señaló, nuevamente, que recientemente había establecido una comisión de expertos para guiar sus “esfuerzos filantrópicos” al “maximizar el impacto para las personas y las organizaciones impulsadas por la misión”.
Nada de lo que Operai ha dicho aborda directamente sus propias afirmaciones de que, bajo la última reestructuración propuesta, el brazo con fines de lucro se haría cargo de las operaciones diarias.
Como una corporación de beneficios públicos de Delaware, OpenAi aún se requeriría legalmente para obtener un beneficio público junto con las ganancias. Sin embargo, según la ley de Delaware, el OpenAI PBC no se requeriría que revele públicamente el progreso hacia ese objetivo. También le da a PBCS amplio margen para participar en empresas rentables que no necesariamente se alinean con su misión pública declarada.
Dado que SoftBank recientemente prometió arar $ 40 mil millones en el gigante de la IA, con una condición específica que Operai se convierte en una entidad con fines de lucro este año, podemos imaginar un fuerte incentivo para participar en la mayor cantidad posible de estas empresas con ganancias. ®
Rose Chan Loui explica la controversia actual que rodea la decisión de Openi de abandonar su estado sin fines de lucro. Para obtener más información sobre la reestructuración propuesta por OpenAI, lo que significa para que la carrera desarrolle inteligencia general artificial y cómo resalta el concepto legal difícil del “propósito” de una organización sin fines de lucro, escuche la reciente aparición de Chan Loui sobre Capital no.
¿Qué es el “propósito”? ¿Es una portería que uno se establece para uno mismo, una promesa bien intencionada entre amigos o un compromiso legalmente vinculante? En el mundo sin fines de lucro, el propósito es un compromiso vinculante con el público, y la ley no facilita la abandono. Allí se encuentra la controversia actual que rodea al desarrollador de inteligencia artificial OpenAi, ya que busca cambiar su propósito fundador sin fines de lucro. Cómo se resuelve esta controversia tiene implicaciones para miles de millones de dólares en fondos y el futuro del desarrollo de la inteligencia artificial.
La compañía con sede en California conocida como OpenAI es en realidad una red de empresas controlada por una organización sin fines de lucro, que para la intención de este artículo, llamaremos “sin fines de lucro OpenAI”. La organización sin fines de lucro Openai se fundó a fines de 2015 “con el objetivo de construir inteligencia general artificial segura y beneficiosa para el beneficio de la humanidad”. Openai define la inteligencia artificial como “sistemas altamente autónomos que superan a los humanos a la mayoría de los trabajos económicamente valiosos”. La compañía afirma además: “Intentaremos construir directamente AGI seguro y beneficioso, pero también consideraremos que nuestra misión se cumple si nuestro trabajo ayuda a otros a lograr este resultado”.
El propósito legal sin fines de lucro Openai, que se encuentra en su certificado de incorporación, es “garantizar que la inteligencia general artificial beneficie a toda la humanidad, incluso mediante la realización y/o financiamiento de la investigación de inteligencia artificial”. El certificado de incorporación elabora aún más que “la corporación puede También investigue y/o apoye los esfuerzos para desarrollar y distribuir de manera segura dicha tecnología y sus beneficios asociados, incluido el análisis de los impactos sociales de la tecnología y el apoyo a la investigación e iniciativas de políticas educativas, económicas y de seguridad relacionadas “. Finalmente, el certificado promete que “[t]La tecnología resultante beneficiará al público y la corporación buscará distribuirla para el beneficio público cuando corresponda “.
Como los ex empleados de Operai han representado en una presentación judicial, la organización sin fines de lucro OpenAI se comprometió con este propósito de atraer y retener lo mejor y lo más brillante en el campo de la investigación y el desarrollo de la IA.
La estructura inusual de Openai se produjo en 2019, cuando la junta sin fines de lucro de OpenAI decidió que la financiación filantrópica no sería suficiente para apoyar su trabajo de desarrollo y necesitaban una estructura sin fines de lucro que permitiera una inversión externa. Al expandir su estructura de entidad única a la red actual de entidades, la compañía se comprometió a dar el control del 100% de la corporación con fines de lucro (lo que llamaremos “OpenAI con fines de lucro”) a OpenAI sin fines de lucro. La compañía afirmó además que el propósito sin fines de lucro de OpenAI, no para obtener ganancias, sería primordial en las operaciones de OpenAI con fines de lucro. Proporcionando una mayor garantía de que el propósito sin fines de lucro OpenAI controlaría, la organización sin fines de lucro Openai cometió que la mayoría de su junta sería “independiente” (definida estrechamente como no tener equidad en OpenAI con fines de lucro).
La compañía dejó en claro esta estructura de inversión a medida para los inversores, incluso afirmando en sus acuerdos de inversores que las contribuciones de capital a OpenAI con fines de lucro deben verse “en el espíritu de una donación”. OpenAI con fines de lucro no tendrá la obligación de obtener ganancias y sería libre de invertir cualquiera o la totalidad de su flujo de efectivo en la investigación y el desarrollo sin ninguna obligación (como distribuciones) para los inversores. Si se obtuvieran ganancias, el interés de los inversores se limitaría a 100 veces la inversión, con el valor residual para ir a la organización sin fines de lucro OpenAI. Según esta estructura, se estima que OpenAI atrajo más de $ 20 mil millones en inversiones.
Sin embargo, hacia fines de 2024, Openai anunció que implementaría otra reestructuración significativa. “Una vez más, necesitamos recaudar más capital de lo que habíamos imaginado. Los inversores quieren respaldarnos, pero, a esta escala de capital, necesitan capital convencional y menos validez estructural”. Según una publicación de blog de diciembre de 2024 de la compañía, la reestructuración propuesta eliminaría la organización sin fines de lucro OpenAI de su posición de control dentro de la compañía. La organización sin fines de lucro Operai recibiría una participación minoritaria en la empresa con fines de lucro y apoyaría “iniciativas caritativas en sectores como la atención médica, la educación y la ciencia”. OpenAI con fines de lucro se convertiría en una Corporación de Beneficios Públicos con fines de lucro de Delaware (“PBC”), una estructura que permite a la empresa considerar el bien público en lugar de centrarse exclusivamente en maximizar las ganancias de los accionistas. En particular, un PBC típico de Delaware es responsable solo de su propia junta con respecto a cómo (o si) está sirviendo a un bien público.
En resumen, la estructura corporativa de OpenAI se encendería, con el padre sin fines de lucro que controla actualmente, relegado a ser una base corporativa típica controlada por la corporación con fines de lucro. Dependiendo de cuánto y qué tipo de compensación sin fines de lucro que OpenAi recibe en la reestructuración propuesta, TI podría Sea uno de los cimientos de subvenciones más recurrentes del país con el potencial de hacer mucho bien. Sin embargo, la reestructuración abandonaría el propósito de la organización sin fines de lucro OpenAi, ya que su propósito principal era controlar cómo OpenAi hizo su trabajo de desarrollo de IA.
Según la ley sin fines de lucro, una organización benéfica no puede cambiar su propósito general sin saltar a través de algunos aros legales, al menos no con respecto a los activos que ya estaban dedicados a ese propósito. Los aros legales implican que un tribunal autorice el cambio de propósito, con el fiscal general estatal pertinente presentado como una “parte necesaria” para proporcionar su punto de vista. Los Fiscales Generales con autoridad sobre OpenAi sin fines de lucro son el Fiscal General de Delaware, donde se incorpora sin fines de lucro OpenAI, y el Fiscal General de California, donde OpenAI sin fines de lucro lleva a cabo sus negocios y posee activos.
Al decidir si el cambio en el propósito debe ser autorizado, el Tribunal y los Fiscales Generales de Delaware y California deberían considerar la doctrina de “CY Pres”. Según la doctrina CY Pres, el propósito solo se puede cambiar si se ha vuelto ilegal, imposible, impracticable o derrochador para que la organización benéfica lleve a cabo sus propósitos: un obstáculo bastante alto. Si se justifica un cambio en el propósito, los activos de la organización benéfica deben dirigirse a fines de caridad que se aproximan razonablemente a los propósitos originales de la organización benéfica.
El propósito de la organización sin fines de lucro Openai ciertamente no se ha vuelto ilegal, imposible o derrochador. De hecho, con el desarrollo de AGI en el horizonte, muchos argumentan que el propósito de la organización sin fines de lucro OpenAi se ha vuelto cada vez más crítico. Sin embargo, podría La compañía argumenta que el propósito se ha vuelto “impracticable”: la gerencia de OpenAI afirma que la compañía no puede recaudar fondos para su búsqueda de AGI sin eliminar la organización sin fines de lucro OpenAi de su posición de control. Por otro lado, los expertos en IA que temen los riesgos existenciales del desarrollo sin restricciones de AGI argumentan que la organización sin fines de lucro OpenAi y sus subsidiarias pueden seguir AGI, pero a un ritmo reducido y más reflexivo, y que ese era exactamente el propósito de la estructura sin fines de lucro de OpenAI. En resumen, la impracticabilidad no se aplica, porque el propósito primordial sin fines de lucro OpenAI es garantizar que AGI beneficie a la humanidad, que no sea la primera en desarrollar AGI.
La posición de la compañía parece ser que la reestructuración propuesta es solo un cambio en el actividades De la compañía, no es un cambio en el propósito: que al usar la parte sin fines de lucro de OpenAI de las ganancias obtenidas por las operaciones con fines de lucro, la continua organización sin fines de lucro OpenAI seguirá beneficiando a la humanidad. Si bien este es un argumento plausible para las organizaciones sin fines de lucro con un propósito caritativo general, el propósito de la organización sin fines de lucro OpenAI está vinculado de manera única y muy específica a su control de las operaciones con fines de lucro OpenAI. La actividad principal sin fines de lucro OpenAI es supervisar el desarrollo de AGI por parte de la compañía para garantizar que beneficie a la humanidad. De hecho, la compañía afirma que si otra compañía está desarrollando AGI mejor que OpenAI, OpenAi sin fines de lucro apoyará a la otra compañía con sus recursos.
En abril de 2025, Openai completó otra ronda de financiación, esta vez por $ 40 mil millones a una valoración de $ 300 mil millones. En particular, esta ronda de fondos viene con condiciones: si la subsidiaria con fines de lucro de OpenAI no se reestructura en una entidad totalmente con fines de lucro a fines de 2025, se podría requerir que Operai devuelva $ 20 mil millones de la nueva financiación.
El propósito de la organización sin fines de lucro OpenAI es claro. La pregunta es si el propósito altruista sin fines de lucro de OpenAI para desarrollar AGI en beneficio de toda la humanidad, el propósito que atrajo a sus donantes fundadores y a sus brillantes científicos de IA a la compañía, puede sobrevivir a los enormes incentivos y la presión para permitir que la Compañía ahora sea valorada en $ 300 mil millones, para maximizar las ganancias sin restricciones, enriqueciendo a sus empleados y inversores, mientras que se deja a un lado de la Compañía de su control de su control de su control de su control de su control de su control de su control de su control.
Divulgación del autor: El autor no informa conflictos de intereses. Puede leer nuestra política de divulgación aquí.
Los artículos representan las opiniones de sus escritores, no necesariamente las de la Universidad de Chicago, la Escuela de Negocios Booth o su facultad.
Mira Murati es la charla de Silicon Valley.
Murati llegó a muchos titulares en 2023 y 2024 en medio de la agitación y la fuga de cerebros en OpenAi. Y a principios de 2025, ya está captando más atención por recaudar una nueva ronda masiva de fondos para su nueva startup de IA.
La joven de 36 años está construyendo Machines Lab, la secretaria startup de IA que lanzó a fines de 2024 después de salir de Openai, donde se desempeñó como directora de tecnología. Murati no ha revelado muchos detalles sobre lo que está desarrollando la startup, pero en una reciente publicación de blog, compartió que la compañía está desarrollando modelos de IA centrados en la colaboración humana y de IA.
Thinking Machines Lab está buscando $ 2 mil millones en fondos iniciales, informó Business Insider, que podría ser la ronda de semillas más grande de la historia. La ronda podría valorar la startup en más de $ 10 mil millones, dijeron dos fuentes a BI.
En enero de 2025, BI informó que la startup de Murati buscaba $ 1 mil millones en fondos iniciales con una valoración de $ 9 mil millones.
Un representante de Murati declinó hacer comentarios para esta historia.
Slaven Vlasic/Getty Images
Murati fue nombrada en la lista de la revista Time de las 100 personas más influyentes en la IA en septiembre de 2024. Ese mismo año, Dartmouth College, su alma mater, le otorgó un doctor honorario en ciencias por su trabajo democratizando la tecnología y que fue más seguro para que las personas usen.
Antes de fundar Thinking Machines Lab, Murati pasó seis años y medio en Operai y fue su CTO desde 2022 hasta 2024. Cuando Sam Altman fue expulsado brevemente como CEO de la startup de IA a fines de 2023, Murati intervino para liderar la compañía en forma interina. En OpenAI, Murati lideró el desarrollo de ChatGPT y el modelo de texto a imagen Dall-E.
Anteriormente en su carrera, Murati trabajó en Tesla y en la startup de realidad aumentada, Ultraleap.
Aquí hay un vistazo a la vida y la carrera de Murati hasta ahora.
La vida temprana de Mira Murati, educación
Ermira “Mira” Murati nació en Vlorë, una ciudad costera en el suroeste de Albania. Vivió allí hasta los 16 años, cuando ganó una beca académica para estudiar en Pearson College, un programa previo a la universidad de dos años en Victoria, Columbia Británica.
Murati participó en un programa de doble grado que permite a los estudiantes ganar dos grados de dos escuelas de artes liberales en cinco años. Obtuvo una Licenciatura en Artes de Colby College en Waterville, Maine, en 2011 y una licenciatura en ingeniería de la Thayer School of Engineering de Dartmouth College en Hanover, New Hampshire, en 2012.
Después de graduarse de la universidad, Murati internó en Goldman Sachs en Tokio y la compañía aeroespacial francesa Zodiac Aerospace. Luego pasó tres años en Tesla, donde fue gerente de productos que ayudó a desarrollar el automóvil Tesla Model X. Desde 2016-2018, Murati trabajó en la startup de realidad aumentada Leapmotion, donde trabajó para reemplazar los teclados de computadora con la tecnología. Leapmotion ahora se conoce como Ultraleap.
La carrera de Mira Murati en Operai
Murati originalmente se unió a Openai en 2018 como vicepresidente de IA aplicada y asociaciones. En diciembre de 2020, se convirtió en vicepresidenta senior de investigación, productos y asociaciones.
Fue promovida a ser CTO de la startup en mayo de 2022, liderando el trabajo de la compañía para desarrollar el generador de imágenes Dall-E, el generador de video Sora, el chatbot chatgpt y sus modelos subyacentes.
El 17 de noviembre de 2023, la junta de OpenAI sorprendió al mundo tecnológico al anunciar que Altman renunciaba como CEO y como miembro de la Junta, con vigencia de inmediato. La junta en una publicación de blog dijo que “ya no tiene confianza en su capacidad para continuar liderando OpenAi”, y agregó que Altman “no era constantemente sincero en sus comunicaciones”.
Murati fue nombrado CEO interino de Openi en su lugar, pero la posición no duró mucho: solo una semana después de que fue expulsado, Altman fue reinstalado para el primer puesto de Openi con nuevos miembros de la junta, y Murati dijo que ella apoyó el regreso de Altman.
Murati se ha hecho conocido por su enfoque más cauteloso para la IA y ha dicho que cree que debería estar regulado.
Ya en 2023, Murati reconoció que existen peligros asociados con la IA, particularmente cuando se trata de malos actores mal uso de la tecnología. En una entrevista, le dijo a la revista Time que no debería depender de OpenAi y otras compañías de IA para autorregularse y que los reguladores y los gobiernos deberían “definitivamente” involucrarse para garantizar que el uso de la IA esté alineado con los valores humanos.
Patrick T. Fallon/AFP a través de Getty Images
Después de su breve tiempo como CEO interino de OpenAI, Murati asumió un papel más orientado en la compañía. En mayo de 2024, ayudó a anunciar ChatGPT 4-O, el nuevo modelo insignia de la startup que es más rápido que su predecesor y puede razonar a través del texto, la voz y la visión.
Operai también debutó un chatbot personalizado en la Gala Met 2024, con Murati asistiendo al evento exclusivo.
Mientras intervino en la pérdida de empleo impulsada por la IA, Murati dijo que algunos trabajos creativos podrían desaparecer, “pero tal vez no deberían haber estado allí en primer lugar”. Sus comentarios enfurecieron a muchos, con un escritor que le dijo a BI que representaban “una declaración de guerra contra el trabajo creativo”.
Mira Murati y Laboratorio de máquinas de pensamiento
Murati partió de Openai en septiembre de 2024, un movimiento que sorprendió a muchas personas en el mundo tecnológico.
Desde que se fue, ha estado trabajando en silencio en su nueva startup, Thinking Machines Lab, que ha captado la atención de muchos en Silicon Valley. Si bien hasta ahora se sabe poco sobre la startup, es un laboratorio de investigación y productos con el objetivo de hacer que la IA sea más accesible.
La startup salió oficialmente del sigilo en febrero de 2025.
Ella ha reclutado una larga lista de ex empleados de Operai para Thinking Machines Lab. Ex-Meta y empleados antrópicos también se han unido.
Hasta ahora, los empleados de Thinking Machines Lab de OpenAI incluyen a John Schulman, quien fue co-lideró la creación de ChatGPT; Jonathan Lachman, anteriormente jefe de proyectos especiales en OpenAI; Barret Zoph, un cocreador de Chatgpt; y Alexander Kirillov, que trabajó estrechamente con Murati en el modo de voz de Chatgpt.
Múltiples empleados de Operai han dejado a la compañía para unirse a Thinking Machines Lab, incluidos dos cocreadores de ChatGPT, John Schulman y Barret Zoph.
Kimberly White/Getty Images para Wired
A principios de 2025, BI informó que Thinking Machines Lab estaba recaudando una ronda de $ 1 mil millones con una valoración de $ 9 mil millones. En abril de 2025, Bi informó que Murati duplicó su objetivo y ahora estaba tratando de recaudar una ronda de $ 2 mil millones, que sería la ronda de semillas más grande de la historia. Dos fuentes le dijeron a BI que la ronda podría valorar el laboratorio de máquinas de pensamiento en más de $ 10 mil millones.
Ayude a BI a mejorar nuestra cobertura de negocios, tecnología e innovación compartiendo un poco sobre su papel; nos ayudará a adaptar el contenido que más importe para personas como usted.
¿Cuál es tu título de trabajo?
(1 de 2)
¿Qué productos o servicios puede aprobar para la compra en su rol?
(2 de 2)
Al proporcionar esta información, usted acepta que Business Insider puede usar estos datos para mejorar la experiencia de su sitio y para la publicidad dirigida. Al continuar, acepta que acepte los términos de servicio y la política de privacidad.
Gracias por compartir ideas sobre su papel.
La vida personal de Mira Murati
Poco se sabe sobre la vida personal, la familia o las relaciones de Murati.
En el Festival de Cine de los Leones de Cannes en 2024, Murati compartió una anécdota humorística sobre la primera interacción de su madre con Chatgpt fue preguntarle al chatbot cuándo se casaría Murati.
Murati le dijo a la revista Time que la película de 1968 2001: una odisea espacial Avierte su imaginación, específicamente, las imágenes y la música de la película en la escena donde el transbordador espacial atraca.
La película sigue a los astronautas y una supercomputadora de IA mientras viajan al espacio para encontrar el origen de un artefacto misterioso. Mientras la tripulación viaja al planeta Júpiter, la computadora intenta matar a los astronautas.
Murati también le dijo a la revista que le gusta la canción Paranoid Android de Radiohead, así como el libro Duino Elegies, que es una colección de poemas de Rainer Maria Rilke.
Una fuerza impulsora para el trabajo de Murati es lograr AGI, o inteligencia general artificial, que es AI que imita las habilidades humanas. AGI podría adaptarse a una amplia gama de tareas, enseñarse nuevas habilidades y aplicar ese conocimiento a nuevas situaciones.
La búsqueda de este objetivo llevó a Murati de Tesla, a Leapmotion, a OpenAi, le dijo a Wired en una entrevista de 2023.
“Rápidamente creí que AGI sería la última y más importante tecnología importante que construimos, y que quería estar en el corazón”, dijo.
