A hidden flaw or inconvenience in OpenAI o1 got recently aired and though fixed it raises … [+] significant considerations about present-day and future AI.
getty
In today’s column, I examine a hidden flaw in OpenAI’s advanced o1 AI model that Sam Altman revealed during the recent “12 Days Of OpenAI” video-streamed ChatGPT Pro announcement. His acknowledgment of the flaw was not especially noted in the media since he covered it quite nonchalantly in a subtle hand-waving fashion and claimed too that it was now fixed. Whether the flaw or some contend “inconvenience” was even worthy of consideration is another intriguing facet that gives pause for thought about the current state of AI and how far or close we are to the attainment of artificial general intelligence (AGI).
Let’s talk about it.
This analysis of an innovative proposition is part of my ongoing Forbes column coverage on the latest in AI including identifying and explaining various impactful AI complexities (see the link here). For my analysis of the key features and vital advancements in the OpenAI o1 AI model, see the link here and the link here, covering various aspects such as chain-of-thought reasoning, reinforcement learning, and the like.
How Humans Respond To Fellow Humans
Before I delve into the meat and potatoes of the matter, a brief foundational-setting treatise might be in order.
When you converse with a fellow human, you normally expect them to timely respond as based on the nature of the conversation. For example, if you say “hello” to someone, the odds are that you expect them to respond rather quickly with a dutiful reply such as hello, hey, howdy, etc. There shouldn’t be much of a delay in such a perfunctory response. It’s a no-brainer, as they say.
On the other hand, if you ask someone to explain the meaning of life, the odds are that any seriously studious response will start after the person has ostensibly put their thoughts into order. They would presumably give in-depth consideration to the nature of human existence, including our place in the universe, and otherwise assemble a well-thought-out answer. This assumes that the question was asked in all seriousness and that the respondent is aiming to reply in all seriousness.
The gist is that the time to respond will tend to depend on the proffered remark or question.
A presented simple comment or remark involving no weighty question or arduous heaviness ought to get a fast response. The responding person doesn’t need to engage in much mental exertion in such instances. You get a near-immediate response. If the presented utterance has more substance to it, we will reasonably allow time for the other person to undertake a judicious reflective moment. A delay in responding is perfectly fine and fully expected in that case.
That is the usual cadence of human-to-human discourse.
Off-Cadence Timing Of Advanced o1 AI
For those that had perchance made use of the OpenAI o1 AI advanced model, you might have noticed something that was outside of the cadence that I just mentioned. The human-to-AI cadence bordered on being curious and possibly annoying.
The deal was this.
You were suitably forewarned when using o1 that to get the more in-depth answers there would be more extended time after entering a prompt and before getting a response from the AI. Wait time went up. This has to do with the internally added capabilities of advanced AI functionality including chain-of-thought reasoning, reinforcement learning, and so on, see my explanation at the link here. The response latency time had significantly increased.
Whereas in earlier and less advanced generative AI and LLMs we had all gotten used to near instantaneous responses, by and large, there was a willingness to wait longer to get more deeply mined responses via advanced o1 AI. That seems like a fair tradeoff. People will wait longer if they can get better answers. They won’t wait longer if the answers aren’t going to be better than when the response time was quicker.
You can think of this speed-of-response as akin to playing chess. The opening move of a chess game is usually like a flash. Each side quickly makes their initial move and countermove. Later in the game, the time to respond is bound to slow down as each player puts concentrated thoughts into the matter. Just about everyone experiences that expected cadence when playing chess.
What was o1 doing in terms of cadence?
Aha, you might have noticed that when you gave o1 a simple prompt, including even merely saying hello, the AI took about as much time to respond as when answering an extremely complex question. In other words, the response time was roughly the same for the simplest of prompts and the most complicated and deep-diving fully answered responses.
It was a puzzling phenomenon and didn’t conform to any reasonable human-to-AI experience expected cadence.
In coarser language, that dog don’t hunt.
Examples Of What This Cadence Was Like
As an illustrative scenario, consider two prompts, one that ought to be quickly responded to and the other that fairly we would allow more time to see a reply.
First, a simple prompt that ought to lead to a simple and quick response.
My entered prompt: “Hi.”
Generative AI response: “Hello, how can I help you?”
The time between the prompt and the response was about 10 seconds.
Next, I’ll try a beefy prompt.
My entered prompt: “Tell me how all of existence first began, covering all known theories.”
Generative AI response: “Here is a summary of all available theories on the topic…”
The time for the AI to generate a response to that beefier question was about 12 seconds.
I think we can agree that the first and extremely simple prompt should have had a response time of just a few seconds at most. The response time shouldn’t be nearly the same as when responding to the question about all of human existence. Yet, it was.
Something is clearly amiss.
But you probably wouldn’t have complained since the aspect that you could get in-depth answers was worth the irritating and eyebrow-raising length of wait time for the simpler prompts. I dare say most users just shrugged their shoulders and figured it was somehow supposed to work that way.
Sam Altman Mentioned That This Has Been Fixed
During the ChatGPT Pro announcement, Sam Altman brought up the somewhat sticky matter and noted that the issue had been fixed. Thus, you presumably should henceforth expect a fast response time to simple prompts. And, as already reasonably expected, only prompts requiring greater intensity of computational effort ought to take up longer response times.
That’s how the world is supposed to work. The universe has been placed back into proper balance. Hooray, yet another problem solved.
Few seemed to catch onto his offhand commentary on the topic. Media coverage pretty much skipped past that portion and went straight to the more exciting pronouncements. The whole thing about the response times was likely perceived as a non-issue and not worthy of talking about.
Well, for reasons I’m about to unpack, I think it is worthy to ruminate on.
Turns out there is a lot more to this than perhaps meets the eye. It is a veritable gold mine of intertwining considerations about the nature of contemporary AI and the future of AI. That being said, I certainly don’t want to make a mountain out of a molehill, but nor should we let this opportune moment pass without closely inspecting the gold nuggets that were fortuitously revealed.
Go down the rabbit hole with me, if you please.
Possible Ways In Which This Happened
Let’s take a moment to examine various ways in which the off-balance cadence in the human-to-AI interaction might have arisen. OpenAI considers their AI to be proprietary and they don’t reveal the innermost secrets, ergo I’ll have to put on my AI-analysis detective hat and do some outside-the-box sleuthing.
First, the easiest way to explain things is that an AI maker might decide to hold back all responses until some timer says to release the response.
Why do this?
A rationalization is that the AI maker wants all responses to come out roughly on the same cadence. For example, even if a response has been computationally determined in say 2 seconds, the AI is instructed to keep the response at bay until the time reaches say 10 seconds.
I think you can see how this works out to a seemingly even cadence. A tough-to-answer query might require 12 entire seconds. The response wasn’t ready until after the timer was done. That’s fine. At that juncture, you show the user the response. Only when a response takes less than the time limit will the AI hold back the response.
In the end, the user would get used to seeing all responses arising at above 10 seconds and fall into a mental haze that no matter what happens, they will need to wait at least that long to see a response. Boom, the user is essentially being behaviorally trained to accept that responses will take that threshold of time. They don’t know they are being trained. Nothing tips them to this ruse.
Best of all, from the AI maker’s perspective, no one will get upset about timing since nothing ever happens sooner than the hidden limit anyway. Elegant and the users are never cognizant of the under-the-hood trickery.
The Gig Won’t Last And Questions Will Be Asked
The danger for the AI maker comes to the fore when software sophisticates start to question the delays. Any proficient software developer or AI specialist would right away be suspicious that the simplest of entries is causing lengthy latency. It’s not a good look. Insiders begin to ask what’s up with that.
If a fake time limit is being used, that’s often frowned upon by insiders who would shame those developers undertaking such an unseemly route. There isn’t anything wrong per se. It is more of a considered low-brow or discreditable act. Just not part of the virtuous coding sense of ethos.
I am going to cross out that culprit and move toward a presumably more likely suspect.
It goes like this.
I refer to this other possibility as the gauntlet walk.
A brief tale will suffice as illumination. Imagine that you went to the DMV to get up-to-date license tags for your car. In theory, if all the paperwork is already done, all you need to do is show your ID and they will hand you the tags. Some modernized DMVs have an automated kiosk in the lobby that dispenses tags so that you can just scan your ID and viola, you instantly get your tags and walk right out the door. Happy face.
Sadly, some DMVs are not yet modernized. They treat all requests the same and make you wait as though you were there to have surgery done. You check in at one window. They tell you to wait over there. Your name is called, and you go to a pre-processing window. The agent then tells you to wait in a different spot until your name is once again called. At the next processing window, they do some of the paperwork but not all of it. On and on this goes.
The upshot is that no matter what your request consists of you are by-gosh going to walk the full gauntlet. Tough luck to you. Live with it.
A generative AI app or large language model (LLM) could be devised similarly. No matter what the prompt contains, an entire gauntlet of steps is going to occur. Everything must endure all the steps. Period, end of story.
In that case, you would typically have responses arriving outbound at roughly the same time. This could vary somewhat because the internal machinery such as the chain of thought mechanism is going to pass through the tokens without having to do nearly the same amount of computational work, see my explanation at the link here. Nonetheless, time is consumed even when the content is being merely shunted along.
That could account for the simplest of prompts taking much longer than we expect them to take.
How It Happens Is A Worthy Question
Your immediate thought might be why in the heck would a generative AI app or LLM be devised to treat all prompts as though they must walk the full gauntlet. This doesn’t seem to pass the smell test. It would seem obvious that a fast path like at Disneyland should be available for prompts that don’t need the whole kit-and-kaboodle.
Well, I suppose you could say the same about the DMV. Here’s what I mean. Most DMVs were probably set up without much concern toward allowing multiple paths. The overall design takes a lot more contemplation and building time to provide sensibly shaped forked paths. If you are in a rush to get a DMV underway, you come up with a single path that covers all the bases. Therefore, everyone is covered. Making everyone wait the same is okay because at least you know that nothing will get lost along the way.
Sure, people coming in the door who have trivial or simple requests will need to wait as long as those with the most complicated of requests, but that’s not something you need to worry about upfront. Later, if people start carping about the lack of speediness, okay, you then try to rejigger the process to allow for multiple paths.
The same might be said for when trying to get advanced AI out the door. You are likely more interested in making sure that the byzantine and innovative advanced capabilities work properly, versus whether some prompts ought to get the greased skids.
A twist to that is the idea that you are probably more worried about maximum latencies than you would be about minimums. This stands to reason. Your effort to optimize is going to focus on trying to keep the AI from running endlessly to generate a response. People will only wait so long to get a response, even for highly complex prompts. Put your elbow grease toward the upper bounds versus the lower bounds.
The Tough Call On Categorizing Prompts
An equally tough consideration is exactly how you determine which prompts are suitably deserving of quick responses.
Well, maybe you just count the number of words in the prompt.
A prompt with just one word would seem unlikely to be worthy of the full gauntlet. Let it pass through or maybe skip some steps. This though doesn’t quite bear out. A prompt with a handful of words might be easy-peasy, while another prompt with the same number of words might be a doozy. Keep in mind that prompts consist of everyday natural language, which is semantically ambiguous, and you can open a can of worms with just a scant number of words.
This is not like sorting apples or widgets.
All in all, a prudent categorization in this context cannot do something blindly such as purely relying on the number of words. The meaning of the prompt comes into the big picture. A five-word prompt that requires little computational analysis is likely only discerned as a small chore by determining what the prompt is all about.
Note that this means you indubitably have to do some amount of initial processing to gauge what the prompt constitutes. Once you’ve got that first blush done, you can have the AI flow the prompt through the other elements with a kind of flag that indicates this is a fly-by-night request, i.e., work on it quickly and move it along.
You could also establish a separate line of machinery for the short ones, but that’s probably more costly and not something you can concoct overnight. DMVs often kept the same arrangement inside the customer-facing processing center and merely adjusted by allowing the skipping of windows. Eventually, newer avenues were developed such as the use of automated kiosks.
Time will tell in the case of AI.
There is a wide variety of highly technical techniques underlying prompt-assessment and routing issues, which I will be covering in detail in later postings so keep your eyes peeled. Some of the techniques are:
(1) Prompt classification and routing
(2) Multi-tier model architecture
(3) Dynamic attention mechanisms
(4) Adaptive token processing
(5) Caching and pre-built responses
(6) Heuristic cutoffs for contextual expansion
(7) Model layer pruning on demand
I realize that seems relatively arcane. Admittedly, it’s one of those inside baseball topics that only heads-down AI researchers and developers are likely to care about. It is a decidedly niche aspect of generative AI and LLMs. In the same breath, we can likely agree that it is an important arena since people aren’t likely to use models that make them wait for simple prompts.
AI makers that seek widespread adoption of their AI wares need to give due consideration to the gauntlet walk problem.
Put On Your Thinking Cap And Get To Work
A few final thoughts before finishing up.
The prompt-assessment task is crucial in an additional fashion. The AI could inadvertently arrive at false positives and false negatives. Here’s what that foretells. Suppose the AI assesses that a prompt is simple and opts to therefore avoid full processing, but then the reality is that the answer produced is insufficient and the AI misclassified the prompt.
Oops, a user gets a shallow answer.
They are irked.
The other side of the coin is not pretty either. Suppose the AI assesses that a prompt should get the full treatment, shampoo and conditioner included, but essentially wastes time and computational resources such that the prompt should have been categorized as simple. Oops, the user waited longer than they should have, plus they paid for computational resources they needn’t have consumed.
Awkward.
Overall, prompt-assessment must strive for the Goldilocks principle. Do not be too cold or too hot. Aim to avoid false positives and false negatives. It is a dicey dilemma and well worth a lot more AI research and development.
My final comment is about the implications associated with striving for artificial general intelligence (AGI). AGI is considered the aspirational goal of all those pursuing advances in AI. The belief is that with hard work we can get AI to be on par with human intelligence, see my in-depth analysis of this at the link here.
How do the prompt-assessment issue and the vaunted gauntlet walk relate to AGI?
Get yourself ready for a mind-bending reason.
AGI Ought To Know Better
Efforts to get modern-day AI to respond appropriately such that simple prompts get quick response times while hefty prompts take time to produce are currently being devised by humans. AI researchers and developers go into the code and make changes. They design and redesign the processing gauntlet. And so on.
It seems that any AGI worth its salt would be able to figure this out on its own.
Do you see what I mean?
An AGI would presumably gauge that there is no need to put a lot of computational mulling toward simple prompts. Most humans would do the same. Humans interacting with fellow humans would discern that waiting a long time to respond is going to be perceived as an unusual cadence when in discourse covering simple matters. Humans would undoubtedly self-adjust, assuming they have the mental capacity to do so.
In short, if we are just a stone’s throw away from attaining AGI, why can’t AI figure this out on its own? The lack of AI being able to self-adjust and self-reflect is perhaps a telltale sign. The said-to-be sign is that our current era of AI is not on the precipice of becoming AGI.
Boom, drop the mic.
Get yourself a glass of fine wine and find a quiet place to reflect on that contentious contention. When digging into it, you’ll need to decide if it is a simple prompt or a hard one, and judge how fast you think you can respond to it. Yes, indeed, humans are generally good at that kind of mental gymnastics.
SAN FRANCISCO – Los padres de un ex investigador de OpenAI conocido por recientemente denunciar las prácticas comerciales de la compañía están cuestionando las circunstancias de la muerte de su hijo el mes pasado.
En una entrevista esta semana, la madre y el padre de Suchir Balaji expresaron confusión y conmoción por su repentino fallecimiento, expresando dudas de que su hijo pudiera haberse suicidado, según lo determinado por el médico forense del condado.
La familia contrató a un experto para realizar una autopsia independiente, pero aún no ha publicado los hallazgos del informe.
“Exigimos una investigación exhaustiva; ese es nuestro llamado”, dijo la madre de Balaji, Poornima Ramarao.
La policía de San Francisco encontró a Balaji muerto en su apartamento de Lower Haight el 26 de noviembre, menos de una semana después de cumplir 26 años.
La Oficina del Médico Forense de San Francisco dijo más tarde a esta agencia de noticias que su muerte fue considerada un suicidio, aunque aún no se ha publicado el informe final de la autopsia mientras la oficina completa las pruebas toxicológicas. A principios de este mes, funcionarios de la policía de San Francisco dijeron que “actualmente no hay evidencia de juego sucio”.
La muerte de Balaji conmocionó a todo Silicon Valley y a la industria de la inteligencia artificial.
Obtuvo atención nacional a finales de octubre cuando acusó a su antiguo empleador, OpenAI, de violar la ley federal de derechos de autor al desviar datos de Internet para entrenar su exitoso chatbot, ChatGPT.
Sus preocupaciones respaldaron las acusaciones difundidas en los últimos años por autores, guionistas y programadores informáticos que dicen que OpenAI robó su contenido sin permiso, en violación de las leyes de “uso justo” de Estados Unidos que rigen cómo las personas pueden utilizar el trabajo publicado anteriormente.
Las empresas de medios han estado entre las que demandaron a la empresa, incluido The Mercury News y siete de sus periódicos afiliados y, por separado, The New York Times.
Poornima Ramarao, madre de Suchir Balaji, habla con esta nueva organización en su casa en el condado de Alameda, California, el lunes 23 de diciembre de 2024. Suchir Balaji, de 26 años, es un ex investigador de OpenAI conocido por denunciar la exitosa empresa de inteligencia artificial. quien fue encontrado muerto en su departamento en noviembre pasado. (Nhat V. Meyer/Bay Area News Group)
En una entrevista con The New York Times publicada en octubre de 2024, Balaji describió su decisión de dejar la empresa de inteligencia artificial generativa en agosto y sugirió que sus prácticas de recopilación de datos “no son un modelo sostenible para el ecosistema de Internet en su conjunto”.
“Si crees en lo que yo creo, simplemente tienes que dejar la empresa”, dijo al periódico.
El 18 de noviembre, Balaji había sido nombrado en documentos judiciales como alguien que tenía “documentos únicos y relevantes” que respaldarían el caso contra OpenAI. Él estuvo entre al menos 12 personas, muchas de ellas ex empleados o empleados actuales de OpenAI, que fueron mencionadas por el periódico en documentos judiciales por tener material útil para su caso.
Su muerte, una semana después, dejó a los padres de Balaji atónitos.
En una entrevista en su casa del condado de Alameda esta semana, su madre dijo que su único hijo “fue un ser humano increíble, desde la infancia”.
“Nadie cree que él pueda hacer eso”, dijo Ramarao sobre su suicidio.
OpenAI no respondió de inmediato a una solicitud de comentarios, pero en un comunicado a Business Insider dijo que estaba “devastado” al enterarse de la muerte de Balaji y dijo que habían estado en contacto con sus padres “para ofrecerles todo nuestro apoyo durante este momento difícil”.
“Nuestra prioridad es seguir haciendo todo lo posible para ayudarles”, decía el comunicado de la empresa. “Nos dimos cuenta de sus preocupaciones por primera vez cuando The New York Times publicó sus comentarios y no tenemos constancia de ninguna interacción posterior con él.
“Respetamos su derecho y el de otros a compartir opiniones libremente”, añade el comunicado. “Nuestros corazones están con los seres queridos de Suchir y extendemos nuestro más sentido pésame a todos los que lamentan su pérdida”.
Nacido en Florida y criado en el Área de la Bahía, Balaji fue un prodigio desde temprana edad, dijo su madre a esta agencia de noticias. Pronunció su nombre a los 3 meses; a los 18 meses me pedía “que encendiera una lámpara para animarme” y podía reconocer palabras a los 20 meses, dijo.
Balaji parecía tener una habilidad especial para la tecnología, las matemáticas y la informática, llevándose a casa trofeos y ganando renombre, incluso en la Olimpiada de Computación de los Estados Unidos de América de 2016.
En 2020, comenzó a trabajar para OpenAI y consideró admirable el entonces compromiso de la compañía de operar como una organización sin fines de lucro, dijo su madre. Su opinión sobre la empresa se agrió en 2022 mientras le asignaban la tarea de recopilar datos de Internet para el programa GPT-4 de la empresa, informó el New York Times. El programa analizó texto de casi todo Internet para entrenar su programa de inteligencia artificial, informó el medio.
Ramarao dijo que no estaba al tanto de la decisión de su hijo de hacer públicas sus preocupaciones sobre OpenAI hasta que el periódico publicó su entrevista. Si bien ella inmediatamente sintió ansiedad por su decisión, llegando incluso a implorarle que hablara con un abogado de derechos de autor, Ramarao también expresó orgullo por la valentía de su hijo.
“No dejaba de asegurarme: ‘Mamá, no estoy haciendo nada malo, ve a ver el artículo’. Sólo digo que, en mi opinión, no hay nada malo en ello”, dijo Ramarao, una ex empleada de Microsoft que trabajó en su programa de computación en la nube Azure. “Lo apoyé. No lo critiqué. Le dije: ‘Estoy orgulloso de ti, porque tienes tus propias opiniones y sabes lo que está bien y lo que está mal’. Era muy ético”.
Después de dejar la empresa, Balaji decidió crear una organización sin fines de lucro, centrada en los campos del aprendizaje automático y las neurociencias, dijo Ramarao. Ya había hablado con al menos un capitalista de riesgo para obtener financiación inicial, dijo.
“Les pregunto: ‘¿Cómo vas a manejar tu vida?’ “Dijo Ramarao. Recordó cómo su hijo intentó repetidamente disipar cualquier preocupación sobre sus finanzas, sugiriendo que “el dinero no es importante para mí; quiero ofrecer un servicio a la humanidad”.
Balaji también parecía tener una agenda ocupada. Cumplió 26 años durante un viaje de mochilero a las Islas Catalina con varios amigos de la escuela secundaria. Este tipo de viajes eran para él algo habitual: en abril viajó con varios amigos a la Patagonia y América del Sur.
Balaji habló por última vez con sus padres el 22 de noviembre, una llamada telefónica de 10 minutos que se centró en su reciente viaje y que terminó hablando de cenar.
“Estaba muy feliz”, dijo Ramarao. “Se lo pasó genial. Pasó uno de los mejores momentos de su vida”.
Los padres de Suchir Balaji, Poornima Ramarao, izquierda, y Balaji Ramamurthy, derecha, sostienen una fotografía de su hijo de 2022, en su casa en el condado de Alameda, California, el lunes 23 de diciembre de 2024. Suchir Balaji, de 26 años, es un ex investigador de OpenAI conocido por denunciar la exitosa compañía de inteligencia artificial que fue encontrado muerto en su apartamento el pasado mes de noviembre (Nhat V. Meyer/Grupo de Noticias del Área de la Bahía)
Ramarao recuerda haber llamado a su hijo poco después del mediodía del 23 de noviembre, pero dijo que sonó una vez y saltó el correo de voz. Pensando que él estaba ocupado con amigos, no intentó visitar su departamento hasta el 25 de noviembre, cuando llamó pero no obtuvo respuesta. Dijo que llamó a las autoridades esa noche, pero supuestamente un centro de despacho de la policía le dijo que poco se podía hacer ese día. Ella hizo un seguimiento el 26 de noviembre y la policía de San Francisco encontró más tarde el cuerpo de Balaji dentro de su apartamento.
Ramarao dijo que no le informaron de la muerte de su hijo hasta que apareció una camilla frente al apartamento de Balaji. No se le permitió entrar hasta el día siguiente.
“Nunca podré olvidar esa tragedia”, dijo Ramarao. “Se me rompió el corazón”.
Ramarao cuestionó la investigación de las autoridades sobre la muerte de su hijo, afirmando que la policía de San Francisco cerró su caso y lo entregó a la oficina del médico forense del condado una hora después de descubrir el cuerpo de Balaji.
Ramarao dijo que desde entonces ella y su marido encargaron una segunda autopsia del cuerpo de Balaji. Ella se negó a revelar cualquier documento de ese examen. Su abogado, Phil Kearney, se negó a comentar sobre los resultados de la autopsia independiente de la familia.
La semana pasada, el portavoz de la policía de San Francisco, Evan Sernoffsky, remitió las preguntas sobre el caso a la oficina del médico forense. David Serrano Sewell, director ejecutivo de la Oficina del Médico Forense Jefe, declinó hacer comentarios.
Sentada en el sofá de su sala, Ramarao sacudió la cabeza y expresó su frustración por los esfuerzos de investigación de las autoridades hasta el momento.
“Como padres afligidos, tenemos derecho a saber qué le pasó a nuestro hijo”, dijo Ramarao. “Estaba tan feliz. Fue muy valiente”.
Si usted o alguien que conoce está luchando contra sentimientos de depresión o pensamientos suicidas, 988 Suicide & Crisis Lifeline ofrece apoyo, información y recursos de ayuda gratuitos las 24 horas. Llame o envíe un mensaje de texto a Lifeline al 988, o visite el sitio web 988lifeline.org, donde está disponible el chat.
La IA generativa ha redefinido lo que creemos que puede hacer la IA. Lo que comenzó como una herramienta para tareas simples y repetitivas ahora resuelve algunos de los problemas más desafiantes que enfrentamos. OpenAI ha jugado un papel importante en este cambio, liderando el camino con su sistema ChatGPT. Las primeras versiones de ChatGPT mostraron cómo la IA podía tener conversaciones similares a las de los humanos. Esta capacidad ofrece una idea de lo que era posible con la IA generativa. Con el tiempo, este sistema ha avanzado más allá de simples interacciones para abordar desafíos que requieren razonamiento, pensamiento crítico y resolución de problemas. Este artículo examina cómo OpenAI ha transformado ChatGPT de una herramienta conversacional a un sistema que puede razonar y resolver problemas.
o1: El primer salto hacia el razonamiento real
El primer paso de OpenAI hacia el razonamiento se produjo con el lanzamiento de o1 en septiembre de 2024. Antes de o1, los modelos GPT eran buenos para comprender y generar texto, pero tenían dificultades con tareas que requerían razonamiento estructurado. o1 cambió eso. Fue diseñado para centrarse en tareas lógicas, dividiendo problemas complejos en pasos más pequeños y manejables.
o1 logró esto utilizando una técnica llamada cadenas de razonamiento. Este método ayudó al modelo a abordar problemas complicados, como matemáticas, ciencias y programación, dividiéndolos en partes fáciles de resolver. Este enfoque hizo que o1 fuera mucho más preciso que versiones anteriores como GPT-4o. Por ejemplo, cuando se evaluaron problemas de matemáticas avanzadas, o1 resolvió el 83% de las preguntas, mientras que GPT-4o solo resolvió el 13%.
El éxito de o1 no provino sólo de cadenas de razonamiento. OpenAI también mejoró la forma en que se entrenó el modelo. Utilizaron conjuntos de datos personalizados centrados en matemáticas y ciencias y aplicaron aprendizaje por refuerzo a gran escala. Esto ayudó a o1 a manejar tareas que requerían varios pasos para resolverse. El tiempo computacional adicional dedicado al razonamiento demostró ser un factor clave para lograr una precisión que los modelos anteriores no podían igualar.
o3: Llevar el razonamiento al siguiente nivel
Aprovechando el éxito de o1, OpenAI ahora lanzado o3. Liberado durante el “12 días de OpenAI”, este modelo lleva el razonamiento de la IA al siguiente nivel con herramientas más innovadoras y nuevas habilidades.
Una de las mejoras clave de o3 es su capacidad de adaptación. Ahora puede comparar sus respuestas con criterios específicos, asegurándose de que sean precisas. Esta capacidad hace que o3 sea más confiable, especialmente para tareas complejas donde la precisión es crucial. Piense en ello como si tuviera un control de calidad incorporado que reduce las posibilidades de cometer errores. La desventaja es que lleva un poco más de tiempo llegar a las respuestas. Puede llevar unos segundos o incluso minutos adicionales resolver un problema en comparación con los modelos que no utilizan el razonamiento.
Al igual que o1, o3 fue entrenado para “pensar” antes de responder. Esta formación permite a o3 realizar razonamiento en cadena de pensamiento utilizando el aprendizaje por refuerzo. OpenAI llama a este enfoque una “cadena de pensamiento privada”. Permite a o3 analizar los problemas y analizarlos paso a paso. Cuando a o3 se le da una indicación, no se apresura a responder. Se necesita tiempo para considerar ideas relacionadas y explicar su razonamiento. Después de esto, resume la mejor respuesta que se le ocurre.
Otra característica útil de o3 es su capacidad de ajustar cuánto tiempo dedica a razonar. Si la tarea es sencilla, o3 puede actuar rápidamente. Sin embargo, puede utilizar más recursos computacionales para mejorar su precisión en desafíos más complicados. Esta flexibilidad es vital porque permite a los usuarios controlar el rendimiento del modelo en función de la tarea.
En las primeras pruebas, el o3 mostró un gran potencial. en el Punto de referencia ARC-AGIque prueba la IA en tareas nuevas y desconocidas, o3 obtuvo una puntuación del 87,5%. Este desempeño es un resultado sólido, pero también señaló áreas donde el modelo podría mejorar. Si bien funcionó muy bien con tareas como codificación y matemáticas avanzadas, ocasionalmente tuvo problemas con problemas más sencillos.
¿O3 logró la Inteligencia General Artificial (AGI)?
Si bien o3 mejora significativamente las capacidades de razonamiento de la IA al obtener una puntuación alta en el ARC Challenge, un punto de referencia diseñado para probar el razonamiento y la adaptabilidad, todavía no alcanza la inteligencia a nivel humano. Los organizadores del ARC Challenge han aclarado que aunque el desempeño de o3 logró un hito importante, es simplemente un paso hacia AGI y no el logro final. Si bien o3 puede adaptarse a nuevas tareas de manera impresionante, todavía tiene problemas con tareas simples que resultan fáciles para los humanos. Esto muestra la brecha entre la IA actual y el pensamiento humano. Los humanos pueden aplicar conocimientos en diferentes situaciones, mientras que la IA todavía lucha con ese nivel de generalización. Entonces, si bien O3 es un desarrollo notable, aún no tiene la capacidad universal de resolución de problemas necesaria para AGI. AGI sigue siendo un objetivo para el futuro.
El camino por delante
El progreso de o3 es un gran momento para la IA. Ahora puede resolver problemas más complejos, desde codificación hasta tareas de razonamiento avanzado. La IA se está acercando a la idea de AGI y el potencial es enorme. Pero este progreso conlleva responsabilidad. Necesitamos pensar detenidamente sobre cómo avanzar. Existe un equilibrio entre impulsar a la IA a hacer más y garantizar que sea segura y escalable.
o3 todavía enfrenta desafíos. Uno de los mayores desafíos para o3 es su necesidad de una gran potencia informática. Ejecutar modelos como o3 requiere recursos importantes, lo que dificulta la ampliación de esta tecnología y limita su uso generalizado. Hacer que estos modelos sean más eficientes es clave para garantizar que puedan alcanzar su máximo potencial. La seguridad es otra preocupación principal. Cuanto más capaz sea la IA, mayor será el riesgo de consecuencias no deseadas o de uso indebido. OpenAI ya ha implementado algunas medidas de seguridad, como la “alineación deliberativa”, que ayudan a guiar la toma de decisiones del modelo siguiendo principios éticos. Sin embargo, a medida que avance la IA, estas medidas deberán evolucionar. Otras empresas, como Google y DeepSeek, también están trabajando en modelos de inteligencia artificial que puedan realizar tareas de razonamiento similares. Se enfrentan a desafíos similares: altos costos, escalabilidad y seguridad.
El futuro de la IA es muy prometedor, pero aún existen obstáculos. La tecnología se encuentra en un punto de inflexión y la forma en que manejemos cuestiones como la eficiencia, la seguridad y la accesibilidad determinará hacia dónde se dirige. Es un momento emocionante, pero se requiere una reflexión cuidadosa para garantizar que la IA pueda alcanzar su máximo potencial.
La conclusión
El paso de OpenAI de o1 a o3 muestra hasta dónde ha llegado la IA en el razonamiento y la resolución de problemas. Estos modelos han evolucionado desde el manejo de tareas simples hasta abordar tareas más complejas como matemáticas y codificación avanzadas. o3 destaca por su capacidad de adaptación, pero aún no está al nivel de la Inteligencia General Artificial (AGI). Si bien puede manejar muchas cosas, todavía tiene dificultades con algunas tareas básicas y necesita mucha potencia informática.
El futuro de la IA es brillante, pero conlleva desafíos. Es necesario prestar atención a la eficiencia, la escalabilidad y la seguridad. La IA ha logrado avances impresionantes, pero aún queda trabajo por hacer. El progreso de OpenAI con o3 es un importante paso adelante, pero AGI todavía está en el horizonte. La forma en que abordemos estos desafíos dará forma al futuro de la IA.
Las vacaciones y las situaciones socialmente incómodas van juntas como los guisantes y las zanahorias. Así que le hicimos a ChatGPT las preguntas difíciles que tienes en mente, pero que no te atreverías a preguntarle a alguien en persona. Algunas respuestas se editaron para ser breves porque ChatGPT es, bueno, bastante hablador.
P. ¿Cuánto tiempo es aceptable dejar las luces navideñas encendidas en la casa?
Esta página requiere Javascript.
Se requiere Javascript para poder leer contenido premium. Habilítelo en la configuración de su navegador.
This website uses cookies so that we can provide you with the best user experience possible. Cookie information is stored in your browser and performs functions such as recognising you when you return to our website and helping our team to understand which sections of the website you find most interesting and useful.
Strictly Necessary Cookies
Strictly Necessary Cookie should be enabled at all times so that we can save your preferences for cookie settings.
If you disable this cookie, we will not be able to save your preferences. This means that every time you visit this website you will need to enable or disable cookies again.
