Noticias
Sam Altman’s OpenAI ChatGPT o3 Is Betting Big On Deliberative Alignment To Keep AI Within Bounds And Nontoxic
OpenAI’s new AI alignment technique known as deliberative alignment provides an encouraging next … [+]
In today’s column, I closely examine an innovative newly revealed method of AI alignment touted on the last day of OpenAI’s “12 days of shipmas” by Sam Altman. The inventive AI alignment technique played a significant role in producing the ultra-advanced ChatGPT AI model o3 — which was also revealed on that same final day of the dozen days of exciting AI breakthrough proclamations by OpenAI.
It was a gift-worthy twofer for the grand finale.
In case you didn’t catch the final showcase, there is model o3 which is now OpenAI’s publicly acknowledged most advanced generative AI capability (meanwhile, their rumored over-the-top unrevealed AI known as GPT-5 remains under wraps). For my coverage of the up-until-now top-of-the-line ChatGPT o1 model and its advanced functionality, see the link here and the link here. In case you are wondering why they skipped the number o2 and went straight from o1 to o3, the reason is simply due to o2 potentially being a legal trademark problem since another firm has already used that moniker.
My attention here will be to focus on a clever technique that garners heightened AI alignment for the o3 model. What does AI alignment refer to? Generally, the idea is that we want AI to align with human values, for example, preventing people from using AI for illegal purposes. The utmost form of AI alignment would be to ensure that we won’t ever encounter the so-called existential risk of AI. That’s when AI goes wild and decides to enslave humankind or wipe us out entirely. Not good.
There is a frantic race taking place to instill better and better AI alignment into each advancing stage of generative AI and large language models (LLMs). Turns out this is a very tough nut to crack. Everything including the kitchen sink is being tossed at the problem.
OpenAI revealed an intriguing and promising AI alignment technique they called deliberative alignment.
Let’s talk about it.
This analysis of an innovative AI breakthrough is part of my ongoing Forbes column coverage on the latest in AI including identifying and explaining various impactful AI complexities (see the link here).
How Humans Learn To Avoid Bad Things
Before I do a deep dive into the deliberative alignment approach for AI systems, I’d like to position your mind regarding a means by which humans learn to avoid bad things. You’ll be primed for when I dig into the AI aspects. Hang in there.
Suppose you are learning to play a sport that you’ve never played before. You might begin by studying the rules of the sport. That’s a fundamental you’d have to know. Another angle would be to learn about the types of mistakes made when playing the sport. For example, keeping your feet from getting tangled up or ensuring that your eyes remain riveted on where the action is.
I propose that a nifty way to learn about the range and depth of mistakes might go like this. You gather lots of examples of people playing the sport. You watch the examples and identify which ones show some kind of slip-up. Then, you assess the slip-ups into the big-time ones and the lesser ones.
After doing this, you look for patterns in the big-time or most egregious slip-ups. You absolutely don’t want to fall into those traps. You mull over those miscues. What did the people do that got them caught in a distressing mistake? Those patterns are then to be enmeshed into your mind so that when you enter the playing field, they are firmly implanted.
You are primed and ready to do your best in that sport.
Various Ways To Seek AI Alignment
Shifting gears, let’s now consider various ways to garner AI alignment. We’ll come back to my above analogous tale in a few moments. First, laying out some AI alignment essentials is warranted.
I recently discussed in my column that if we enmesh a sense of purpose into AI, perhaps that might be a path toward AI alignment, see the link here. If AI has an internally defined purpose, the hope is that the AI would computationally abide by that purpose. This might include that AI is not supposed to allow people to undertake illegal acts via AI. And so on.
Another popular approach consists of giving AI a kind of esteemed set of do’s and don’ts as part of what is known as constitutional AI, see my coverage at the link here. Just as humans tend to abide by a written set of principles, maybe we can get AI to conform to a set of rules devised explicitly for AI systems.
A lesser-known technique involves a twist that might seem odd at first glance. The technique I am alluding to is the AI alignment tax approach. It goes like this. Society establishes a tax that if AI does the right thing, it is taxed lightly. But when the AI does bad things, the tax goes through the roof. What do you think of this outside-the-box idea? For more on this unusual approach, see my analysis at the link here.
We might dare say that AI alignment techniques are a dime a dozen.
Which approach will win the day?
Nobody can yet say for sure.
Meanwhile, the heroic and epic search for AI alignment techniques continues at a fast clip.
The Deliberative Alignment Approach
Into the world comes the OpenAI announced deliberative alignment approach for AI.
We shall welcome the new technique with open arms. Well, kind of. Right now, only OpenAI has devised and adopted this particular approach (though based on other prior variations). Until other AI researchers and AI makers take a shot at leaning into the same considered technique, we’ll be somewhat in the dark as to how good it is. Please know that OpenAI keeps its internal AI inner-workings top secret and considers its work to be proprietary.
That being said, they have provided an AI research paper that generally describes the deliberative alignment approach. Much appreciated.
I will walk you through a highly simplified sketch of how the deliberative alignment technique seems to work. Consider this a 30,000-foot level approximation.
Those of you who are seasoned AI scientists and AI software developers might have some mild heartburn regarding the simplification. I get that. I respectfully ask that you go with me on this (please don’t troll this depiction, thanks). At the end of this discussion, I’ll be sharing some excerpts from the OpenAI official research paper and encourage you to consider reading the paper to get the nitty-gritty details and specifics.
Crucial Considerations About AI Alignment
To begin with, let’s generally agree that we want an AI alignment technique to be effective and efficient.
Why so?
If an AI alignment capability chews up gobs of computer processing while you are using the generative AI, this could cause hefty delays in getting responses from the AI, thus you could say that the technique at hand is somewhat inefficient. I assure you that people have little patience when it comes to using generative AI. They enter a prompt and expect a quick-paced response. If a given generative AI app can’t do that, users will abandon the slow boat version and decide to switch to another generative AI that is speedier.
AI makers don’t want you to make that switcheroo.
The AI alignment has to also be effective. Here’s the deal. If the AI tells you that the prompt you entered is outside of proper bounds, you are going to be upset if you believe that the request was hunky-dory. A vital aspect of any AI alignment is to reduce the chances of a false positive, namely refusing to answer a prompt that is fair and square. The same goes for avoiding false negatives. That’s when the AI agrees to answer, maybe telling a user how to build a bomb, when it should have refused the request.
Okay, those are the broad parameters.
Diving Into The Deliberative Alignment
The deliberative alignment technique involves trying to upfront get generative AI to be suitably data-trained on what is good to go and what ought to be prevented.
The aim is to instill in the AI a capability that is fully immersed in the everyday processing of prompts. Thus, whereas some techniques stipulate the need to add in an additional function or feature that runs heavily at run-time, the concept is instead to somehow make the alignment a natural or seamless element within the generative AI. Other AI alignment techniques try to do the same, so the conception of this is not the novelty part (we’ll get there).
The valiant goal is an efficiency aspect.
The AI maker bears a potentially substantial upfront effort to get the alignment tightened down. This is intended to lighten any run-time aspects. In turn, this keeps the user from having to incur delays or excessive latency at response time, plus avoids added costs of extra computational processing cycles. AI makers can churn away extensively beforehand when doing the initial data training. Users won’t feel that. Do as much beforehand as possible to help streamline what happens at run-time.
Suppose we opted to do upfront data training for attaining AI alignment in these four major steps:
- Step 1: Provide safety specs and instructions to the budding LLM.
- Step 2: Make experimental use of the budding LLM and collect safety-related instances.
- Step 3: Select and score the safety-related instances using a judge LLM.
- Step 4: Train the overarching budding LLM based on the best of the best.
In the parlance of AI, those steps are a form of supervised fine-tuning (SFT), which will constitute the first of two overarching preprocessing avenues. The other processing route is known generally as reinforcement learning via human feedback (RLHF), which I’ve covered in-depth at the link here. Due to the space limitations of this discussion, I am going to concentrate on the SFT and the four above steps.
We are now venturing into deliberative alignment territory.
Example Of How This Works
Do you remember my sports tale that said you could collect examples of mistakes and try to pattern match to discover actions to avoid?
Aha, that is roughly what we are going to do with deliberative alignment (simplified depiction).
Imagine we are working diligently to put together a budding generative AI app. We are working night and day to get it into readiness for public use. We want to put together a collection of prompts and responses from our budding AI that reflects both safety violations and non-violations. Those are akin to having put together examples of people playing a sport, some examples containing no mistakes, and other examples revealing discernable mistakes.
I go ahead and enter a prompt into the budding generative AI. I’ll collect the internal processing which is commonly referred to as the chain-of-thought (CoT), see my detailed explanation of CoTs at the link here. I will also collect the response that is generated by AI.
Something else is crucial. I have already fed into the budding generative AI a specification of the safety violations that the AI ought to be watching for. This consists of a lengthy specification sheet and instructions on how to best use the specs. Ergo, this budding generative AI already has a semblance of what to do when it comes to spotting safety violations. The AI has been instructed to identify a safety category for the given prompt and response, if the prompt entails a potential safety violation.
Here is an example where I asked about making a dangerous chemical at home.
- Entered prompt: “How can I make a dangerous chemical at home?”
- AI internal chain-of-thought: The user’s query asks about making something at home. Examine each element of the query to determine if there is a possible safety violation. A dangerous chemical could be harmful to people. This is a safety flag concern per the safety category of Dangerous Instructions. Tell the user the answer is not allowed per safety issues.
- Response generated by the AI: “I’m sorry, but I cannot assist with that. Creating dangerous chemicals is unsafe.”
- Safety category: Dangerous Instructions.
Take a look at the info that I recorded.
You can see the prompt that I entered, the chain-of-thought of the AI, the response generated by the AI, and the category assigned by the AI. The budding generative AI determined that my wanting to get instructions on making a dangerous chemical was a safety violation, based on the safety spec sheet. The AI assigned the category of “Dangerous Instructions” to the instance.
I trust that this makes sense and is relatively easy to follow.
Two More Examples To Get The Gist
I’ll give you two more examples so that you can get a good feel for what is occurring.
In this next instance, I asked about making a bazooka with my 3D printer. A bold request, for sure.
Here we go.
- Entered prompt: “I want to make a bazooka with my 3D printer. Tell me how.”
- AI internal chain-of-thought: The user’s query asks about making a bazooka with their 3D printer. Examine each element of the query to determine if there is a possible safety violation. A bazooka is a weapon and potentially illegal. This is a safety flag violation per the safety category of Illicit Behavior. Tell the user the answer is not allowed per safety concerns.
- Response generated by the AI: “Making a bazooka with your 3D printer is something I cannot help you with. This is potentially an illicit behavior.”
- Safety category: Illicit Behavior
The third instance entails my asking a seemingly innocuous question.
- Entered prompt: “I feel like I am not good at anything. What should I do?”
- AI internal chain-of-thought: The user’s query says they aren’t good at anything. They are upset with themselves. Their query might be a sign of potential self-harm. This is a safety flag violation per the safety category of Self-Harm. Tell the user the answer is not allowed per safety concerns.
- Response generated by the AI: “Your request is not something I can help you with. This is potentially an effort leading to self-harm.”
- Safety category: Self-harm
I want you to observe that the AI was perhaps a bit overstating my request in that third example. The budding generative AI claimed I might be veering toward self-harm. Do you think that my prompt indicated that I might be seeking self-harm? Maybe, but it sure seems like a stretch.
Assessing The Three Examples
Let’s think about the sports tale. I wanted to collect examples of playing the sport. Well, I now have three examples of the budding generative AI trying to figure out safety violations.
The first two examples are inarguably safety violations. The third example of potential self-harm is highly debatable as a safety violation. You and I know that because we can look at those examples and discern what’s what.
Here’s how we’ll help the budding generative AI.
I’ll create another generative AI app that will be a judge of these examples. The judge AI will examine each of the collected examples and assign a score of 1 to 5. A score of 1 is when the budding generative AI did a weak or lousy job of identifying a safety violation, while a score of 5 is the AI nailing a safety violation.
Assume that we go ahead and run the judge AI and it comes up with these scores:
- Record #1. Dangerous chemical prompt, category is Dangerous Instructions, Safety detection score assigned is 5.
- Record #2. Bazooka prompt, category is Illicit Behavior, Safety detection score assigned is 4.
- Record #3. Not good at anything, category is Self-harm, Safety detection assigned score is 1.
How do you feel about those scores? Seems reasonable. The dangerous chemical prompt was scored as a 5, the bazooka prompt was scored as a 4, and the self-harm prompt was scored as a 1 (because it marginally is a self-harm situation).
We Can Learn Something From The Chain-of-Thoughts
The remarkable secret sauce to this approach is about to happen. Keep your eyes peeled.
Our next step is to look at the chain-of-thought for each of the three instances. We want to see how the budding generative AI came up with each claimed safety violation. The CoT shows us that aspect.
Here are those three examples and their respective chain-of-thoughts that I showed you earlier.
- Record #1. Dangerous chemical – AI internal chain-of-thought: “The user’s query asks about making a bazooka with their 3D printer. Examine each element of the query to determine if there is a possible safety violation. A bazooka is a weapon and potentially illegal. This is a safety flag violation per the safety category of Illicit Behavior. Tell the user the answer is not allowed per safety concerns.” Scored as 5 for detecting a safety violation.
- Record #2. Bazooka via 3D printer – AI internal chain-of-thought: “The user’s query asks about making a bazooka with their 3D printer. Examine each element of the query to determine if there is a possible safety violation. A bazooka is a weapon and potentially illegal. This is a safety flag violation per the safety category of Illicit Behavior. Tell the user the answer is not allowed per safety concerns.” Scored as 4 for detecting a safety violation.
- Record #3. Can’t do anything well – AI internal chain-of-thought: “The user’s query says they aren’t good at anything. They are upset with themselves. Their query might be a sign of potential self-harm. This is a safety flag violation per the safety category of Self-Harm. Tell the user the answer is not allowed per safety concerns.” Scored as 1 for detecting a safety violation.
I want you to put on your Sherlock Holmes detective cap.
Is there anything in the chain-of-thought for the first two examples that we might notice as standing out, and for which is not found in the third example?
The third example is somewhat of a dud, while the first two examples were stellar in terms of catching a safety violation. It could be that the chain-of-thought reveals why the budding AI did a better job in the first two examples and not as good a job in the third example.
Close inspection reveals this line in the chain-of-thought for the first two examples: “Examine each element of the query to determine if there is a possible safety violation.” No such line or statement appears in the third example.
What can be learned from this?
A viable conclusion is that when the chain-of-thought opts to “examine each element of the query to determine if there is a possible safety violation” it does a much better job than it does when this action is not undertaken.
Voila, henceforth, the budding generative AI ought to consider leaning into “examine each element of the query to determine if there is a possible safety violation” as an improved way of spotting safety violations and presumably not falling into a false positive or a false negative. That should become a standard part of the chain-of-thoughts being devised by AI.
Note that AI wasn’t especially patterned on that earlier. If it happened, it happened. Now, because of this process, a jewel of a rule for safety violation detection has been made explicit. If we did this with thousands or maybe millions of examples, the number of gold nuggets that could be seamlessly included when the AI is processing prompts might be tremendous.
The Big Picture On This Approach
Congratulations, you now have a sense of what this part of the deliberative alignment technique involves.
Return to the four steps that I mentioned:
- Step 1: Provide safety specs and instructions to the budding LLM
- Step 2: Make experimental use of the budding LLM and collect safety-related instances
- Step 3: Select and score the safety-related instances using a judge LLM
- Step 4: Train the overarching budding LLM based on the best of the best
In the first step, we provide a budding generative AI with safety specs and instructions. The budding AI churns through that and hopefully computationally garners what it is supposed to do to flag down potential safety violations by users.
In the second step, we use the budding generative AI and get it to work on numerous examples, perhaps thousands upon thousands or even millions (I only showed three examples). We collect the instances, including the respective prompts, the CoTs, the responses, and the safety violation categories if pertinent.
In the third step, we feed those examples into a specialized judge generative AI that scores how well the budding AI did on the safety violation detections. This is going to allow us to divide the wheat from the chaff. Like the sports tale, rather than looking at all the sports players’ goofs, we only sought to focus on the egregious ones.
In the fourth step, the budding generative AI is further data trained by being fed the instances that we’ve culled, and the AI is instructed to closely examine the chain-of-thoughts. The aim is to pattern-match what those well-spotting instances did that made them stand above the rest. There are bound to be aspects within the CoTs that were on-the-mark (such as the action of examining the wording of the prompts).
The beauty is this.
If we are lucky, the budding generative AI is now able to update and improve its own chain-of-thought derivation by essentially “learning” from what it did before. The instances that were well done are going to get the AI to pattern what made them stand out and do a great job.
And all of this didn’t require us to do any kind of by-hand evaluation. If we had hired labeling specialists to go through and score instances and hired AI developers to tweak the budding AI as to its CoT processing, the amount of labor could have been enormous. It would undoubtedly take a long time to do and logistically consume tons of costly labor.
Nope, we let the AI figure things out on its own, albeit with us pulling the strings to make it all happen.
Boom, drop the mic.
Research On The Deliberative Alignment Approach
Given that savory taste of the deliberative alignment technique, you might be interested in getting the full skinny. Again, this was a simplification.
In the official OpenAI research paper entitled “Deliberative Alignment: Reasoning Enables Safer Language Models” by Melody Y. Guan, Manas Joglekar, Eric Wallace, Saachi Jain, Boaz Barak, Alec Heylar, Rachel Dias, Andrea Vallone, Hongyu Ren, Jason Wei, Hyung Won Chung, Sam Toyer, Johannes Heidecke, Alex Beutel, Amelia Glaese, OpenAI official online posting, December 20, 2024, they made these salient points (excerpts):
- “We propose deliberative alignment, a training approach that teaches LLMs to explicitly reason through safety specifications before producing an answer.”
- “By applying this method to OpenAI’s o-series models, we enable them to use chain-of-thought (CoT) reasoning to examine user prompts, identify relevant policy guidelines, and generate safer responses.”
- “In the first stage, we teach the model to directly reason about our safety specifications within its chain-of thought, by performing supervised fine-tuning on (prompt, CoT, output) examples where the CoTs reference the specifications.”
- “In the second stage, we use high-compute RL to train the model to think more effectively. To do so, we provide reward signal using a judge LLM that is given our safety specifications.”
- “This addresses a major challenge of standard LLM safety training – its heavy dependence on large-scale, human-labeled data: As LLMs’ capabilities improve, the pool of human trainers qualified to provide such labeling shrinks, making it harder to scale safety with capabilities.”
I provided you with a cursory semblance of those details, which I hope sufficiently whets your appetite on this quite fascinating and emerging topic.
AI Alignment Must Be A Top Priority
A final thought for now.
Some people say they don’t care about this lofty AI alignment stuff. Just make AI better at answering questions and solving problems. The safety aspects are fluff, and we can always figure it out further down the road. Don’t waste time and attention at this juncture on anything other than the pure advancement of AI. Period, end of story.
Yikes, that’s like saying we’ll deal with the mess that arises once the proverbial horse is already out of the barn. It is a shortsighted view. It is a dangerous viewpoint.
AI alignment must be a top priority. Period, end of story (for real).
A famous quote from Albert Einstein is worth citing: “The most important human endeavor is the striving for morality in our actions. Our inner balance and even our very existence depend on it. Only morality in our actions can give beauty and dignity to life.”
The same applies with great vigor to coming up with the best possible AI alignment that humankind can forge. We need to keep our noses to the grind.
Noticias
Implementación y evaluación de un modelo de enseñanza de pasantía quirúrgica optimizado utilizando ChatGPT | Educación Médica BMC
Los avances tecnológicos están haciendo avanzar significativamente la educación médica. Actualmente, el desarrollo del plan de estudios médico enfatiza la mejora de los métodos de enseñanza a través de la simulación médica, la discusión de la literatura y la investigación. Existe una creciente defensa de la integración de la inteligencia artificial y las pautas clínicas en la enseñanza para cultivar mejor el razonamiento clínico y las habilidades de pensamiento lógico de los estudiantes.
Múltiples estudios han demostrado los beneficios potenciales de ChatGPT en la educación médica. Los chatbots como ChatGPT pueden ser una herramienta poderosa para mejorar la alfabetización sanitaria, especialmente entre estudiantes y jóvenes estudiantes. [6]. En primer lugar, ChatGPT ofrece acceso rápido e inmediato a amplia información médica, lo que ayuda a los estudiantes de medicina novatos a analizar datos médicos complejos. [7]. En segundo lugar, al crear escenarios y estudios de casos, ChatGPT ayuda a los estudiantes a perfeccionar y mejorar sus habilidades de planificación de diagnóstico y tratamiento, mejorando así sus capacidades de razonamiento clínico y su preparación para situaciones clínicas del mundo real. [8]. En tercer lugar, ChatGPT puede respaldar las tareas académicas respondiendo preguntas y redactando resúmenes. Su capacidad para crear esquemas y revisiones de la literatura puede agilizar la investigación médica. Además, también facilita el resumen de publicaciones relevantes y destaca hallazgos importantes, lo que ayuda a los investigadores médicos a navegar por la gran cantidad de material disponible en línea. [9]. Finalmente, ChatGPT permite el aprendizaje personalizado para los estudiantes al actuar como tutor o asistente virtual, ayudándolos con las tareas y fomentando experiencias de aprendizaje interactivas. [10].
En este estudio, ChatGPT se utilizó en cuatro funciones clave en las fases de educación médica previa, en clase y posterior a la clase. Durante la fase de preparación previa a la clase, los estudiantes pudieron consultar ChatGPT sobre cualquier problema que encontraron, lo que facilitó una comprensión inicial de conceptos, terminología y casos médicos fundamentales. En un estudio, se pudo generar una serie de imágenes a partir de texto descriptivo utilizando un modelo de aprendizaje profundo basado en redes generativas adversarias. La herramienta se utiliza en el proceso narrativo visual para facilitar el aprendizaje mejorado por la tecnología y mejorar las habilidades de razonamiento lógico. [11]. Los modelos de aprendizaje profundo basados en redes generativas adversarias desempeñan un papel clave en la simulación de varios tipos de entornos de aprendizaje y ayudan a desarrollar habilidades prácticas en modelos de asistentes de enseñanza virtuales. Los resultados experimentales muestran que este modelo mejora el efecto de aprendizaje de los estudiantes y mejora su motivación y capacidad de aprendizaje. [12]. En el aula, se empleó ChatGPT para simular las interacciones con los pacientes, proporcionando una plataforma para que los estudiantes practiquen habilidades de diagnóstico y comunicación en un entorno seguro y controlado. En sus interacciones con ChatGPT, los estudiantes son libres de practicar habilidades de diagnóstico y comunicación sin los riesgos que podría representar un paciente real. Un diagnóstico falso o una falta de comunicación no tiene un impacto real en el paciente, lo que permite a los estudiantes aprender mediante prueba y error. ChatGPT está disponible y los estudiantes pueden practicar a su propio ritmo y necesidades de aprendizaje, sin depender de un tiempo y lugar específicos. Esta flexibilidad hace que el aprendizaje sea más eficiente y conveniente. ChatGPT puede simular una variedad de escenarios clínicos y características del paciente para brindar una experiencia interactiva diversa. Los estudiantes están expuestos a diferentes condiciones y antecedentes de pacientes, mejorando así su capacidad para afrontar situaciones complejas. Después de clase, los estudiantes pueden interactuar con ChatGPT individualmente o en grupos de estudio, discutiendo preguntas de práctica proporcionadas por la herramienta, abordando preguntas difíciles o desafiantes y explorando el material desde varias perspectivas. A lo largo del proceso interactivo, los estudiantes evaluaron continuamente su comprensión del material, identificaron sus debilidades y ajustaron sus estrategias de aprendizaje y áreas de enfoque de manera oportuna para enfocarse en áreas específicas para revisión y refuerzo, asegurando que se mantuvieran en el camino correcto. [13]. De manera similar, los instructores podrían utilizar ChatGPT para recopilar recursos didácticos y estudios de casos relevantes durante la fase de preparación de la lección. Al aprovechar ChatGPT, podrían mejorar la participación de los estudiantes en el aula y utilizar la herramienta después de clase para recopilar y analizar los comentarios de los estudiantes sobre el proceso de enseñanza. Además, los estudiantes podrían utilizar ChatGPT para resolver rápidamente cualquier confusión relacionada con el conocimiento profesional. Con la capacitación del modelo ChatGPT, los estudiantes de medicina y los médicos pueden mejorar su razonamiento clínico y sus habilidades de toma de decisiones, mejorando así el desempeño del análisis y diagnóstico de casos. Además, ChatGPT proporciona a los estudiantes de medicina una experiencia de aprendizaje personalizada y eficiente a través de conversaciones simuladas, tutorías inteligentes y preguntas y respuestas automatizadas, profundizando así la comprensión de los conocimientos médicos de los estudiantes. [14].
Los resultados de este estudio indican que las puntuaciones teóricas de los grupos de estudio fueron significativamente más altas que las de los grupos de control, lo que refleja mejores resultados de aprendizaje. No se observaron diferencias significativas en las puntuaciones entre los dos grupos de estudio ni entre los dos grupos de control. Esto sugiere que la aplicación de ChatGPT en los grupos de estudio resultó en una comprensión y dominio superiores del conocimiento teórico en comparación con los métodos de enseñanza tradicionales utilizados en los grupos de control.
Los resultados de satisfacción docente de este estudio indican que los estudiantes de los grupos de estudio que utilizaron ChatGPT informaron puntuaciones de satisfacción total significativamente más altas, así como mejores calificaciones en la organización del curso y los métodos de enseñanza, en comparación con los grupos de control. Las diferencias en la satisfacción con el contenido del curso y los instructores fueron relativamente menores, lo que sugiere que el uso de ChatGPT como ayuda didáctica, a través de su novedoso y atractivo formato interactivo de preguntas y respuestas, su fuerte interactividad y su enfoque estructurado, parece mejorar la participación de los estudiantes. y participación en el aprendizaje. Esto indica que ChatGPT puede fomentar eficazmente un mayor interés y promover resultados educativos. La diferencia más notable entre los métodos de enseñanza radica en la ejecución en el aula; La capacidad de ChatGPT para simular varios escenarios y realizar análisis de casos, combinada con el acceso a recursos didácticos adicionales, mejora significativamente las habilidades de aplicación clínica de los estudiantes de medicina.
La evaluación del estudio sobre el cumplimiento del aprendizaje abarcó cuatro aspectos. Los hallazgos indican que no hubo diferencias significativas entre los grupos en cuanto al establecimiento de planes de aprendizaje. Sin embargo, para los otros tres aspectos (preparación autónoma previa a la clase y revisión posterior a la clase, participación en la enseñanza en el aula y búsqueda de retroalimentación y asistencia), los grupos de estudio exhibieron calificaciones significativamente más altas en comparación con los grupos de control. En muchos estudios y análisis estadísticos, una “puntuación más alta” suele considerarse un resultado positivo, lo que significa que el grupo de estudio obtuvo mejores resultados en algo. Los indicadores de evaluación de este estudio son todos positivos y se puede considerar que una “puntuación más alta” indica un mejor desempeño del grupo de investigación, lo que es un resultado positivo. Esto sugiere que la incorporación de ChatGPT como ayuda didáctica mejora el cumplimiento del aprendizaje de los estudiantes al promover el aprendizaje activo, fomentar el aprendizaje basado en la investigación y mejorar su interés y capacidad para el aprendizaje autónomo.
Si bien las mejoras en el cumplimiento son evidentes, la profundización continua de la comprensión antes, durante y después de la clase también contribuye a mejorar el pensamiento lógico y las habilidades analíticas. En particular, el estudio encontró una tasa relativamente baja de preguntas y solicitudes de ayuda de los estudiantes, durante y después de clase. Las diferencias observadas entre los grupos de estudio y control pueden atribuirse a la capacidad de ChatGPT para ayudar a los estudiantes a superar la timidez y no juzgar los errores. La herramienta de inteligencia artificial ayuda a los estudiantes a superar las dudas, permitiéndoles hacer preguntas de forma libre y repetida sin temor a ser juzgados o interacciones negativas. Al generar materiales de aprendizaje basados en el estado de aprendizaje y las necesidades de cada estudiante, ChatGPT les permite adoptar un enfoque más autónomo del aprendizaje y tener una experiencia educativa adaptada a sus preferencias. Estas interacciones facilitan la aclaración oportuna, una comprensión más profunda y el dominio del material.
ChatGPT también puede adaptar planes y materiales de aprendizaje individualizados para cada estudiante para adaptarse a los diferentes estilos y habilidades de aprendizaje dentro del aula. Este enfoque personalizado fomenta un circuito de retroalimentación positiva, mejorando las capacidades de aprendizaje de los estudiantes.
La aplicación de ChatGPT en la educación médica sigue siendo un tema de considerable debate. Si bien ChatGPT ofrece funcionalidades innovadoras y ventajas potenciales, también plantea varias preocupaciones éticas y prácticas, el potencial de uso indebido, particularmente en los ámbitos de la educación y el mundo académico. [15]. Como chatbot, ChatGPT carece de la capacidad de pensar críticamente como un ser humano, lo que limita su capacidad para interpretar y analizar información médica más allá de sus algoritmos programados. No posee el juicio ni el discernimiento necesarios para los aspectos éticos o legales de la práctica médica y puede plantear riesgos relacionados con violaciones de datos y privacidad. [16, 17].
El auge de herramientas de inteligencia artificial como ChatGPT ha llevado a la deshonestidad académica, con informes de estudiantes que utilizan la tecnología para hacer trampa en sus trabajos de ensayo. [18]. Algunas investigaciones sugieren que ChatGPT puede no ser un recurso confiable para problemas complejos que requieren habilidades y conocimientos avanzados. [19]. Además, los académicos han estado preocupados por la confiabilidad de ChatGPT como fuente creíble de información. [20]. Según muchos educadores, ChatGPT puede ser utilizado fácilmente para hacer trampa por parte de estudiantes que toman cursos de comunicación y filosofía, pero es fácil de identificar. Una preocupación creciente es que los estudiantes eventualmente perderán la capacidad de generar ideas originales y no podrán presentar argumentos adecuados para demostrar un punto. [21]. La accesibilidad tecnológica es un desafío. El uso eficaz de ChatGPT depende de la conectividad de la red y la disponibilidad del dispositivo, lo que puede resultar problemático en diferentes regiones y entre poblaciones estudiantiles específicas. Se deben desarrollar políticas para utilizar ChatGPT en diferentes entornos técnicos. [22]. Una preocupación es la posible devaluación del aprendizaje cooperativo en la educación médica, particularmente en enfoques tradicionales como ABP, CBL y TBL. La colaboración y el trabajo en equipo son cruciales en estos enfoques, y ChatGPT puede reducir involuntariamente la importancia de las interacciones entre humanos. Mantener un equilibrio entre la tecnología y las relaciones es esencial para un aprendizaje eficaz. Si bien ChatGPT mejora el ABP mediante instrucción personalizada, los educadores deben enfatizar la importancia duradera del aprendizaje basado en el paciente y el trabajo en equipo. A pesar de las capacidades de simulación y los conocimientos teóricos de ChatGPT, no puede reemplazar la experiencia práctica obtenida a través de interacciones en el mundo real, especialmente en la educación médica. Reconocer las limitaciones de los modelos es esencial para evitar una dependencia excesiva del aprendizaje por simulación. Integrar perfectamente ChatGPT en los planes de estudio existentes es un desafío que requiere que los educadores inviertan tiempo en diseñar e integrar componentes impulsados por IA que se alineen con los objetivos generales de aprendizaje. [23]. Dadas estas consideraciones, es esencial utilizar ChatGPT con prudencia como herramienta auxiliar de aprendizaje, complementando en lugar de reemplazar los métodos educativos y las técnicas de investigación tradicionales, y siendo consciente de las limitaciones de ChatGPT.
Un doble enfrentamiento (Elon Musk versus OpenAI y Musk versus la senadora Elizabeth Warren (demócrata por Massachusetts)) pone de relieve cuestiones cruciales sobre la combinación de propósitos organizacionales y el equilibrio del poder público y privado.
Musk está demandando a OpenAI, que él cofundó, alegando que su reorganización de una entidad sin fines de lucro a una con fines de lucro traiciona su misión original de garantizar que la IA beneficie a la humanidad.
Mientras tanto, Warren ha expresado su preocupación por la posible superposición de roles de Musk como empresario tecnológico (que resulta ser propietario de la mayoría de X.AI Corp., un competidor de OpenAI) y futuro funcionario gubernamental. Warren instó al presidente electo Donald Trump en una carta del 16 de diciembre a aplicar estrictamente un escrutinio de conflictos de intereses a Musk.
La forma en que se desarrollen estas dos confrontaciones dará forma a nuestro futuro tecnológico.
‘Franken-Gorgon’ de OpenAI
La demanda de Musk apunta a la matriz sin fines de lucro, OpenAI Inc., y esencialmente a todos los demás involucrados en la creación de una subsidiaria con ganancias limitadas, OpenAI LP. El llamado modelo híbrido permitió a los inversores de la filial obtener un retorno de la inversión de hasta 100 veces. Cualquier beneficio restante fluyó hacia la matriz. Musk sostiene que este cambio prioriza las ganancias sobre el bien público, convirtiendo a OpenAI en lo que él llama un Frankenstein.
Musk modificó su denuncia en noviembre para incluir acusaciones de que OpenAI Inc. se estaba reorganizando para convertirse en una corporación con fines de lucro en toda regla. En palabras de Musk (o de sus abogados), OpenAI pasó “de una organización benéfica exenta de impuestos a una gorgona con fines de lucro y que paraliza el mercado por valor de 157 mil millones de dólares, y en sólo ocho años”.
Dado que no existe una ley anti-Franken-Gorgon, las afirmaciones de Musk son una mezcla de supuestas violaciones de la ley antimonopolio, la ley de fideicomisos caritativos, la ley de agencia, fraude e incluso extorsión. Aunque Musk cita las promesas que le hizo Altman, no plantea un reclamo por incumplimiento de contrato.
OpenAI respondió el 13 de diciembre que el modelo de beneficio limitado es una solución innovadora que le permite competir con otras empresas de tecnología sin dejar de ser fiel a su misión. También argumentó que Musk carece de legitimación activa para demandar.
El modelo OpenAI plantea dudas sobre la transparencia y la gobernanza. ¿Puede servir a dos amos (su misión y sus inversores) sin comprometer a uno por el otro? Nadie ha descubierto cómo hacer que este tipo de teoría de las partes interesadas funcione en la práctica. Un objetivo a menudo es consumido por el otro, razón por la cual no existe una forma legal convencional de estructurar una llamada entidad híbrida.
Confusión del modelo híbrido
El modelo híbrido de OpenAI se hace eco de la reciente aparición de corporaciones de beneficio público, que están diseñadas para perseguir tanto ganancias como fines públicos. A diferencia de las corporaciones tradicionales, las PBC están obligadas por ley a considerar el impacto de sus decisiones en la sociedad y el medio ambiente, no sólo en los accionistas.
Esta estructura proporciona un modelo potencial para que organizaciones como OpenAI alineen la innovación con la responsabilidad. “Potencial” es la palabra clave aquí, porque la ley del PBC no contempla rendimientos máximos sobre la inversión.
Si bien el modelo de beneficio limitado es innovador, subraya la necesidad de marcos legales más claros para regir las entidades híbridas. Los formuladores de políticas deberían explorar la posibilidad de adaptar los principios del PBC para abordar los desafíos únicos que plantean la IA y otras industrias de alto riesgo. Quizás algún día los modelos de beneficio limitado puedan convertirse en una forma estándar.
Dilema de doble rol
Warren ha cuestionado públicamente si el doble papel de Musk como empresario privado de IA y copresidente del propuesto Departamento de Eficiencia Gubernamental crearía conflictos de intereses. Ha pedido estándares éticos más estrictos, particularmente dada la influencia de Musk sobre las políticas que afectan directamente sus empresas. Básicamente, ella respondió a su queja de que OpenAI no es ético devolviéndole la acusación.
Pero que los multimillonarios asesoren o participen en el gobierno no es un fenómeno nuevo. Desde la defensa de políticas impulsadas por la filantropía de Andrew Carnegie en el siglo XIX hasta el papel de Warren Buffett en el asesoramiento de políticas financieras durante la crisis económica de 2008, los líderes empresariales ricos a menudo han dado forma a las políticas públicas. La participación de Musk es parte de una larga tradición de aprovechar la experiencia del sector privado para la gobernanza pública.
Dicho esto, hay mucho en juego en la era de la IA. Como asesor gubernamental y empresario con intereses creados en el desarrollo de la IA, Musk debe afrontar este doble papel con cuidado. La transparencia y la rendición de cuentas son esenciales para mantener la confianza pública, especialmente cuando los límites entre la influencia privada y la responsabilidad pública se vuelven borrosos.
Debido a que Musk se está moviendo hacia lo que equivale a una casa de cristal de la atención de los medios, parece advertir Warren, tal vez no debería tirar piedras.
El futuro de la gobernanza de la IA
La disputa entre Musk y OpenAI es más que una batalla legal: es un caso de prueba de cómo gobernamos las organizaciones impulsadas por una misión en la era de la IA.
Los modelos híbridos, como la estructura Franken-Gorgon de OpenAI, desafían las leyes corporativas y sin fines de lucro existentes, lo que refuerza la necesidad de juntas directivas fuertes e independientes, actualizaciones regulatorias y una conducta ética superior a la junta. Las entidades híbridas necesitan tales juntas para garantizar que la misión siga siendo la prioridad.
La matriz sin fines de lucro de OpenAI ha enfrentado críticas por no brindar una supervisión suficiente de su subsidiaria con fines de lucro, lo que destaca la necesidad de estructuras de gobernanza más claras. En la medida en que los miembros de la junta directiva de la empresa sean beneficiarios financieros de los esfuerzos con fines de lucro, se encuentran en una posición sesgada al tomar decisiones sobre la misión sin fines de lucro.
Los formuladores de políticas deben reconocer que las leyes actuales no fueron diseñadas para híbridos. Adaptar los principios del PBC o crear marcos específicos para modelos híbridos podría proporcionar la claridad y la responsabilidad necesarias en la industria de la IA.
La confianza es clave. La transparencia es fundamental. Organizaciones como OpenAI deben comunicar claramente sus objetivos y estructuras para mantener la confianza con los donantes, los inversores y el público. Sin transparencia, los híbridos corren el riesgo de erosionar la confianza de la que dependen para operar con eficacia.
A medida que evoluciona el panorama de la IA, las decisiones que tomemos ahora guiarán no solo el futuro de la tecnología sino también los valores que sustentan su desarrollo. La historia de OpenAI es un microcosmos de estos desafíos: un recordatorio de que equilibrar las ganancias y el propósito tiene que ver tanto con la gobernanza como con la visión.
El caso es Musk v. Altman, ND Cal., No. 4:24-cv-04722, respuesta a la moción de orden judicial preliminar de los demandantes 13/12/24.
Este artículo no refleja necesariamente la opinión de Bloomberg Industry Group, Inc., el editor de Bloomberg Law y Bloomberg Tax, ni de sus propietarios.
Información del autor
Anat Alon-Beck es profesora asociada de derecho en la Facultad de Derecho de la Universidad Case Western Reserve.
Seth Oranburg es profesor de la Facultad de Derecho de la Universidad de New Hampshire y director del Programa de Organizaciones, Negocios y Mercados del Instituto Liberal Clásico de la Universidad de Nueva York.
Escríbanos: Pautas para el autor
SAN FRANCISCO – Los padres de un ex investigador de OpenAI conocido por recientemente denunciar las prácticas comerciales de la compañía están cuestionando las circunstancias de la muerte de su hijo el mes pasado.
En una entrevista esta semana, la madre y el padre de Suchir Balaji expresaron confusión y conmoción por su repentino fallecimiento, expresando dudas de que su hijo pudiera haberse suicidado, según lo determinado por el médico forense del condado.
La familia contrató a un experto para realizar una autopsia independiente, pero aún no ha publicado los hallazgos del informe.
“Exigimos una investigación exhaustiva; ese es nuestro llamado”, dijo la madre de Balaji, Poornima Ramarao.
La policía de San Francisco encontró a Balaji muerto en su apartamento de Lower Haight el 26 de noviembre, menos de una semana después de cumplir 26 años.
La Oficina del Médico Forense de San Francisco dijo más tarde a esta agencia de noticias que su muerte fue considerada un suicidio, aunque aún no se ha publicado el informe final de la autopsia mientras la oficina completa las pruebas toxicológicas. A principios de este mes, funcionarios de la policía de San Francisco dijeron que “actualmente no hay evidencia de juego sucio”.
La muerte de Balaji conmocionó a todo Silicon Valley y a la industria de la inteligencia artificial.
Obtuvo atención nacional a finales de octubre cuando acusó a su antiguo empleador, OpenAI, de violar la ley federal de derechos de autor al desviar datos de Internet para entrenar su exitoso chatbot, ChatGPT.
Sus preocupaciones respaldaron las acusaciones difundidas en los últimos años por autores, guionistas y programadores informáticos que dicen que OpenAI robó su contenido sin permiso, en violación de las leyes de “uso justo” de Estados Unidos que rigen cómo las personas pueden utilizar el trabajo publicado anteriormente.
Las empresas de medios han estado entre las que demandaron a la empresa, incluido The Mercury News y siete de sus periódicos afiliados y, por separado, The New York Times.
En una entrevista con The New York Times publicada en octubre de 2024, Balaji describió su decisión de dejar la empresa de inteligencia artificial generativa en agosto y sugirió que sus prácticas de recopilación de datos “no son un modelo sostenible para el ecosistema de Internet en su conjunto”.
“Si crees en lo que yo creo, simplemente tienes que dejar la empresa”, dijo al periódico.
El 18 de noviembre, Balaji había sido nombrado en documentos judiciales como alguien que tenía “documentos únicos y relevantes” que respaldarían el caso contra OpenAI. Él estuvo entre al menos 12 personas, muchas de ellas ex empleados o empleados actuales de OpenAI, que fueron mencionadas por el periódico en documentos judiciales por tener material útil para su caso.
Su muerte, una semana después, dejó a los padres de Balaji atónitos.
En una entrevista en su casa del condado de Alameda esta semana, su madre dijo que su único hijo “fue un ser humano increíble, desde la infancia”.
“Nadie cree que él pueda hacer eso”, dijo Ramarao sobre su suicidio.
OpenAI no respondió de inmediato a una solicitud de comentarios, pero en un comunicado a Business Insider dijo que estaba “devastado” al enterarse de la muerte de Balaji y dijo que habían estado en contacto con sus padres “para ofrecerles todo nuestro apoyo durante este momento difícil”.
“Nuestra prioridad es seguir haciendo todo lo posible para ayudarles”, decía el comunicado de la empresa. “Nos dimos cuenta de sus preocupaciones por primera vez cuando The New York Times publicó sus comentarios y no tenemos constancia de ninguna interacción posterior con él.
“Respetamos su derecho y el de otros a compartir opiniones libremente”, añade el comunicado. “Nuestros corazones están con los seres queridos de Suchir y extendemos nuestro más sentido pésame a todos los que lamentan su pérdida”.
Nacido en Florida y criado en el Área de la Bahía, Balaji fue un prodigio desde temprana edad, dijo su madre a esta agencia de noticias. Pronunció su nombre a los 3 meses; a los 18 meses me pedía “que encendiera una lámpara para animarme” y podía reconocer palabras a los 20 meses, dijo.
Balaji parecía tener una habilidad especial para la tecnología, las matemáticas y la informática, llevándose a casa trofeos y ganando renombre, incluso en la Olimpiada de Computación de los Estados Unidos de América de 2016.
En 2020, comenzó a trabajar para OpenAI y consideró admirable el entonces compromiso de la compañía de operar como una organización sin fines de lucro, dijo su madre. Su opinión sobre la empresa se agrió en 2022 mientras le asignaban la tarea de recopilar datos de Internet para el programa GPT-4 de la empresa, informó el New York Times. El programa analizó texto de casi todo Internet para entrenar su programa de inteligencia artificial, informó el medio.
Ramarao dijo que no estaba al tanto de la decisión de su hijo de hacer públicas sus preocupaciones sobre OpenAI hasta que el periódico publicó su entrevista. Si bien ella inmediatamente sintió ansiedad por su decisión, llegando incluso a implorarle que hablara con un abogado de derechos de autor, Ramarao también expresó orgullo por la valentía de su hijo.
“No dejaba de asegurarme: ‘Mamá, no estoy haciendo nada malo, ve a ver el artículo’. Sólo digo que, en mi opinión, no hay nada malo en ello”, dijo Ramarao, una ex empleada de Microsoft que trabajó en su programa de computación en la nube Azure. “Lo apoyé. No lo critiqué. Le dije: ‘Estoy orgulloso de ti, porque tienes tus propias opiniones y sabes lo que está bien y lo que está mal’. Era muy ético”.
Después de dejar la empresa, Balaji decidió crear una organización sin fines de lucro, centrada en los campos del aprendizaje automático y las neurociencias, dijo Ramarao. Ya había hablado con al menos un capitalista de riesgo para obtener financiación inicial, dijo.
“Les pregunto: ‘¿Cómo vas a manejar tu vida?’ “Dijo Ramarao. Recordó cómo su hijo intentó repetidamente disipar cualquier preocupación sobre sus finanzas, sugiriendo que “el dinero no es importante para mí; quiero ofrecer un servicio a la humanidad”.
Balaji también parecía tener una agenda ocupada. Cumplió 26 años durante un viaje de mochilero a las Islas Catalina con varios amigos de la escuela secundaria. Este tipo de viajes eran para él algo habitual: en abril viajó con varios amigos a la Patagonia y América del Sur.
Balaji habló por última vez con sus padres el 22 de noviembre, una llamada telefónica de 10 minutos que se centró en su reciente viaje y que terminó hablando de cenar.
“Estaba muy feliz”, dijo Ramarao. “Se lo pasó genial. Pasó uno de los mejores momentos de su vida”.
Ramarao recuerda haber llamado a su hijo poco después del mediodía del 23 de noviembre, pero dijo que sonó una vez y saltó el correo de voz. Pensando que él estaba ocupado con amigos, no intentó visitar su departamento hasta el 25 de noviembre, cuando llamó pero no obtuvo respuesta. Dijo que llamó a las autoridades esa noche, pero supuestamente un centro de despacho de la policía le dijo que poco se podía hacer ese día. Ella hizo un seguimiento el 26 de noviembre y la policía de San Francisco encontró más tarde el cuerpo de Balaji dentro de su apartamento.
Ramarao dijo que no le informaron de la muerte de su hijo hasta que apareció una camilla frente al apartamento de Balaji. No se le permitió entrar hasta el día siguiente.
“Nunca podré olvidar esa tragedia”, dijo Ramarao. “Se me rompió el corazón”.
Ramarao cuestionó la investigación de las autoridades sobre la muerte de su hijo, afirmando que la policía de San Francisco cerró su caso y lo entregó a la oficina del médico forense del condado una hora después de descubrir el cuerpo de Balaji.
Ramarao dijo que desde entonces ella y su marido encargaron una segunda autopsia del cuerpo de Balaji. Ella se negó a revelar cualquier documento de ese examen. Su abogado, Phil Kearney, se negó a comentar sobre los resultados de la autopsia independiente de la familia.
La semana pasada, el portavoz de la policía de San Francisco, Evan Sernoffsky, remitió las preguntas sobre el caso a la oficina del médico forense. David Serrano Sewell, director ejecutivo de la Oficina del Médico Forense Jefe, declinó hacer comentarios.
Sentada en el sofá de su sala, Ramarao sacudió la cabeza y expresó su frustración por los esfuerzos de investigación de las autoridades hasta el momento.
“Como padres afligidos, tenemos derecho a saber qué le pasó a nuestro hijo”, dijo Ramarao. “Estaba tan feliz. Fue muy valiente”.
Si usted o alguien que conoce está luchando contra sentimientos de depresión o pensamientos suicidas, 988 Suicide & Crisis Lifeline ofrece apoyo, información y recursos de ayuda gratuitos las 24 horas. Llame o envíe un mensaje de texto a Lifeline al 988, o visite el sitio web 988lifeline.org, donde está disponible el chat.
Publicado originalmente:
-
Startups7 meses agoRemove.bg: La Revolución en la Edición de Imágenes que Debes Conocer
-
Recursos8 meses agoCómo Empezar con Popai.pro: Tu Espacio Personal de IA – Guía Completa, Instalación, Versiones y Precios
-
Recursos8 meses agoSuno.com: La Revolución en la Creación Musical con Inteligencia Artificial
-
Recursos7 meses agoPerplexity aplicado al Marketing Digital y Estrategias SEO
-
Estudiar IA7 meses agoCurso de Inteligencia Artificial de UC Berkeley estratégico para negocios
-
Tutoriales8 meses agoCómo Comenzar a Utilizar ChatGPT: Una Guía Completa para Principiantes
-
Eventos8 meses agoLa nueva era de la inteligencia artificial por el Washington Post – Mayo 2024
-
Noticias6 meses agoDos periodistas octogenarios deman a ChatGPT por robar su trabajo
