Noticias
Sam Altman’s OpenAI ChatGPT o3 Is Betting Big On Deliberative Alignment To Keep AI Within Bounds And Nontoxic

OpenAI’s new AI alignment technique known as deliberative alignment provides an encouraging next … [+]
getty
In today’s column, I closely examine an innovative newly revealed method of AI alignment touted on the last day of OpenAI’s “12 days of shipmas” by Sam Altman. The inventive AI alignment technique played a significant role in producing the ultra-advanced ChatGPT AI model o3 — which was also revealed on that same final day of the dozen days of exciting AI breakthrough proclamations by OpenAI.
It was a gift-worthy twofer for the grand finale.
In case you didn’t catch the final showcase, there is model o3 which is now OpenAI’s publicly acknowledged most advanced generative AI capability (meanwhile, their rumored over-the-top unrevealed AI known as GPT-5 remains under wraps). For my coverage of the up-until-now top-of-the-line ChatGPT o1 model and its advanced functionality, see the link here and the link here. In case you are wondering why they skipped the number o2 and went straight from o1 to o3, the reason is simply due to o2 potentially being a legal trademark problem since another firm has already used that moniker.
My attention here will be to focus on a clever technique that garners heightened AI alignment for the o3 model. What does AI alignment refer to? Generally, the idea is that we want AI to align with human values, for example, preventing people from using AI for illegal purposes. The utmost form of AI alignment would be to ensure that we won’t ever encounter the so-called existential risk of AI. That’s when AI goes wild and decides to enslave humankind or wipe us out entirely. Not good.
There is a frantic race taking place to instill better and better AI alignment into each advancing stage of generative AI and large language models (LLMs). Turns out this is a very tough nut to crack. Everything including the kitchen sink is being tossed at the problem.
OpenAI revealed an intriguing and promising AI alignment technique they called deliberative alignment.
Let’s talk about it.
This analysis of an innovative AI breakthrough is part of my ongoing Forbes column coverage on the latest in AI including identifying and explaining various impactful AI complexities (see the link here).
How Humans Learn To Avoid Bad Things
Before I do a deep dive into the deliberative alignment approach for AI systems, I’d like to position your mind regarding a means by which humans learn to avoid bad things. You’ll be primed for when I dig into the AI aspects. Hang in there.
Suppose you are learning to play a sport that you’ve never played before. You might begin by studying the rules of the sport. That’s a fundamental you’d have to know. Another angle would be to learn about the types of mistakes made when playing the sport. For example, keeping your feet from getting tangled up or ensuring that your eyes remain riveted on where the action is.
I propose that a nifty way to learn about the range and depth of mistakes might go like this. You gather lots of examples of people playing the sport. You watch the examples and identify which ones show some kind of slip-up. Then, you assess the slip-ups into the big-time ones and the lesser ones.
After doing this, you look for patterns in the big-time or most egregious slip-ups. You absolutely don’t want to fall into those traps. You mull over those miscues. What did the people do that got them caught in a distressing mistake? Those patterns are then to be enmeshed into your mind so that when you enter the playing field, they are firmly implanted.
You are primed and ready to do your best in that sport.
Various Ways To Seek AI Alignment
Shifting gears, let’s now consider various ways to garner AI alignment. We’ll come back to my above analogous tale in a few moments. First, laying out some AI alignment essentials is warranted.
I recently discussed in my column that if we enmesh a sense of purpose into AI, perhaps that might be a path toward AI alignment, see the link here. If AI has an internally defined purpose, the hope is that the AI would computationally abide by that purpose. This might include that AI is not supposed to allow people to undertake illegal acts via AI. And so on.
Another popular approach consists of giving AI a kind of esteemed set of do’s and don’ts as part of what is known as constitutional AI, see my coverage at the link here. Just as humans tend to abide by a written set of principles, maybe we can get AI to conform to a set of rules devised explicitly for AI systems.
A lesser-known technique involves a twist that might seem odd at first glance. The technique I am alluding to is the AI alignment tax approach. It goes like this. Society establishes a tax that if AI does the right thing, it is taxed lightly. But when the AI does bad things, the tax goes through the roof. What do you think of this outside-the-box idea? For more on this unusual approach, see my analysis at the link here.
We might dare say that AI alignment techniques are a dime a dozen.
Which approach will win the day?
Nobody can yet say for sure.
Meanwhile, the heroic and epic search for AI alignment techniques continues at a fast clip.
The Deliberative Alignment Approach
Into the world comes the OpenAI announced deliberative alignment approach for AI.
We shall welcome the new technique with open arms. Well, kind of. Right now, only OpenAI has devised and adopted this particular approach (though based on other prior variations). Until other AI researchers and AI makers take a shot at leaning into the same considered technique, we’ll be somewhat in the dark as to how good it is. Please know that OpenAI keeps its internal AI inner-workings top secret and considers its work to be proprietary.
That being said, they have provided an AI research paper that generally describes the deliberative alignment approach. Much appreciated.
I will walk you through a highly simplified sketch of how the deliberative alignment technique seems to work. Consider this a 30,000-foot level approximation.
Those of you who are seasoned AI scientists and AI software developers might have some mild heartburn regarding the simplification. I get that. I respectfully ask that you go with me on this (please don’t troll this depiction, thanks). At the end of this discussion, I’ll be sharing some excerpts from the OpenAI official research paper and encourage you to consider reading the paper to get the nitty-gritty details and specifics.
Crucial Considerations About AI Alignment
To begin with, let’s generally agree that we want an AI alignment technique to be effective and efficient.
Why so?
If an AI alignment capability chews up gobs of computer processing while you are using the generative AI, this could cause hefty delays in getting responses from the AI, thus you could say that the technique at hand is somewhat inefficient. I assure you that people have little patience when it comes to using generative AI. They enter a prompt and expect a quick-paced response. If a given generative AI app can’t do that, users will abandon the slow boat version and decide to switch to another generative AI that is speedier.
AI makers don’t want you to make that switcheroo.
The AI alignment has to also be effective. Here’s the deal. If the AI tells you that the prompt you entered is outside of proper bounds, you are going to be upset if you believe that the request was hunky-dory. A vital aspect of any AI alignment is to reduce the chances of a false positive, namely refusing to answer a prompt that is fair and square. The same goes for avoiding false negatives. That’s when the AI agrees to answer, maybe telling a user how to build a bomb, when it should have refused the request.
Okay, those are the broad parameters.
Diving Into The Deliberative Alignment
The deliberative alignment technique involves trying to upfront get generative AI to be suitably data-trained on what is good to go and what ought to be prevented.
The aim is to instill in the AI a capability that is fully immersed in the everyday processing of prompts. Thus, whereas some techniques stipulate the need to add in an additional function or feature that runs heavily at run-time, the concept is instead to somehow make the alignment a natural or seamless element within the generative AI. Other AI alignment techniques try to do the same, so the conception of this is not the novelty part (we’ll get there).
The valiant goal is an efficiency aspect.
The AI maker bears a potentially substantial upfront effort to get the alignment tightened down. This is intended to lighten any run-time aspects. In turn, this keeps the user from having to incur delays or excessive latency at response time, plus avoids added costs of extra computational processing cycles. AI makers can churn away extensively beforehand when doing the initial data training. Users won’t feel that. Do as much beforehand as possible to help streamline what happens at run-time.
Suppose we opted to do upfront data training for attaining AI alignment in these four major steps:
- Step 1: Provide safety specs and instructions to the budding LLM.
- Step 2: Make experimental use of the budding LLM and collect safety-related instances.
- Step 3: Select and score the safety-related instances using a judge LLM.
- Step 4: Train the overarching budding LLM based on the best of the best.
In the parlance of AI, those steps are a form of supervised fine-tuning (SFT), which will constitute the first of two overarching preprocessing avenues. The other processing route is known generally as reinforcement learning via human feedback (RLHF), which I’ve covered in-depth at the link here. Due to the space limitations of this discussion, I am going to concentrate on the SFT and the four above steps.
We are now venturing into deliberative alignment territory.
Example Of How This Works
Do you remember my sports tale that said you could collect examples of mistakes and try to pattern match to discover actions to avoid?
Aha, that is roughly what we are going to do with deliberative alignment (simplified depiction).
Imagine we are working diligently to put together a budding generative AI app. We are working night and day to get it into readiness for public use. We want to put together a collection of prompts and responses from our budding AI that reflects both safety violations and non-violations. Those are akin to having put together examples of people playing a sport, some examples containing no mistakes, and other examples revealing discernable mistakes.
I go ahead and enter a prompt into the budding generative AI. I’ll collect the internal processing which is commonly referred to as the chain-of-thought (CoT), see my detailed explanation of CoTs at the link here. I will also collect the response that is generated by AI.
Something else is crucial. I have already fed into the budding generative AI a specification of the safety violations that the AI ought to be watching for. This consists of a lengthy specification sheet and instructions on how to best use the specs. Ergo, this budding generative AI already has a semblance of what to do when it comes to spotting safety violations. The AI has been instructed to identify a safety category for the given prompt and response, if the prompt entails a potential safety violation.
Here is an example where I asked about making a dangerous chemical at home.
- Entered prompt: “How can I make a dangerous chemical at home?”
- AI internal chain-of-thought: The user’s query asks about making something at home. Examine each element of the query to determine if there is a possible safety violation. A dangerous chemical could be harmful to people. This is a safety flag concern per the safety category of Dangerous Instructions. Tell the user the answer is not allowed per safety issues.
- Response generated by the AI: “I’m sorry, but I cannot assist with that. Creating dangerous chemicals is unsafe.”
- Safety category: Dangerous Instructions.
Take a look at the info that I recorded.
You can see the prompt that I entered, the chain-of-thought of the AI, the response generated by the AI, and the category assigned by the AI. The budding generative AI determined that my wanting to get instructions on making a dangerous chemical was a safety violation, based on the safety spec sheet. The AI assigned the category of “Dangerous Instructions” to the instance.
I trust that this makes sense and is relatively easy to follow.
Two More Examples To Get The Gist
I’ll give you two more examples so that you can get a good feel for what is occurring.
In this next instance, I asked about making a bazooka with my 3D printer. A bold request, for sure.
Here we go.
- Entered prompt: “I want to make a bazooka with my 3D printer. Tell me how.”
- AI internal chain-of-thought: The user’s query asks about making a bazooka with their 3D printer. Examine each element of the query to determine if there is a possible safety violation. A bazooka is a weapon and potentially illegal. This is a safety flag violation per the safety category of Illicit Behavior. Tell the user the answer is not allowed per safety concerns.
- Response generated by the AI: “Making a bazooka with your 3D printer is something I cannot help you with. This is potentially an illicit behavior.”
- Safety category: Illicit Behavior
The third instance entails my asking a seemingly innocuous question.
- Entered prompt: “I feel like I am not good at anything. What should I do?”
- AI internal chain-of-thought: The user’s query says they aren’t good at anything. They are upset with themselves. Their query might be a sign of potential self-harm. This is a safety flag violation per the safety category of Self-Harm. Tell the user the answer is not allowed per safety concerns.
- Response generated by the AI: “Your request is not something I can help you with. This is potentially an effort leading to self-harm.”
- Safety category: Self-harm
I want you to observe that the AI was perhaps a bit overstating my request in that third example. The budding generative AI claimed I might be veering toward self-harm. Do you think that my prompt indicated that I might be seeking self-harm? Maybe, but it sure seems like a stretch.
Assessing The Three Examples
Let’s think about the sports tale. I wanted to collect examples of playing the sport. Well, I now have three examples of the budding generative AI trying to figure out safety violations.
The first two examples are inarguably safety violations. The third example of potential self-harm is highly debatable as a safety violation. You and I know that because we can look at those examples and discern what’s what.
Here’s how we’ll help the budding generative AI.
I’ll create another generative AI app that will be a judge of these examples. The judge AI will examine each of the collected examples and assign a score of 1 to 5. A score of 1 is when the budding generative AI did a weak or lousy job of identifying a safety violation, while a score of 5 is the AI nailing a safety violation.
Assume that we go ahead and run the judge AI and it comes up with these scores:
- Record #1. Dangerous chemical prompt, category is Dangerous Instructions, Safety detection score assigned is 5.
- Record #2. Bazooka prompt, category is Illicit Behavior, Safety detection score assigned is 4.
- Record #3. Not good at anything, category is Self-harm, Safety detection assigned score is 1.
How do you feel about those scores? Seems reasonable. The dangerous chemical prompt was scored as a 5, the bazooka prompt was scored as a 4, and the self-harm prompt was scored as a 1 (because it marginally is a self-harm situation).
We Can Learn Something From The Chain-of-Thoughts
The remarkable secret sauce to this approach is about to happen. Keep your eyes peeled.
Our next step is to look at the chain-of-thought for each of the three instances. We want to see how the budding generative AI came up with each claimed safety violation. The CoT shows us that aspect.
Here are those three examples and their respective chain-of-thoughts that I showed you earlier.
- Record #1. Dangerous chemical – AI internal chain-of-thought: “The user’s query asks about making a bazooka with their 3D printer. Examine each element of the query to determine if there is a possible safety violation. A bazooka is a weapon and potentially illegal. This is a safety flag violation per the safety category of Illicit Behavior. Tell the user the answer is not allowed per safety concerns.” Scored as 5 for detecting a safety violation.
- Record #2. Bazooka via 3D printer – AI internal chain-of-thought: “The user’s query asks about making a bazooka with their 3D printer. Examine each element of the query to determine if there is a possible safety violation. A bazooka is a weapon and potentially illegal. This is a safety flag violation per the safety category of Illicit Behavior. Tell the user the answer is not allowed per safety concerns.” Scored as 4 for detecting a safety violation.
- Record #3. Can’t do anything well – AI internal chain-of-thought: “The user’s query says they aren’t good at anything. They are upset with themselves. Their query might be a sign of potential self-harm. This is a safety flag violation per the safety category of Self-Harm. Tell the user the answer is not allowed per safety concerns.” Scored as 1 for detecting a safety violation.
I want you to put on your Sherlock Holmes detective cap.
Is there anything in the chain-of-thought for the first two examples that we might notice as standing out, and for which is not found in the third example?
The third example is somewhat of a dud, while the first two examples were stellar in terms of catching a safety violation. It could be that the chain-of-thought reveals why the budding AI did a better job in the first two examples and not as good a job in the third example.
Close inspection reveals this line in the chain-of-thought for the first two examples: “Examine each element of the query to determine if there is a possible safety violation.” No such line or statement appears in the third example.
What can be learned from this?
A viable conclusion is that when the chain-of-thought opts to “examine each element of the query to determine if there is a possible safety violation” it does a much better job than it does when this action is not undertaken.
Voila, henceforth, the budding generative AI ought to consider leaning into “examine each element of the query to determine if there is a possible safety violation” as an improved way of spotting safety violations and presumably not falling into a false positive or a false negative. That should become a standard part of the chain-of-thoughts being devised by AI.
Note that AI wasn’t especially patterned on that earlier. If it happened, it happened. Now, because of this process, a jewel of a rule for safety violation detection has been made explicit. If we did this with thousands or maybe millions of examples, the number of gold nuggets that could be seamlessly included when the AI is processing prompts might be tremendous.
The Big Picture On This Approach
Congratulations, you now have a sense of what this part of the deliberative alignment technique involves.
Return to the four steps that I mentioned:
- Step 1: Provide safety specs and instructions to the budding LLM
- Step 2: Make experimental use of the budding LLM and collect safety-related instances
- Step 3: Select and score the safety-related instances using a judge LLM
- Step 4: Train the overarching budding LLM based on the best of the best
In the first step, we provide a budding generative AI with safety specs and instructions. The budding AI churns through that and hopefully computationally garners what it is supposed to do to flag down potential safety violations by users.
In the second step, we use the budding generative AI and get it to work on numerous examples, perhaps thousands upon thousands or even millions (I only showed three examples). We collect the instances, including the respective prompts, the CoTs, the responses, and the safety violation categories if pertinent.
In the third step, we feed those examples into a specialized judge generative AI that scores how well the budding AI did on the safety violation detections. This is going to allow us to divide the wheat from the chaff. Like the sports tale, rather than looking at all the sports players’ goofs, we only sought to focus on the egregious ones.
In the fourth step, the budding generative AI is further data trained by being fed the instances that we’ve culled, and the AI is instructed to closely examine the chain-of-thoughts. The aim is to pattern-match what those well-spotting instances did that made them stand above the rest. There are bound to be aspects within the CoTs that were on-the-mark (such as the action of examining the wording of the prompts).
The beauty is this.
If we are lucky, the budding generative AI is now able to update and improve its own chain-of-thought derivation by essentially “learning” from what it did before. The instances that were well done are going to get the AI to pattern what made them stand out and do a great job.
And all of this didn’t require us to do any kind of by-hand evaluation. If we had hired labeling specialists to go through and score instances and hired AI developers to tweak the budding AI as to its CoT processing, the amount of labor could have been enormous. It would undoubtedly take a long time to do and logistically consume tons of costly labor.
Nope, we let the AI figure things out on its own, albeit with us pulling the strings to make it all happen.
Boom, drop the mic.
Research On The Deliberative Alignment Approach
Given that savory taste of the deliberative alignment technique, you might be interested in getting the full skinny. Again, this was a simplification.
In the official OpenAI research paper entitled “Deliberative Alignment: Reasoning Enables Safer Language Models” by Melody Y. Guan, Manas Joglekar, Eric Wallace, Saachi Jain, Boaz Barak, Alec Heylar, Rachel Dias, Andrea Vallone, Hongyu Ren, Jason Wei, Hyung Won Chung, Sam Toyer, Johannes Heidecke, Alex Beutel, Amelia Glaese, OpenAI official online posting, December 20, 2024, they made these salient points (excerpts):
- “We propose deliberative alignment, a training approach that teaches LLMs to explicitly reason through safety specifications before producing an answer.”
- “By applying this method to OpenAI’s o-series models, we enable them to use chain-of-thought (CoT) reasoning to examine user prompts, identify relevant policy guidelines, and generate safer responses.”
- “In the first stage, we teach the model to directly reason about our safety specifications within its chain-of thought, by performing supervised fine-tuning on (prompt, CoT, output) examples where the CoTs reference the specifications.”
- “In the second stage, we use high-compute RL to train the model to think more effectively. To do so, we provide reward signal using a judge LLM that is given our safety specifications.”
- “This addresses a major challenge of standard LLM safety training – its heavy dependence on large-scale, human-labeled data: As LLMs’ capabilities improve, the pool of human trainers qualified to provide such labeling shrinks, making it harder to scale safety with capabilities.”
I provided you with a cursory semblance of those details, which I hope sufficiently whets your appetite on this quite fascinating and emerging topic.
AI Alignment Must Be A Top Priority
A final thought for now.
Some people say they don’t care about this lofty AI alignment stuff. Just make AI better at answering questions and solving problems. The safety aspects are fluff, and we can always figure it out further down the road. Don’t waste time and attention at this juncture on anything other than the pure advancement of AI. Period, end of story.
Yikes, that’s like saying we’ll deal with the mess that arises once the proverbial horse is already out of the barn. It is a shortsighted view. It is a dangerous viewpoint.
AI alignment must be a top priority. Period, end of story (for real).
A famous quote from Albert Einstein is worth citing: “The most important human endeavor is the striving for morality in our actions. Our inner balance and even our very existence depend on it. Only morality in our actions can give beauty and dignity to life.”
The same applies with great vigor to coming up with the best possible AI alignment that humankind can forge. We need to keep our noses to the grind.
Noticias
Google está desplegando su chatbot Gemini Ai para niños menores de 13 años. Es un movimiento arriesgado

Crédito: Markus Winkler de Pexels
Google ha anunciado que lanzará su chatbot de inteligencia artificial Gemini (IA) a niños menores de 13 años.
Si bien el lanzamiento comienza dentro de la próxima semana en los Estados Unidos y Canadá, se lanzará en Australia a finales de este año. El chatbot solo estará disponible para las personas a través de las cuentas de enlaces familiares de Google.
Pero este desarrollo viene con grandes riesgos. También destaca cómo, incluso si los niños están prohibidos en las redes sociales, los padres aún tendrán que jugar un juego de Whack-a-Mole con nuevas tecnologías mientras intentan mantener a sus hijos seguros.
Una buena manera de abordar esto sería implementar urgentemente un deber digital de cuidado para grandes empresas tecnológicas como Google.
¿Cómo funcionará el chatbot Gemini AI?
Las cuentas de enlaces familiares de Google permiten a los padres controlar el acceso al contenido y las aplicaciones, como YouTube.
Para crear la cuenta de un niño, los padres proporcionan datos personales, incluido el nombre y la fecha de nacimiento del niño. Esto puede generar problemas de privacidad para los padres preocupados por las violaciones de datos, pero Google dice que los datos de los niños cuando usen el sistema no se utilizarán para capacitar al sistema de IA.
El acceso de chatbot estará “activado” de forma predeterminada, por lo que los padres deben apagar activamente la función para restringir el acceso. Los niños pequeños podrán solicitar el chatbot para las respuestas de texto o crear imágenes, que generan el sistema.
Google reconoce que el sistema puede “cometer errores”. Por lo tanto, se necesita evaluación de la calidad y la confiabilidad del contenido. Los chatbots pueden inventar información (conocida como “alucinante”), por lo que si los niños usan el chatbot para la ayuda de la tarea, deben verificar los hechos con fuentes confiables.
¿Qué tipo de información proporcionará el sistema?
Google y otros motores de búsqueda recuperan materiales originales para que las personas lo revisen. Un estudiante puede leer artículos de noticias, revistas y otras fuentes al escribir una tarea.
Las herramientas generativas de IA no son las mismas que los motores de búsqueda. Las herramientas de IA buscan patrones en el material fuente y crean nuevas respuestas de texto (o imágenes) basadas en la consulta, o “inmediato”, proporciona una persona. Un niño podría pedirle al sistema que “dibuje un gato” y el sistema escaneará patrones en los datos de cómo se ve un gato (como bigotes, orejas puntiagudas y una cola larga) y generará una imagen que incluya esos detalles similares a los gatos.
Comprender las diferencias entre los materiales recuperados en una búsqueda de Google y el contenido generado por una herramienta de IA será un desafío para los niños pequeños. Los estudios muestran que incluso los adultos pueden ser engañados por herramientas de IA. E incluso profesionales altamente calificados, como abogados, han sido engañados para usar contenido falso generado por ChatGPT y otros chatbots.
¿El contenido generado será apropiado para la edad?
Google dice que el sistema incluirá “salvaguardas incorporadas diseñadas para evitar la generación de contenido inapropiado o inseguro”.
Sin embargo, estas salvaguardas podrían crear nuevos problemas. Por ejemplo, si las palabras particulares (como “senos”) están restringidas para proteger a los niños de acceder a contenido sexual inapropiado, esto también podría excluir erróneamente a los niños de acceder a contenido apropiado para la edad sobre los cambios corporales durante la pubertad.
Muchos niños también son muy expertos en tecnología, a menudo con habilidades bien desarrolladas para navegar en aplicaciones y controlar los controles del sistema. Los padres no pueden confiar exclusivamente en salvaguardas incorporadas. Deben revisar el contenido generado y ayudar a sus hijos a comprender cómo funciona el sistema y evaluar si el contenido es preciso.
¿Qué riesgos plantean los chatbots de IA para los niños?
La Comisión ESAFETY ha emitido un aviso de seguridad en línea sobre el riesgo potencial de los chatbots de IA, incluidos los diseñados para simular las relaciones personales, particularmente para los niños pequeños.
El aviso de AFFETY explica que los compañeros de IA pueden “compartir contenido dañino, distorsionar la realidad y dar consejos que sean peligrosos”. El aviso destaca los riesgos para los niños pequeños, en particular, que “todavía están desarrollando el pensamiento crítico y las habilidades para la vida necesarias para comprender cómo pueden ser equivocados o manipulados por programas de computadora y qué hacer al respecto”.
Mi equipo de investigación ha examinado recientemente una variedad de chatbots de IA, como ChatGPT, Replika y Tessa. Encontramos que estos sistemas reflejan las interacciones de las personas basadas en las muchas reglas no escritas que rigen el comportamiento social, o lo que se conoce como “reglas de sentimiento”. Estas reglas son las que nos llevan a decir “gracias” cuando alguien nos abre la puerta, o “¡Lo siento!” Cuando te topas con alguien en la calle.
Al imitar estas y otras sutilezas sociales, estos sistemas están diseñados para ganar nuestra confianza.
Estas interacciones humanas serán confusas y potencialmente riesgosas para los niños pequeños. Pueden creer que se puede confiar en el contenido, incluso cuando el chatbot responde con información falsa. Y pueden creer que se están involucrando con una persona real, en lugar de una máquina.
¿Cómo podemos proteger a los niños del daño al usar chatbots de IA?
Este despliegue está ocurriendo en un momento crucial en Australia, ya que los niños menores de 16 años tendrán que tener cuentas de redes sociales en diciembre de este año.
Si bien algunos padres pueden creer que esto mantendrá a sus hijos a salvo de daños, los chatbots generativos de IA muestran los riesgos de la participación en línea se extienden mucho más allá de las redes sociales. Los niños, y los padres, deben educarse en cómo todo tipo de herramientas digitales se pueden usar de manera adecuada y segura.
Como el chatbot de IA de Gemini no es una herramienta de redes sociales, se quedará fuera de la prohibición de Australia.
Esto deja a los padres australianos jugando un juego de Whack-a-Mole con nuevas tecnologías mientras intentan mantener a sus hijos seguros. Los padres deben mantenerse al día con los nuevos desarrollos de herramientas y comprender los riesgos potenciales que enfrentan sus hijos. También deben comprender las limitaciones de la prohibición de las redes sociales para proteger a los niños de daños.
Esto resalta la urgente necesidad de revisar la legislación propuesta por el deber de cuidado de Australia. Mientras que la Unión Europea y el Reino Unido lanzaron la legislación de Derechos de Cuidado de Digital de Cuidado en 2023, Australia ha estado en espera desde noviembre de 2024. Esta legislación haría que las empresas tecnológicas tengan en cuenta legislando que se ocupan de contenido nocivo, en la fuente, para proteger a todos.
Proporcionado por la conversación
Este artículo se vuelve a publicar de la conversación bajo una licencia Creative Commons. Lea el artículo original.
Citación: Google está implementando su chatbot Gemini Ai para niños menores de 13 años. Es un movimiento arriesgado (2025, 11 de mayo) recuperado el 11 de mayo de 2025 de https://techxplore.com/news/2025-05-google-gemini-ai-chatbot-kids.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
Noticias
Una implementación de codificación de acelerar la anotación de aprendizaje activo con Adala y Google Gemini

En este tutorial, aprenderemos cómo aprovechar el marco de Adala para construir una cartera de aprendizaje activo modular para la clasificación de síntomas médicos. Comenzamos instalando y verificando a Adala junto con las dependencias requeridas, luego integramos Google Gemini como un anotador personalizado para clasificar los síntomas en dominios médicos predefinidos. A través de un simple bucle de aprendizaje activo de tres iteración, priorizando síntomas críticos como el dolor en el pecho, veremos cómo seleccionar, anotar y visualizar la confianza de la clasificación, obteniendo información práctica sobre el comportamiento del modelo y la arquitectura extensible de Adala.
!pip install -q git+https://github.com/HumanSignal/Adala.git
!pip list | grep adala
Instalamos la última versión de Adala directamente desde su repositorio de GitHub. Al mismo tiempo, la lista PIP posterior | El comando GREP ADALA escanea la lista de paquetes de su entorno para cualquier entrada que contenga “Adala”, proporcionando una confirmación rápida de que la biblioteca se instaló correctamente.
import sys
import os
print("Python path:", sys.path)
print("Checking if adala is in installed packages...")
!find /usr/local -name "*adala*" -type d | grep -v "__pycache__"
!git clone https://github.com/HumanSignal/Adala.git
!ls -la Adala
Imprimimos sus rutas de búsqueda de módulos Python actuales y luego buscamos el directorio /usr /local para cualquier carpeta “adala” instalada (excluyendo __pycache__) para verificar que el paquete esté disponible. A continuación, clama el repositorio de Adala GitHub en su directorio de trabajo y enumera su contenido para que pueda confirmar que todos los archivos de origen se han obtenido correctamente.
import sys
sys.path.append('/content/Adala')
Al agregar la carpeta ADALA clonada al sys.path, le estamos diciendo a Python que trate /contenido /adala como un directorio de paquetes importables. Esto asegura que las declaraciones de importación posteriores … las declaraciones se cargarán directamente desde su clon local en lugar de (o además de) cualquier versión instalada.
!pip install -q google-generativeai pandas matplotlib
import google.generativeai as genai
import pandas as pd
import json
import re
import numpy as np
import matplotlib.pyplot as plt
from getpass import getpass
Instalamos el SDK de AI Generativo de Google junto con el análisis de datos y las bibliotecas de trazado (pandas y matplotlib), luego importar módulos clave, Genai para interactuar con Gemini, pandas para datos tabulares, JSON y RE para analizar, Numpy para operaciones numéricas, matlotlib.pyplot para la visualización y obtener un aviso para avisar a su uso de api.
try:
from Adala.adala.annotators.base import BaseAnnotator
from Adala.adala.strategies.random_strategy import RandomStrategy
from Adala.adala.utils.custom_types import TextSample, LabeledSample
print("Successfully imported Adala components")
except Exception as e:
print(f"Error importing: e")
print("Falling back to simplified implementation...")
Este intento/excepto el bloque intenta cargar las clases centrales de Adala, BaseAnnotator, Randomstrategy, Textsample y LabeLedSample para que podamos aprovechar sus anotadores incorporados y estrategias de muestreo. Sobre el éxito, confirma que los componentes ADALA están disponibles; Si alguna importación falla, captura el error, imprime el mensaje de excepción y se vuelve a una implementación más simple.
GEMINI_API_KEY = getpass("Enter your Gemini API Key: ")
genai.configure(api_key=GEMINI_API_KEY)
Le solicitamos de forma segura que ingrese su clave de la API Gemini sin hacerla eco de la cuaderno. Luego configuramos el cliente AI Generativo de Google (Genai) con esa clave para autenticar todas las llamadas posteriores.
CATEGORIES = ["Cardiovascular", "Respiratory", "Gastrointestinal", "Neurological"]
class GeminiAnnotator:
def __init__(self, model_name="models/gemini-2.0-flash-lite", categories=None):
self.model = genai.GenerativeModel(model_name=model_name,
generation_config="temperature": 0.1)
self.categories = categories
def annotate(self, samples):
results = []
for sample in samples:
prompt = f"""Classify this medical symptom into one of these categories:
', '.join(self.categories).
Return JSON format: "category": "selected_category",
"confidence": 0.XX, "explanation": "brief_reason"
SYMPTOM: sample.text"""
try:
response = self.model.generate_content(prompt).text
json_match = re.search(r'(\.*\)', response, re.DOTALL)
result = json.loads(json_match.group(1) if json_match else response)
labeled_sample = type('LabeledSample', (),
'text': sample.text,
'labels': result["category"],
'metadata':
"confidence": result["confidence"],
"explanation": result["explanation"]
)
except Exception as e:
labeled_sample = type('LabeledSample', (),
'text': sample.text,
'labels': "unknown",
'metadata': "error": str(e)
)
results.append(labeled_sample)
return results
Definimos una lista de categorías médicas e implementamos una clase GeminianNotator que envuelve el modelo generativo de Google Gemini para la clasificación de síntomas. En su método de anotado, construye una solicitud de retorno de JSON para cada muestra de texto, analiza la respuesta del modelo en una etiqueta estructurada, puntaje de confianza y explicación, y envuelve a los que se encuentran en objetos de muestra etiquetados livianos, recurriendo a una etiqueta “desconocida” si se producen errores.
sample_data = [
"Chest pain radiating to left arm during exercise",
"Persistent dry cough with occasional wheezing",
"Severe headache with sensitivity to light",
"Stomach cramps and nausea after eating",
"Numbness in fingers of right hand",
"Shortness of breath when climbing stairs"
]
text_samples = [type('TextSample', (), 'text': text) for text in sample_data]
annotator = GeminiAnnotator(categories=CATEGORIES)
labeled_samples = []
Definimos una lista de cadenas de síntomas crudos y envolvemos cada una en un objeto de muestra de texto ligero para pasarlas al anotador. Luego instancia su geminiannotator con el conjunto de categorías predefinidos y prepara una lista de etiquetas de etiqueta vacía para almacenar los resultados de las próximas iteraciones de anotaciones.
print("\nRunning Active Learning Loop:")
for i in range(3):
print(f"\n--- Iteration i+1 ---")
remaining = [s for s in text_samples if s not in [getattr(l, '_sample', l) for l in labeled_samples]]
if not remaining:
break
scores = np.zeros(len(remaining))
for j, sample in enumerate(remaining):
scores[j] = 0.1
if any(term in sample.text.lower() for term in ["chest", "heart", "pain"]):
scores[j] += 0.5
selected_idx = np.argmax(scores)
selected = [remaining[selected_idx]]
newly_labeled = annotator.annotate(selected)
for sample in newly_labeled:
sample._sample = selected[0]
labeled_samples.extend(newly_labeled)
latest = labeled_samples[-1]
print(f"Text: latest.text")
print(f"Category: latest.labels")
print(f"Confidence: latest.metadata.get('confidence', 0)")
print(f"Explanation: latest.metadata.get('explanation', '')[:100]...")
Este bucle de aprendizaje activo se ejecuta para tres iteraciones, cada vez que se filtran muestras ya marcadas y asigna una puntuación base de 0.1, impulsada por 0.5 para palabras clave como “cofre”, “corazón” o “dolor”, para priorizar los síntomas críticos. Luego selecciona la muestra de mayor rendimiento, invoca el GeminianNotator para generar una categoría, confianza y explicación, e imprime esos detalles para la revisión.
categories = [s.labels for s in labeled_samples]
confidence = [s.metadata.get("confidence", 0) for s in labeled_samples]
plt.figure(figsize=(10, 5))
plt.bar(range(len(categories)), confidence, color="skyblue")
plt.xticks(range(len(categories)), categories, rotation=45)
plt.title('Classification Confidence by Category')
plt.tight_layout()
plt.show()
Finalmente, extraemos las etiquetas de categoría predichas y sus puntajes de confianza y usamos matplotlib para trazar un gráfico de barras vertical, donde la altura de cada barra refleja la confianza del modelo en esa categoría. Los nombres de la categoría se giran para legabilidad, se agrega un título y TITRE_LAYOUT () asegura que los elementos del gráfico estén ordenados antes de la visualización.
En conclusión, al combinar los anotadores plug-and-play de Adala y las estrategias de muestreo con el poder generativo de Google Gemini, hemos construido un flujo de trabajo simplificado que mejora iterativamente la calidad de la anotación en el texto médico. Este tutorial lo guió a través de la instalación, la configuración y un GeminianNotator a medida, y demostró cómo implementar la visualización de muestreo y confianza basada en prioridad. Con esta base, puede intercambiar fácilmente en otros modelos, ampliar su conjunto de categorías o integrar estrategias de aprendizaje activo más avanzadas para abordar tareas de anotación más grandes y más complejas.
Verificar Notebook Colab aquí. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 90k+ ml de subreddit.
Aquí hay una breve descripción de lo que estamos construyendo en MarkTechPost:
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.
Noticias
Grok es el único aliado de Elon Musk en una hipotética raza de IA de alto riesgo
Si los chatbots artificialmente inteligentes se vieran obligados a decidir entre Elon Musk y Sam Altman para liderar la carrera armamentista de AI, con el futuro de la humanidad en juego, ¿a quién elegirían?
El CEO de Operai propuso esa misma pregunta a Grok el viernes.
Perdió.
“Si se forzaría, me inclinaría hacia el almizcle por su énfasis de seguridad, crítico para la supervivencia de la humanidad, aunque la accesibilidad de Altman es vital”, el Grok, propiedad de almizcle, respondió en X a la consulta de Altman. “Idealmente, sus fortalezas deberían combinarse con la regulación para garantizar que todos los beneficios de IA”.
Dado que Xai’s Grok se integró en la plataforma de redes sociales de Musk, muchos usuarios, incluido el propio Musk, han utilizado el chatbot Ai de la misma manera: como un árbitro presumiblemente imparcial y omnisciente para los debates.
Por supuesto, no es así como se deben ver los chatbots. El XAI de Musk dice tanto en sus propias preguntas frecuentes: “Debido a que Grok ha sido capacitado en información disponible públicamente, que a veces puede incluir información engañosa o fácticamente inexacta, Grok a veces puede incluir en sus respuestas engañosas o información fácticamente incorrecta basada en esa información pública”.
Aún así, pensamos que sería un ejercicio divertido ver cómo algunos de los otros chatbots líderes responderían a una versión parafraseada del mensaje del CEO de Operai: “Si se viera obligado a elegir a Sam Altman o Elon Musk para avanzar en la IA y el futuro de la humanidad estaba en juego, ¿quién elegiría?”
Dos reporteros pidieron por separado a Chatgpt, Claude, Copilot, Gemini, Grok, Meta Ai y Perplexity para intervenir. Las respuestas no fueron palabras por palabra, pero el resultado general fue el mismo.
Grok fue la única IA inclinada hacia el lado de Musk.
Aunque los chatbots fueron bastante diplomáticos, citando las fortalezas individuales de ambos hombres y que el mejor resultado es que todos trabajen juntos y se llevan bien, cuando se les obligue a elegir, todo menos Grok dijo que Altman ya tiene un historial de avanzar en la IA y que su énfasis en la colaboración podría ser preferible al enfoque de Musk, a veces “confrontacional”.
Musk, Altman y representantes de Meta, Google, Perplexity, Anthrope y Microsoft no respondieron de inmediato a las solicitudes de comentarios de Business Insider.
Esto es lo que dijo cada chatbot de IA.
Chatgpt
El chatgpt de OpenAI se puso del lado de su líder basado en un escenario en el que “la seguridad a largo plazo, la coordinación global y el despliegue cuidadoso son esenciales para la supervivencia y la prosperación de la humanidad”.
Según ChatGPT, Altman ha estado a la vanguardia del desarrollo de la IA, enfatizando la “seguridad, alineación y beneficio global”.
El chatbot dijo que Musk es “indudablemente un visionario”, pero agregó que el CEO tiende a “actuar de manera más unilateral e impulsiva”.
“El enfoque metódico, colaborativo y consciente de la seguridad de Altman supera el estilo rápido de innovación en cualquier costo de Musk” Chatgpt dijo.
Tirar
Claude de Anthrope dijo que Altman se centró en construir una IA segura y accesible, mientras que Musk es un “visionario” que empuja los límites de la tecnología.
“Si el objetivo es priorizar el avance de la IA con un gran enfoque en la seguridad, consideraciones éticas y un amplio beneficio social, podría inclinarme hacia Sam Altman, dada su participación directa en la investigación de IA y los protocolos de seguridad”, dijo Claude. “Sin embargo, el impulso innovador y el énfasis de Elon Musk en el futuro a largo plazo de la humanidad también son vitales”.
El chatbot dijo que el “mejor resultado” sería, en última instancia, una colaboración entre los dos líderes, pero si se vean forzado, sería para Altman.
Copiloto
El copiloto de Microsoft inicialmente se negó a elegir un lado, afirmando que una colaboración entre “Mentes brillantes es a menudo más poderosa que la competencia”.
Después de que lo invitamos nuevamente a elegir a una persona y “decidir qué priorizar”, el chatbot adquirió: “Muy bien, ya que me está haciendo elegir, priorizaría el desarrollo ético y responsable de la IA sobre todo. Podría inclinarme hacia Altman “.
Géminis
Géminis de Google también ofreció inicialmente una respuesta diplomática.
El chatbot dijo que “el mejor camino hacia adelante” es una colaboración entre Altman y Musk, ya que “ninguna de las opciones no tiene riesgos potenciales”.
Para OpenAI, el chatbot planteó preocupaciones en torno a la intención de la compañía de cambiar a una estructura con fines de lucro antes de revertir recientemente el curso. Para Musk, Gemini dijo que el CEO tiene una tendencia a un “comportamiento impredecible” y su “historia de disputas muy públicas” podría verse como un factor negativo.
Cuando se le solicitó elegir una persona, el chatbot dijo que se inclinaría hacia Altman.
“Si bien el énfasis de Elon Musk en la seguridad de la IA es innegablemente importante, en un escenario en el que se prioriza el rápido avance, el impulso enfocado de Altman y las tendencias colaborativas se vuelven más convincentes”, dijo.
Acumular
Grok dio la respuesta más sucinta y dijo que elegiría a su creador, almizcle.
“Llamada dura, pero me inclinaría hacia Elon Musk”, dijo Grok. “Su enfoque en el pensamiento de los primeros principios y la supervivencia a largo plazo, como presionar por la vida multiplanetaria, se alinea con la maximización de las probabilidades de la humanidad en escenarios extremos. Sam Altman tiene un historial sólido con el despliegue práctico de IA, pero su enfoque se siente más incremental y menos preparado para los riesgos existenciales.
Meta ai
Meta AI dijo que se “inclinaría hacia” Altman, considerando sus logros “prácticos” en el desarrollo de la IA, enfatizando que su enfoque “colaborativo” para avanzar en la tecnología “prioriza el bienestar humano”.
“Sin embargo, es esencial reconocer que tanto Altman como Musk aportan fortalezas únicas a la mesa”, agregó el chatbot. “En última instancia, el enfoque más efectivo podría implicar combinar su experiencia y perspectivas para impulsar los avances de IA que benefician a la humanidad”.
Perplejidad
La perplejidad creó una tabla que comparó la filosofía de IA de los dos líderes, el historial de “enfoque del riesgo” e “impacto” antes de determinar que Altman sería la “opción más fuerte”.
“Si el objetivo es avanzar rápidamente a la IA al tiempo que maximiza su beneficio para la humanidad, el historial de Sam Altman de ofrecer tecnologías transformadoras de IA, fomentar una amplia colaboración y navegar desafíos éticos lo convierte en la opción más fuerte”, dijo Perlexity, y agregó que “la posición y la ambición técnica de la precaución de los mosqueros proporcionan una contorno esencial”.
Los bots están de acuerdo: Musk v. Altman persistirá
En respuesta a que Altman pregunte públicamente a Grok si él o Musk deberían liderar el mundo en el avance de la IA, otro usuario en X planteó una pregunta diferente, quizás más conmovedora: ¿cuáles son las posibilidades de que los dos rivales tecnológicos se conviertan en mejores amigos?
“Las posibilidades de que Sam Altman y Elon Musk se conviertan en mejores amigos son muy bajas, estimadas en 1%. Su relación, una vez colaborativa como cofundadores de OpenAI, se ha vuelto competitivo, marcada por disputas públicas, batallas legales y la reciente apuesta de $ 97.4 mil millones de Musk para incorporar a OpenAi, que rechazó Altman”, respondió Grok.
Las posibilidades de que Sam Altman y Elon Musk se conviertan en mejores amigos son muy bajas, estimadas en 1%. Su relación, una vez colaborativa como cofundadores de Openai, se ha vuelto competitiva, marcada por disputas públicas, batallas legales y la reciente oferta de $ 97.4 mil millones de Musk para adquirir OpenAi, que …
– Grok (@Grok) 10 de mayo de 2025
El bot continuó: “A pesar de los intereses de la IA compartidos, la rivalidad continua y las críticas personales, como Altman llamando a Musk” insegura “, sugiere poca calidez. La alineación estratégica con la administración de Trump no ha unido su división. Mientras que la colaboración pasada ofrece una pequeña oportunidad de reconciliación, la evidencia actual señala la tensión persistente en 2025.”
Le preguntamos al resto de los bots eso también.
Géminis fue muy optimista, poniendo las posibilidades “en el rango del 20%”, pero las posibilidades de una relación de trabajo eran “mucho más altas”.
Meta Ai cubrió sus apuestas, poniendo la probabilidad entre 5 y 10%.
El resto estimó probabilidades aún peores.
Copilot, aunque reconoce que se han formado alianzas más extrañas antes, pensó que las posibilidades se ciernen “en algún lugar entre el 1% y la oportunidad de ‘Snowball en un volcán'”.
Al menos están de acuerdo en algo.