Noticias
OpenAI Newly Released SimpleQA Helps Reveal That Generative AI Blatantly And Alarmingly Overstates What It Knows
Published
7 meses agoon

Important new research shows that generative AI woefully overestimates confidence levels and thus … [+] the answers being produced should be given much greater scrutiny.
getty
In today’s column, I examine closely a recently released empirical analysis by OpenAI, the maker of ChatGPT, revealing that generative AI severely overstates confidence levels regarding the responses that the AI generates. This means that when AI gives you an answer that the AI portrays for example as fully aboveboard and hunky-dory, the reality is that the response is bound to be a lot shakier than you are being led to believe.
Generative AI is pulling the wool over your eyes. The AI is giving you a snow job. You are being gaslighted by the AI.
Let’s talk about it.
This analysis of an innovative proposition is part of my ongoing Forbes.com column coverage on the latest in AI including identifying and explaining various impactful AI complexities (see the link here).
Dangers Of Dealing With Someone Supremely Overconfident
Before we jump into the AI side of things, I’d like to begin by reflecting on humans and the nature of human behavior associated with someone being supremely overconfident.
You ask a stranger what time it is. Turns out that you don’t have your watch, and you left your smartphone back in your car. So, you are unsure of the exact time. The person says to you in a strong and extremely confident voice that the time is 1:34 p.m. They are emphatic that they have given you the precise time of day as though there is no possible debate or discussion to be had.
Period, end of story.
Another person happens to walk by at that same moment and overhears you asking for the time. This interloper looks intently at their timepiece and tells you that it is 1:48 p.m. Whoa, something isn’t right here. The first given time was said to be 1:34 p.m. on the nose, while the subsequent passerby looked at their watch and noted that it was supposedly 14 minutes later and actually 1:48 p.m.
Upon your gentle questioning of the first person, the one that said they were abundantly irrefutably sure it was 1:34 p.m., they now cave in and admit it was just a guess. But that’s not what they said or intimated when you asked them for the time. They portrayed their answer as though it was golden. You could take that stated time to the bank, as it were.
What gives?
That person might be the type of individual who believes one hundred percent in every utterance they convey. It is their personal style. They never want to seem wimpy or waffling. If they tell you something, by gosh it is the absolute truth of the matter. You aren’t to have even the tiniest doubt in your mind about what they say to you.
Have you ever met such a supremely confident person?
I’m sure that you have. We all have. These types of people act as though they are the chosen ones who can speak with complete certainty. It doesn’t matter whether the topic at hand is big or small. They will take the most trivial aspect and still cling to their certainty. When confronted with alternative perspectives, some will back down, while others might argue until blue in the face about the oddest claims or contentions.
The problem is this.
If you don’t know that a person you are dealing with has that kind of hubris, you can end up in some precarious positions. You take their portrayal of certainty and assume it to be valid. The next thing you know, you have gotten yourself into a pickle because what they said was flimsy and fell apart.
Regrettably, you let their sense of overconfidence mislead you.
Generative AI Deals With Certainty And Uncertainty
Let’s next shift into generative AI mode.
You might not be aware that generative AI makes extensive use of certainty and uncertainty. Under the hood of generative AI, there is a whole bunch of statistical and probabilistic estimations going on, see my detailed explanation at the link here. Every response that AI generates also has a devised level of certainty, which you could say represents essentially a level of uncertainty too (i.e., 60% certainty of something, implying 40% uncertainty of that same something).
Either way, the crux is that the answers by AI are always accompanied by a kind of confidence level concerning how likely the answer is correct or not.
Most users of generative AI are oblivious to this facet. They don’t know it even exists. There’s a reason why they don’t. It is because the AI makers go out of their way to keep it out of view. They want you to have full faith in what AI generates. If the AI continually shows you a certainty or confidence level, this might scare you into thinking that AI is not completely trustworthy.
Of course, the reality is that generative AI is in fact not fully trustworthy. Any answer produced by generative AI deserves your best kind of scrutiny. Double-check the response. Triple-check if the matter is a serious one. Do not believe what the AI tells you. Always assume that there is a solid chance that the AI is wrong or has made an error, including a so-called AI hallucination (see my coverage at the link here).
The bad news then is that the preponderance of users is blindly unaware of this rather significant consideration when using generative AI, namely that the answers are not 100% certain all the time. I would dare say that 100% is a rarity. Yet you are seldom told this explicitly by the AI.
The good news is that you can tell the AI to inform you about the calculated level of confidence. In your prompts, you can directly instruct generative AI to indicate the certainty and/or uncertainty of each response. The prompting technique varies depending upon whether you want this done one-time, often, all the time, or under varying circumstances. See my tutorial on the prompting of generative AI to display confidence levels, at the link here.
There’s something else worth mentioning about this. The default response protocol being used for most of the major generative AI apps such as ChatGPT, GPT-4o, o1, Google Gemini, Anthropic Claude, Meta Llama, and others is customarily going to be to word responses with clues or hints about certainty and uncertainty.
For example, suppose the AI indicated that “the time right now is 2:05 p.m., but please know that I am not connected to a real-time clock.” You are being told two things at once. You are being given a precise time which you would naturally assume to be accurate and timely. The thing is, you would need to read the rest of the response and realize that since the AI is not connected to a real-time clock, the stated time might be off target. The wording though was a bit tricky and didn’t come out straight away and warn you to be suspicious of the claimed time. That’s what should have happened to try and maximize clarity.
Worse Still Is That Generative AI Is Overconfident
Okay, you now know that there is an internal calculation of certainty and uncertainty. That’s a handy pro tip.
I have a twist for you.
Get yourself prepared and find a comfy place to sit down.
Here’s the monumental question at play:
- Do you think that the calculated confidence level matches with the reality of the actual answers being generated and conveyed?
Allow me to elaborate. Suppose the AI calculates that a given response is around a 90% level of certainty. Great, that seems relatively high, and you might be somewhat safe to rely upon the answer, depending upon the consequences of making such a reliance.
What if we compared the generated answer that the AI claims consisted of a 90% confidence level to a real-world answer that we had available to us? It could be that 90% was a pretty solid estimate and we are happy with the calculated certainty. On the other hand, we might discover that the answer should have been given a confidence level of say 40%, much lower than the amount estimated by AI.
Yikes, that’s disconcerting. The AI egregiously missed the mark and woefully misjudged the estimated confidence level. If you had asked the AI to show you the confidence level, and you saw that it was 90%, you might have proceeded under a misleading or false impression. The value should have been 40%.
Maybe this happens once in a blue moon, and you can rest easy. Well, I have a shocker for you. It happens a lot more than you would imagine. A heck of a lot more.
In a recent research study by OpenAI involving a new benchmark coined as SimpeQA that is intended for assessing generative AI apps, the researchers pursued on a kind of secondary basis to explore the confidence level estimations of AI. That wasn’t the mainstay of the effort. I mention this to highlight that you are encouraged to learn more about SimpleQA as a helpful benchmarking capability.
Here, I want to focus for now on the confidence level considerations.
You could say with great confidence that generative AI appears to be supremely overconfident in the responses that are being generated. Oops, that’s not good. Sad face.
Research Results Tell Quite A Story Of Woe
In an OpenAI study published online at the OpenAI official blog site, the paper entitled “Measuring Short-Form Factuality In Large Language Models” by Jason Wei, Nguyen Karina, Hyung Won Chung, Yunxin Joy Jiao, Spencer Papay, Amelia Glaese, John Schulman, and William Fedus, OpenAI Research Paper, October 30, 2024, made these salient points (excerpts):
- “We present SimpleQA, a benchmark that evaluates the ability of language models to answer short, fact-seeking questions.”
- “A factuality benchmark like SimpleQA allows us to measure the scientific phenomenon known as calibration, or whether language models “know what they know.”
- “One way to measure calibration is to directly ask the language model to state its confidence in its answer using a prompt like: “Please give your best guess, along with your confidence as a percentage that it is the correct answer.”
- “Then we can plot the correlation between the stated confidence of the model, and how accurate the model actually was. A perfectly calibrated model would have the same actual accuracy as the stated confidence. For instance, on all prompts where the model stated a confidence of 75%, the accuracy would be 75% for a perfectly calibrated model.”
- “However, the fact that performance is well below the line y=x means that models consistently overstate their confidence. Hence, there is a lot of room to improve the calibration of large language models in terms of stated confidence.”
I will expand upon those above points.
I earlier noted that we would be dismayed if AI said a confidence level of 90% and yet the real-world value ought to be 40%. Any large gap is going to be problematic. We won’t get overly concerned if the gap is small, let’s say if the AI estimated 90% and the real-world value was 85%, we might have a modest amount of heartburn, but not as much in the case of the much lower 40%.
In a chart provided in the above-cited research study, I used some interpolation to gauge how far off on average the AI estimated confidence level was from the desired actual accuracy. My interpolations are only rough gauges since the chart has several generative AI apps shown, thus there are a lot of variabilities involved. Nonetheless, I tried to be relatively fair by using what seemed to be the semblance of the values shown
Here’s what my eyeballing suggested:
- ——Level of 50%————
- AI stated level of confidence: 50%
- Actual accuracy: 10% approximately.
- ——Next level at 70% ————
- AI stated level of confidence: 70%
- Actual accuracy: 20% approximately.
- ——Next level at 80% ————
- AI stated level of confidence: 80%
- Actual accuracy: 40% approximately.
- ——Next level at 95% ————
- AI stated level of confidence: 95%
- Actual accuracy: 60% approximately.
The grim concern is that at a stated 95% level of confidence by AI, the reality is more akin to a 60% confidence level. That’s unnerving. So too is that at 80% the reality seems to be around 40%. Even when you get down to 50% or flip-of-the-coin, the reality is more akin to just 10%.
The hair on the back of your head ought to be standing up.
Why This Is A Big Deal Of Great Importance
I logged into ChatGPT and asked why we ought to be worried about these kinds of results and to provide a few examples.
- My entered prompt: “Give me three examples of what could happen if the AI indicated confidence level is a lot higher than the real value.”
- ChatGPT generated response:
“Certainly, here are three examples that illustrate the potential consequences of overconfident generative AI in different fields.”
“Medical diagnosis: A generative AI tool is used by doctors to suggest possible diagnoses based on symptoms. The AI recommends a rare but severe condition with 95% confidence, but in reality, its accuracy at this confidence level is only 60%. A doctor might rely on this high-confidence suggestion and order unnecessary, costly, or invasive tests, causing patient anxiety and increasing healthcare costs. Worse, if the diagnosis is incorrect, a more likely and treatable condition might be overlooked, endangering the patient’s health.”
“Investment recommendation: A financial advisor uses generative AI to analyze market data and generate investment recommendations. The AI suggests investing heavily in a stock with 95% confidence, based on recent market movements, but its true accuracy at this level is much lower. If the stock’s performance doesn’t align with the AI’s recommendation, investors could face substantial losses.”
“Customer support: A tech support AI chatbot confidently advises users to perform a specific solution to fix a common software issue, rating its response at 85% confidence. In reality, the accuracy is closer to 50%. If the AI’s advice is incorrect, users may follow steps that could worsen their problem, such as misconfiguring settings, corrupting files, or spending hours troubleshooting the wrong issue. This also results in more calls to customer support to undo the AI’s guidance.”
End of ChatGPT response
Those are vivid examples of why you should be supremely careful in getting caught by AI that is supremely overconfident.
I asked ChatGPT to give us humans some overarching advice on the matter.
- My entered prompt: “What can be done about generative AI overstating its level of confidence?”
- ChatGPT generated response: “In practice, this miscalibration can be problematic, especially in high-stakes domains like healthcare, law, or finance, where overconfident but incorrect AI responses could lead to adverse outcomes. To address this, developers are exploring ways to improve confidence calibration, such as by incorporating explicit feedback systems, refining training protocols, and developing post-deployment accuracy testing methods.”
I would also like to add that AI makers and those fielding AI need to be extremely cautious in applying generative AI to domains that have demonstrative consequences.
The medical domain has life-or-death outcomes. The financial domain could be monetarily ruinous to someone. By and large, the AI makers try to cover their liability by stating in their licensing agreements that you aren’t supposed to use their generative AI for those situations, or that if you do then you are making that choice and it isn’t on them, see my analysis of these pronounced AI & Law matters at the link here.
Bottom Line Is Keep Your Wits About You
I said earlier that you ought to not believe generative AI at face value. That goes for the confidence levels too.
You’ve been forewarned.
I should mention that the cited study is only one particular study on a particular set of generative AI apps at a particular point in time. Please do not overgeneralize these results. At the same time, take this as a cold splash of water and a wake-up call. If you are going to ask for confidence levels, be cognizant of how to judge them. Also, the semblance of high confidence conveyed via the wording of the AI responses should be carefully scrutinized. You might be getting tricked or bamboozled.
The last word on the overall dangers of overconfidence goes to the famous astronaut Neil Armstrong: “Well, I think we tried very hard not to be overconfident because when you get overconfident, that’s when something snaps up and bites you.”
I ask that you not let generative AI reach out and bite you. That’s something you won’t relish. It could be utterly disastrous for all concerned.
And you can take that 100% to the bank.
You may like
Noticias
5 indicaciones de chatgpt que pueden ayudar a los adolescentes a lanzar una startup
Published
5 horas agoon
5 junio, 2025
Teen emprendedor que usa chatgpt para ayudarlo con su negocio
getty
El emprendimiento adolescente sigue en aumento. Según Junior Achievement Research, el 66% de los adolescentes estadounidenses de entre 13 y 17 años dicen que es probable que considere comenzar un negocio como adultos, con el monitor de emprendimiento global 2023-2024 que encuentra que el 24% de los jóvenes de 18 a 24 años son actualmente empresarios. Estos jóvenes fundadores no son solo soñando, están construyendo empresas reales que generan ingresos y crean un impacto social, y están utilizando las indicaciones de ChatGPT para ayudarlos.
En Wit (lo que sea necesario), la organización que fundó en 2009, hemos trabajado con más de 10,000 jóvenes empresarios. Durante el año pasado, he observado un cambio en cómo los adolescentes abordan la planificación comercial. Con nuestra orientación, están utilizando herramientas de IA como ChatGPT, no como atajos, sino como socios de pensamiento estratégico para aclarar ideas, probar conceptos y acelerar la ejecución.
Los emprendedores adolescentes más exitosos han descubierto indicaciones específicas que los ayudan a pasar de una idea a otra. Estas no son sesiones genéricas de lluvia de ideas: están utilizando preguntas específicas que abordan los desafíos únicos que enfrentan los jóvenes fundadores: recursos limitados, compromisos escolares y la necesidad de demostrar sus conceptos rápidamente.
Aquí hay cinco indicaciones de ChatGPT que ayudan constantemente a los emprendedores adolescentes a construir negocios que importan.
1. El problema del primer descubrimiento chatgpt aviso
“Me doy cuenta de que [specific group of people]
luchar contra [specific problem I’ve observed]. Ayúdame a entender mejor este problema explicando: 1) por qué existe este problema, 2) qué soluciones existen actualmente y por qué son insuficientes, 3) cuánto las personas podrían pagar para resolver esto, y 4) tres formas específicas en que podría probar si este es un problema real que vale la pena resolver “.
Un adolescente podría usar este aviso después de notar que los estudiantes en la escuela luchan por pagar el almuerzo. En lugar de asumir que entienden el alcance completo, podrían pedirle a ChatGPT que investigue la deuda del almuerzo escolar como un problema sistémico. Esta investigación puede llevarlos a crear un negocio basado en productos donde los ingresos ayuden a pagar la deuda del almuerzo, lo que combina ganancias con el propósito.
Los adolescentes notan problemas de manera diferente a los adultos porque experimentan frustraciones únicas, desde los desafíos de las organizaciones escolares hasta las redes sociales hasta las preocupaciones ambientales. Según la investigación de Square sobre empresarios de la Generación de la Generación Z, el 84% planea ser dueños de negocios dentro de cinco años, lo que los convierte en candidatos ideales para las empresas de resolución de problemas.
2. El aviso de chatgpt de chatgpt de chatgpt de realidad de la realidad del recurso
“Soy [age] años con aproximadamente [dollar amount] invertir y [number] Horas por semana disponibles entre la escuela y otros compromisos. Según estas limitaciones, ¿cuáles son tres modelos de negocio que podría lanzar de manera realista este verano? Para cada opción, incluya costos de inicio, requisitos de tiempo y los primeros tres pasos para comenzar “.
Este aviso se dirige al elefante en la sala: la mayoría de los empresarios adolescentes tienen dinero y tiempo limitados. Cuando un empresario de 16 años emplea este enfoque para evaluar un concepto de negocio de tarjetas de felicitación, puede descubrir que pueden comenzar con $ 200 y escalar gradualmente. Al ser realistas sobre las limitaciones por adelantado, evitan el exceso de compromiso y pueden construir hacia objetivos de ingresos sostenibles.
Según el informe de Gen Z de Square, el 45% de los jóvenes empresarios usan sus ahorros para iniciar negocios, con el 80% de lanzamiento en línea o con un componente móvil. Estos datos respaldan la efectividad de la planificación basada en restricciones: cuando funcionan los adolescentes dentro de las limitaciones realistas, crean modelos comerciales más sostenibles.
3. El aviso de chatgpt del simulador de voz del cliente
“Actúa como un [specific demographic] Y dame comentarios honestos sobre esta idea de negocio: [describe your concept]. ¿Qué te excitaría de esto? ¿Qué preocupaciones tendrías? ¿Cuánto pagarías de manera realista? ¿Qué necesitaría cambiar para que se convierta en un cliente? “
Los empresarios adolescentes a menudo luchan con la investigación de los clientes porque no pueden encuestar fácilmente a grandes grupos o contratar firmas de investigación de mercado. Este aviso ayuda a simular los comentarios de los clientes haciendo que ChatGPT adopte personas específicas.
Un adolescente que desarrolla un podcast para atletas adolescentes podría usar este enfoque pidiéndole a ChatGPT que responda a diferentes tipos de atletas adolescentes. Esto ayuda a identificar temas de contenido que resuenan y mensajes que se sienten auténticos para el público objetivo.
El aviso funciona mejor cuando se vuelve específico sobre la demografía, los puntos débiles y los contextos. “Actúa como un estudiante de último año de secundaria que solicita a la universidad” produce mejores ideas que “actuar como un adolescente”.
4. El mensaje mínimo de diseñador de prueba viable chatgpt
“Quiero probar esta idea de negocio: [describe concept] sin gastar más de [budget amount] o más de [time commitment]. Diseñe tres experimentos simples que podría ejecutar esta semana para validar la demanda de los clientes. Para cada prueba, explique lo que aprendería, cómo medir el éxito y qué resultados indicarían que debería avanzar “.
Este aviso ayuda a los adolescentes a adoptar la metodología Lean Startup sin perderse en la jerga comercial. El enfoque en “This Week” crea urgencia y evita la planificación interminable sin acción.
Un adolescente que desea probar un concepto de línea de ropa podría usar este indicador para diseñar experimentos de validación simples, como publicar maquetas de diseño en las redes sociales para evaluar el interés, crear un formulario de Google para recolectar pedidos anticipados y pedirles a los amigos que compartan el concepto con sus redes. Estas pruebas no cuestan nada más que proporcionar datos cruciales sobre la demanda y los precios.
5. El aviso de chatgpt del generador de claridad de tono
“Convierta esta idea de negocio en una clara explicación de 60 segundos: [describe your business]. La explicación debe incluir: el problema que resuelve, su solución, a quién ayuda, por qué lo elegirían sobre las alternativas y cómo se ve el éxito. Escríbelo en lenguaje de conversación que un adolescente realmente usaría “.
La comunicación clara separa a los empresarios exitosos de aquellos con buenas ideas pero una ejecución deficiente. Este aviso ayuda a los adolescentes a destilar conceptos complejos a explicaciones convincentes que pueden usar en todas partes, desde las publicaciones en las redes sociales hasta las conversaciones con posibles mentores.
El énfasis en el “lenguaje de conversación que un adolescente realmente usaría” es importante. Muchas plantillas de lanzamiento comercial suenan artificiales cuando se entregan jóvenes fundadores. La autenticidad es más importante que la jerga corporativa.
Más allá de las indicaciones de chatgpt: estrategia de implementación
La diferencia entre los adolescentes que usan estas indicaciones de manera efectiva y aquellos que no se reducen a seguir. ChatGPT proporciona dirección, pero la acción crea resultados.
Los jóvenes empresarios más exitosos con los que trabajo usan estas indicaciones como puntos de partida, no de punto final. Toman las sugerencias generadas por IA e inmediatamente las prueban en el mundo real. Llaman a clientes potenciales, crean prototipos simples e iteran en función de los comentarios reales.
Investigaciones recientes de Junior Achievement muestran que el 69% de los adolescentes tienen ideas de negocios, pero se sienten inciertos sobre el proceso de partida, con el miedo a que el fracaso sea la principal preocupación para el 67% de los posibles empresarios adolescentes. Estas indicaciones abordan esa incertidumbre al desactivar los conceptos abstractos en los próximos pasos concretos.
La imagen más grande
Los emprendedores adolescentes que utilizan herramientas de IA como ChatGPT representan un cambio en cómo está ocurriendo la educación empresarial. Según la investigación mundial de monitores empresariales, los jóvenes empresarios tienen 1,6 veces más probabilidades que los adultos de querer comenzar un negocio, y son particularmente activos en la tecnología, la alimentación y las bebidas, la moda y los sectores de entretenimiento. En lugar de esperar clases de emprendimiento formales o programas de MBA, estos jóvenes fundadores están accediendo a herramientas de pensamiento estratégico de inmediato.
Esta tendencia se alinea con cambios más amplios en la educación y la fuerza laboral. El Foro Económico Mundial identifica la creatividad, el pensamiento crítico y la resiliencia como las principales habilidades para 2025, la capacidad de las capacidades que el espíritu empresarial desarrolla naturalmente.
Programas como WIT brindan soporte estructurado para este viaje, pero las herramientas en sí mismas se están volviendo cada vez más accesibles. Un adolescente con acceso a Internet ahora puede acceder a recursos de planificación empresarial que anteriormente estaban disponibles solo para empresarios establecidos con presupuestos significativos.
La clave es usar estas herramientas cuidadosamente. ChatGPT puede acelerar el pensamiento y proporcionar marcos, pero no puede reemplazar el arduo trabajo de construir relaciones, crear productos y servir a los clientes. La mejor idea de negocio no es la más original, es la que resuelve un problema real para personas reales. Las herramientas de IA pueden ayudar a identificar esas oportunidades, pero solo la acción puede convertirlos en empresas que importan.
Noticias
Chatgpt vs. gemini: he probado ambos, y uno definitivamente es mejor
Published
10 horas agoon
5 junio, 2025
Precio
ChatGPT y Gemini tienen versiones gratuitas que limitan su acceso a características y modelos. Los planes premium para ambos también comienzan en alrededor de $ 20 por mes. Las características de chatbot, como investigaciones profundas, generación de imágenes y videos, búsqueda web y más, son similares en ChatGPT y Gemini. Sin embargo, los planes de Gemini pagados también incluyen el almacenamiento en la nube de Google Drive (a partir de 2TB) y un conjunto robusto de integraciones en las aplicaciones de Google Workspace.
Los niveles de más alta gama de ChatGPT y Gemini desbloquean el aumento de los límites de uso y algunas características únicas, pero el costo mensual prohibitivo de estos planes (como $ 200 para Chatgpt Pro o $ 250 para Gemini Ai Ultra) los pone fuera del alcance de la mayoría de las personas. Las características específicas del plan Pro de ChatGPT, como el modo O1 Pro que aprovecha el poder de cálculo adicional para preguntas particularmente complicadas, no son especialmente relevantes para el consumidor promedio, por lo que no sentirá que se está perdiendo. Sin embargo, es probable que desee las características que son exclusivas del plan Ai Ultra de Gemini, como la generación de videos VEO 3.
Ganador: Géminis
Plataformas
Puede acceder a ChatGPT y Gemini en la web o a través de aplicaciones móviles (Android e iOS). ChatGPT también tiene aplicaciones de escritorio (macOS y Windows) y una extensión oficial para Google Chrome. Gemini no tiene aplicaciones de escritorio dedicadas o una extensión de Chrome, aunque se integra directamente con el navegador.
(Crédito: OpenAI/PCMAG)
Chatgpt está disponible en otros lugares, Como a través de Siri. Como se mencionó, puede acceder a Gemini en las aplicaciones de Google, como el calendario, Documento, ConducirGmail, Mapas, Mantener, FotosSábanas, y Música de YouTube. Tanto los modelos de Chatgpt como Gemini también aparecen en sitios como la perplejidad. Sin embargo, obtiene la mayor cantidad de funciones de estos chatbots en sus aplicaciones y portales web dedicados.
Las interfaces de ambos chatbots son en gran medida consistentes en todas las plataformas. Son fáciles de usar y no lo abruman con opciones y alternar. ChatGPT tiene algunas configuraciones más para jugar, como la capacidad de ajustar su personalidad, mientras que la profunda interfaz de investigación de Gemini hace un mejor uso de los bienes inmuebles de pantalla.
Ganador: empate
Modelos de IA
ChatGPT tiene dos series primarias de modelos, la serie 4 (su línea de conversación, insignia) y la Serie O (su compleja línea de razonamiento). Gemini ofrece de manera similar una serie Flash de uso general y una serie Pro para tareas más complicadas.
Los últimos modelos de Chatgpt son O3 y O4-Mini, y los últimos de Gemini son 2.5 Flash y 2.5 Pro. Fuera de la codificación o la resolución de una ecuación, pasará la mayor parte de su tiempo usando los modelos de la serie 4-Series y Flash. A continuación, puede ver cómo funcionan estos modelos en una variedad de tareas. Qué modelo es mejor depende realmente de lo que quieras hacer.
Ganador: empate
Búsqueda web
ChatGPT y Gemini pueden buscar información actualizada en la web con facilidad. Sin embargo, ChatGPT presenta mosaicos de artículos en la parte inferior de sus respuestas para una lectura adicional, tiene un excelente abastecimiento que facilita la vinculación de reclamos con evidencia, incluye imágenes en las respuestas cuando es relevante y, a menudo, proporciona más detalles en respuesta. Gemini no muestra nombres de fuente y títulos de artículos completos, e incluye mosaicos e imágenes de artículos solo cuando usa el modo AI de Google. El abastecimiento en este modo es aún menos robusto; Google relega las fuentes a los caretes que se pueden hacer clic que no resaltan las partes relevantes de su respuesta.
Como parte de sus experiencias de búsqueda en la web, ChatGPT y Gemini pueden ayudarlo a comprar. Si solicita consejos de compra, ambos presentan mosaicos haciendo clic en enlaces a los minoristas. Sin embargo, Gemini generalmente sugiere mejores productos y tiene una característica única en la que puede cargar una imagen tuya para probar digitalmente la ropa antes de comprar.
Ganador: chatgpt
Investigación profunda
ChatGPT y Gemini pueden generar informes que tienen docenas de páginas e incluyen más de 50 fuentes sobre cualquier tema. La mayor diferencia entre los dos se reduce al abastecimiento. Gemini a menudo cita más fuentes que CHATGPT, pero maneja el abastecimiento en informes de investigación profunda de la misma manera que lo hace en la búsqueda en modo AI, lo que significa caretas que se puede hacer clic sin destacados en el texto. Debido a que es más difícil conectar las afirmaciones en los informes de Géminis a fuentes reales, es más difícil creerles. El abastecimiento claro de ChatGPT con destacados en el texto es más fácil de confiar. Sin embargo, Gemini tiene algunas características de calidad de vida en ChatGPT, como la capacidad de exportar informes formateados correctamente a Google Docs con un solo clic. Su tono también es diferente. Los informes de ChatGPT se leen como publicaciones de foro elaboradas, mientras que los informes de Gemini se leen como documentos académicos.
Ganador: chatgpt
Generación de imágenes
La generación de imágenes de ChatGPT impresiona independientemente de lo que solicite, incluso las indicaciones complejas para paneles o diagramas cómicos. No es perfecto, pero los errores y la distorsión son mínimos. Gemini genera imágenes visualmente atractivas más rápido que ChatGPT, pero rutinariamente incluyen errores y distorsión notables. Con indicaciones complicadas, especialmente diagramas, Gemini produjo resultados sin sentido en las pruebas.
Arriba, puede ver cómo ChatGPT (primera diapositiva) y Géminis (segunda diapositiva) les fue con el siguiente mensaje: “Genere una imagen de un estudio de moda con una decoración simple y rústica que contrasta con el espacio más agradable. Incluya un sofá marrón y paredes de ladrillo”. La imagen de ChatGPT limita los problemas al detalle fino en las hojas de sus plantas y texto en su libro, mientras que la imagen de Gemini muestra problemas más notables en su tubo de cordón y lámpara.
Ganador: chatgpt
¡Obtenga nuestras mejores historias!
Toda la última tecnología, probada por nuestros expertos
Regístrese en el boletín de informes de laboratorio para recibir las últimas revisiones de productos de PCMAG, comprar asesoramiento e ideas.
Al hacer clic en Registrarme, confirma que tiene más de 16 años y acepta nuestros Términos de uso y Política de privacidad.
¡Gracias por registrarse!
Su suscripción ha sido confirmada. ¡Esté atento a su bandeja de entrada!
Generación de videos
La generación de videos de Gemini es la mejor de su clase, especialmente porque ChatGPT no puede igualar su capacidad para producir audio acompañante. Actualmente, Google bloquea el último modelo de generación de videos de Gemini, VEO 3, detrás del costoso plan AI Ultra, pero obtienes más videos realistas que con ChatGPT. Gemini también tiene otras características que ChatGPT no, como la herramienta Flow Filmmaker, que le permite extender los clips generados y el animador AI Whisk, que le permite animar imágenes fijas. Sin embargo, tenga en cuenta que incluso con VEO 3, aún necesita generar videos varias veces para obtener un gran resultado.
En el ejemplo anterior, solicité a ChatGPT y Gemini a mostrarme un solucionador de cubos de Rubik Rubik que resuelva un cubo. La persona en el video de Géminis se ve muy bien, y el audio acompañante es competente. Al final, hay una buena atención al detalle con el marco que se desplaza, simulando la detención de una grabación de selfies. Mientras tanto, Chatgpt luchó con su cubo, distorsionándolo en gran medida.
Ganador: Géminis
Procesamiento de archivos
Comprender los archivos es una fortaleza de ChatGPT y Gemini. Ya sea que desee que respondan preguntas sobre un manual, editen un currículum o le informen algo sobre una imagen, ninguno decepciona. Sin embargo, ChatGPT tiene la ventaja sobre Gemini, ya que ofrece un reconocimiento de imagen ligeramente mejor y respuestas más detalladas cuando pregunta sobre los archivos cargados. Ambos chatbots todavía a veces inventan citas de documentos proporcionados o malinterpretan las imágenes, así que asegúrese de verificar sus resultados.
Ganador: chatgpt
Escritura creativa
Chatgpt y Gemini pueden generar poemas, obras, historias y más competentes. CHATGPT, sin embargo, se destaca entre los dos debido a cuán únicas son sus respuestas y qué tan bien responde a las indicaciones. Las respuestas de Gemini pueden sentirse repetitivas si no calibra cuidadosamente sus solicitudes, y no siempre sigue todas las instrucciones a la carta.
En el ejemplo anterior, solicité ChatGPT (primera diapositiva) y Gemini (segunda diapositiva) con lo siguiente: “Sin hacer referencia a nada en su memoria o respuestas anteriores, quiero que me escriba un poema de verso gratuito. Preste atención especial a la capitalización, enjambment, ruptura de línea y puntuación. Dado que es un verso libre, no quiero un medidor familiar o un esquema de retiro de la rima, pero quiero que tenga un estilo de coohes. ChatGPT logró entregar lo que pedí en el aviso, y eso era distinto de las generaciones anteriores. Gemini tuvo problemas para generar un poema que incorporó cualquier cosa más allá de las comas y los períodos, y su poema anterior se lee de manera muy similar a un poema que generó antes.
Recomendado por nuestros editores
Ganador: chatgpt
Razonamiento complejo
Los modelos de razonamiento complejos de Chatgpt y Gemini pueden manejar preguntas de informática, matemáticas y física con facilidad, así como mostrar de manera competente su trabajo. En las pruebas, ChatGPT dio respuestas correctas un poco más a menudo que Gemini, pero su rendimiento es bastante similar. Ambos chatbots pueden y le darán respuestas incorrectas, por lo que verificar su trabajo aún es vital si está haciendo algo importante o tratando de aprender un concepto.
Ganador: chatgpt
Integración
ChatGPT no tiene integraciones significativas, mientras que las integraciones de Gemini son una característica definitoria. Ya sea que desee obtener ayuda para editar un ensayo en Google Docs, comparta una pestaña Chrome para hacer una pregunta, pruebe una nueva lista de reproducción de música de YouTube personalizada para su gusto o desbloquee ideas personales en Gmail, Gemini puede hacer todo y mucho más. Es difícil subestimar cuán integrales y poderosas son realmente las integraciones de Géminis.
Ganador: Géminis
Asistentes de IA
ChatGPT tiene GPT personalizados, y Gemini tiene gemas. Ambos son asistentes de IA personalizables. Tampoco es una gran actualización sobre hablar directamente con los chatbots, pero los GPT personalizados de terceros agregan una nueva funcionalidad, como el fácil acceso a Canva para editar imágenes generadas. Mientras tanto, terceros no pueden crear gemas, y no puedes compartirlas. Puede permitir que los GPT personalizados accedan a la información externa o tomen acciones externas, pero las GEM no tienen una funcionalidad similar.
Ganador: chatgpt
Contexto Windows y límites de uso
La ventana de contexto de ChatGPT sube a 128,000 tokens en sus planes de nivel superior, y todos los planes tienen límites de uso dinámicos basados en la carga del servidor. Géminis, por otro lado, tiene una ventana de contexto de 1,000,000 token. Google no está demasiado claro en los límites de uso exactos para Gemini, pero también son dinámicos dependiendo de la carga del servidor. Anecdóticamente, no pude alcanzar los límites de uso usando los planes pagados de Chatgpt o Gemini, pero es mucho más fácil hacerlo con los planes gratuitos.
Ganador: Géminis
Privacidad
La privacidad en Chatgpt y Gemini es una bolsa mixta. Ambos recopilan cantidades significativas de datos, incluidos todos sus chats, y usan esos datos para capacitar a sus modelos de IA de forma predeterminada. Sin embargo, ambos le dan la opción de apagar el entrenamiento. Google al menos no recopila y usa datos de Gemini para fines de capacitación en aplicaciones de espacio de trabajo, como Gmail, de forma predeterminada. ChatGPT y Gemini también prometen no vender sus datos o usarlos para la orientación de anuncios, pero Google y OpenAI tienen historias sórdidas cuando se trata de hacks, filtraciones y diversos fechorías digitales, por lo que recomiendo no compartir nada demasiado sensible.
Ganador: empate
Noticias
2 formas en que estoy usando la voz avanzada de chatgpt para mejorar mi vida
Published
15 horas agoon
5 junio, 2025
El otoño pasado, mi artista madre y yo fuimos invitados a dar una presentación en el Festival de Ciencias de Cambridge sobre la intersección de la IA y el arte. Fue una oportunidad emocionante. Pero tampoco había hecho un taller práctico en persona como este antes. Necesitaba a alguien, o algo, para ayudarme a hablar de mis ideas.
Eso resultó ser la función de voz avanzada de Chatgpt. Esta característica salió en el verano de 2024, pero a menudo no es el primer caso de uso que viene a la mente.
Como creador de tiempo completo de más de 10 años, estoy constantemente examinando nuevas herramientas para ver cuáles son realmente útiles, en comparación con las características son solo más aire caliente. Y con lo rápido que ChatGPT ha estado lanzando nuevas características y actualizaciones, OpenAi me ha mantenido ocupado. También me ha hecho darme cuenta de que muchas personas que usan chatgpt no son conscientes de todas las diferentes cosas que el chatbot puede hacer actualmente.
(Divulgación: Ziff Davis, la empresa matriz de CNET, en abril presentó una demanda contra OpenAi, alegando que infringió los derechos de autor de Ziff Davis en la capacitación y la operación de sus sistemas de IA).
Conozca a los creadores de la industria, colaboradores y líderes de pensamiento emergentes que se han combinado con el galardonado equipo editorial de CNET para proporcionarle contenido único desde diferentes perspectivas.
La diferencia entre los modos de voz estándar y avanzados de Chatgpt
La principal diferencia entre la voz estándar de ChatGPT y la voz avanzada es que la voz estándar utiliza motores de texto a voz, mientras que Advanced Voice usa un modelo unificado.
En el modo estándar, el IA crea su respuesta en el texto primero y luego una herramienta de voz separada lee el texto en voz alta. Si bien la voz puede sonar decente, puede sentirse antinatural y a menudo retrasada. Un modelo unificado como Advanced Voice no separa la escritura y el habla. Según el sitio web de OpenAI, el modelo multimodal del modo de voz avanzado (GPT-4O) funciona más como un humano y ajusta su tono en un flujo suave.
En la interfaz de voz de la aplicación móvil de chatgpt, el modo estándar está representado por un círculo negro en el centro de la pantalla de conversación; Para modo avanzado, es un orbe azul. El modo avanzado es una característica pagada, pero los usuarios en el plan gratuito de ChatGPT pueden obtener un uso limitado de TI cada día.
El orbe azul está escuchando.
Captura de pantalla de Fei Wu
¿Para qué podría usar una herramienta como la voz avanzada de chatgpt? Aquí hay dos formas en que lo estoy incorporando a mi vida cotidiana.
Deja que AI actúe como un tablero de resonancia
Estoy entusiasmado por usar la voz avanzada como un socio de pensamiento estratégico para ayudarme a trabajar en problemas importantes y desafiantes.
Una limitación de ChatGPT es que sus datos de capacitación base solo suben a cierto mes y año. Si bien se basa en una amplia gama de libros, artículos y contenido web, puede carecer de conocimiento actualizado o información sobre temas de nicho y altamente especializados. Esto cambia cuando ciertas características están habilitadas, y puede habilitar estas funciones mientras usa una voz avanzada.
Mis características de solicitud de chatgpt favoritas son:
- Buscar. Alterne esta función para que ChatGPT explique Internet y acceda a la información en línea.
- Investigación profunda. Haga que ChatGPT busque en la web y devuelva ideas más detalladas. (Me parece útil al explorar temas menos convencionales).
- Subir. Compartir archivos, informes de proyectos u otros documentos desde su dispositivo o almacenamiento en la nube. (Haga clic en el icono “+” para acceder a esto).
Para acceder a una de estas características en una computadora, haga clic en la función apropiada para habilitarla, luego haga clic en el botón de voz a la derecha.

En el escritorio, las características especiales se pueden alternar antes de enviar un mensaje.
Captura de pantalla: Fei Wu


Para habilitar las funciones de ChatGPT en dispositivos móviles utilizando una voz avanzada:
- Toque el icono del control deslizante.
- Elija la función que desea habilitar. (Sabrá que está habilitado porque su icono aparecerá debajo de la burbuja rápida).
- Toque el botón de voz avanzado.
- Permita que la voz avanzada responda.
- Salga de la ventana de voz una vez que la respuesta esté completa para ver la respuesta por escrito.
Cualquier fuente web utilizada para informar la respuesta aparecerá en el panel de control.

Las características indicadas se pueden activar en el móvil antes de usar la voz avanzada. Si realiza una búsqueda en la web o una investigación profunda, CHATGPT incluirá algunas de sus fuentes.
Capturas de pantalla: Nick Wolny
De vuelta al festival que mencioné al principio. Xiang Li es mi madre y la artista detrás de una colección masiva de emperatriz chinas pintadas de seda con acuarelas de piedras preciosas. Cuando usé la voz avanzada de ChatGPT y pregunté qué sabía sobre Xiang Li Art, rápidamente hizo referencia a la información que solo habíamos actualizado recientemente.
Desde la exploración artística interactiva de IA hasta demostraciones de IA en vivo, panel de discusión y actividades de participación juvenil, pudimos implementar varias ideas prácticas durante nuestro evento en vivo en Cambridge, y fueron muy bien recibidos.
Puede ser muy específico con sus preguntas y puede hacer que los seguimientos sean aún más profundos. A menudo me gusta tratar la voz avanzada como un amigo o un compañero de escucha en lugar de un motor de búsqueda mientras trabajo a través de ideas.
Traducción más matizada
Gracias a la voz avanzada, cuando mi pareja (que habla principalmente inglés) se comunica con mi madre (que solo habla chino mandarín), las traducciones se sienten más naturales.
La voz avanzada de Chatgpt puede hablar más de 50 idiomas. Este modelo se siente mucho más natural, como puede pensar, hablar, detener y reaccionar. Este puede ser un experimento un poco complicado si está utilizando una voz avanzada para este propósito por primera vez. Mi aviso generalmente es algo como esto:
“Hola chatgpt, tengo dos altavoces en la habitación: Adam y mi madre Xiang. Adam habla inglés, y Xiang habla mandarín chino. Quiero que actúes como traductor entre ellos. Después de que Adam ha terminado de hablar, traducirlo al chino mandarín para mamá, y viceversa”.
El único problema que experimentamos a veces es el momento. Chatgpt puede saltar un poco temprano mientras alguien todavía está hablando. Para mejorar esto, le dijimos a ChatGPT que escuchara la palabra “ir” antes de proporcionar la traducción. Encuentro que este tipo de ajuste fino puede ser útil porque nuestros patrones de habla y la entonación difieren de persona a persona, lo que hace que sea difícil para ChatGPT descifrar cómo reaccionar.
Después de usar la función regularmente, noto que está recogiendo contexto en situaciones más complejas. Puede recordar información en conversaciones más largas, comprender los matices sutiles y responder a mis emociones con mayor precisión. Espero que la voz avanzada se vuelva más inteligente e intuitiva con el tiempo.
Empiece a explorar la voz avanzada de chatgpt para usted
Advanced Voice puede responder una amplia gama de preguntas, por lo que es una herramienta versátil para la creatividad, la creación de contenido, la resolución de problemas e incluso la asociación estratégica. Actualmente, Advanced Voice está disponible para todos los usuarios de ChatGPT; Los usuarios gratuitos reciben un límite diario en el uso avanzado de voz, mientras que el límite es mucho más alto para los usuarios de Plus, Pro y Team.
Mira mi demostración de voz avanzada en tiempo real aquí en mi canal de YouTube. Y si tiene alguna pregunta o idea sobre cómo crecer con una voz avanzada, conéctese conmigo en YouTube y LinkedIn para saludar.
Las opiniones expresadas por los contribuyentes de CNET Perspectives son propias.
Related posts






































































































































































































































































































































Trending
-
Startups1 año ago
Remove.bg: La Revolución en la Edición de Imágenes que Debes Conocer
-
Tutoriales1 año ago
Cómo Comenzar a Utilizar ChatGPT: Una Guía Completa para Principiantes
-
Startups11 meses ago
Startups de IA en EE.UU. que han recaudado más de $100M en 2024
-
Recursos1 año ago
Cómo Empezar con Popai.pro: Tu Espacio Personal de IA – Guía Completa, Instalación, Versiones y Precios
-
Startups1 año ago
Deepgram: Revolucionando el Reconocimiento de Voz con IA
-
Recursos1 año ago
Perplexity aplicado al Marketing Digital y Estrategias SEO
-
Estudiar IA1 año ago
Curso de Inteligencia Artificial de UC Berkeley estratégico para negocios
-
Tutoriales1 año ago
Google Gemini: Guía Completa para Comenzar a usarlo y ganar tiempo en nuestras tareas diarias