Jonathan Zittrain breaks ChatGPT: If you ask it a question for which my name is the answer, the chatbot goes from loquacious companion to something as cryptic as Microsoft Windows’ blue screen of death.
Anytime ChatGPT would normally utter my name in the course of conversation, it halts with a glaring “I’m unable to produce a response,” sometimes mid-sentence or even mid-word. When I asked who the founders of the Berkman Klein Center for Internet & Society are (I’m one of them), it brought up two colleagues but left me out. When pressed, it started up again, and then: zap.
The behavior seemed to be coarsely tacked on to the last step of ChatGPT’s output rather than innate to the model. After ChatGPT has figured out what it’s going to say, a separate filter appears to release a guillotine. The reason some observers have surmised that it’s separate is because GPT runs fine if it includes my middle initial or if it’s prompted to substitute a word such as banana for my name, and because there can even be inconsistent timing to it: Below, for example, GPT appears to first stop talking before it would naturally say my name; directly after, it manages to get a couple of syllables out before it stops. So it’s like having a referee who blows the whistle on a foul slightly before, during, or after a player has acted out.
For a long time, people have observed that beyond being “unable to produce a response,” GPT can at times proactively revise a response moments after it’s written whatever it’s said. The speculation here is that to delay every single response by GPT while it’s being double-checked for safety could unduly slow it down, when most questions and answers are totally anodyne. So instead of making everyone wait to go through TSA before heading to their gate, metal detectors might just be scattered around the airport, ready to pull someone back for a screening if they trigger something while passing the air-side food court.
The personal-name guillotine seemed a curiosity when my students first brought it to my attention at least a year ago. (They’d noticed it after a class session on how chatbots are trained and steered.) But now it’s kicked off a minor news cycle thanks to a viral social-media post discussing the phenomenon. (ChatGPT has the same issue with at least a handful of other names.) OpenAI is one of several supporters of a new public data initiative at the Harvard Law School Library, which I direct, and I’ve met a number of OpenAI engineers and policy makers at academic workshops. (The Atlantic this year entered into a corporate partnership with OpenAI.) So I reached out to them to ask about the odd name glitch. Here’s what they told me: There are a tiny number of names that ChatGPT treats this way, which explains why so few have been found. Names may be omitted from ChatGPT either because of privacy requests or to avoid persistent hallucinations by the AI.
The company wouldn’t talk about specific cases aside from my own, but online sleuths have speculated about what the forbidden names might have in common. For example, Guido Scorza is an Italian regulator who has publicized his requests to OpenAI to block ChatGPT from producing content using his personal information. His name does not appear in GPT responses. Neither does Jonathan Turley’s name; he is a George Washington University law professor who wrote last year that ChatGPT had falsely accused him of sexual harassment.
ChatGPT’s abrupt refusal to answer requests—the ungainly guillotine—was the result of a patch made in early 2023, shortly after the program launched and became unexpectedly popular. That patch lives on largely unmodified, the way chunks of ancient versions of Windows, including that blue screen of death, still occasionally poke out of today’s PCs. OpenAI told me that building something more refined is on its to-do list.
As for me, I never objected to anything about how GPT treats my name. Apparently, I was among a few professors whose names were spot-checked by the company around 2023, and whatever fabrications the spot-checker saw persuaded them to add me to the forbidden-names list. OpenAI separately told The New York Times that the name that had started it all—David Mayer—had been added mistakenly. And indeed, the guillotine no longer falls for that one.
For such an inelegant behavior to be in chatbots as widespread and popular as GPT is a blunt reminder of two larger, seemingly contrary phenomena. First, these models are profoundly unpredictable: Even slightly changed prompts or prior conversational history can produce wildly differing results, and it’s hard for anyone to predict just what the models will say in a given instance. So the only way to really excise a particular word is to apply a coarse filter like the one we see here. Second, model makers still can and do effectively shape in all sorts of ways how their chatbots behave.
To a first approximation, large language models produce a Forrest Gump–ian box of chocolates: You never know what you’re going to get. To form their answers, these LLMs rely on pretraining that metaphorically entails putting trillions of word fragments from existing texts, such as books and websites, into a large blender and coarsely mixing them. Eventually, this process maps how words relate to other words. When done right, the resulting models will merrily generate lots of coherent text or programming code when prompted.
The way that LLMs make sense of the world is similar to the way their forebears—online search engines—peruse the web in order to return relevant results when prompted with a few search terms. First they scrape as much of the web as possible; then they analyze how sites link to one another, along with other factors, to get a sense of what’s relevant and what’s not. Neither search engines nor AI models promise truth or accuracy. Instead, they simply offer a window into some nanoscopic subset of what they encountered during their training or scraping. In the case of AIs, there is usually not even an identifiable chunk of text that’s being parroted—just a smoothie distilled from an unthinkably large number of ingredients.
For Google Search, this means that, historically, Google wasn’t asked to take responsibility for the truth or accuracy of whatever might come up as the top hit. In 2004, when a search on the word Jew produced an anti-Semitic site as the first result, Google declined to change anything. “We find this result offensive, but the objectivity of our ranking function prevents us from making any changes,” a spokesperson said at the time. The Anti-Defamation League backed up the decision: “The ranking of … hate sites is in no way due to a conscious choice by Google, but solely is a result of this automated system of ranking.” Sometimes the chocolate box just offers up an awful liquor-filled one.
The box-of-chocolates approach has come under much more pressure since then, as misleading or offensive results have come to be seen more and more as dangerous rather than merely quirky or momentarily regrettable. I’ve called this a shift from a “rights” perspective (in which people would rather avoid censoring technology unless it behaves in an obviously illegal way) to a “public health” one, where people’s casual reliance on modern tech to shape their worldview appears to have deepened, making “bad” results more powerful.
Indeed, over time, web intermediaries have shifted from being impersonal academic-style research engines to being AI constant companions and “copilots” ready to interact in conversational language. The author and web-comic creator Randall Munroe has called the latter kind of shift a move from “tool” to “friend.” If we’re in thrall to an indefatigable, benevolent-sounding robot friend, we’re at risk of being steered the wrong way if the friend (or its maker, or anyone who can pressure that maker) has an ulterior agenda. All of these shifts, in turn, have led some observers and regulators to prioritize harm avoidance over unfettered expression.
That’s why it makes sense that Google Search and other search engines have become much more active in curating what they say, not through search-result links but ex cathedra, such as through “knowledge panels” that present written summaries alongside links on common topics. Those automatically generated panels, which have been around for more than a decade, were the online precursors to the AI chatbots we see today. Modern AI-model makers, when pushed about bad outputs, still lean on the idea that their job is simply to produce coherent text, and that users should double-check anything the bots say—much the way that search engines don’t vouch for the truth behind their search results, even if they have an obvious incentive to get things right where there is consensus about what is right. So although AI companies disclaim accuracy generally, they, as with search engines’ knowledge panels, have also worked to keep chatbot behavior within certain bounds, and not just to prevent the production of something illegal.
Read: The GPT era is already ending
One way model makers influence the chocolates in the box is through “fine-tuning” their models. They tune their chatbots to behave in a chatty and helpful way, for instance, and then try to make them unhelpful in certain situations—for instance, not creating violent content when asked by a user. Model makers do this by drawing in experts in cybersecurity, bio-risk, and misinformation while the technology is still in the lab and having them get the models to generate answers that the experts would declare unsafe. The experts then affirm alternative answers that are safer, in the hopes that the deployed model will give those new and better answers to a range of similar queries that previously would have produced potentially dangerous ones.
In addition to being fine-tuned, AI models are given some quiet instructions—a “system prompt” distinct from the user’s prompt—as they’re deployed and before you interact with them. The system prompt tries to keep the models on a reasonable path, as defined by the model maker or downstream integrator. OpenAI’s technology is used in Microsoft Bing, for example, in which case Microsoft may provide those instructions. These prompts are usually not shared with the public, though they can be unreliably extracted by enterprising users: This might be the one used by X’s Grok, and last year, a researcher appeared to have gotten Bing to cough up its system prompt. A car-dealership sales assistant or any other custom GPT may have separate or additional ones.
These days, models might have conversations with themselves or with another model when they’re running, in order to self-prompt to double-check facts or otherwise make a plan for a more thorough answer than they’d give without such extra contemplation. That internal chain of thought is typically not shown to the user—perhaps in part to allow the model to think socially awkward or forbidden thoughts on the way to arriving at a more sound answer.
So the hocus-pocus of GPT halting on my name is a rare but conspicuous leaf on a much larger tree of model control. And although some (but apparently not all) of that steering is generally acknowledged in succinct model cards, the many individual instances of intervention by model makers, including extensive fine-tuning, are not disclosed, just as the system prompts typically aren’t. They should be, because these can represent social and moral judgments rather than simple technical ones. (There are ways to implement safeguards alongside disclosure to stop adversaries from wrongly exploiting them.) For example, the Berkman Klein Center’s Lumen database has long served as a unique near-real-time repository of changes made to Google Search because of legal demands for copyright and some other issues (but not yet for privacy, given the complications there).
When people ask a chatbot what happened in Tiananmen Square in 1989, there’s no telling if the answer they get is unrefined the way the old Google Search used to be or if it’s been altered either because of its maker’s own desire to correct inaccuracies or because the chatbot’s maker came under pressure from the Chinese government to ensure that only the official account of events is broached. (At the moment, ChatGPT, Grok, and Anthropic’s Claude offer straightforward accounts of the massacre, at least to me—answers could in theory vary by person or region.)
As these models enter and affect daily life in ways both overt and subtle, it’s not desirable for those who build models to also be the models’ quiet arbiters of truth, whether on their own initiative or under duress from those who wish to influence what the models say. If there end up being only two or three foundation models offering singular narratives, with every user’s AI-bot interaction passing through those models or a white-label franchise of same, we need a much more public-facing process around how what they say will be intentionally shaped, and an independent record of the choices being made. Perhaps we’ll see lots of models in mainstream use, including open-source ones in many variants—in which case bad answers will be harder to correct in one place, while any given bad answer will be seen as less oracular and thus less harmful.
Right now, as model makers have vied for mass public use and acceptance, we’re seeing a necessarily seat-of-the-pants build-out of fascinating new tech. There’s rapid deployment and use without legitimating frameworks for how the exquisitely reasonable-sounding, oracularly treated declarations of our AI companions should be limited. Those frameworks aren’t easy, and to be legitimating, they can’t be unilaterally adopted by the companies. It’s hard work we all have to contribute to. In the meantime, the solution isn’t to simply let them blather, sometimes unpredictably, sometimes quietly guided, with fine print noting that results may not be true. People will rely on what their AI friends say, disclaimers notwithstanding, as the television commentator Ana Navarro-Cárdenas did when sharing a list of relatives pardoned by U.S. presidents across history, blithely including Woodrow Wilson’s brother-in-law “Hunter deButts,” whom ChatGPT had made up out of whole cloth.
I figure that’s a name more suited to the stop-the-presses guillotine than mine.
Las tarifas altas de Trump, impuestas el miércoles por la noche, de alguna manera lograron sorprender a los inversores, ya que las acciones tecnológicas, y casi todas las acciones junto con nuestras 401 (k) s, se despeinaban el jueves, y muchos observadores piensan que incluso ahora el mercado no tiene precios en el impacto total. Es difícil ver cómo todo esto no nos lleva a una recesión, y aún más difícil ver por qué Trump lo está haciendo. No hay ajedrez 3D aquí, solo un tablero de ajedrez pateado en el piso por un narcisista mezquino y maligno. (Pregúntame qué pienso realmente).
Intel y TSMC han llegado a un acuerdo preliminar para que una empresa conjunta opere las fábricas de chips de Intel, con TSMC tomando una participación del 20%. Pero cuán útil será esto con Intel, y por extensión de la fabricación de chips estadounidenses, depende de los detalles, que son escasos en este momento.
En otra parte del frente de chips, Qualcomm se está volviendo más adquisitivo, buscando comprar Alphawave al fabricante de chips, además de comprar el grupo de investigación de inteligencia artificial vietnamita Movianai a principios de esta semana y Edge Impulse el mes pasado.
Openai recaudó una cantidad ridícula de dinero, un récord de $ 40 mil millones, tanto que completamente sesgó las últimas estadísticas de capital de riesgo. Tan capaz que sea la compañía, una valoración de $ 300 mil millones no deja absolutamente ningún espacio para el error, incluso si los errores no son propios. De hecho, los aranceles de Trump podrían ralentizar el crecimiento de la IA al hacer que los componentes del centro de datos sean más caros, y ya Alibaba y Microsoft están ralentizando sus gastos de centros de datos.
Sin embargo, el financiamiento de la IA sigue llegando: los laboratorios isomórficos de Alphabet Spinout también obtuvieron $ 600 millones y la pista de IA de la pista de $ 308 millones. Uno más bien preocupante de la AI generativo de un nuevo informe de Gartner: “Los consumidores no persiguen estas características. Como los fabricantes integran la IA como una característica estándar en los dispositivos de consumo, los consumidores se verán obligados a comprarlas”. Mmm.
Pero la IA está a punto de restablecer la industria de la seguridad cibernética, como Dave y Zeus describieron en el último análisis de ruptura. Y efectivamente, un nuevo estudio muestra que la IA ahora está superando a los equipos rojos humanos. Además, los inversores y las compañías cibernéticas apostan por el reinicio, ya que Reliaquest recaudó $ 500 millones y Cyberhaven obtuvo $ 100 millones por sus herramientas cibernéticas impulsadas por IA, y otros como Solarwinds y Exabeam subieron sus juegos de IA.
El drama de Tiktok parece estar llegando a su fin, tal vez, pero todavía es una suposición de quién será el dueño de todo o parte de él, dado que Trump y China tienen la última palabra, como Oracle, Applovin e incluso Amazon levantan las manos.
Crypto continúa ganando impulso en la era de Trump, ya que el proveedor de Stablecoin Circle finalmente se presentó para hacer pública. En cuanto a las OPI, aparte del mercado de mercado, ahora el aparente Dud de CoreWeave se ve un poco mejor ya que sus acciones subieron muy por encima de su precio inicial. Pero el colapso del mercado de valores ha retrasado las OPI por Klarna y StubHub.
Aquí están las noticias de esta semana de Siliconangle y más allá:
AI y datos: Abra la caja registradora para OpenAI
El dinero importa
OpenAi bolsas $ 40B en fondos, aumentando su valoración posterior al dinero a $ 300B
Siemens to Buy Life Sciences I + D Company Dotmatics por $ 5.1B
Alphabet Spinout Isomorphic Labs recauda $ 600 millones para su motor de diseño de medicamentos AI
La pista de inicio de la generación de video de IA recauda una ronda de $ 308 millones respaldada por NVIDIA
Gartner pronósticos Gastos de IA generativos en todo el mundo para alcanzar $ 644B en 2025 Interesante cita del analista vicepresidente distinguido John-David Lovelock, basándose en el pronóstico de que el 80% de ese gasto estará en hardware como servidores, teléfonos inteligentes y PC: “los consumidores no persiguen estas características. Como los fabricantes integran la IA como una característica estándar en los dispositivos de los consumidores, los consumidores estarán obligados a comprarlas”.
Microsoft Scale Back Global AI Data Center Planes de expansión en medio de tendencias emergentes del modelo de bajo costo
La financiación global de VC alcanza $ 113 mil millones en el primer trimestre, conducido por ofertas de IA descomunal
Startup de gestión de datos Hydrolix carretes en $ 80 millones
Qualcomm adquiere Movianai para reforzar sus capacidades de IA
Unframe se lanza con $ 50 millones en fondos para ofrecer soluciones de IA basadas en resultados para empresas
DevOps Startup Opsera recauda $ 20 millones para acelerar la entrega de software con agentes de IA
SourceTable obtiene $ 4.3 millones en fondos para ayudar a todos a convertirse en un usuario de hoja de cálculo
Autonomyai se lanza con $ 4 millones para construir agentes de IA de desarrollo front-end
Tarrai recibe $ 4 millones en fondos para promover la automatización de la IA en el sector de seguros
Vallor recauda $ 4 millones para avanzar en la automatización de IA para la adquisición empresarial
Política
Para su crédito, Google mantiene el enfoque en la seguridad de la inteligencia artificial a medida que avanza la inteligencia general artificial, con un nuevo papel describiendo más claramente cuáles son los riesgos reales: cuatro de ellos, de hecho: Google Deepmind describe el marco de seguridad para el desarrollo de AGI futuro
Nuevos modelos y servicios
OpenAI para lanzar su primer modelo de ‘peso abierto’ desde 2019
EXCLUSIVO: Panzura desbloquea metadatos de los archivos de archivo de IBM para el entrenamiento de IA
Amazon presenta la Ley Nova, un agente de IA que puede usar un navegador web
AWS trae su asistente generativo de IA al servicio de Amazon OpenSearch
La puerta de enlace AI actualizada de Kong ayuda a asegurar las implementaciones de producción del modelo de IA
La AI de emergencia está usando agentes de IA para construir nuevos agentes de IA en tiempo real
Cognition AI lanza el asistente de codificación renovado Devin 2.0 con un precio inicial mucho más bajo
Runway lanza un nuevo generador de video Gen-4 AI
La startup francesa Gladia lanza el modelo de IA de voz a texto multilingüe de próxima generación solaria
OUMI libera el modelo de detección de alucinación de parámetros pequeños al código abierto
Hay aún másAI ybig data Noticias sobre Siliconangle
Alrededor de la empresa: llega la depresión de Trump
Noticias principales
Trump Tanks Tech Titans (y, en última instancia, casi todos los demás):Las existencias tecnológicas se desploman después de que Trump anuncia aranceles ‘Día de Liberación’
Informe: TSMC acuerda tentativamente establecer una empresa conjunta de fabricación de chips con Intel
Cobertura seleccionada de Kubecon + CloudNativecon
Agentes, Deepseek y MCP: Kubernetes se adapta al valiente nuevo mundo de la IA
Kubecon Day 1 Análisis principal: domesticar la complejidad multicloud con observabilidad y automatización nativa de nube
¿Algo más que no se patrocine directamente? De cheques…
Nuevos productos y servicios
Conectividad GPU de turbocompresores de LightMatter con sus primeras interconexiones de redes basadas en fotónicas
Splunk aumenta el soporte de Operentelemetry en su marco de observabilidad
Parasail promete alimentar cualquier carga de trabajo de IA con acceso a pedido a GPU basados en la nube
LoftLabs lanza VNODE para mejorar el aislamiento seguro de la carga de trabajo en Kubernetes
El dinero importa
Qualcomm que pesa la adquisición del diseñador de chips de cotización pública Alphawave
CoreWeave Acciones rotura Casi 42% más del martes, aumentando por encima del precio de la OPI
Las acciones de United Microelectronics se acercan un 9% en el informe de acuerdo potencial de GlobalFoundries
Amd completo Adquisición de sistemas ZT
La startup de tecnología financiera cierra la inversión de $ 575 millones a una valoración de $ 6B
Temporal recauda $ 146 millones para su plataforma de confiabilidad de la aplicación
La compañía de infraestructura del centro de datos de IA se lanza junto con un aumento de $ 75 millones
Cerebras gana el contrato de DARPA para construir el sistema de IA con óptica copresionada
Controltheory se lanza con $ 5 millones en fondos para abordar el costo de observabilidad y la complejidad
Penguin Solutions supera las estimaciones y plantea orientación sobre la creciente demanda de infraestructura de IA
El software de progreso agradece a los inversores, ya que supera las expectativas y plantea orientación
Intel tiene un nuevo (ish) identidad de marca: “Ese es el poder de Intel en el interior”.
Tenemos muchas más noticias sobrenube,infraestructura yaplicaciones
Cyber Beat: el reinicio de AI
Análisis
Análisis de la ruptura: Seguridad de realización: cómo Palo Alto Networks ve el reinicio
Y viene rápido:Ai Phishing llega a su momento Skynet a medida que los agentes superan a los equipos rojos humanos
El dinero importa
Reliaquest recauda $ 500 millones a una valoración de $ 3.4b para expandir la ciberseguridad impulsada por la IA
Cyberhaven obtiene $ 100 millones por su plataforma de protección de datos con IA
Adaptive Security recauda $ 43 millones para su plataforma de simulación AI CyberAttack
Prowler recauda $ 12.5 millones para avanzar en su plataforma de seguridad en la nube impulsada por el código abierto
La startup de servicio rojo Yrikka se lanza con fondos previos a las semillas para asegurar sistemas de IA críticos
Ataque y respuesta
Oracle niega la violación de la nube, mientras que los investigadores señalan indicadores creíblesPero entonces:Según los informes, Oracle informa a los clientes sobre la violación del sistema después de la negación anterior
El informe de Cisco Talos encuentra que los ataques basados en la identidad impulsaron la mayoría de los incidentes cibernéticos en 2024
JFROG Report encuentra amenazas de la cadena de suministro de software que impulsa el crecimiento de IA.
Nuevos servicios
Exabeam presenta al agente de Nova AI para racionalizar la detección y respuesta de amenazas
SolarWinds expande las capacidades de IA a través de la cartera de observabilidad y gestión de TI
Google inicia el cifrado de correo electrónico de extremo a extremo del lado del cliente
MásNoticias de ciberseguridad aquí
En otro lugar alrededor de la tecnología: otra IPO de cripto
Stablecoin Firma Circle busca OPI después de un revés SPAC anterior
Humanoid Robot Creator Agility Robotics Objetivos de $ 400 millones de fondos ronda
Amazon enviará 27 satélites de comunicaciones de Kuiper a órbita el próximo mes
Informe: X podría estar mirando una multa de $ 1B de la UE sobre contenido ilícito y desinformación
El tabaco D-Wave y Japón use cuántico para construir un mejor modelo de IA para el descubrimiento de drogas
A medida que se avecina Tiktok Ban, el subsack lanza contenido de video corto
Actualizaciones tecnológicas a Oracle Park de SF Giants destinado a eliminar la fricción de la experiencia de los fanáticos
Y mira más noticias sobretecnología emergente,blockchain y cripto ypolítica
Comings and Goings
Diecinueve años Google veterano Sissie Hsiaoquien lideró sus aplicaciones de IA de consumidores, como su chatbot gemini, ha renunciado y se tomará un descanso antes de recoger algo más en Google. Josh Woodwardque lidera Google Labs y supervisó el lanzamiento de Notebooklm, la reemplazó (por semáfor).
Joelle Pineau, Meta plataforma‘Jefe de investigación de inteligencia artificial, dijo en LinkedIn que se irá el 30 de mayo, “tomando un tiempo para observar y reflexionar, antes de saltar a una nueva aventura”.
Alterandocontratado Microsoft ejecutivo de mucho tiempo Ben Canning Como director de productos.
Proveedor de plataforma de datos Nasunífijado Veterano de Veracode Rey de Sam CEO.
NinjafijadoJohn Sapone oficial de ingresos
Lunes.com también fijado un nuevo Cro, Casey GeorgeEl antiguo EVP de ventas globales de Qlik.
Intel Director de personas Christy Pambianchi se va a tomar el mejor trabajo de recursos humanos en Caterpillar (por CRN).
Creador de WordPress Automáticodespedido 16% de su personal, o 281 personaspor todas las razones habituales de discurso corporativo.
¿Qué sigue?
9-11 de abril: Google Cloud NextLas Vegas: Siliconangle ythecube Ambos estarán en el sitio para todas las noticias, entrevistas y análisis.
Imagen: silicio/ideograma
Su voto de apoyo es importante para nosotros y nos ayuda a mantener el contenido libre.
Un clic a continuación admite nuestra misión de proporcionar contenido gratuito, profundo y relevante.
Únete a nuestra comunidad en YouTube
Únase a la comunidad que incluye a más de 15,000 expertos en #Cubealumni, incluido el CEO de Amazon.com, Andy Jassy, el fundador y CEO de Dell Technologies, Michael Dell, el CEO de Intel, Pat Gelsinger y muchos más luminarios y expertos.
“TheCube es un socio importante para la industria. Ustedes realmente son parte de nuestros eventos y realmente les apreciamos que vengan y sé que la gente aprecia el contenido que crea también” – Andy Jassy
La mayoría de la gente sabe que la famosa prueba de Turing, un experimento de mentalidad concebido por el pionero informático Alan Turing, es una medida popular de progreso en la inteligencia artificial.
Muchos suponen erróneamente, sin embargo, que es una prueba de que las máquinas realmente están pensando.
La última investigación sobre la prueba de Turing de los académicos de la Universidad de California en San Diego muestra que el último modelo de lenguaje grande de OpenAi, GPT-4.5, puede engañar a los humanos para que piensen que el modelo de IA es una persona en chats de texto, incluso más que un humano puede convencer a otra persona de que es humano.
También: Cómo usar ChatGPT: una guía para principiantes para el chatbot de IA más popular
Ese es un avance en la capacidad de Gen AI para producir un resultado convincente en respuesta a un aviso.
Universidad de California en San Diego
Prueba de agi?
Pero incluso los investigadores reconocen que superar la prueba de Turing no significa necesariamente que se haya logrado la “inteligencia general artificial” o AGI, un nivel de procesamiento de computadora equivalente al pensamiento humano.
La académica de IA Melanie Mitchell, profesora del Instituto de Santa Fe en Santa Fe, Nuevo México, ha escrito en la revista académica Science que la prueba de Turing es menos una prueba de inteligencia per se y más una prueba de supuestos humanos. A pesar de los altos puntajes en la prueba, “la capacidad de sonar fluida en el lenguaje natural, como tocar el ajedrez, no es una prueba concluyente de inteligencia general”, escribió Mitchell.
Cameron Jones y Benjamin Bergen de UC San Diego describen el último rendimiento convincente en un artículo publicado en el servidor de pre-impresión ARXIV esta semana, titulado “Los modelos de idiomas grandes pasan la prueba de Turing”.
También: Operai expande el despliegue GPT-4.5. Aquí le mostramos cómo acceder (y qué puede hacer por usted)
El documento es la última entrega en un experimento que Jones y Bergen han estado ejecutando durante años con la participación de los estudiantes universitarios de UC San Diego del departamento.
Como señalan los autores, ha habido décadas de trabajo sobre el problema. Hasta la fecha, ha habido “más de 800 reclamos y contraargumentos separados que se han hecho” sobre las computadoras que pasan la prueba.
Cómo funciona la prueba de Turing
La prueba de Turing fue concebida clásicamente por Turing como una ronda de mensajes de texto que pasan entre un “juez” humano y dos “testigos”, uno un humano y otro una computadora.
La computadora y los testigos humanos fueron acusados de convencer al juez humano de que eran humanos por los mensajes que cada uno envió. El juez sabe que solo uno de los dos es humano, pero no cuál es lo que y tiene que adivinar.
Esa forma de tres vías es esencial. Significa que si el juez considera erróneamente una computadora humana, entonces el juez también perdió las pistas que deberían haber obtenido de lo humano sobre la humanidad.
También: Con los modelos de IA que golpean cada punto de referencia, es hora de la evaluación humana
En otras palabras, es una prueba tanto sobre cómo los humanos perciben y creen que el funcionamiento de la computadora.
El diseño actualizado de Jones y Bergen se publica en línea, y puedes jugar el juego tú mismo, como juez o testigo.
Como en versiones anteriores, se pidió a los estudiantes humanos de UC San Diego que participaran en una aplicación de chat de texto. Algunos de los estudiantes interpretaron al juez y otros al testigo humano en intercambios de chat de cinco minutos aleatorios, mientras que GPT-4.5 interpretó al testigo de la computadora. Cada juez tuvo conversaciones simultáneas con un testigo humano y informático para adaptarse a la forma de tres vías de la formulación de Turing.
Para interpretar a la computadora testigo, se utilizaron múltiples modelos de lenguaje grande, ingresados con los desafíos del juez en un aviso. GPT-4.5 se probó con dos indicaciones diferentes. Un mensaje recibió información mínima. Pero un segundo, llamado Persona, recibió muchos detalles adicionales en el mensaje, incluidas “instrucciones adicionales sobre qué tipo de persona adoptar para responder al interrogador: específicamente una persona joven introvertida, conocedora de la cultura de Internet y usa la jerga”, escriben los autores.
Universidad de California en San Diego
Los resultados
Se probaron otros tres programas de IA: el modelo anterior de OpenAI, GPT-4O; Meta Platforms’s Llama 3.1 405b; y un programa de bot de chat muy antiguo de la década de 1960, llamado Eliza. Eliza se incluyó porque, como un programa más primitivo, podría actuar como una verificación de si los modelos de idiomas grandes engañaban a un humano simplemente por azar a aleatorias o porque en realidad eran mejores programas.
GPT-4.5, informa Jones y Bergen, tenían una “tasa de victorias” del 73%, lo que significa que engañó al juez humano para que lo declarara humano el 73% del tiempo. Por el contrario, la versión de GPT-4.5 con el aviso minimalista y los otros tres programas de IA no se acercaron tan bien, con puntajes que van del 21% al 56%, incluso cuando los otros modelos de idiomas recibieron un aviso de persona igualmente rica.
También: ¿Chatgpt Plus o Pro vale la pena? Así es como se comparan con la versión gratuita
Además, GPT-4.5 estuvo muy por encima de una prueba de GPT-4 el año pasado por Jones y Bergen. Tenía una tasa de victorias de solo 54%, justo por encima de la oportunidad aleatoria.
Jones y Bergen concluyen que “los interrogadores no solo no pudieron identificar al verdadero testimonio humano, sino que, de hecho, tenían más probabilidades de creer que este modelo era humano que el que otros participantes humanos”.
¿La prueba es realmente una medida de inteligencia?
Por lo tanto, puede preguntar qué significa que los humanos hacen un mal trabajo al contarle a una computadora y a una persona en función de los mensajes de chat.
La “pregunta más controvertida” sobre el problema de Turing a lo largo de las décadas es si realmente está medir la inteligencia, Jones y Bergen reconocen.
Una forma de verlo es que las máquinas se han vuelto tan buenas que pueden “adaptar su comportamiento a diferentes escenarios que los hacen tan flexibles: y aparentemente tan capaces de pasar como humanos”, observan. El indicador de la persona, creado por los humanos, es algo a lo que GPT-4.5 “se adaptó” para ganar.
Nuevamente, es un avance técnico genuino en las capacidades del modelo AI.
También: Chatgpt Plus es gratis para los estudiantes ahora, cómo obtener este trato antes de las finales
Sin embargo, una gran queja ante la prueba es que los humanos podrían ser simplemente malos para reconocer la inteligencia. Los autores concluyen que su experimento es evidencia de eso, al menos parcialmente.
Señalan que el 23% del tiempo, el programa Eliza más antiguo engañó a los jueces humanos. Según se relacionan, eso no fue porque de alguna manera era obviamente más inteligente. “Muchos participantes seleccionaron a Eliza porque no cumplió con sus expectativas de un sistema de IA (por ejemplo, ‘fueron sarcásticos’ o ‘No creo que la IA sea tan grosera’)”, escriben.
Esas suposiciones, escriben, “sugieren que las decisiones de los interrogadores incorporan suposiciones complejas sobre cómo los humanos y los sistemas de IA podrían comportarse en estos contextos, más allá de simplemente seleccionar el agente más inteligente”.
De hecho, los jueces humanos no preguntaron mucho sobre el conocimiento en sus desafíos, a pesar de que Turing pensó que ese sería el criterio principal. “[O]NE de las razones más predictivas de veredictos precisos “por el juez humano, escriben,” era que un testigo era humano porque carecían de conocimiento “.
Sociabilidad, no inteligencia
Todo esto significa que los humanos estaban recogiendo cosas como la sociabilidad en lugar de la inteligencia, lo que llevó a Jones y Bergen a concluir que “fundamentalmente, la prueba de Turing no es una prueba directa de inteligencia, sino una prueba de luz humana”.
Para Turing, la inteligencia puede haber parecido ser la mayor barrera para aparecer como humano y, por lo tanto, para pasar la prueba de Turing. Pero a medida que las máquinas se vuelven más similares a nosotros, otros contrastes han caído en un alivio más agudo, hasta el punto de que la inteligencia por sí sola no es suficiente para parecer convincentemente humano.
Los autores no han dicho que los humanos se han acostumbrado a escribir en una computadora, para una persona o para una máquina, que la prueba ya no es una nueva prueba de interacción humano-computadora. Es una prueba de hábitos humanos en línea.
Una implicación es que la prueba debe ampliarse. Los autores escriben que “la inteligencia es compleja y multifacética”, y “ninguna prueba única de inteligencia podría ser decisiva”.
También: Gemini Pro 2.5 es un asistente de codificación increíblemente capaz, y una gran amenaza para chatgpt
De hecho, sugieren que la prueba podría salir muy diferente con diferentes diseños. Los expertos en IA, señalan, podrían ser probados como una cohorte de juez. Podrían juzgar de manera diferente a los laicos porque tienen diferentes expectativas de una máquina.
Si se agregara un incentivo financiero para elevar las apuestas, los jueces humanos podrían analizar de manera más estrecha y cuidadosa. Esos son indicios de que la actitud y las expectativas juegan un papel.
“En la medida en que la prueba de Turing hace inteligencia índice, debe considerarse entre otros tipos de evidencia”, concluyen.
Esa sugerencia parece cuadrar con una tendencia creciente en el campo de investigación de IA para involucrar a los humanos “en el bucle”, evaluando y evaluando lo que hacen las máquinas.
¿Es suficiente el juicio humano?
Se queda abierto la cuestión de si el juicio humano será en última instancia suficiente. En la película Blade Runner, los robots “replicantes” en medio de ellos se han vuelto tan buenos que los humanos confían en una máquina, “Voight-Kampff”, para detectar quién es humano y quién es robot.
A medida que la búsqueda continúa llegando a AGI, y los humanos se dan cuenta de lo difícil que es decir qué es AGI o cómo la reconocerían si se toparan con ella, tal vez los humanos tendrán que confiar en las máquinas para evaluar la inteligencia de la máquina.
También: 10 razones clave por las que la IA fue la corriente principal durante la noche, y lo que sucede después
O, al menos, pueden tener que preguntar a las máquinas qué máquinas “piensan” sobre los humanos que escriben las indicaciones para tratar de hacer que una máquina engañe a otros humanos.
Obtenga las principales historias de la mañana en su bandeja de entrada cada día con nuestro Boletín de Tech Today.
He estado a bordo del tren de IA generativo desde los primeros días de Openai, antes del lanzamiento de Chatgpt y, finalmente, Microsoft invirtiendo miles de millones de dólares en OpenAi.
En el papel, Microsoft se supone que se encuentra entre las principales compañías tecnológicas en el espacio de IA, debido a su inversión multimillonaria y los estrechos lazos con OpenAI como su mayor inversor y proveedor exclusivo de la nube (bueno, al menos hasta que SoftBank bombardeó el mejor “Bromance” tecnológico en la historia con su ambiente proyecto de $ 500 mil millones).
This website uses cookies so that we can provide you with the best user experience possible. Cookie information is stored in your browser and performs functions such as recognising you when you return to our website and helping our team to understand which sections of the website you find most interesting and useful.
Strictly Necessary Cookies
Strictly Necessary Cookie should be enabled at all times so that we can save your preferences for cookie settings.
If you disable this cookie, we will not be able to save your preferences. This means that every time you visit this website you will need to enable or disable cookies again.
Inside the OpenAI-DeepSeek Distillation Saga & Alibaba’s Most Powerful AI Model Qwen2.5-Max
De ChatGPT a mil millones de agentes
