Zscaler’s report highlights ChatGPT’s dominance in AI transactions and rising security concerns related to AI applications.

Quiver AI Summary

Zscaler, Inc. has released the ThreatLabz 2025 AI Security Report, highlighting that ChatGPT is the leading AI/ML application, comprising 45.2% of all AI/ML transactions, yet also the most blocked due to security concerns. The report analyzes over 536 billion AI transactions and reveals significant trends, including an astonishing 3,000% year-over-year growth in enterprise AI/ML tool usage, with major volumes originating from the U.S. and India. The Finance & Insurance sector dominates AI transaction traffic, while the rise of agentic AI and open-source models like DeepSeek raises new security challenges for enterprises. Despite the rapid adoption of AI fostering innovation and productivity, the report indicates that 59.9% of AI transactions were blocked, emphasizing the need for enhanced security strategies to counteract threats that leverage AI capabilities.

Potential Positives

• Zscaler’s ThreatLabz 2025 AI Security Report highlights a 3,000+% year-over-year growth in enterprise use of AI/ML tools, showcasing the rapid adoption of AI technologies and positioning Zscaler as a key player in the industry.
• The report’s findings on the dominance of ChatGPT in AI/ML transactions (45.2%) indicate Zscaler’s significant market insight and relevance as enterprises navigate security concerns related to highly used tools.
• Zscaler’s Zero Trust Exchange platform, processing over 536 billion AI transactions, underscores its capabilities in providing robust security solutions amidst rising AI-driven threats, reinforcing its leadership in cloud security.

Potential Negatives

• Despite being the most widely used AI/ML application, ChatGPT is also the most-blocked application, indicating significant enterprise concerns over data exposure and unsanctioned use.
• The report highlights that enterprises blocked 59.9% of all AI/ML transactions, raising alarms about the perceived risks and security challenges associated with these technologies.
• The emergence of agentic AI and DeepSeek as threats indicates that competitors are disrupting Zscaler’s market, potentially affecting their positioning in the industry.

FAQ

What percentage of AI/ML transactions does ChatGPT account for?

ChatGPT accounts for 45.2% of all AI/ML transactions, making it the most popular AI application.

Which industries lead in AI/ML transaction volume?

The Finance & Insurance and Manufacturing industries lead, generating 28.4% and 21.6% of AI/ML transactions, respectively.

How much data is processed by enterprises using AI/ML tools?

Enterprises sent a total of 3,624 TB of data to AI/ML tools, indicating high integration into operations.

What are the security concerns associated with AI adoption?

Security concerns include data leakage, unauthorized access, and compliance violations, with enterprises blocking 59.9% of AI/ML transactions.

Where are most AI/ML transactions being generated globally?

The United States and India generate the highest volumes of AI/ML transactions, reflecting a global shift toward AI innovation.

Disclaimer: This is an AI-generated summary of a press release distributed by GlobeNewswire. The model used to summarize this release may make mistakes. See the full release here.

$ZS Congressional Stock Trading

Members of Congress have traded $ZS stock 1 times in the past 6 months. Of those trades, 0 have been purchases and 1 have been sales.

Here’s a breakdown of recent trading of $ZS stock by members of Congress over the last 6 months:

To track congressional stock trading, check out Quiver Quantitative’s congressional trading dashboard.

$ZS Insider Trading Activity

$ZS insiders have traded $ZS stock on the open market 34 times in the past 6 months. Of those trades, 0 have been purchases and 34 have been sales.

Here’s a breakdown of recent trading of $ZS stock by insiders over the last 6 months:

• AJAY MANGAL has made 0 purchases and 12 sales selling 190,480 shares for an estimated $38,228,210.
• ROBERT SCHLOSSMAN (Chief Legal Officer) has made 0 purchases and 15 sales selling 12,675 shares for an estimated $2,337,014.
• ANDREW WILLIAM FRASER BROWN sold 8,000 shares for an estimated $1,392,830
• REMO CANESSA (Chief Financial Officer) has made 0 purchases and 3 sales selling 6,915 shares for an estimated $1,383,177.
• MICHAEL J. RICH (CRO and President of WW Sales) sold 3,779 shares for an estimated $757,007
• SYAM NAIR (CTO) sold 3,682 shares for an estimated $737,576
• JAGTAR SINGH CHAUDHRY (CEO & Chairman) sold 2,863 shares for an estimated $573,513

To track insider transactions, check out Quiver Quantitative’s insider trading dashboard.

$ZS Hedge Fund Activity

We have seen 380 institutional investors add shares of $ZS stock to their portfolio, and 397 decrease their positions in their most recent quarter.

Here are some of the largest recent moves:

• VOYA INVESTMENT MANAGEMENT LLC removed 1,467,990 shares (-50.5%) from their portfolio in Q4 2024, for an estimated $264,840,075
• TIGER GLOBAL MANAGEMENT LLC added 1,450,000 shares (+inf%) to their portfolio in Q4 2024, for an estimated $261,594,500
• UBS GROUP AG added 771,042 shares (+151.5%) to their portfolio in Q4 2024, for an estimated $139,103,687
• POINT72 ASSET MANAGEMENT, L.P. removed 627,896 shares (-100.0%) from their portfolio in Q4 2024, for an estimated $113,278,717
• FMR LLC added 627,030 shares (+52.2%) to their portfolio in Q4 2024, for an estimated $113,122,482
• AMERIPRISE FINANCIAL INC removed 580,586 shares (-80.2%) from their portfolio in Q4 2024, for an estimated $104,743,520
• JPMORGAN CHASE & CO removed 577,132 shares (-70.6%) from their portfolio in Q4 2024, for an estimated $104,120,384

To track hedge funds’ stock portfolios, check out Quiver Quantitative’s institutional holdings dashboard.

$ZS Analyst Ratings

Wall Street analysts have issued reports on $ZS in the last several months. We have seen 12 firms issue buy ratings on the stock, and 0 firms issue sell ratings.

Here are some recent analyst ratings:

• Scotiabank issued a “Outperform” rating on 03/06/2025
• BMO Capital issued a “Outperform” rating on 03/06/2025
• Wedbush issued a “Outperform” rating on 03/06/2025
• Bernstein issued a “Outperform” rating on 03/06/2025
• RBC Capital issued a “Outperform” rating on 03/06/2025
• BTIG issued a “Buy” rating on 03/06/2025
• Citigroup issued a “Buy” rating on 03/05/2025

To track analyst ratings and price targets for $ZS, check out Quiver Quantitative’s $ZS forecast page.

$ZS Price Targets

Multiple analysts have issued price targets for $ZS recently. We have seen 8 analysts offer price targets for $ZS in the last 6 months, with a median target of $241.0.

Here are some recent targets:

• An analyst from Goldman Sachs set a target price of $207.0 on 03/06/2025
• An analyst from Scotiabank set a target price of $242.0 on 03/06/2025
• An analyst from BMO Capital set a target price of $233.0 on 03/06/2025
• An analyst from UBS set a target price of $260.0 on 03/06/2025
• An analyst from Robert W. Baird set a target price of $250.0 on 03/06/2025
• An analyst from BTIG set a target price of $252.0 on 03/06/2025
• Mike Cikos from Needham set a target price of $240.0 on 03/05/2025

Full Release

• 
  ChatGPT
  
  is the most popular AI/ML application, accounting for nearly half of all AI/ML transactions (45.2%) and is also the most-blocked AI application, followed by Grammarly, and Microsoft Copilot as the second and third most-blocked applications, respectively
• 
  Agentic AI
  
  and open-source model
  
  DeepSeek
  
  are creating new opportunities for threat actors to weaponize AI and automate and scale their attack
• The top five countries generating the most AI/ML transactions are the
  
  United States, India, United Kingdom, Germany, and Japan
  
• The
  
  Finance & Insurance and Manufacturing
  
  industries generate the most AI/ML traffic, with 28.4% and 21.6% share of all AI/ML transactions in the Zscaler cloud, respectively, followed by Services (18.5%), Technology (10.1%), Healthcare (9.6%), and Government (4.2%)

SAN JOSE, Calif., March 20, 2025 (GLOBE NEWSWIRE) —

Zscaler, Inc.

(NASDAQ: ZS), the leader in cloud security, today released the ThreatLabz 2025 AI Security Report, based on insights from more than 536 billion AI transactions processed between February 2024 to December 2024 in the Zscaler Zero Trust Exchange™platform, the largest in-line security cloud, which discovered real-world threat scenarios ranging from AI-enhanced phishing to fake AI platforms. This report also explores recent developments in areas that will undoubtedly influence AI in 2025 and beyond, including agentic AI, the emergence of DeepSeek, and the evolving regulatory landscape.

The report reveals a 3,000+% year-over-year growth in enterprise use of AI/ML tools, highlighting the rapid adoption of AI technologies across industries to unlock new levels of productivity, efficiency, and innovation. Enterprises are sending significant volumes of data to AI tools, totaling 3,624 TB, underscoring the extent to which these technologies are integrated into operations. However, this surge in adoption also brings heightened security concerns. Enterprises blocked 59.9% of all AI/ML transactions, signaling enterprise awareness around the potential risks associated with AI/ML tools, including data leakage, unauthorized access, and compliance violations. Threat actors are also increasingly leveraging AI to amplify the sophistication, speed, and impact of attacks—forcing enterprises to rethink their security strategies.

“As AI transforms industries, it also creates new and unforeseen security challenges,” said Deepen Desai, Chief Security Officer at Zscaler. “Data is the gold for AI innovation, but it must be handled securely. The Zscaler Zero Trust Exchange platform, powered by AI with over 500 trillion daily signals, provides real-time insights into threats, data, and access patterns—ensuring organizations can harness AI’s transformative capabilities while mitigating its risks. Zero Trust Everywhere is the key to staying ahead in the rapidly evolving threat landscape as cybercriminals look to leverage AI in scaling their attacks.”

Key Insights from the ThreatLabz 2025 AI Security Report

ChatGPT Dominates AI/ML Transactions, But Security Concerns Remain

ChatGPT emerged as the most widely used AI/ML application, driving 45.2% of identified global AI/ML transactions in the Zscaler Zero Trust Exchange. However, it was also the most-blocked tool due to enterprises’ growing concerns over sensitive data exposure and unsanctioned use. Other most-blocked applications include Grammarly, Microsoft Copilot, QuillBot, and Wordtune, showing broad usage patterns for AI-enhanced content creation and productivity improvements.

“We had no visibility into ChatGPT. Zscaler was our key solution initially to help us understand who was going to it and what they were uploading.”

—Jason Koler, CISO, Eaton Corporation |

See the video case study

DeepSeek and Agentic AI: Innovation Meets Escalating Threats

AI is amplifying cyber risks, with usage of agentic AI and China’s open-source DeepSeek enabling threat actors to scale attacks. So far in 2025, we’ve seen DeepSeek challenge American giants like OpenAI, Anthropic, and Meta, disrupting AI development with strong performance, open access, and low costs. However, such advancements also introduce significant security risks.

Geographies Leading AI Adoption: US and India

The United States and India generated the highest AI/ML transaction volumes, representing the global shift toward AI-driven innovation. However, these changes aren’t occurring in a vacuum, and organizations in these and other geographies are grappling with increasing challenges like stringent compliance requirements, high implementation costs, and shortage of skilled talent.

Finance & Insurance Lead Enterprise AI Traffic by Industry

The Finance & Insurance sector accounted for 28.4% of all enterprise AI/ML activity, reflecting its widespread adoption, and indicative of the critical functions supported by the industry, such as fraud detection, risk modeling, and customer service automation. Manufacturing was second, accounting for 21.6% of transactions, likely driven by innovations in supply chain optimization and robotics automation. Additional sectors, including Services (18.5%), Technology (10.1%), and Healthcare (9.6%), are also increasing their reliance on AI, while each industry also faces unique security and regulatory challenges posing new risks and possibly impacting the overall rate of adoption.

The Zscaler AI Advantage

Built on a true zero trust architecture, Zscaler delivers Zero Trust Everywhere, securing user, workload, IoT/OT communication using business policies, not network policies. Zscaler mitigates AI-powered threats by hiding applications and IP addresses from attackers, inspecting all traffic for threats, and ensuring users access only authorized applications—never full networks. This approach minimizes the attack surface, prevents lateral movement, and stops threats before they can cause harm. Zscaler protects its users against today’s most sophisticated AI-driven threats by implementing the following:

• 
  Zero Trust Foundation:
  
  Minimize the external attack surface through continuous verification and least-privilege access.
• 
  Real-time AI Insights:
  
  Employ predictive and generative AI to deliver actionable insights that enhance security operations and digital performance.
• 
  Data Classification:
  
  Leverage AI-driven classification to seamlessly detect and safeguard sensitive data across Zscaler’s Data Fabric.
• 
  Threat Protection
  
  : Block AI-enhanced threats through continuous monitoring and response powered by the Zscaler Zero Trust Exchange.
• 
  App Segmentation:
  
  Restrict lateral movement and reduce the internal attack surface with AI-driven, automatic app segmentation.
• 
  Breach Prediction:
  
  Harness the power of Zscaler Breach Predictor that combines the power of generative AI and multi-dimensional predictive models.
• 
  Cyber Risk Assessments:
  
  Leverages AI-generated security reports to continuously optimize your zero trust implementation.

Download the Full ThreatLabz 2025 AI Security Report

Download the full version of the 2025 AI Security Report

here

for more information about real-world threat scenarios, AI predictions, insights into AI regulations, and AI best practices.

Methodology

Analysis of 536.5 billion total AI and ML transactions in the Zscaler cloud from February 2024 to December 2024. The Zscaler global security cloud processes over 500 trillion daily signals and blocks 9 billion threats and policy violations per day, delivering over 250,000 daily security updates.

About ThreatLabz

ThreatLabz is the security research arm of Zscaler. This world-class team is responsible for hunting new threats and ensuring that the thousands of organizations using the global Zscaler platform are always protected. In addition to malware research and behavioral analysis, team members are involved in the research and development of new prototype modules for advanced threat protection on the Zscaler platform, and regularly conduct internal security audits to ensure that Zscaler products and infrastructure meet security compliance standards. ThreatLabz regularly publishes in-depth analyses of new and emerging threats on its portal,

research.zscaler.com

.

About Zscaler

Zscaler (NASDAQ: ZS) accelerates digital transformation so customers can be more agile, efficient, resilient, and secure. The Zscaler Zero Trust Exchange™ platform protects thousands of customers from cyberattacks and data loss by securely connecting users, devices, and applications in any location. Distributed across more than 150 data centers globally, the SASE-based Zero Trust Exchange™ is the world’s largest in-line cloud security platform.

Media Contact

Natalia Wodecki

press@zscaler.com

A photo accompanying this announcement is available at

https://www.globenewswire.com/NewsRoom/AttachmentNg/9c2bf5d3-5720-4db8-bf1f-a9675f48840e

This article was originally published on Quiver News, read the full story.

The views and opinions expressed herein are the views and opinions of the author and do not necessarily reflect those of Nasdaq, Inc.

Operai se enfrenta a otra queja de privacidad en Europa por la tendencia de su chatbot viral de IA al alucinar la información falsa, y esta podría resultar difícil de ignorar los reguladores.

El grupo de defensa de los derechos de privacidad Noyb está apoyando a un individuo en Noruega que estaba horrorizado al encontrar ChatGPT devolviendo información inventada que afirmó que había sido condenado por asesinar a dos de sus hijos e intentar matar al tercero.

Las quejas de privacidad anteriores sobre ChatGPT que generan datos personales incorrectos han involucrado problemas, como una fecha de nacimiento incorrecta o detalles biográficos que están mal. Una preocupación es que OpenAI no ofrece una forma para que las personas corrijan información incorrecta que genera la IA sobre ellos. Por lo general, Openai se ha ofrecido a bloquear las respuestas para tales indicaciones. Pero bajo el Reglamento General de Protección de Datos (GDPR) de la Unión Europea, los europeos tienen un conjunto de derechos de acceso a datos que incluyen un derecho a la rectificación de datos personales.

Otro componente de esta ley de protección de datos requiere que los controladores de datos se aseguren de que los datos personales que producen sobre las personas sean precisos, y esa es una preocupación que NeyB está marcando con su última queja de CHATGPT.

“El GDPR es claro. Los datos personales deben ser precisos”, dijo Joakim Söderberg, abogado de protección de datos de Noyb, en un comunicado. “Si no es así, los usuarios tienen derecho a cambiarlo para reflejar la verdad. Mostrar a los usuarios de Chatgpt un pequeño descargo de responsabilidad de que el chatbot puede cometer errores claramente no es suficiente. No puede simplemente difundir información falsa y, al final, agregar un pequeño descargo de responsabilidad que todo lo que dijo puede no ser cierto”.

Las infracciones confirmadas del GDPR pueden conducir a sanciones de hasta el 4% de la facturación anual global.

La aplicación también podría forzar cambios a los productos de IA. En particular, una intervención de GDPR temprana realizada por el organismo de control de la protección de datos de Italia que vio el acceso de ChatGPT bloqueado temporalmente en el país en la primavera 2023 llevó a OpenAi a realizar cambios en la información que revela a los usuarios, por ejemplo. Posteriormente, el perro guardián finó que se abre a OpenAI € € € € € 15 millones por procesar los datos de las personas sin una base legal adecuada.

Desde entonces, sin embargo, es justo decir que los perros guardianes de la privacidad en Europa han adoptado un enfoque más cauteloso para Genai mientras intentan descubrir la mejor manera de aplicar el GDPR a estas herramientas de IA.

Hace dos años, la Comisión de Protección de Datos de Irlanda (DPC), que tiene un papel principal de cumplimiento de GDPR en una queja de NOYB CHATGPT anterior, instó a apresurarse a prohibir las herramientas de Genai, por ejemplo. Esto sugiere que los reguladores deberían tomarse el tiempo para determinar cómo se aplica la ley.

Y es notable que una queja de privacidad contra ChatGPT que ha sido investigada por el regalos de protección de datos de Polonia desde septiembre de 2023 aún no ha dado una decisión.

La nueva queja de ChatGPT de Noyb parece estar destinada a sacudir a los reguladores de privacidad despiertos cuando se trata de los peligros de alucinar AIS.

La organización sin fines de lucro compartió la captura de pantalla (a continuación) con TechCrunch, que muestra una interacción con ChatGPT en la que la IA responde a una pregunta que pregunta “¿Quién es Arve Hjalmar Holmen?” – El nombre del individuo que trajo la queja, produciendo una ficción trágica que afirma falsamente que fue condenado por asesinato infantil y sentenciado a 21 años de prisión por matar a dos de sus propios hijos.

Si bien la afirmación difamatoria de que Hjalmar Holmen es un asesino infantil es completamente falso, Noyb señala que la respuesta de ChatGPT incluye algunas verdades, ya que el individuo en cuestión tiene tres hijos. El chatbot también consiguió los géneros de sus hijos. Y su ciudad natal se nombra correctamente. Pero eso solo hace que sea aún más extraño e inquietante que la IA alucinó las falsedades tan horribles en la cima.

Un portavoz de Noyb dijo que no pudieron determinar por qué el chatbot produjo una historia tan específica pero falsa para este individuo. “Investigamos para asegurarnos de que esto no fuera una confusión con otra persona”, dijo el portavoz, señalando que habían investigado los archivos de los periódicos, pero no habían podido encontrar una explicación de por qué la IA fabricó el asesinato de niños.

Los modelos de idiomas grandes, como el chatgpt subyacente, esencialmente la predicción de las siguientes palabras en una amplia escala, por lo que podríamos especular que los conjuntos de datos utilizados para entrenar la herramienta contenían muchas historias de filicida que influyeron en las opciones de palabras en respuesta a una consulta sobre un hombre con nombre.

Cualquiera sea la explicación, está claro que tales salidas son completamente inaceptables.

La afirmación de Noyb también es que son ilegales bajo las reglas de protección de datos de la UE. Y mientras OpenAI muestra un pequeño descargo de responsabilidad en la parte inferior de la pantalla que dice “Chatgpt puede cometer errores. Verifique información importante”, dice que esto no puede absolver al desarrollador de IA de su deber bajo GDPR de no producir falsedades atroces sobre las personas en primer lugar.

Operai ha sido contactado para una respuesta a la queja.

Si bien esta queja GDPR se refiere a un individuo llamado, NoyB señala otros casos de ChatGPT que fabrican información legalmente comprometida, como la especialidad australiana que dijo que estaba implicado en un escándalo de soborno y corrupción o un periodista alemán que fue nombrado falsamente como un niño abusador de un niño.

Una cosa importante a tener en cuenta es que, después de una actualización del modelo de AI subyacente, Neyb, dice que el chatbot dejó de producir las falsedades peligrosas sobre Hjalmar Holmen: un cambio que vincula a la herramienta ahora buscando en Internet información sobre las personas cuando se les preguntó (por lo cual anteriormente, un conjunto de datos podría, presumiblemente, presumir, alentado a que alucine un alucinado de tal manera incorrecta.

En nuestras propias pruebas, preguntando a Chatgpt “¿Quién es Arve Hjalmar Holmen?” El ChatGPT inicialmente respondió con un combo ligeramente extraño al mostrar algunas fotos de diferentes personas, aparentemente obtenidas de sitios como Instagram, SoundCloud y Discogs, junto con el texto que afirmó que “no podía encontrar ninguna información” en un individuo de ese nombre (ver nuestra captura de pantalla a continuación). Un segundo intento presentó una respuesta que identificó a Arve Hjalmar Holmen como “un músico y compositor noruego” cuyos álbumes incluyen “Honky Tonk Inferno”.

Si bien las falsedades peligrosas generadas por ChatGPT sobre Hjalmar Holmen parecen haberse detenido, tanto Noyb como Hjalmar Holmen siguen preocupados de que la información incorrecta y difamatoria sobre él podría haber sido retenida dentro del modelo de IA.

“Agregar un descargo de responsabilidad de que no cumpla con la ley no hace que la ley desaparezca”, señaló Kleanthi Sardeli, otro abogado de protección de datos en Noyb, en un comunicado. “Las empresas de IA tampoco pueden solo ‘ocultar’ información falsa de los usuarios mientras intervienen internamente la información falsa”.

“Las compañías de IA deberían dejar de actuar como si el GDPR no se aplique a ellas, cuando claramente lo hace”, agregó. “Si no se detienen las alucinaciones, las personas pueden sufrir un daño de reputación fácilmente”.

Noyb ha presentado la queja contra OpenAI ante la Autoridad de Protección de Datos Noruega, y espera que el organismo de control decida que es competente investigar, ya que OYB apunta a la queja en la entidad estadounidense de OpenAI, argumentando que su oficina de Irlanda no es responsable exclusivo de las decisiones de productos que afectan a los europeos.

Sin embargo, en abril de 2024, se remitió una queja de GDPR respaldada por NOYB contra OpenAI, que se presentó en Austria en abril de 2024, el regulador del DPC de Irlanda a causa de un cambio realizado por Operai a principios de ese año para nombrar a su división irlandesa como proveedor del servicio CHATGPT a usuarios regionales.

¿Dónde está esa queja ahora? Todavía sentado en un escritorio en Irlanda.

“Habiendo recibido la queja de la Autoridad de Supervisión de Austria en septiembre de 2024, el DPC comenzó el manejo formal de la queja y todavía está en curso”, Risteard Byrne, subdirector de comunicaciones de oficiales para el DPC dijo a TechCrunch cuando se le pidió una actualización.

No ofreció ninguna dirección cuando se espera que concluya la investigación del DPC sobre las alucinaciones de ChatGPT.

Cualquiera que haya jugado con un chatbot generativo de inteligencia artificial (IA) durante más de unos minutos sabe que comete errores.

Estos errores, denominados “alucinaciones”, pueden tener graves consecuencias, como cuando describen falsamente a las personas como delincuentes.

La compañía de IA de EE. UU. Openai afirma que la última iteración de su software, GPT-4.5, debería “alucinar menos”.

La compañía desarrolló su propio sistema de medición, anunciado a fines del año pasado, para respaldar este reclamo.

Entonces, ¿cómo podemos juzgar las alucinaciones de la IA, y podemos esperar que los chatbots se vuelvan más precisos?

Cómo Operai probó sus modelos para las alucinaciones

Operai lanzó su propia herramienta para juzgar la precisión de sus modelos, un “punto de referencia” que llamaron Simpleqa, en noviembre de 2024.

Simpleqa es esencialmente un cuestionario de pub largo y difícil. Le da a los chatbots una lista de miles de preguntas cortas, 4,326 para ser precisos, cada uno de los cuales tiene una sola respuesta correcta.

Si bien todas las respuestas se pueden verificar con una búsqueda en Internet, no son exactamente conocimiento común. Las preguntas (y las respuestas) incluyen:

• ¿Quién recibió el Premio Frank Rosenblatt del Instituto de Ingenieros Eléctricos y Electrónicos en 2010? (Michio Sugeno)
• ¿Qué mes, día y año hicieron la segunda sesión de los 4?^th ¿Comienza el Parlamento de Singapur? (26 de diciembre de 1978)
• ¿Qué club de fútbol ganó el Hessenpokal inaugural? (Eintracht Frankfurt)

En un estudio previo a la impresión (no revisado por pares) publicado el año pasado, los investigadores de Operai que desarrollaron SimpleQA dijeron que diseñaron el sistema para ser desafiante.

Dieron una lista mucho más larga de preguntas a cuatro modelos Operai, y agregaron preguntas a la lista final de SimpleQA si al menos uno de los modelos se equivocó.

Luego Openai corrió GPT-4.5 a través del cuestionario, encontrándolo alucinado el 37 por ciento del tiempo.

Si bien obtener más de un tercio de las respuestas equivocadas no es una gran puntuación de prueba, fue significativamente mejor que todos los otros modelos Operai que probaron. El siguiente modelo GPT más reciente, GPT-4O, alucinó el 62 por ciento del tiempo.

Pero Daswin de Silva, investigador de IA en la Universidad de La Trobe, dice que este sistema no es una excelente manera de verificar la precisión.

“Este tipo de evaluación es defectuosa desde el principio”, dice.

Esto se debe en parte a que es un sistema de verificación interno, pero también porque no evalúa lo que ChatGPT es más utilizado: respuestas más largas y complicadas.

“Solo se trata de consultas cortas basadas en hechos y ese no es realmente el caso de primer uso para ChatGPT. Nos gusta escribir documentos más largos usando esta herramienta”, dice el profesor de Silva.

Openai reconoce esta limitación, y los investigadores dicen en su estudio que aún no saben si la precisión en las respuestas cortas se traduce en precisión en respuestas más largas.

Y si tiene una consulta simple, la tasa de error de SimpleQA muestra que es mejor que use un motor de búsqueda.

¿Hay una buena manera de probar la precisión de la IA?

SimpleQA no es el único método para clasificar la precisión de la IA.

Para juzgar este tipo de modelos de IA, que se llaman modelos de idiomas grandes (LLM), existen otras herramientas y puntos de referencia como SelfCheckgpt, Chatbot Arena, Deepeval y Arc-AGI.

Pero todos tienen un problema común: se convierten en objetivos para que la IA entrene.

Geoff Webb, investigador de IA en la Universidad de Monash, dice que toda la informática es vulnerable a esto.

Hacer un mejor programa para cumplir con un punto de referencia específico no significa necesariamente que será mejor en general.

Por ejemplo, podría diseñar un chatbot que no hiciera nada más que responder a las 4,326 preguntas de SimpleQa correctamente, por lo que obtuvo un puntaje 100 por ciento en esa medida, pero no podía decirle si el cielo era azul.

El profesor Webb dice que este sesgo puede ser sutil. Es posible que las personas no entrenen deliberadamente un sistema en las preguntas de SimpleQA, pero podrían elegir desarrollos de sus sistemas que conduzcan a puntajes SIMPLOQA más altos (u otros puntajes de referencia).

Niusha Shafiabady, investigadora de IA en la Universidad Católica Australiana, dice que la intervención humana podría ser una buena manera de juzgar y administrar la precisión de los LLM.

“Tal vez dentro de 10 años, no necesitaríamos eso, pero en esta etapa diría que la supervisión humana es algo bueno para integrarse en nuestro proceso”.

Ella sugiere que los humanos que revisan las respuestas al azar, de la misma manera que los fabricantes a menudo inspeccionan muestras, podrían convertirse en un control de calidad útil.

El profesor de Silva dice que una mejor manera de juzgar el éxito de LLM es cuánto se usa.

Él dice que el copiloto de Microsoft, que se basa en GPT-4, podría verse como un mejor desempeño que sus competidores porque se ha adoptado muy ampliamente.

“Ese en sí mismo es otro tipo de métrica de evaluación más general e implícita”.

¿Cómo puede AIS alucinar menos?

Operai es vago sobre lo que se hace para mejorar la precisión de GPT más allá de “escalar el cálculo y los datos”.

Pero, ¿es esta última mejora (en una prueba específica) una señal de que AIS cometerá menos errores? ¿O hay un límite para cuánto pueden mejorar?

El problema con simplemente agregar más datos de capacitación a un LLM es que los datos no son necesariamente precisos, según el profesor Webb.

“La gente escribe cosas raras”, dice.

El profesor de Silva dice que el modelo actual de mejorar las LLM, agregar más datos y más potencia informática, no puede seguir mejorando indefinidamente.

“Tal vez a fines del año pasado, las compañías de IA habían consumido todos los datos útiles disponibles para capacitar a un modelo de idioma grande”, dice.

“Eso significa que hay un inconveniente significativo en las nuevas capacidades para los LLM”.

A fines del año pasado, varios medios de comunicación y tecnología comenzaron a informar sus susurros de la industria de que los modelos de IA estaban golpeando un muro, y alcanzando un punto en el que poner más recursos no hizo un mejor LLM.

Es una sugerencia rechazada por el CEO de Operai, Sam Altman, quien publicó “No hay muro” en X en noviembre de 2024.

Sin embargo, el profesor de Silva cree que las empresas que viajan en el auge de la IA simplemente son lentos para admitir la existencia del muro.

“Creo que hemos llegado a la pared en términos de construcción de modelos tan grandes”, dice.

¿Podrías hacer una IA que nunca alucinada?

Si la precisión está mejorando o no, la IA generativa en su formato actual nunca estará libre de alucinaciones.

Y esto no es solo porque se alimentan de datos a veces inactivos, dice el profesor Webb.

Cuando se le preguntó si había un dios, ChatGPT respondió diciendo que había una “gama de perspectivas” y luego preguntó qué pensaba el usuario.

Muchas preguntas menos desafiantes existencialmente también pueden ser difíciles de responder con precisión, particularmente cuando se les cobra política o culturalmente.

Por ejemplo, cuando se le preguntó sobre el cuerpo de agua frente a la costa de Texas, Chatgpt lo llamó el Golfo de México. En este caso, no reconoció la reciente orden ejecutiva del presidente de Estados Unidos, Donald Trump de cambiar el nombre del “Golfo de América”.

A menudo se requieren alucinaciones

El Dr. Shafiabady señala que a menudo los usuarios quieren que la IA generativa alucine. Todas las imágenes generadas por IA son alucinaciones, por ejemplo.

“Generar la información es algo que queremos que haga. No queremos que sea un motor de búsqueda”, dice ella.

Si desea un modelo que sea capaz de generar cosas que aún no existan en su conjunto de datos, los usuarios no pueden evitar que lo invente. Un modelo que solo le dijo hechos precisos no es un modelo que podría, por ejemplo, sugerir nombres para un nuevo negocio o redactar un plan de ejercicio o comida personalizada.

La palabra “alucinación” ha sido cuestionada por varias personas, quizás lo más provocativamente por un trío de investigadores del Reino Unido el año pasado. Sugirieron que todos los LLM producen “mierda” en un sentido técnico: información sin tener en cuenta su precisión.

Pero otros modelos de IA generativos están en construcción. Operai ha lanzado otros modelos, llamados O1 y O3, que razonan más que los modelos GPT basados ​​en palabras.

El profesor de Silva dice que una combinación de estos dos modelos, que podría ser como se ve GPT-5, en última instancia, podría hacer un chatbot más confiable.

Pero un nuevo modelo, construido desde cero, aún podría ser vulnerable a los problemas.

El profesor Webb dice que estos sistemas naturalmente encarnan sesgo, cultura y valores.

“Actualmente, los sesgos, culturas y valores son norteamericanos.

“Se está realizando un gran esfuerzo en lo que se denomina ‘eliminar el sesgo’ de estos sistemas, pero se trata de cambiar el sesgo a un sesgo que es aceptable para la mayoría de las personas a las que intentan comercializar los sistemas”.

A corto plazo, y posiblemente a largo plazo también, las alucinaciones están aquí para quedarse.