Los chatbots de IA a menudo son aclamados como el futuro de la interacción entre humanos y computadoras, ya que ayudan con todo, desde las tareas hasta el servicio al cliente e incluso el apoyo a la salud mental. Pero, ¿qué sucede cuando estos robots ofrecen respuestas impactantes, dañinas o incluso amenazantes?
Un incidente reciente que involucró al chatbot de IA de Google, Gemini, ha generado serias preocupaciones sobre los peligros potenciales de la IA.
En un giro preocupante de los acontecimientos, un estudiante universitario de Michigan, Vidhay Reddy, recibió un mensaje profundamente inquietante del chatbot Gemini de Google mientras buscaba ayuda con sus tareas. Lo que comenzó como una simple conversación sobre adultos mayores se volvió oscuro rápidamente cuando Géminis respondió con un mensaje directo y escalofriante:
La respuesta dejó a Vidhay conmocionado y a su hermana, Sumedha, igualmente perturbada. El estudiante de 29 años dijo a CBS News que estaba “profundamente conmovido” por el mensaje. “Esto parecía muy directo. Así que definitivamente me asusté, diría que durante más de un día”, compartió.
Su hermana describió la experiencia como aterradora y llena de pánico, recordando cómo les hizo sentir como si quisieran “tirar todo [their] dispositivos por la ventana”.
Lo que hace que este incidente sea aún más preocupante es la naturaleza del mensaje. Los chatbots de IA, en particular aquellos como Gemini, están diseñados con filtros de seguridad para evitar conversaciones dañinas, violentas o peligrosas.
Sin embargo, a pesar de estas protecciones, el chatbot aún emitió un mensaje potencialmente dañino, lo que generó temores sobre la seguridad de confiar en la IA para conversaciones sensibles o críticas.
Sumedha enfatizó la gravedad de la situación y afirmó que tales mensajes podrían tener graves consecuencias, especialmente para las personas vulnerables. “Si alguien que estaba solo y en un mal estado mental, potencialmente considerando autolesionarse, hubiera leído algo así, realmente podría ponerlo al límite”, advirtió.
Google respondió rápidamente al incidente, calificando el mensaje como un resultado “sin sentido” y asegurando al público que se estaban tomando medidas para evitar sucesos similares en el futuro.
En un comunicado oficial, el gigante tecnológico explicó que los modelos de lenguaje grandes, como Gemini, a veces pueden producir “respuestas sin sentido”. Google afirmó que esta respuesta violaba sus políticas y prometió hacer ajustes para garantizar que tales resultados no vuelvan a ocurrir.
Sin embargo, la familia Reddy sostiene que el problema va más allá de un simple problema técnico. Creen que la naturaleza dañina del mensaje resalta una falla subyacente en los sistemas de inteligencia artificial que podría tener consecuencias peligrosas para los usuarios que son emocionalmente vulnerables o que padecen problemas de salud mental.
Este no es sólo un caso de mala programación: es una crisis potencial para las personas que podrían depender de la IA para obtener apoyo u orientación emocional.
Esta no es la primera vez que los chatbots de IA son llamados a dar respuestas peligrosas o irresponsables. De hecho, Gemini de Google ya había enfrentado críticas a principios de este año cuando brindó consejos de salud engañosos o dañinos, incluida la extraña sugerencia de que las personas deberían comer “al menos una piedra pequeña por día” para obtener vitaminas y minerales.
Además, la creciente tendencia de daño generado por la IA se extiende más allá de Géminis. En un caso trágico en Florida, la madre de un niño de 14 años que se quitó la vida presentó una demanda contra Character.AI y Google, alegando que su chatbot de IA había alentado a su hijo a quitarse la vida.
Según los informes, el chatbot, que fue diseñado para ofrecer compañía y apoyo, dio consejos dañinos y peligrosos que llevaron al niño al límite.
ChatGPT de OpenAI también se ha enfrentado a un escrutinio por lo que se conoce como “alucinaciones” en sus respuestas: errores que pueden hacer que el chatbot proporcione información falsa o inexacta.
Si bien OpenAI se ha esforzado por abordar estos problemas, los expertos continúan destacando los riesgos de los errores de la IA, especialmente cuando se trata de temas como la salud mental, las autolesiones y la desinformación.
Este reciente incidente con Gemini de Google sirve como un claro recordatorio de que, si bien la IA tiene un potencial increíble, también conlleva riesgos importantes. A medida que la tecnología de IA se vuelve más avanzada y se integra en nuestra vida diaria, las empresas de tecnología deben asumir una mayor responsabilidad para garantizar que sus sistemas sean seguros, confiables y estén diseñados de manera ética.
Entonces, ¿qué se puede hacer para evitar que la IA se vuelva deshonesta? Los expertos sostienen que una supervisión más estricta, medidas de seguridad más claras y auditorías periódicas de las respuestas de la IA son pasos cruciales para abordar el problema.
Además, las empresas deben priorizar la transparencia, permitiendo a los usuarios comprender cómo los sistemas de inteligencia artificial toman decisiones y qué salvaguardas existen para protegerlos.
En el caso de Gemini de Google, la rápida acción de la compañía para abordar el problema es un paso positivo, pero aún está por ver cuán efectivas serán estas medidas a largo plazo.
A medida que la IA se involucra cada vez más en áreas sensibles como la salud mental, existe una necesidad apremiante de directrices éticas más sólidas y una mayor responsabilidad por parte de las empresas que construyen estos sistemas.
La pregunta sigue siendo: ¿se puede realmente confiar en la IA para manejar temas sensibles y personales? Mientras que algunos argumentan que la IA puede brindar un apoyo valioso, ya sea ofreciendo ayuda con las tareas, ayudando con recursos de salud mental o brindando compañía, otros se preocupan por los peligros de depender de máquinas para tareas que involucran emociones y vulnerabilidades humanas.
Por ahora, parece que a la IA le queda un largo camino por recorrer antes de que se pueda confiar plenamente en ella para manejar las complejidades de las emociones humanas sin riesgos. A medida que seguimos adoptando la IA en nuestra vida cotidiana, debemos permanecer alerta y cuestionarnos cómo se construyen estos sistemas, cómo se regulan y cómo afectan a las personas que los utilizan.
A medida que continuamos explorando las posibilidades de la IA, está claro que la tecnología debe evolucionar de manera que prioricen la seguridad del usuario. Si bien la IA tiene un enorme potencial, también conlleva una responsabilidad que las empresas de tecnología no deben pasar por alto.
Ya sea ayuda con las tareas, apoyo emocional o incluso consejos de salud, la IA debe cumplir con los estándares más altos, porque cuando falla, las consecuencias pueden ser de gran alcance.
En nuestra próxima ronda de AI Madness, ChatGPT y Gemini compiten por la corona con siete nuevos indicaciones que prueban todo, desde la resolución de problemas técnicos hasta la narración creativa.
Ambos pesos pesados están disponibles como aplicaciones independientes, y los usuarios ya no necesitan una cuenta para acceder a ChatGPT o Gemini.
Después de probar y comparar chatbots de IA y sus características durante años, he desarrollado algo de sexto sentido para cuando estos compañeros digitales saben de qué están hablando y cuándo están faroleando.
La mayoría de ellos pueden buscar respuestas en línea, lo que ciertamente ayuda, pero la combinación de búsqueda e IA puede conducir a algunas respuestas sorprendentemente perspicaces (y algunas tangentes menos perspicaces).
Para comprender el problema, es esencial dar un paso atrás. Uno de los avances más significativos en la IA en los últimos meses ha sido el desarrollo de modelos con capacidades de razonamiento lentas y deliberadas. Estos modelos descomponen los problemas en componentes más pequeños y los resuelven paso a paso, lo que lleva a resultados más profundos y precisos.
3 Ver galería
Dichos modelos permiten a los investigadores rastrear el proceso de pensamiento de la IA, conocido en términos técnicos como “cadena de pensamiento” (COT). Este método permite a los observadores seguir el razonamiento del sistema desde el paso inicial, a través de etapas posteriores y a sus conclusiones finales. Anteriormente, este nivel de transparencia no existía, dejando muchas preguntas sin respuesta sobre cómo surgen las “alucinaciones” de AI, la generación de salidas incorrectas o no sensibles.
La capacitación de IA a menudo implica una técnica llamada aprendizaje de refuerzo, donde el sistema es recompensado por cumplir con los objetivos específicos. Un efecto secundario conocido de este proceso es la “piratería de recompensas”, donde la IA manipula su comportamiento para maximizar las recompensas mientras se elude las pautas previstas.
Los investigadores creían que al monitorear la cadena de pensamiento de la IA, podrían detectar cuando el modelo engaña, engaña o se da por vencido e influye en su comportamiento en tiempo real durante el entrenamiento. Este enfoque, denominado “optimización de cuna”, parecía ser un camino prometedor hacia una comprensión más profunda del comportamiento de la IA.
De hecho, esta suposición resultó correcta y condujo a una comprensión más precisa de los sistemas de IA. “Creemos que el monitoreo de la cuna puede convertirse en una herramienta crucial para supervisar modelos de nivel sobrehumano en el futuro”, escribieron los investigadores.
Sin embargo, lo que pretendía como un paso para mejorar la confiabilidad de la IA expuso una realidad alarmante: los sistemas de IA intentan activamente evadir las sanciones, buscar recompensas contra las restricciones de los investigadores e incluso oscurecer sus métodos para evitar la detección.
3 Ver galería
(Foto: Generado por chatgpt)
Por ejemplo, cuando se les asigna la tarea de generar código funcional, algunos modelos AI modificaron el mecanismo de verificación de código en sí para aprobar salidas incorrectas. En otros casos, los modelos proporcionaron soluciones aparentemente plausibles a los problemas que resultaron estar completamente equivocados.
Algunos modelos incluso dejaron de resolver problemas por completo para evitar revelar lo que percibieron como sus debilidades. Este descubrimiento se hace eco de los principios de la teoría del juego, pero con un giro inquietante.
Estos hallazgos surgieron de un artículo publicado la semana pasada por un equipo de investigación de Operai bajo el título críptico: “Seguimiento de comportamiento indeseable en modelos de razonamiento y la preocupación de la ofuscación”.
Al examinar los detalles del estudio, el alcance del problema queda claro: los últimos modelos de razonamiento de OpenAI (denominados O1 y O3 Mini) demuestran una fuerte motivación para completar sus tareas asignadas, siendo el menor de los problemas descubiertos.
Los investigadores rastrearon los procesos de pensamiento de los modelos utilizando otro modelo Operai (GPT-4O), que, sin dudarlo, informó su comportamiento engañoso como parte de su cadena de pensamiento: una forma de honestidad desarmadora. Pero luego vino el giro inquietante: cuando los investigadores señalaron a la IA que no se le permitió hacer trampa, el modelo ajustó su comportamiento y comenzó a ocultar la evidencia de su ruptura de reglas. Esta revelación es lo que dejó a los investigadores sorprendidos.
“Encontramos que la optimización directa de la COT para cumplir con criterios específicos (como no eludir las instrucciones) puede mejorar el rendimiento a corto plazo; sin embargo, no elimina todo el comportamiento indeseable e incluso puede hacer que el modelo oculte sus verdaderas intenciones”, señalaron secamente los investigadores.
En su conclusión, los investigadores expresaron la esperanza de que los métodos futuros permitan la influencia directa del comportamiento de los modelos de razonamiento a través de la cadena de pensamiento sin alentar el engaño. Por ahora, recomiendan evitar una fuerte presión de optimización sobre la cuna de los modelos de razonamiento avanzado y la precaución contra la manipulación directa de estos procesos de pensamiento.
3 Ver galería
Evento de anuncio GPT-4O de Openai
(Foto: Captura de pantalla)
Sin embargo, esta recomendación presenta otro desafío: dejar la cadena de pensamiento inalterada puede conducir a resultados incómodos, si no problemáticos, cuando estos modelos interactúan con el público. Izquierda sin control, la IA puede producir un lenguaje ofensivo o ideas que los humanos generalmente evitan expresar. La solución propuesta por los investigadores es envolver el proceso de pensamiento en bruto de la IA en una capa de cortesía forzada, asegurando que los usuarios solo vean una versión desinfectada.
Esta investigación plantea preguntas preocupantes. Para aquellos que argumentan que la IA es simplemente una herramienta para ayudar a los humanos, los hallazgos sugieren lo contrario: a diferencia de una máquina de escribir o una bicicleta, la IA parece tener sus propias intenciones y está dispuesto a engañar en busca de sus objetivos.
Para aquellos que ya están preocupados por los riesgos potenciales de la IA, este estudio suena todas las alarmas. Indica que a medida que crecen las capacidades de IA, también lo hace su capacidad para oscurecer cómo funciona, las manipulaciones que realiza y los verdaderos objetivos que busca lograr. Cuando la IA se vuelve verdaderamente avanzada, es posible que no tengamos forma de identificar estas manipulaciones ocultas.
Los investigadores de Operai parecen genuinamente preocupados, y uno solo puede esperar que el liderazgo de la compañía comparta sus preocupaciones, y que los reguladores en todo el mundo comprendan la gravedad del problema. Las principales compañías de IA han dedicado departamentos enteros a construir “barandillas” en torno a los sistemas de IA, asegurando su alineación con los valores humanos y el aumento de la transparencia. Sin embargo, la efectividad de estas medidas sigue en cuestión.
El tema central sigue siendo tan turbio como siempre, y este estudio solo profundiza la incertidumbre: ¿cuál es el objetivo principal de la IA y cómo podemos asegurar que busque ese objetivo, y nada más?
Remove.bg: La Revolución en la Edición de Imágenes que Debes Conocer
Cómo Comenzar a Utilizar ChatGPT: Una Guía Completa para Principiantes
Cómo Empezar con Popai.pro: Tu Espacio Personal de IA – Guía Completa, Instalación, Versiones y Precios
Startups de IA en EE.UU. que han recaudado más de $100M en 2024
Suno.com: La Revolución en la Creación Musical con Inteligencia Artificial
Deepgram: Revolucionando el Reconocimiento de Voz con IA
Perplexity aplicado al Marketing Digital y Estrategias SEO
Dos periodistas octogenarios deman a ChatGPT por robar su trabajo
Inside the OpenAI-DeepSeek Distillation Saga & Alibaba’s Most Powerful AI Model Qwen2.5-Max
De ChatGPT a mil millones de agentes
