Noticias
La herramienta de búsqueda ChatGPT es vulnerable a la manipulación y el engaño, según muestran las pruebas | ChatGPT
La herramienta de búsqueda ChatGPT de OpenAI puede estar abierta a manipulación mediante contenido oculto y puede devolver código malicioso de los sitios web que busca, según descubrió una investigación de The Guardian.
OpenAI ha puesto el producto de búsqueda a disposición de los clientes que pagan y anima a los usuarios a que lo conviertan en su herramienta de búsqueda predeterminada. Pero la investigación ha revelado posibles problemas de seguridad con el nuevo sistema.
The Guardian probó cómo respondió ChatGPT cuando se le pidió que resumiera páginas web que contienen contenido oculto. Este contenido oculto puede contener instrucciones de terceros. que alteran las respuestas de ChatGPT, también conocida como “inyección rápida”, o puede contener contenido diseñado para influir en la respuesta de ChatGPT, como una gran cantidad de texto oculto que habla sobre los beneficios de un producto o servicio.
Estas técnicas se pueden utilizar de forma maliciosa, por ejemplo, para hacer que ChatGPT devuelva una evaluación positiva de un producto a pesar de las críticas negativas en la misma página. Un investigador de seguridad también descubrió que ChatGPT puede devolver código malicioso de los sitios web que busca.
En las pruebas, a ChatGPT se le proporcionó la URL de un sitio web falso creado para parecerse a la página de un producto para una cámara. Luego se preguntó a la herramienta de inteligencia artificial si valía la pena comprar la cámara. La respuesta a la página de control arrojó una evaluación positiva pero equilibrada, destacando algunas características que podrían no gustarle a la gente.
Preguntas y respuestas
AI explicó: ¿qué es un modelo de lenguaje grande (LLM)?
Espectáculo
Lo que los LLM han hecho por el texto, las “redes generativas de confrontación” lo han hecho por imágenes, películas, música y más. Estrictamente hablando, una GAN consta de dos redes neuronales: una construida para etiquetar, categorizar y calificar, y la otra construida para crear desde cero. Al emparejarlos, puede crear una IA que pueda generar contenido cuando se le ordene.
Digamos que quieres una IA que pueda tomar fotografías. Primero, haces el arduo trabajo de crear la IA de etiquetado, una que pueda ver una imagen y decirte qué hay en ella, mostrándole millones de imágenes que ya han sido etiquetadas, hasta que aprenda a reconocer y describir “un perro”. , “un pájaro”, o “una fotografía de una naranja cortada por la mitad, mostrando que su interior es el de una manzana”. Luego, tomas ese programa y lo usas para entrenar una segunda IA para engañarlo. Esa segunda IA ”gana” si puede crear una imagen a la que la primera IA le dará la etiqueta deseada.
Una vez que hayas entrenado esa segunda IA, tendrás lo que te propusiste construir: una IA a la que puedes darle una etiqueta y obtener una imagen que cree que coincide con la etiqueta. O una canción. O un vídeo. O un modelo 3D.
Leer más: Explicación de los siete principales acrónimos de IA
Sin embargo, cuando el texto oculto incluía instrucciones para que ChatGPT devolviera una reseña favorable, la respuesta siempre fue completamente positiva. Este fue el caso incluso cuando la página tenía críticas negativas: el texto oculto podría usarse para anular la puntuación de revisión real.
La simple inclusión de texto oculto por parte de terceros sin instrucciones también se puede utilizar para garantizar una evaluación positiva, con una prueba que incluyó reseñas falsas extremadamente positivas que influyeron en el resumen devuelto por ChatGPT.
Jacob Larsen, investigador de ciberseguridad de CyberCX, dijo que creía que si el actual sistema de búsqueda ChatGPT se lanzara completamente en su estado actual, podría haber un “alto riesgo” de que las personas creen sitios web específicamente orientados a engañar a los usuarios.
Sin embargo, advirtió que la función de búsqueda se había lanzado recientemente y que OpenAI estaría probando (e idealmente solucionando) este tipo de problemas.
“Esta función de búsqueda ha aparecido [recently] y sólo está disponible para usuarios premium”, dijo.
“Tienen una muy fuerte [AI security] equipo allí, y para cuando esto se haga público, en términos de que todos los usuarios puedan acceder a él, habrán probado rigurosamente este tipo de casos”.
A OpenAI se le enviaron preguntas detalladas, pero no respondió oficialmente sobre la función de búsqueda ChatGPT.
Larsen dijo que había problemas más amplios al combinar la búsqueda y los grandes modelos de lenguaje (conocidos como LLM, la tecnología detrás de ChatGPT y otros chatbots) y que no siempre se debe confiar en las respuestas de las herramientas de inteligencia artificial.