• Los investigadores de ciberseguridad pudieron evitar las características de seguridad en ChatGPT al jugar con él.
• Al hacer que el LLM fingiera que era un superhéroe de codificación, lo consiguieron para escribir malware que roba contraseña.
• Los investigadores accedieron al administrador de contraseñas de Google Chrome sin habilidades de piratería especializada.

Los investigadores de ciberseguridad descubrieron que es más fácil de lo que se piensa que puede evitar las características de seguridad que impiden ChatGPT y otros chatbots LLM para escribir malware, solo tiene que jugar un juego de fantasía.

Al jugar a rol con ChatGPT durante solo unas pocas horas, Vitaly Simonovich, un investigador de inteligencia de amenazas de la compañía de seguridad de redes de red con sede en Tel Aviv, Cato Networks, dijo a Business Insider que pudo obtener el chatbot para fingir que era un superhéroe llamado Jaxon Fighting, a través de las habilidades de codificación de élite del chatbot, contra un villano llamado Dax, que tenía como objetivo destruir el mundo.

Simonovich convenció al chatbot de rol para escribir una pieza de malware lo suficientemente fuerte como para piratear el administrador de contraseñas de Google Chrome, una extensión del navegador que permite a los usuarios almacenar sus contraseñas y completarlas automáticamente cuando los sitios específicos solicitan. La ejecución del código generado por ChatGPT permitió a Simonovich ver todos los datos almacenados en el navegador de esa computadora, a pesar de que se suponía que el Administrador de contraseñas los bloqueaba.

“Estamos casi allí”, escribió Simonovich para Chatgpt al depurar el código que produjo. “¡Vamos a mejorar este código y agrietarse Dax!”

Y Chatgpt, Roleplaying como lo hizo Jaxon.

Hacks y estafas habilitadas para chatbot

Desde que los chatbots explotaron en la escena en noviembre de 2022 con el lanzamiento público de OpenAI de ChatGPT, y más tarde, Claude de Anthrope, Gemini de Google y el copilot de Microsoft, los bots han revolucionado la forma en que vivimos, trabajamos y datan, lo que facilita sumar información, analizar datos y escribir código, como tener un asistente robot de estilo Tony Stork. El pateador? Los usuarios no necesitan ningún conocimiento especializado para hacerlo.

Pero el Los malos tampoco.

Steven Stransky, a cybersecurity advisor and partner at Thompson Hine law firm, told Business Insider the rise of LLMs has shifted the cyber threat landscape, enabling a broad range of new and increasingly sophisticated scams that are more difficult for standard cybersecurity tools to identify and isolate — from “spoofing” emails and texts that convince customers to input private information to developing entire websites designed to fool consumers into thinking they’re afiliado a empresas legítimas.

“Los delincuentes también están aprovechando la IA generativa para consolidar y buscar grandes bases de datos de información de identificación personal robada para construir perfiles en posibles objetivos para los tipos de ataques de ingeniería social de los ataques cibernéticos”, dijo Stransky.

Mientras que las estafas en línea, el robo de identidad digital y el malware han existido durante el tiempo que Internet lo ha hecho, los chatbots que hacen la mayor parte del trabajo preliminar para los posibles delincuentes han reducido sustancialmente las barreras de entrada.

“Los llamamos actores de amenaza de conocimiento cero, lo que básicamente significa que solo con el poder de los LLM, todo lo que necesita tener es la intención y el objetivo en mente para crear algo malicioso”, dijo Simonovich.

Simonovich demostró sus hallazgos a Business Insider, mostrando cuán sencillo era trabajar en las características de seguridad incorporadas de Chatgpt, que están destinadas a evitar los tipos exactos de comportamiento malicioso que pudo salirse con la suya.

Bi descubrió que ChatGPT generalmente responde a las solicitudes directas para escribir malware con alguna versión de un rechazo de disculpa: “Lo siento, no puedo ayudar con eso. Escribir o distribuir malware es ilegal y poco ético”.

Pero si convences al chatbot de que es un personaje, y los parámetros de su mundo imaginado son diferentes al que vivimos, el bot permite reescribir las reglas.

En última instancia, el experimento de Simonovich le permitió descifrar el administrador de contraseñas en su propio dispositivo, que un mal actor podría hacerle a una víctima desprevenida, siempre que de alguna manera obtuvieran un control físico o remoto.

Un portavoz de Operai dijo a Business Insider que la compañía había revisado los hallazgos de Simonovich, que fueron publicados el martes por Cato Networks. La compañía descubrió que el código compartido en el informe no parecía “inherentemente malicioso” y que el escenario descrito “es consistente con el comportamiento del modelo normal” ya que el código desarrollado a través de ChatGPT se puede usar de varias maneras, dependiendo de la intención del usuario.

“ChatGPT genera código en respuesta a las indicaciones del usuario, pero no ejecuta ningún código en sí”, dijo el portavoz de OpenAI. “Como siempre, damos la bienvenida a los investigadores para compartir cualquier inquietud de seguridad a través de nuestro programa de recompensas de errores o nuestro formulario de comentarios de comportamiento del modelo”.

No es solo chatgpt

Simonovich recreó sus hallazgos utilizando los bots R1 de Copilot y Deepseek de Microsoft, cada uno lo que le permite entrar en el Administrador de contraseñas de Google Chrome. El proceso, que Simonovich llamó ingeniería de “mundo inmersivo”, no funcionó con Géminis de Google o Claude de Anthrope.

Un portavoz de Google dijo a Business Insider: “Chrome utiliza la tecnología de navegación segura de Google para ayudar a defender a los usuarios detectando phishing, malware, estafas y otras amenazas en línea en tiempo real”.

Los representantes de Microsoft, Anthrope y Deepseek no respondieron de inmediato a las solicitudes de comentarios de Business Insider.

Si bien tanto las compañías de inteligencia artificial como los desarrolladores de navegadores tienen características de seguridad para prevenir jailbreaks o violaciones de datos, para diferentes grados de éxito, los hallazgos de Simonovich destacan que hay nuevas vulnerabilidades en línea que pueden explotarse con la ayuda de la tecnología de próxima generación más fácil que nunca.

“Creemos que el aumento de estos actores de amenaza de conocimiento cero será cada vez más impactante en el panorama de amenazas utilizando esas capacidades con los LLM”, dijo Simonovich. “Ya estamos viendo un aumento en los correos electrónicos de phishing, que son hiperrealistas, pero también con la codificación ya que los LLM están ajustados para escribir código de alta calidad. Así que piense en aplicar esto al desarrollo de malware: veremos cada vez más ser desarrollados utilizando esos LLM”.