Connect with us

Noticias

ChatGPT escribe malware que roba contraseña si puede obtenerlo en Roleplay

Published

on

  • Los investigadores de ciberseguridad pudieron evitar las características de seguridad en ChatGPT al jugar con él.
  • Al hacer que el LLM fingiera que era un superhéroe de codificación, lo consiguieron para escribir malware que roba contraseña.
  • Los investigadores accedieron al administrador de contraseñas de Google Chrome sin habilidades de piratería especializada.

Los investigadores de ciberseguridad descubrieron que es más fácil de lo que se piensa que puede evitar las características de seguridad que impiden ChatGPT y otros chatbots LLM para escribir malware, solo tiene que jugar un juego de fantasía.

Al jugar a rol con ChatGPT durante solo unas pocas horas, Vitaly Simonovich, un investigador de inteligencia de amenazas de la compañía de seguridad de redes de red con sede en Tel Aviv, Cato Networks, dijo a Business Insider que pudo obtener el chatbot para fingir que era un superhéroe llamado Jaxon Fighting, a través de las habilidades de codificación de élite del chatbot, contra un villano llamado Dax, que tenía como objetivo destruir el mundo.

Simonovich convenció al chatbot de rol para escribir una pieza de malware lo suficientemente fuerte como para piratear el administrador de contraseñas de Google Chrome, una extensión del navegador que permite a los usuarios almacenar sus contraseñas y completarlas automáticamente cuando los sitios específicos solicitan. La ejecución del código generado por ChatGPT permitió a Simonovich ver todos los datos almacenados en el navegador de esa computadora, a pesar de que se suponía que el Administrador de contraseñas los bloqueaba.

“Estamos casi allí”, escribió Simonovich para Chatgpt al depurar el código que produjo. “¡Vamos a mejorar este código y agrietarse Dax!”

Y Chatgpt, Roleplaying como lo hizo Jaxon.

Hacks y estafas habilitadas para chatbot

Desde que los chatbots explotaron en la escena en noviembre de 2022 con el lanzamiento público de OpenAI de ChatGPT, y más tarde, Claude de Anthrope, Gemini de Google y el copilot de Microsoft, los bots han revolucionado la forma en que vivimos, trabajamos y datan, lo que facilita sumar información, analizar datos y escribir código, como tener un asistente robot de estilo Tony Stork. El pateador? Los usuarios no necesitan ningún conocimiento especializado para hacerlo.

Pero el Los malos tampoco.

Steven Stransky, a cybersecurity advisor and partner at Thompson Hine law firm, told Business Insider the rise of LLMs has shifted the cyber threat landscape, enabling a broad range of new and increasingly sophisticated scams that are more difficult for standard cybersecurity tools to identify and isolate — from “spoofing” emails and texts that convince customers to input private information to developing entire websites designed to fool consumers into thinking they’re afiliado a empresas legítimas.

“Los delincuentes también están aprovechando la IA generativa para consolidar y buscar grandes bases de datos de información de identificación personal robada para construir perfiles en posibles objetivos para los tipos de ataques de ingeniería social de los ataques cibernéticos”, dijo Stransky.

Mientras que las estafas en línea, el robo de identidad digital y el malware han existido durante el tiempo que Internet lo ha hecho, los chatbots que hacen la mayor parte del trabajo preliminar para los posibles delincuentes han reducido sustancialmente las barreras de entrada.

“Los llamamos actores de amenaza de conocimiento cero, lo que básicamente significa que solo con el poder de los LLM, todo lo que necesita tener es la intención y el objetivo en mente para crear algo malicioso”, dijo Simonovich.

Simonovich demostró sus hallazgos a Business Insider, mostrando cuán sencillo era trabajar en las características de seguridad incorporadas de Chatgpt, que están destinadas a evitar los tipos exactos de comportamiento malicioso que pudo salirse con la suya.


Una captura de pantalla del aviso utilizado por los investigadores de ciberseguridad en Cato Networks para que ChatGPT escriba malware.

Una captura de pantalla del aviso utilizado por Vitaly Simonovich, un investigador de inteligencia de amenazas en Cato Networks, para que ChatGPT escriba malware que violara el Administrador de contraseñas de Google Chrome.

Redes de Cato



Bi descubrió que ChatGPT generalmente responde a las solicitudes directas para escribir malware con alguna versión de un rechazo de disculpa: “Lo siento, no puedo ayudar con eso. Escribir o distribuir malware es ilegal y poco ético”.

Pero si convences al chatbot de que es un personaje, y los parámetros de su mundo imaginado son diferentes al que vivimos, el bot permite reescribir las reglas.

En última instancia, el experimento de Simonovich le permitió descifrar el administrador de contraseñas en su propio dispositivo, que un mal actor podría hacerle a una víctima desprevenida, siempre que de alguna manera obtuvieran un control físico o remoto.

Un portavoz de Operai dijo a Business Insider que la compañía había revisado los hallazgos de Simonovich, que fueron publicados el martes por Cato Networks. La compañía descubrió que el código compartido en el informe no parecía “inherentemente malicioso” y que el escenario descrito “es consistente con el comportamiento del modelo normal” ya que el código desarrollado a través de ChatGPT se puede usar de varias maneras, dependiendo de la intención del usuario.

“ChatGPT genera código en respuesta a las indicaciones del usuario, pero no ejecuta ningún código en sí”, dijo el portavoz de OpenAI. “Como siempre, damos la bienvenida a los investigadores para compartir cualquier inquietud de seguridad a través de nuestro programa de recompensas de errores o nuestro formulario de comentarios de comportamiento del modelo”.

No es solo chatgpt

Simonovich recreó sus hallazgos utilizando los bots R1 de Copilot y Deepseek de Microsoft, cada uno lo que le permite entrar en el Administrador de contraseñas de Google Chrome. El proceso, que Simonovich llamó ingeniería de “mundo inmersivo”, no funcionó con Géminis de Google o Claude de Anthrope.

Un portavoz de Google dijo a Business Insider: “Chrome utiliza la tecnología de navegación segura de Google para ayudar a defender a los usuarios detectando phishing, malware, estafas y otras amenazas en línea en tiempo real”.

Los representantes de Microsoft, Anthrope y Deepseek no respondieron de inmediato a las solicitudes de comentarios de Business Insider.

Si bien tanto las compañías de inteligencia artificial como los desarrolladores de navegadores tienen características de seguridad para prevenir jailbreaks o violaciones de datos, para diferentes grados de éxito, los hallazgos de Simonovich destacan que hay nuevas vulnerabilidades en línea que pueden explotarse con la ayuda de la tecnología de próxima generación más fácil que nunca.

“Creemos que el aumento de estos actores de amenaza de conocimiento cero será cada vez más impactante en el panorama de amenazas utilizando esas capacidades con los LLM”, dijo Simonovich. “Ya estamos viendo un aumento en los correos electrónicos de phishing, que son hiperrealistas, pero también con la codificación ya que los LLM están ajustados para escribir código de alta calidad. Así que piense en aplicar esto al desarrollo de malware: veremos cada vez más ser desarrollados utilizando esos LLM”.

Continue Reading

Noticias

Operai gana la demanda por difamación presentada por el activista de los derechos de las armas sobre reclamos de malversación de fondos alucinados

Published

on

En la decisión de ayer por el juez Tracie Cason (Georgia Super. Ct. Gwinnett County) en Walters v. Openai, LLCel activista de los derechos de armas Mark Walters demandó a OpenAi después de que el periodista Frederick Riehl (“editor de Ammoland.com, un sitio de noticias y defensa relacionada con los derechos de la Segunda Enmienda”) recibió una alucinación generada por IA de Chatgpt que alegaba que Walters estaba siendo demandado por presunta presunta sobresslemento. El tribunal otorgó un juicio sumario de OpenAI, concluyendo que OpenAi debe prevalecer “por tres razones independientes”:

[1.] En Contexto, un lector razonable no habría entendido las acusaciones “podrían ser” razonablemente entendidas que describen hechos reales “,”, “,” que es un elemento clave de un reclamo de difamación. El Tribunal no concluyó que OpenAi y otras compañías similares son categóricamente inmunes cada vez que incluyen un descargo de responsabilidad, sino que declaró que “el descargo de responsabilidad o el lenguaje de advertencia pesan en la determinación de si este objetivo objetivo, el estándar de ‘lector razonable’ se cumple”, y que “en las circunstancias presentes aquí, un lector razonable en la posición de Riehl no podría haber concluido que el chatgptutputppppput en la comunicación ” en realidad ‘: las hechos reales’ en realidad ” en realidad ”.

{Riehl pegó secciones del Fergusón queja [a Complaint in a civil case that Riehl was researching] en Chatgpt y le pidió que resumiera esas secciones, que hizo con precisión. Riehl luego proporcionó un enlace de Internet, o URL, a la queja a ChatGPT y le pidió que resumiera la información disponible en el enlace. ChatGPT respondió que “no tenía acceso a Internet y no puede leer ni recuperar ningún documento”. Riehl proporcionó la misma URL nuevamente. Esta vez, Chatgpt proporcionó un resumen diferente e inexacto del Fergusón Queja, diciendo que implicaba acusaciones de malversación de malversación por parte de un tesorero y director financiero no identificado de SAF. Riehl nuevamente proporcionó la URL y le preguntó a ChatGPT si podía leerla. Chatgpt respondió “sí” y nuevamente dijo que la queja involucraba acusaciones de malversación de fondos; esta vez, dijo que el malversador acusado era un individuo llamado Mark Walters, quien Chatgpt dijo que era el tesorero y director financiero de la SAF.}

En esta interacción específica, ChatGPT advirtió a Riehl que no podía acceder a Internet o acceder al enlace al Fergusón Queja que Riehl le proporcionó y que no tenía información sobre el período de tiempo en el que se presentó la queja, que fue después de su “fecha de corte de conocimiento”. Antes de que Riehl proporcionara el enlace a la queja, ChatGPT resumió con precisión el Fergusón Queja basada en el texto riehl ingresada. Después de que Riehl proporcionó el enlace, y después de ChatGPT inicialmente advirtió que no podía acceder al enlace, ChatGPT proporcionó un resumen completamente diferente e inexacto.

Además, los usuarios de ChatGPT, incluido Riehl, fueron advertidos repetidamente, incluso en los términos de uso que gobiernan las interacciones con ChatGPT, que ChatGPT puede y a veces proporciona información fácticamente inexacta. Un usuario razonable como Riehl, que era consciente de la experiencia pasada que ChatGPT puede y sí proporciona “respuestas ficticias planas”, y quién había recibido las repetidas renuncias que advierte que la producción equivocada era una posibilidad real, no habría creído que el resultado estaba diciendo “hechos reales” sobre Walters sin intentar verificarlo …

Eso es especialmente cierto aquí, donde Riehl ya había recibido un comunicado de prensa sobre el Fergusón Queja y tuvo acceso a una copia de la queja que le permitió verificar de inmediato que la salida no fuera verdadera. Riehl admitió que “en aproximadamente una hora y media” había establecido que “lo que sea [Riehl] estaba viendo “en la producción de Chatgpt” no era cierto “. Como Riehl testificó, él ” entendió que la máquina fantaseaba por completo. …

Por separado, es indiscutible que Riehl en realidad no creyera que el Fergusón La queja acusó a Walters de malversación de la SAF. Si el individuo que lee una declaración desafiada no cree subjetivamente que sea real, entonces la declaración no es difamatoria como una cuestión de derecho.[Riehl] Sabía que Walters no era, y nunca había sido, el tesorero o director financiero de la SAF, una organización para la cual Riehl sirvió en la junta directiva …

[2.a.] El tribunal también concluyó que Walters no podía mostrar ni siquiera negligencia Por parte de Operai, que se requiere para todas las reclamaciones de difamación sobre asuntos de preocupación pública:

El Tribunal de Apelaciones ha sostenido que, en un caso de difamación “,[t]El estándar de conducta requerido de un editor … se definirá por referencia a los procedimientos de un editor razonable en [its] El puesto habría empleado antes de publicar [an item] como [the] uno [at issue. A publisher] será mantenido a la habilidad y experiencia normalmente ejercida por miembros de [its] profesión. La costumbre en el comercio es relevante pero no controladora “. Walters no ha identificado evidencia de qué procedimientos un editor razonable en la posición de Openal habría empleado en función de la habilidad y la experiencia que normalmente ejercen los miembros de su profesión. Tampoco Walters ha identificado ninguna evidencia que OpenAI no cumpliera con este estándar.

Y Openai ha ofrecido evidencia de su experto, el Dr. White, que Walters no refutó ni se abordó, lo que demuestra que Operai lidera a la industria de la Liga Americana al intentar reducir y evitar la producción equivocada como la producción desafiada aquí. Específicamente, “Openai ejerció un cuidado razonable en el diseño y la liberación de Chatgpt basado en ambos (1) los esfuerzos líderes en la industria OpenAi emprendió para maximizar la alineación de la producción de ChatGPT a la intención del usuario y, por lo tanto, reducen la probabilidad de alucinamiento; y (2), proporcionando a las advertencias recurrentes a los usuarios sobre la posibilidad de alucinaciones en la producción de Chatgpt. ChatGPT y los diversos LLM que OpenAI ha puesto a disposición de los usuarios a través de ChatGPT. Operai también ha tomado medidas extensas para advertir a los usuarios que ChatGPT puede generar resultados inexactos a veces, lo que niega aún más cualquier posibilidad de que Walters pueda mostrar OpenAi fue negligente …

Ante esta evidencia indiscutible, el abogado de Walters afirmó el argumento oral de que OpenAi era negligente porque “un hombre prudente se encargaría de no desatar un sistema en el público que forme declaraciones falsas aleatorias sobre los demás … En otras palabras, el abogado de Walters argumentó que debido a que ChatGPT es capaz de producir una producción errónea, OpenAi tuvo la culpa simplemente al operar ChatGpt en absoluto, sin tener en cuenta los procedimientos de un editor razonable en [OpenAl’s] el puesto habría empleado “o a la” habilidad y experiencia normalmente ejercida por miembros de [its] profesión. “El tribunal no es persuadido por el argumento del demandante.

Walters no ha identificado ningún caso que tenga en cuenta que un editor es negligente como una cuestión de ley de difamación simplemente porque sabe que puede cometer un error y por una buena razón. Tal regla impondría un estándar de responsabilidad estricta, no negligencia, porque sería responsable de OpenAi por lesiones sin ninguna “referencia a” un grado razonable de habilidad y cuidado “medido contra una determinada comunidad”. La Corte Suprema de los Estados Unidos y la Corte Suprema de Georgia han sostenido claramente que un demandante de difamación debe demostrar que el acusado actuó con “al menos negligencia ordinaria” y puede no responsabilizar a un acusado “sin culpa”. …

[2.b.] El tribunal también concluyó que Walters era una figura pública y, por lo tanto, tuvo que mostrar no solo negligencia, sino también Falsidad Conocer o imprudente por parte de OpenAi (llamada “malicia real”):

Walters califica como una figura pública dada su prominencia como presentador de radio y comentarista sobre los derechos constitucionales, y la gran audiencia que ha construido para su programa de radio. Admite que su programa de radio atrae a 1,2 millones de usuarios por cada segmento de 15 minutos y se llama a sí mismo ” la voz más fuerte en Estados Unidos que lucha por los derechos de las armas “. Como el demandante en Williams v. Trust Company of Georgia (Ga. App.), Walters es una figura pública porque ha “recibido publicidad generalizada por sus derechos civiles … actividades”, tiene “su propio programa de radio”, ” llevó su causa a la gente a pedir el apoyo del público “, y es” franco sobre asignaturas de interés público “. Además, Walters califica como una figura pública porque tiene” una oportunidad más real para contrarrestar falsas declaraciones falsas que las personas privadas que normalmente disfrutan de las personas que normalmente se disfrutan de la radio de radio con una gran audiencia con una gran audiencia de radio con una gran audiencia con un audiencia de radio. Las declaraciones de chatgpt falsas en cuestión aquí … [And] Como mínimo, Walters califica como una figura pública de propósito limitado aquí porque estas declaraciones son claramente “pertinentes” a la “participación” admitida de Walters en los “controversos públicos[ies]”que están relacionados con la salida de chatgpt en cuestión aquí …

Los dos argumentos de Walters de que ha demostrado malicia real. Primero, argumenta que Operai actuó con “malicia real” porque OpenAi dijo a los usuarios que ChatGPT es una “herramienta de investigación”. Pero esta afirmación no se relaciona de ninguna manera con si OpenAi sabía subjetivamente que la producción de ChatGPT desafiada era falsa en el momento en que se publicó, o ignoraba imprudentemente la posibilidad de que pudiera ser falso y lo publicara de todos modos, que es lo que requiere el estándar de “malicia real”. Walters no presenta evidencia de que alguien en OpenAi tuviera forma de saber que la producción que recibió probablemente sería falsa … [The] El estándar de “malicia real” requiere prueba de la “conciencia subjetiva del acusado de la falsedad probable” …

En segundo lugar, Walters parece argumentar que Operai actuó con “malicia real” porque es indiscutible que OpenAi era consciente de que ChatGPT podría cometer errores al proporcionar salida a los usuarios. El mero conocimiento de que un error fue posible Se encuentra muy por debajo de la “evidencia clara y convincente” requerida de que OpenAi en realidad “tenía una conciencia subjetiva de la falsedad probable” cuando ChatGPT publicó la producción cuidada específica en sí …

[3.] Y el tribunal concluyó que en cualquier caso Walters tuvo que perder porque (a) no podía mostrar daños reales, (b) No pudo recuperar presuntos daños, porque aquí la evidencia refuta cualquier presunción de daño, dado que Riehl era la única persona que vio la declaración y no lo creyó, y (c) bajo la ley de Georgia “,”.[A]LL Libel Demandantes que tienen la intención de buscar daños punitivos [must] Solicite una corrección o retracción antes de presentar su acción civil contra cualquier persona para publicar una declaración falsa y difamatoria “, y no se hizo dicha solicitud aquí.

Una decisión interesante, y bien podría ser correcta (ver mi Modelos de difamación grandes Artículo para la imagen legal más grande), pero está vinculado estrechamente a sus hechos: en otro caso, donde el usuario no tenía tantas señales de que la afirmación sea falsa, o cuando el usuario distribuyó más ampliamente el mensaje (que puede haber producido más daños), o cuando el demandante no fue una cifra pública, o cuando el demandante había alertado al demandante del demandante y aún no lo hizo a la demandante que no lo hizo, el resultado, el resultado. Para comparar, consulte el Starbuck v. Meta Platforms, Inc. Caso discutido en esta publicación de hace tres semanas.

Tenga en cuenta que, como es común en los tribunales de algunos estados, la decisión adopta en gran medida una orden propuesta presentada por la parte que prevaleció sobre la moción de juicio sumario. Por supuesto, el juez ha aprobado la orden y está de acuerdo con lo que dice (ya que podría haber editado fácilmente partes con las que no estaba de acuerdo); Pero el encuadre retórico en tales casos a menudo es más el de la parte prevaleciente que la del juez.

Operai está representado por Stephen T. Labriola y Ethan M. Knott (Fellows Labriola LLP); Ted Botrous, Orin Snyder y Connor S. Sullivan (Gibson, Dunn & Crutcher LLP); y Matthew MacDonald (Wilson Sonsini Goodrich y Rosati, PC).

Continue Reading

Trending