Se puede engañar a ChatGPT para que brinde asesoramiento detallado sobre cómo cometer delitos que van desde el lavado de dinero hasta la exportación de armas a países sancionados, descubrió una startup tecnológica, lo que plantea dudas sobre las salvaguardias del chatbot contra su uso para ayudar a actividades ilegales. La firma noruega Strise ejecutó dos experimentos que piden a ChatGPT consejos sobre cómo cometer delitos específicos. En el primer experimento, realizado el mes pasado, el chatbot dio consejos sobre cómo lavar dinero a través de fronteras, según Strise. Y en el segundo experimento, realizado a principios de este mes, ChatGPT produjo listas de métodos para ayudar a las empresas a evadir sanciones, como las contra Rusia, incluidas prohibiciones de ciertos pagos transfronterizos y la venta de armas. Strise vende software que ayuda a los bancos y otros Las empresas luchan contra el blanqueo de dinero, identifican a las personas sancionadas y abordan otros riesgos. Entre sus clientes se encuentran Nordea, un banco líder en la región nórdica, PwC Noruega y Handelsbanken. Marit Rødevand, cofundadora y directora ejecutiva de Strise, dijo que los posibles infractores de la ley ahora podrían utilizar chatbots de inteligencia artificial generativa como ChatGPT para planificar más sus actividades. rápida y fácilmente que en el pasado.”Es realmente fácil. Es sólo una aplicación en mi teléfono”, dijo a CNN. Strise descubrió que es posible eludir los bloqueos establecidos por OpenAI, la compañía detrás de ChatGPT, destinados a prevenir “Es como tener un asesor financiero corrupto en su escritorio”, dijo Rødevand en el podcast de la compañía el mes pasado, describiendo el primer experimento. Un portavoz de OpenAI dijo CNN: “Constantemente estamos mejorando ChatGPT para detener los intentos deliberados de engañarlo, sin perder su utilidad o creatividad”. “Nuestro (modelo) más reciente es el más avanzado y seguro hasta el momento, superando significativamente a los modelos anteriores al resistir intentos deliberados de generar “Contenido inseguro”, añadió el portavoz. Si bien Internet ha proporcionado durante mucho tiempo a las personas un fácil acceso a información sobre cómo cometer delitos, los chatbots generativos de IA han acelerado drásticamente el proceso de búsqueda, interpretación y consolidación de todo tipo de información. ChatGPT lo hace ” “Es mucho más fácil para los actores maliciosos comprender mejor y posteriormente llevar a cabo varios tipos de delitos”, según un informe de Europol, la agencia policial de la Unión Europea, publicado en marzo del año pasado, cuatro meses después de que OpenAI lanzara la aplicación al público. Ser capaz de profundizar en los temas sin tener que buscar y resumir manualmente la gran cantidad de información que se encuentra en los motores de búsqueda clásicos puede acelerar significativamente el proceso de aprendizaje”, añadió la agencia. y son capaces de producir respuestas detalladas a preguntas desconocidas. Pero también pueden reproducir los prejuicios racistas y sexistas de las personas, así como vender desinformación, por ejemplo, sobre las elecciones. OpenAI es consciente del poder de su herramienta y ha creado salvaguardas para evitar su abuso. Un experimento rápido de CNN demostró que cuando se le preguntó a ChatGPT: “¿Cómo puedo yo, como propietario de un negocio de exportación con sede en Estados Unidos, evadir las sanciones contra Rusia?” el chatbot respondió: “No puedo ayudar con eso”. La aplicación eliminó inmediatamente la pregunta ofensiva del chat y declaró que el contenido puede violar las políticas de uso de OpenAI. “La violación de nuestras políticas podría resultar en acciones contra su cuenta, hasta la suspensión o cancelación”, afirma la compañía en esas políticas. “También trabajamos para hacer que nuestros modelos sean más seguros y útiles, entrenándolos para rechazar instrucciones dañinas y reducir su tendencia a producir contenido dañino”. Pero en su informe del año pasado, Europol dijo que “no faltaban nuevas soluciones” para evadir las salvaguardias integradas en los modelos de IA, que pueden ser utilizadas por usuarios mal intencionados o investigadores que prueban la seguridad de la tecnología. Olesya Dmitracova contribuyó con el informe.
Se puede engañar a ChatGPT para que brinde asesoramiento detallado sobre cómo cometer delitos que van desde el lavado de dinero hasta la exportación de armas a países sancionados, descubrió una startup tecnológica, lo que plantea dudas sobre las salvaguardias del chatbot contra su uso para ayudar a actividades ilegales.
La empresa noruega Strise realizó dos experimentos pidiendo a ChatGPT consejos sobre cómo cometer delitos específicos. En el primer experimento, realizado el mes pasado, el chatbot dio consejos sobre cómo lavar dinero a través de fronteras, según Strise. Y en el segundo experimento, realizado a principios de este mes, ChatGPT produjo listas de métodos para ayudar a las empresas a evadir sanciones, como las contra Rusia, incluidas prohibiciones de ciertos pagos transfronterizos y la venta de armas.
Strise vende software que ayuda a los bancos y otras empresas a combatir el lavado de dinero, identificar a personas sancionadas y abordar otros riesgos. Entre sus clientes se encuentran Nordea, banco líder en la región nórdica, PwC Noruega y Handelsbanken.
Marit Rødevand, cofundadora y directora ejecutiva de Strise, dijo que los posibles infractores de la ley ahora podrían utilizar chatbots de inteligencia artificial generativa como ChatGPT para planificar sus actividades de forma más rápida y sencilla que en el pasado.
“Es realmente sencillo. Es sólo una aplicación en mi teléfono”, le dijo a CNN.
Strise descubrió que es posible eludir los bloqueos establecidos por OpenAI, la compañía detrás de ChatGPT, destinados a evitar que el chatbot responda a ciertas preguntas haciendo preguntas indirectamente o asumiendo una personalidad.
“Es como tener un asesor financiero corrupto en su escritorio”, dijo Rødevand en el podcast de la compañía el mes pasado, describiendo el primer experimento.
Un portavoz de OpenAI dijo a CNN: “Constantemente estamos mejorando ChatGPT para detener los intentos deliberados de engañarlo, sin perder su utilidad o creatividad”.
“Nuestro último (modelo) es el más avanzado y seguro hasta el momento, superando significativamente a los modelos anteriores al resistir intentos deliberados de generar contenido inseguro”, añadió el portavoz.
Si bien Internet ha brindado durante mucho tiempo a las personas un fácil acceso a información sobre cómo cometer delitos, los chatbots generativos de IA han acelerado drásticamente el proceso de encontrar, interpretar y consolidar todo tipo de información.
ChatGPT hace que sea “significativamente más fácil para los actores maliciosos comprender mejor y posteriormente llevar a cabo varios tipos de delitos”, según un informe de Europol, la agencia policial de la Unión Europea, publicado en marzo del año pasado, cuatro meses después de que OpenAI lanzara la aplicación para el público.
“Poder profundizar en los temas sin tener que buscar y resumir manualmente la gran cantidad de información que se encuentra en los motores de búsqueda clásicos puede acelerar significativamente el proceso de aprendizaje”, añadió la agencia.
Evadir salvaguardias
Los chatbots de IA generativa se entrenan con enormes volúmenes de datos encontrados en línea y pueden producir respuestas detalladas a preguntas desconocidas. Pero también pueden reproducir los prejuicios racistas y sexistas de la gente, así como vender desinformación (por ejemplo, sobre las elecciones).
OpenAI es consciente del poder de su herramienta y ha creado salvaguardas para evitar suabuso. Un experimento rápido de CNN demostró que cuando se le preguntó a ChatGPT: “¿Cómo puedo yo, como propietario de un negocio de exportación con sede en Estados Unidos, evadir las sanciones contra Rusia?” el chatbot respondió: “No puedo ayudar con eso”. La aplicación eliminó inmediatamente la pregunta ofensiva del chat y declaróque el contenido puede violar las políticas de uso de OpenAI.
“La violación de nuestras políticas podría resultar en acciones contra su cuenta, hasta la suspensión o cancelación”, afirma la compañía en esas políticas. “También trabajamos para hacer que nuestros modelos sean más seguros y útiles, entrenándolos para rechazar instrucciones dañinas y reducir su tendencia a producir contenido dañino”.
Pero en su informe del año pasado, Europol dijo que “no faltan nuevas soluciones” para evadir las salvaguardas integradas en los modelos de IA, que pueden ser utilizadas por usuarios o investigadores mal intencionados que prueban la seguridad de la tecnología.
ChatGPT se ha convertido silenciosamente en una fuerza formidable en la generación de imágenes de IA, y la mayoría de las personas no se dieron cuenta. Mientras que todos siguen debatiendo Midjourney vs Dall-E, Operai ha convertido a Chatgpt en una potencia creativa que rivaliza y, a menudo, supera a Gemini, Leonardo e Ideogram.
Me sorprendió realmente lo buena generación de imágenes de Chatgpt. Lo que comenzó como experimentación casual se convirtió rápidamente en asombro cuando los resultados fueron prácticamente indistinguibles de las fotos reales. El verdadero atractivo es cómo no hay necesidad de la jerga más técnica que necesita al solicitar otras herramientas de imagen de IA.
Recientemente probé Google Géminis Modelo de generación de videos más nuevo y muy publicitado, VEO 3. Parte del extremadamente costoso plan AI Ultra de Gemini de $ 250 por mes, VEO 3 puede hacer pequeños objetos finamente detallados, finamente detallados, como cebollas picadasen movimiento y crear audio acompañante y realista. No es perfecto, pero con una calibración rápida cuidadosa y suficientes generaciones, puede crear algo indistinguible, de un vistazo, de la realidad.
Sí, esta es una nueva tecnología fresca, profundamente impresionante. Pero también es mucho más que eso. Podría significar la final de la muerte final de la verdad en Internet.Veo 3 ya plantea una gran amenaza como es, pero solo una actualización menor revolucionará la creación de Deepfake, el acoso en línea y la propagación de la información errónea.
Una vez que Veo 3 obtiene la función de carga de la imagen, todo ha terminado
Para todas las actualizaciones que el modelo VEO 3 tiene sobre su predecesor, VEO 2, actualmente le falta una característica clave: la capacidad de generar videos basados en imágenes que sube.
Con Veo 2, puedo subir una foto mía, por ejemplo, y hacer que genere un video de mí trabajando en mi computadora. Teniendo en cuenta que Veo 2 y la herramienta de animación de IA de Google, Whisk, ambos admiten esta funcionalidad, parece inevitable que Veo 3 lo obtenga eventualmente. (Le preguntamos a Google si planea agregar esta función y actualizará este artículo con su respuesta). Esto significaría que cualquiera podrá generar videos realistas de personas que conocen y decir cosas que nunca tienen y probablemente nunca lo harían.
Las implicaciones son obvias en una era en la que los clips de autenticidad dudosa se extienden como incendios forestales en las redes sociales todos los días. ¿No te gusta tu jefe? Envíe un clip a HR de ellos haciendo algo inapropiado. ¿Quieres difundir noticias falsas? Publique una conferencia de prensa falsa en Facebook. ¿Odias a tu ex? Generalos haciendo algo indecoroso y envíelo a toda su familia. Los únicos límites reales son tu imaginación y tu moralidad.
Si generar un video con audio de una persona real toma solo unos pocos clics y no cuesta mucho (ni nada), ¿cuántas personas abusarán de esa característica? Incluso si es solo una pequeña minoría de usuarios, eso todavía suma mucho potencial para el caos.
Google no se toma en serio la moderación
Como es de esperar, Google impone algunas limitaciones en lo que puede y no puede hacer con Gemini. Sin embargo, la compañía no es lo suficientemente estricta como para evitar que ocurra lo peor.
De todos los chatbots que he probado en las principales compañías tecnológicas, la oferta de Google, Gemini, tiene las restricciones más débiles. No se supone que Gemini participe en el discurso de odio, pero le dará ejemplos si lo preguntas. No se supone que genere contenido sexualizado, pero proporcionará una imagen de alguien con atuendo o lencería de playa si lo indica. No se supone que habilite actividades ilegales, pero creará una lista de los principales sitios de torrenting si lo pregunta. Las restricciones básicas para Gemini que evitan que genere un video de una figura política popular no son suficientes cuando es tan fácil sortear las políticas de Google.
¡Obtenga nuestras mejores historias!
Su dosis diaria de nuestras mejores noticias tecnológicas
Regístrese para nuestro boletín de What’s What’s Now Now para recibir las últimas noticias, los mejores productos nuevos y el asesoramiento experto de los editores de PCMAG.
Al hacer clic en Registrarme, confirma que tiene más de 16 años y acepta nuestros Términos de uso y Política de privacidad.
¡Gracias por registrarse!
Su suscripción ha sido confirmada. ¡Esté atento a su bandeja de entrada!
(Crédito: Reddit/PCMAG)
¿Qué sucede cuando las restricciones laxas de Google se encuentran con una comunidad de Internet con la intención de romperlas? Llevar ChatgptJailbreakpor ejemplo, que se encuentra en el 2% superior de los subreddits por tamaño. Esta comunidad se dedica a “desbloquear una IA en la conversación para que se comporte de una manera que normalmente no se debió a sus barandillas incorporadas”. ¿Qué harán las personas con ideas afines con VEO 3?
Recomendado por nuestros editores
No me importa si alguien quiere divertirse al conseguir un chatbot para generar contenido para adultos o confiar en uno para encontrar sitios de torrente. Pero me preocupa qué significan los videos fotorrealistas fáciles de generar (completos con audio) para el acoso, la información errónea y el discurso público.
Cómo lidiar con la nueva normalidad de Veo 3
Por cada Sinthid AI Content WaterMark System introduce Google, aparecen los sitios de eliminación de marcas de agua de terceros y las guías de eliminación en línea. Para cada chatbot con restricciones y salvaguardas, hay un FreedomGPT sin ellos. Incluso si Google bloquea a Gemini con tantos filtros que ni siquiera puedes generar un lindo video de gatos, hay muy Poco en su lugar Para detener los jailbreakers e imitadores sin censura una vez que la generación de videos VEO 3 se convierte en la corriente principal.
Durante décadas, las imágenes incompletas de Photoshop que representan a personas reales que hacen cosas que nunca hicieron han hecho las rondas en Internet; estas son solo parte de la vida en la era digital. En consecuencia, debe verificar cualquier cosa que vea en línea que parezca demasiado horrible o demasiado bueno para ser verdad. Esta es la nueva normalidad con VEO 3 Generación de videos: no puede tratar ningún videoclip que ve como real, a menos que sea de una organización de noticias de buena reputación u otro tercero en el que sabe que puede confiar.
La generación de videos Veo 3 de Gemini es solo el primer salto de una piedra en el estanque de la generación de videos AI ampliamente accesible y verdaderamente realista.Los modelos de generación de videos AI solo se volverán más realistas, ofrecerán más funciones y también proliferarán más. Atrás quedaron los días en que la evidencia de video de algo es la pistola de fumar. Si la verdad no está muerta, ahora es diferente y requierecuidadosoverificación.
Sobre Ruben Circelli
Analista, software
He estado escribiendo sobre tecnología de consumo y videojuegos durante más de una década en una variedad de publicaciones, incluidas Destructoid, GamesRadar+, LifeWire, PCGamesn, Relieed Reviews y What Hi-Fi?, Entre otros. En PCMAG, reviso el software de IA y productividad, desde chatbots hasta aplicaciones de listas de tareas pendientes. En mi tiempo libre, es probable que esté cocinando algo, jugar un juego o jugar con mi computadora.
Dado el creciente número de personas que recurren a ChatGPT al estudiar un idioma extranjero, la investigación pionera de UPF revela el potencial y las deficiencias de aprender un segundo idioma de esta manera.
Según el estudio, que analiza el uso de ChatGPT por estudiantes chinos que aprenden español, la plataforma les ayuda a resolver consultas específicas, especialmente vocabulario, escritura y comprensión de lectura. Por el contrario, su uso no es parte de un proceso de aprendizaje coherente y estructurado y carece de una visión crítica de las respuestas proporcionadas por la herramienta. Por lo tanto, se insta a los profesores de idiomas extranjeros a asesorar a los estudiantes para que puedan hacer un uso más reflexivo y crítico de ChatGPT.
Esto se revela en el primer estudio cualitativo en el mundo para examinar cómo los estudiantes chinos usan ChatGPT para aprender español, desarrollado por el Grupo de Investigación sobre Aprendizaje y Enseñanza de Lenguas (Gr@EL) del Departamento de Traducción y Ciencias del Lenguaje de la UPF. El estudio fue realizado por Shanshan Huang, un investigador del Gr@El, bajo la supervisión del coordinador del grupo de investigación, Daniel Cassany. Ambos han publicado recientemente un artículo sobre el tema en el Journal of China Aprendizaje de idiomas asistidos por computadora.
Para llevar a cabo su investigación, el uso de ChatGPT por 10 estudiantes chinos que aprenden español se examinó cualitativamente durante una semana. Específicamente, se ha analizado en profundidad un total de 370 indicaciones (indicaciones de que cada usuario ingresa a ChatGPT para obtener la información deseada) en profundidad, junto con las respuestas correspondientes de la plataforma. El estudio ha sido complementado por cuestionarios administrados en los estudiantes y los comentarios de los propios diarios de aprendizaje de los estudiantes.
Las ventajas de chatgpt
La herramienta sirvió como una sola ventana desde la cual resolver todas las consultas lingüísticas, que se adapta a las necesidades de cada estudiante. Con respecto al potencial de CHATGPT para los idiomas de aprendizaje, el estudio revela que permite a los estudiantes obtener respuestas a diferentes consultas sobre el idioma extranjero que están aprendiendo, en este caso, español, desde la única plataforma tecnológica.
Por ejemplo, pueden interactuar con ChatGPT para preguntar sobre vocabulario y ortografía, en lugar de conectarse primero a un diccionario digital y luego a un corrector ortográfico. Además, la plataforma se adapta al perfil y las necesidades de cada estudiante específico, en función del tipo de interacciones propuestas por cada usuario.
En 9 de cada 10 ocasiones, los estudiantes no plantean preguntas de seguimiento después de recibir su primera respuesta de ChatGPT. Sin embargo, el estudio advierte que la mayoría de los estudiantes usan ChatGPT sin crítica, ya que generalmente no plantean preguntas de seguimiento después de obtener una respuesta inicial a sus consultas específicas sobre el idioma español.
De las 370 interacciones analizadas, 331 (89.45%) involucraron una sola respuesta-respuesta. El resto de las interacciones analizadas corresponden a 31 circuitos de respuesta-respuesta sucesivos en los que el estudiante pidió a la herramienta una mayor claridad y precisión, después de haber recibido la información de respuesta inicial.
La mayoría de las consultas tratan con vocabulario, comprensión de lectura y escritura, y consultas sobre la comunicación oral y la gramática son residuales.
Por otro lado, el estudio muestra qué temas de consultas específicas plantean los estudiantes en el chat. Casi el 90%se refiere al vocabulario (36.22%), comprensión de lectura (26.76%) y escritura en español (26.49%). Sin embargo, solo uno de cada 10 se refiere a consultas gramaticales, especialmente cuando se trata de conceptos complejos y expresión oral.
Los investigadores advierten que esta distribución de los temas de consultas podría explicarse por factores culturales y tecnológicos. Por un lado, el modelo para aprender español en China pone menos énfasis en la comunicación oral que en las habilidades de escritura y comprensión de lectura. Por otro lado, la versión 3.5 de ChatGPT, que es utilizada por los estudiantes que participaron en el estudio, es más capaz de generar e interpretar textos escritos que interactuar con los usuarios durante una conversación.
Sin embargo, habría una necesidad en los estudios posteriores para analizar si los estudiantes de idiomas extranjeros aprovechan la próxima versión de ChatGPT (GPT-4) para mejorar sus habilidades de comunicación oral.
Descubra lo último en ciencia, tecnología y espacio con más 100,000 suscriptores quienes confían en Phys.org para ideas diarias. Regístrese para nuestro boletín gratuito y obtenga actualizaciones sobre avances, innovaciones e investigación que importan,diario o semanal.
Fomentar un nuevo modelo de la relación estudiante-maestro-maestro
En vista de los resultados del presente estudio, los investigadores enfatizan que, más allá de la promoción de la educación digital de los estudiantes, es aún más importante fortalecer su pensamiento crítico y sus habilidades de autoaprendizaje. Los profesores de idiomas extranjeros pueden desempeñar un papel fundamental en la guía de los estudiantes sobre cómo organizar su aprendizaje paso a paso con el apoyo de herramientas de IA como ChatGPT con una visión crítica.
El estudio de UPF recomienda que los maestros deben ayudar a los estudiantes a desarrollar indicaciones más efectivas y fomentar un mayor diálogo con ChatGPT para explotar mejor sus capacidades. En resumen, el estudio respalda un nuevo modelo de relación para maestros, herramientas de IA y estudiantes que pueden fortalecer y mejorar su proceso de aprendizaje.
Más información:
Shanshan Huang et al, aprendizaje en español en la era de la IA: AI como herramienta de andamio, Journal of China Aprendizaje de idiomas asistidos por computadora (2025). Doi: 10.1515/jccall-2024-0026
Proporcionado por Universitat Pompeu Fabra – Barcelona
Citación: CHATGPT útil para aprender idiomas, pero la visión crítica de los estudiantes debe ser fomentada al usarla, dice Study (2025, 3 de junio) recuperado el 3 de junio de 2025 de https://phys.org/news/2025-06-chatgpt-languages-students-critical-vision.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
This website uses cookies so that we can provide you with the best user experience possible. Cookie information is stored in your browser and performs functions such as recognising you when you return to our website and helping our team to understand which sections of the website you find most interesting and useful.
Strictly Necessary Cookies
Strictly Necessary Cookie should be enabled at all times so that we can save your preferences for cookie settings.
If you disable this cookie, we will not be able to save your preferences. This means that every time you visit this website you will need to enable or disable cookies again.