Chatgpt hace defectos profundos y a Sam Altman no le importa

No esperaba que un producto Chatgpt se volviera viral a fines de marzo, pero aquí estamos. Openai sorprendió al mundo con el lanzamiento de GPT-4O Image Generation, un nuevo modelo de IA que está construido en ChatGPT, brindando a los usuarios características de generación de imágenes increíblemente avanzadas.

Envíe un mensaje detallado a la IA, y ChatGPT dibujará inmediatamente una imagen alucinante basada en sus instrucciones. Las imágenes pueden contener texto legible, el primero para la generación de imágenes ChatGPT, lo cual es impresionante. Además, la herramienta de generación de imágenes AI puede usar fotos reales para editarlas como desee.

El problema es que la nueva herramienta de generación de imágenes de Openai puso a disposición de los usuarios premium sin fuertes barandillas de seguridad. La red se inundó inmediatamente con defagos de Chatgpt que presentan celebridades y un montón de dibujos de IA inspirados en el estudio de Ghibli.

ChatGPT ni siquiera coloca una marca de agua en sus creaciones para informar a los espectadores que son imágenes generadas por IA. Los metadatos no son una función de seguridad lo suficientemente buena, no cuando alguien puede crear estas falsificaciones. Géminis podría eliminar las marcas de agua de las creaciones con derechos de autor, pero al menos coloca su propia marca de agua en los resultados.

Lo que es peor es la respuesta sorda de Sam Altman a todo esto. El CEO de Operai está adoptando todos los elogios que recibió la herramienta ChatGpt AI, lo que ciertamente se merece, sin comprometerse con mejores salvaguardas.

Aquí está el mensaje que Altman publicó en X poco después del lanzamiento de la generación de imágenes 4O:

> Sé yo
> Muela durante una década tratando de ayudar a hacer la superinteligencia para curar el cáncer
o lo que sea
> En su mayoría a nadie le importa durante los primeros 7.5 años, luego durante 2.5 años a todos
odios
tu por todo
> Despierta un día a cientos de mensajes: “Mira, te convertí en un twink
estilo ghibli jaja “

El mensaje acompañó un cambio de imagen de perfil para el perfil X de Altman, como se ve en la siguiente imagen. Altman reemplazó su foto con una versión de estilo Gibli creada por Chatgpt de sí mismo.

Todo es divertido y juegos en este momento porque todavía tenemos que ver abusos reales. Pero no se equivoquen, las personas abusarán de la herramienta para crear defensores profundos que puedan engañar a las personas desprevenidas, especialmente a las personas menos expertas en tecnología y aquellas en países donde la IA podría no ser utilizada tan ampliamente.

No es solo Chatgpt lo que sufre de este problema de seguridad. Google tiene sus propias herramientas avanzadas de generación de imágenes para Gemini que también se pueden usar para crear falsificaciones con facilidad.

Pero Operai deliberadamente eligió no imponer reglas más estrictas. En su anuncio inicial, Openai tiene un capítulo sobre seguridad que aborda ciertos tipos de abuso, y eso es encomiable. Las imágenes de IA vienen con metadatos C2PA que identifican imágenes creadas con IA, pero todo lo que necesita hacer es tomar una captura de pantalla de esa imagen, y eliminará esos datos.

Tome la imagen superior en esta publicación anterior; Es una captura de pantalla de una imagen de estilo ghibli generada por ChatGPT que la IA hizo con el siguiente mensaje:

Hazme una imagen de estilo Gibli de estudio basada en lo que acabamos de hablar. Lo quiero en una relación de aspecto de 16:10, tienes libertad para imaginarme a mí y a ti mismo

Además, ChatGPT bloquea las solicitudes específicas, “como materiales de abuso sexual infantil y defectos sexuales”. Operai también dijo: “Cuando las imágenes de personas reales están en contexto, hemos aumentado restricciones con respecto a qué tipo de imágenes se pueden crear, con salvaguardas particularmente robustas sobre la desnudez y la violencia gráfica”. Pero esto no cambia el hecho de que cualquier usuario de ChatGPT ahora puede crear defensores profundos que puedan ser abusados. No tienen que ser sexuales para ser potencialmente peligrosos.

Operai podría hacer más aquí, pero elige no hacerlo a pesar de saber completamente que algunas de las imágenes que provienen de ChatGPT se verán como fotos reales. Esto es lo que dijo Altman en X después de que se lanzó la herramienta:

Estamos lanzando una cosa nueva hoy: ¡las imágenes en ChatGPT!

Dos cosas que decir al respecto:

1. Es una tecnología/producto increíble. Recuerdo haber visto algunas de las primeras imágenes salir de este modelo y pasar un mal rato las que realmente las hará. Creemos que a la gente le encantará, y estamos emocionados de ver la creatividad resultante.

Felicidades a nuestros investigadores @gabeegoooh @prafdhar @ajabri @eliza_luth @kenjihata @dmed256

2. Esto representa una nueva marca de alta agua para nosotros al permitir la libertad creativa. La gente va a crear algunas cosas realmente increíbles y algunas cosas que pueden ofender a las personas; Lo que nos gustaría apuntar es que la herramienta no crea cosas ofensivas a menos que lo desee, en cuyo caso lo hace. Mientras hablamos en nuestra especificación de modelo, creemos que poner esta libertad y control intelectuales en manos de los usuarios es lo correcto, pero observaremos cómo va y escuchar a la sociedad. Creemos que respetar los límites muy amplios que la sociedad eventualmente elegirá establecer para AI es lo correcto, y cada vez más importante a medida que nos acercamos a AGI. Gracias de antemano por la comprensión mientras trabajamos en esto.

También está el elefante obvio en la habitación que Altman ni siquiera aborda. Los poderes de generación de imágenes de ChatGPT acaban de hacer que los diseñadores gráficos sean obsoletos. O cerca de él. Esto siempre iba a suceder, pero las empresas de IA como OpenAi deberían al menos tratar de fingir que se preocupan por el impacto de sus productos en los trabajos y la vida tal como lo conocemos.

Volviendo a todas las imágenes de ChatGPT que veo en las redes sociales, también anotaré el desprecio de OpenAI por los derechos de autor aquí. Chatgpt no dibujará personajes que pertenecen a Studio Ghibli, claro, pero copiará el estilo y lo adaptará a lo que desee.

No es de extrañar que la reacción de Hayao Miyazaki al usar IA para la animación haya resurgido en línea esta semana. El cofundador de Studio Gibli dijo que la animación generada por IA era un “insulto a la vida en sí” cuando se le presentó una herramienta interna con AI hace unos años que podía crear dibujos en estilo Gibli. Estoy seguro de que no está muy feliz de ver que ChatGPT copia el estilo de su empresa tan fácilmente.

Eso no quiere decir que la IA no pueda usarse con fines creativos o que la nueva tecnología de generación de imágenes de ChatGPT no sea impresionante, porque lo es.

Además, en defensa de Chatgpt, vi protecciones de seguridad en mis pruebas, incluidas las relacionadas con los derechos de autor. Pero esto no cambia el hecho de que OpenAi hace que sea increíblemente fácil para cualquiera usar Deepfakes que parezcan casi indistinguibles de las fotos reales, y al CEO de la compañía no parece importarle.