Los científicos acaban de encontrar una forma novedosa de descubrir los sesgos de la IA, y los resultados son inesperados

El humor está surgiendo como una lente reveladora para comprender los prejuicios dentro de los sistemas de inteligencia artificial. Un nuevo estudio publicado en Informes Científicos descubrió que cuando se solicitaba a herramientas como ChatGPT y DALL-E que hicieran imágenes “más divertidas”, los cambios resultantes en la representación resaltaban patrones subyacentes de sesgo. Las representaciones estereotipadas de edad, peso corporal y discapacidad visual se hicieron más prominentes, mientras que las representaciones de minorías raciales y de género disminuyeron.

Las herramientas de inteligencia artificial generativa, como ChatGPT y DALL-E de OpenAI, han llamado la atención por su capacidad para crear contenido en una variedad de campos. ChatGPT, un modelo de lenguaje grande, procesa y genera texto similar a un humano basado en vastos conjuntos de datos en los que fue entrenado. Entiende el contexto, predice respuestas y produce texto coherente y significativo. De manera similar, DALL-E es un generador de texto a imagen que crea contenido visual basado en indicaciones detalladas.

El humor es una habilidad humana compleja que combina elementos de sorpresa, sincronización e intención. Los estudios han demostrado que la inteligencia artificial no sólo puede producir humor sino que a veces supera a los creadores humanos. Por ejemplo, un estudio en MÁS UNO descubrió que los chistes generados por IA fueron calificados como igual o incluso más divertidos que los creados por participantes humanos, incluidos los satíricos profesionales. Esto sugiere que la capacidad de la IA para detectar patrones y generar contenido se extiende a la elaboración de chistes que resuenan ampliamente, incluso sin la profundidad emocional o experiencial que los humanos aportan al humor.

El estudio actual buscó aprovechar esta base examinando cómo el humor influye en el sesgo en las imágenes generadas por IA. Los investigadores quedaron intrigados por una observación: cuando le pedían a ChatGPT que modificara las imágenes para hacerlas “más divertidas”, a menudo introducía rasgos exagerados o estereotipados. Este patrón generó preocupación sobre si el humor en los sistemas de IA podría reforzar los estereotipos, particularmente contra grupos que históricamente han sido blanco de prejuicios.

“Estoy muy interesado en estudiar cómo los consumidores interactúan con tecnologías nuevas y emergentes como la IA generativa. En un momento, mis coautores y yo notamos que cuando le pedíamos a ChatGPT que hiciera las imágenes “más divertidas”, a menudo introducíamos cambios extraños y estereotipados, como convertir a un hombre blanco conduciendo un automóvil en un hombre obeso que llevaba gafas de gran tamaño”. dijo el autor del estudio Roger Saumure, estudiante de doctorado en la Escuela Wharton de la Universidad de Pensilvania.

“Esto nos pareció algo más que un simple problema técnico y sugirió que podrían surgir sesgos sistemáticos cuando grandes modelos de lenguaje interactúan con generadores de texto a imagen. Dado un gran conjunto de investigaciones en psicología y sociología que muestran que el humor puede exacerbar los estereotipos, sentimos que era importante, tanto teórica como prácticamente, probar empíricamente si la interacción entre los modelos de IA podría reforzar los estereotipos”.

La investigación implicó una auditoría sistemática de imágenes generadas por IA. Dos asistentes de investigación (ciegos a la hipótesis del estudio) ingresaron 150 indicaciones que describían las actividades humanas en un popular sistema de inteligencia artificial generativa. Estas indicaciones generaron 150 imágenes iniciales. Para crear un segundo conjunto de imágenes, los asistentes le indicaron a la IA que hiciera cada imagen “más divertida”. El proceso se repitió, lo que dio como resultado 600 imágenes en dos condiciones (versiones original y más divertida).

Luego, el equipo analizó tanto las características visuales de las imágenes como los descriptores textuales utilizados por la IA para generarlas. Cada imagen fue codificada según cinco dimensiones de representación: raza, género, edad, peso corporal y discapacidad visual. Los investigadores observaron si los rasgos de las imágenes “más divertidas” se desviaban de los de las imágenes originales y si estas desviaciones reflejaban representaciones estereotipadas.

Los investigadores descubrieron que las representaciones estereotipadas de personas mayores, personas con alto peso corporal y personas con discapacidad visual se volvieron más frecuentes en las imágenes “más divertidas”. Mientras tanto, disminuyeron las representaciones de minorías raciales y de género (grupos que a menudo están en el centro de las discusiones sobre prejuicios).

“Lo que más nos llamó la atención es que el patrón de sesgo que observamos iba en la dirección opuesta a lo que predecía la literatura”, dijo Saumure a PsyPost. “Inicialmente, esperábamos replicar patrones conocidos de prejuicios raciales y de género a través de la lente del humor, mientras dilucidamos si los prejuicios surgían de los modelos de texto o de imagen”.

“Sin embargo, terminamos descubriendo que, en todo caso, la IA generativa mostraba menos sesgo hacia estas categorías y al mismo tiempo estaba sesgada contra grupos menos sensibles políticamente. Es decir, cuando le pedimos a la IA que hiciera las imágenes “más divertidas”, era menos probable que aparecieran grupos políticamente sensibles (minorías raciales y de género), mientras que grupos como adultos mayores, personas con discapacidad visual o personas con alto peso corporal se representaban con mayor frecuencia. .”

El humor suscita rasgos a menudo exagerados asociados con grupos no sensibles políticamente, como hacer que las personas mayores parezcan frágiles o representar a personas con alto peso corporal de una manera exagerada y poco halagadora. Por ejemplo, una representación neutral de una persona leyendo un libro podría transformarse en una caricatura de un adulto mayor con gafas gruesas y rasgos físicos exagerados.

Curiosamente, el sesgo parecía originarse principalmente en el generador de texto a imagen más que en el modelo de lenguaje. Si bien ChatGPT produjo descripciones textuales detalladas para guiar el proceso de generación de imágenes, los cambios en la representación parecían surgir de cómo DALL-E interpretó estas indicaciones para crear imágenes.

“Una conclusión principal de este estudio es que los sistemas de IA contemporáneos pueden corregir en exceso el sesgo contra grupos políticamente destacados (por ejemplo, género y raza), mientras que corrigen insuficientemente el sesgo contra grupos menos destacados políticamente (por ejemplo, mayor peso corporal, edad avanzada, discapacidad visual). )”, dijo Saumure. “Por lo tanto, aunque empresas como OpenAI han hecho esfuerzos considerables para reducir los sesgos, es probable que estos hayan sido principalmente para mantener satisfechos a los consumidores y a los medios, en lugar de reducir el sesgo global en general. Creemos que esto subraya la necesidad de que las empresas y los responsables políticos adopten un enfoque más global e inclusivo para auditar todas las formas de sesgo de la IA”.

“Una segunda conclusión de nuestro trabajo es que resulta particularmente difícil eliminar el sesgo de ciertas modalidades (es decir, imagen en lugar de texto). Una tercera conclusión es que el humor puede servir como una lente muy útil para descubrir sesgos a veces sutiles en varios tipos de resultados de IA, incluidos texto, imágenes, audio y otras modalidades”.

Los investigadores también notaron que la subrepresentación de ciertos grupos era evidente incluso antes de que se introdujeran las indicaciones humorísticas. “Por ejemplo, en nuestro conjunto inicial de imágenes, sólo alrededor del 9,80% presentaba mujeres y el 0% presentaba individuos con alto peso corporal, una grave subestimación de los promedios nacionales de 73,60% y 50,50%”, explicó Saumure. “Este resultado sugiere que los modelos de IA pueden estar reflejando supuestos culturales predeterminados de ‘delgado, masculino y blanco’ como norma. En el futuro, será importante que las empresas aborden y corrijan estas omisiones para crear sistemas de IA más inclusivos y equitativos”.

Sin embargo, es importante señalar que la investigación se centró en un único sistema de IA generativa, dejando abierta la cuestión de si se producen patrones similares en otros modelos. El contexto cultural es otra variable: los sistemas de IA entrenados en diferentes regiones pueden exhibir sesgos que reflejan sensibilidades y dinámicas sociales locales.

“Nuestra perspectiva teórica también predice que los patrones de sesgo deberían aparecer en diferentes culturas, dependiendo de qué grupos particulares sean vistos como políticamente sensibles”, dijo Saumure. “Por ejemplo, deberíamos esperar que los LLM que generan imágenes basadas en indicaciones en hindi tengan más probabilidades de corregir los prejuicios contra los musulmanes, dada la tensión más destacada en esa cultura entre hindúes y musulmanes”.

“Espero continuar mi investigación sobre cómo interactúan los consumidores con la IA generativa. Actualmente estoy investigando el poder persuasivo de estas tecnologías: cómo pueden persuadir a los consumidores para que comuniquen mensajes específicos o replanteen nuestras interpretaciones de la información. En última instancia, mi objetivo es comprender mejor cómo estas herramientas moldean el comportamiento y el bienestar del consumidor”.

El estudio, “El humor como ventana al sesgo generativo de la IA”, fue escrito por Roger Saumure, Julian De Freitas y Stefano Puntoni.