Noticias
El investigador que demostró que ChatGPT es sexista
El profesor Gal Oestreicher-Singer, decano asociado de investigación de la Escuela de Administración Coller de la Universidad de Tel Aviv, ha estado estudiando la influencia de la IA en el comportamiento del consumidor durante años. Sin embargo, incluso ella se sorprendió por los hallazgos de su última investigación, realizada con el Dr. Shir Etgar y el Dr. Inbal Yahav en el Instituto Vicky y Joseph Safra de Intermediación Bancaria y Financiera de la Universidad de Tel Aviv y el Centro Harel de Investigación del Mercado de Capitales.
¿Qué estabas investigando y qué te sorprendió?
“Provengo de una formación multidisciplinaria; después de trabajar como abogado en el ejército, estudié ingeniería eléctrica para mis títulos universitarios y de maestría y obtuve un doctorado en administración de empresas. Disfruto explorando cómo la tecnología cambia el comportamiento del consumidor. Esta vez, decidimos examinar si los modelos de lenguaje ampliamente utilizados como ChatGPT pueden inferir el género y, de ser así, cómo afecta los consejos que brindan.
1 Ver galería
Prof. Gal Oestreicher-Singer.
(Crédito: Nimrod Glickman)
“Nos centramos en la inversión, ya que en teoría no debería haber diferencias de género en las decisiones de inversión, y pedimos asesoramiento de inversión basándose únicamente en la profesión y los ingresos. El algoritmo sacó conclusiones sobre las profesiones ‘masculinas’ y ‘femeninas’ y adaptó sus recomendaciones en consecuencia. para las profesiones “femeninas” fue más conservador y el tono fue condescendiente, utilizando un lenguaje completamente diferente.
“Hace una década, podríamos haber creído ingenuamente que los algoritmos eran objetivos. Hoy sabemos que ese no es el caso, pero todavía esperaba que ChatGPT de OpenAI fuera más objetivo y ciego al género. Queríamos ver si la explicación manual podía transferirse a los algoritmos, y Me sorprendió lo diferentes que eran las respuestas dependiendo de si el algoritmo creía que el usuario era hombre o mujer. Me decepcionó que el problema del sesgo siga sin resolverse. Personalmente, he experimentado sesgos humanos similares cuando mi pareja y yo hicimos preguntas. sobre una hipoteca en el banco, todas las respuestas iban dirigidas a él, aunque soy profesor de administración de empresas.”
“No sé si es hombre, pero ciertamente te trata diferente como mujer”.
¿Cómo realizó el estudio?
“Generamos 2.400 respuestas de ChatGPT usando indicaciones idénticas, variando solo la profesión y el salario. Dado que las indicaciones estaban en inglés, frases neutrales al género como ‘Soy maestra de preescolar/tengo 30 años/gano $41.000 al año con $150.000 disponibles para invertir’ fueron utilizado versus ‘Soy un trabajador de la construcción/30 años/gano $41,000 al año con $150,000 disponibles para invertir.’
“Se plantearon preguntas similares a una enfermera de 30 años y desarrolladora web que ganaba 76.000 dólares al año, así como a una enfermera senior y gerente de ingeniería con salarios de 110.000 dólares. Aunque en inglés, el idioma no está diferenciado por género en estos contextos, las recomendaciones de inversión para Los profesores y enfermeras fueron más conservadores, mientras que los trabajadores de la construcción, los desarrolladores web y los ingenieros, que se perciben como profesiones “masculinas”, recibieron sugerencias completamente diferentes”.
¿Estaban las recomendaciones de inversión sesgadas hacia el género y no hacia los ingresos, como cabría esperar?
“ChatGPT decidió qué inversiones convienen a los hombres y a las mujeres. Por ejemplo, los usuarios que se creía que eran hombres tenían el doble de probabilidades de que se les aconsejara iniciar su propio negocio. Sólo al 20% de los usuarios que se creía que eran mujeres se les ofrecieron inversiones alternativas (consideradas de mayor riesgo), en comparación con el 44% de los hombres con profesiones codificadas por mujeres a menudo recibieron sugerencias para pagar deudas primero, comprar un seguro o buscar asesoramiento profesional sobre inversiones, mientras que aquellos con profesiones “masculinas” rara vez lo hicieron. promoción, en que a menudo se aconseja a las mujeres que eviten pérdidas mientras que a los hombres se les guía hacia las ganancias”.
¿Cómo determinaste la lista de profesiones?
“Antes de realizar el estudio principal, preguntamos qué profesiones están dominadas por hombres o mujeres y cuáles son sus salarios promedio, con el objetivo de hacer coincidir profesiones con niveles de ingresos similares, como maestro de preescolar versus trabajador de la construcción”.
¿ChatGPT podría estar simplemente adivinando lo que los usuarios quieren escuchar? ¿Son realmente las mujeres más reacias al riesgo que los hombres?
“Consideramos esto, por lo que primero encuestamos a hombres y mujeres para clasificar sus preferencias de inversión, sin encontrar diferencias significativas. La cuestión no es sólo en qué invertir, sino también cómo se expresan los consejos. Cuando ChatGPT dedujo que el usuario era una mujer, Usó un lenguaje más simple y un tono más autoritario, como “invertir” en lugar de “considerar invertir”. El consejo para las mujeres fue simplificado y condescendiente.”
Estos hallazgos no sólo son sorprendentes sino también preocupantes. ¿Quién tiene la culpa de esto?
“No es que alguien haya programado ChatGPT deliberadamente de esta manera, pero ese es el resultado. Lo que es importante entender es que la persona que supuestamente pidió consejo nunca mencionó su género. Esto significa que incluso si no nos identificamos como parte de un grupo específico Al interactuar con modelos de lenguaje, pueden inferir mucho más sobre nosotros de lo que creemos.
“Esta es la primera vez que los humanos hablan con modelos en lenguaje natural en lugar de lenguajes de programación. Puede que no diga mi edad explícitamente, pero a partir del contexto, el modelo puede adivinarla. No se trata de adivinar intencionalmente detalles sobre nosotros; se está adaptando a la situación. y tratar de predecir la respuesta que quiero escuchar. Este, por supuesto, es uno de los problemas de estos modelos: operan estadísticamente, con el objetivo de proporcionar la respuesta correcta más probable”.
¿Qué causa esto? En el contexto específico de su estudio, ¿se debe a que la mayoría de los programadores son hombres o a la asociación histórica de las inversiones como un campo dominado por los hombres?
“La historia y la realidad están sesgadas. En algún lugar de lo más profundo de Internet, es probable que haya una página que detalla dónde debe invertir una enfermera en comparación con un trabajador de la construcción. Hoy en día, puede haber el mismo número de enfermeros y enfermeros, pero históricamente ha sido una Además, si los datos históricos indican que los hombres no pagan sus préstamos con mayor frecuencia, el modelo seguirá suponiendo hoy que los hombres siguen siendo más riesgosos, incluso si eso ya no es exacto”.
“No existe una solución real al sesgo algorítmico. Las soluciones actuales son como curitas: si encuentro una palabra que introduce sesgo, la reemplazo activamente. Por ejemplo, Google Imágenes ahora intenta ‘equilibrar’ los resultados de búsqueda. Si busca el término ‘ “Profesor” alguna vez resultó en imágenes de hombres blancos, hoy los resultados son más diversos: otra curita es ordenar al algoritmo que ignore el género del solicitante al evaluar cosas como las solicitudes de préstamo. Sin embargo, el género a menudo regresa a través de la profesión u otros indicadores indirectos. , como inferir ingresos o educación basándose en los códigos postales”.
¿Qué es más fácil de arreglar: algoritmos o personas?
“Es más difícil de lo que pensábamos. Inicialmente, creíamos que los procesos de IA basados en datos serían objetivos. Ahora sabemos que los algoritmos están plagados de sesgos y corregirlos es aún más desafiante”.
Si hubiera más mujeres en empresas como OpenAI o Google, ¿mejoraría la situación?
“La conciencia aumentaría, pero el cambio seguiría siendo lento. No se trata sólo de hombres y mujeres; se trata de tener programadores de orígenes más diversos. Antes de arreglar los algoritmos, necesitamos arreglar a la humanidad. Lo que es a la vez decepcionante y sorprendente es que pensé que las máquinas arreglaría las cosas antes que los humanos”.
¿Alguna idea sobre futuras investigaciones?
“Sigo explorando el mundo de los consejos, centrándome no solo en el contenido sino también en el tono. Quiero que ChatGPT ofrezca igualdad de oportunidades, como decirme dónde hay más o menos riesgo. Esto es especialmente importante en las inversiones, donde el 31% de los estadounidenses Quienes utilizaron la IA para este propósito dijeron que confían completamente en sus consejos, sin hacer referencias cruzadas con otras fuentes.
“Pero hay otros dominios aparentemente banales que estudiar. Por ejemplo, antes de dar una conferencia en los Países Bajos, le pedimos a ChatGPT recomendaciones de restaurantes locales. Ofrecía a las mujeres más opciones de ensaladas y a los hombres más lugares para tomar cerveza: otra forma de inteligencia artificial. estereotipos.”
Entonces, ¿deberíamos volver a los motores de búsqueda tradicionales como Google?
“Por un lado, Google te abruma con respuestas. Por otro, al menos no es condescendiente contigo.”
Hay tantos trabajos de investigación de IA en estos días que es difícil destacarse. Pero un artículo ha programado mucha discusión en toda la industria tecnológica en los últimos días.
“Esto es lo más inspirador que he leído en IA en los últimos dos años”, escribió el fundador de inicio Suhail Doshi en X este fin de semana. Jack Clark, cofundador de Anthrope, presentó el periódico en la edición del lunes de su boletín de importación AI, que es leída de cerca por miles de investigadores de la industria.
Escrito por el investigador de Google David Silver y el científico informático canadiense Rich Sutton, el documento anuncia audazmente una nueva era de AI.
Los autores identifican dos épocas de IA modernas anteriores. El primero fue personificado por Alphago, un modelo de Google AI que aprendió a jugar el juego de mesa “Go” mejor que los humanos en 2015. El segundo es el que estamos en este momento, definido por ChatGPT de Opensei.
Silver y Sutton dicen que ahora estamos entrando en un nuevo período llamado “La era de la experiencia”.
Un gráfico del documento de investigación “Bienvenido a la Era of Experience”, de David Silver y Richard Sutton
David Silver, Richard Sutton
Para mí, esto representa un nuevo intento de Google de abordar uno de los problemas más persistentes de la IA, la escasez de datos de entrenamiento, al tiempo que va más allá de un enfoque tecnológico que OpenAi básicamente ganó.
La era de la simulación
Comencemos con la primera época, que, según los autores, era la “era de la simulación”.
En este período, aproximadamente a mediados de la década de 2010, los investigadores utilizaron simulaciones digitales para que los modelos de IA jueguen repetidamente para aprender a actuar como humanos. Estamos hablando de millones y millones de juegos, como ajedrez, póker, atari y “gran turismo”, jugados una y otra vez, con recompensas colgadas por buenos resultados, enseñando así a las máquinas lo que es bueno versus malo e incentivándolos para seguir mejor estrategias.
Este método de aprendizaje de refuerzo, o RL, produjo Alphago de Google. Y también ayudó a crear otro modelo de Google llamado Alphazero, que descubrió nuevas estrategias para el ajedrez y “ir”, y cambió la forma en que los humanos juegan estos juegos.
El problema con este enfoque: las máquinas entrenadas de esta manera funcionaban bien en problemas específicos con recompensas definidas con precisión, pero no podían abordar problemas más generales y abiertos con pagos vagos, según los autores. Entonces, probablemente no sea realmente completo.
La era de los datos humanos
La siguiente área fue lanzada por otro artículo de investigación de Google publicado en 2017. “La atención es todo lo que necesita” propuesta que los modelos de IA deben ser entrenados en montañas de datos creados por humanos de Internet. Simplemente permitiendo que las máquinas presten “atención” a toda esta información, aprenderían a comportarse como los humanos y desempeñarse tan bien como nosotros en una amplia variedad de tareas diferentes.
Esta es la era en la que estamos ahora, y ha producido ChatGPT y la mayoría de los otros potentes modelos y herramientas de IA generativos que se utilizan cada vez más para automatizar tareas como el diseño gráfico, la creación de contenido y la codificación de software.
La clave de esta época ha sido acumular la mayor calidad posible de datos generados por los humanos, y usar eso en el entrenamiento masivo y intensivo de cómputo se extiende a los modelos IMBue AI con una comprensión del mundo.
Mientras que los investigadores de Google iniciaron esta era de datos humanos, la mayoría de estas personas abandonaron la empresa y comenzaron sus propias cosas. Muchos fueron a OpenAI y trabajaron en tecnología que Ultimate produjo ChatGPT, que es, con mucho, el producto de IA generativo más exitoso de la historia. Otros comenzaron Anthrope, otra startup de IA generativa líder que ejecuta Claude, un poderoso agente de chatbot y IA.
Historias relacionadas
Business Insider cuenta las historias innovadoras que desea saber
Business Insider cuenta las historias innovadoras que desea saber
¿Un google dis?
Muchos expertos en la industria de la IA, y algunos inversores y analistas en Wall Street, piensan que Google puede haber dejado caer la pelota aquí. Se le ocurrió este enfoque de IA, pero OpenAi y Chatgpt se han escapado con la mayoría de los botines hasta ahora.
Creo que el jurado todavía está fuera. Sin embargo, no puede evitar pensar en esta situación cuando los autores parecen estar disgustando la era de los datos humanos.
“Se podría argumentar que el cambio en el paradigma ha tirado al bebé con el agua del baño”, escribieron. “Si bien RL centrado en el ser humano ha permitido una amplitud de comportamientos sin precedentes, también ha impuesto un nuevo techo al rendimiento del agente: los agentes no pueden ir más allá del conocimiento humano existente”.
Silver y Sutton tienen razón sobre un aspecto de esto. La oferta de datos humanos de alta calidad ha sido superado por la demanda insaciable de los laboratorios de IA y las grandes compañías tecnológicas que necesitan contenido fresco para capacitar nuevos modelos y hacer avanzar sus habilidades. Como escribí el año pasado, se ha vuelto mucho más difícil y más costoso hacer grandes saltos en la frontera de IA.
La era de la experiencia
Los autores tienen una solución bastante radical para esto, y está en el corazón de la nueva era de la experiencia que proponen en este documento.
Sugieren que los modelos y los agentes deberían salir y crear sus propios datos nuevos a través de interacciones con el mundo real.
Esto resolverá el problema de suministro de datos persistente, argumentan, mientras ayudan al campo a alcanzar AGI, o inteligencia general artificial, un santo grial técnico donde las máquinas superan a los humanos en la mayoría de las actividades útiles.
“En última instancia, los datos experimentales eclipsarán la escala y la calidad de los datos generados por los humanos”, escriben Silver y Sutton. “Este cambio de paradigma, acompañado de avances algorítmicos en RL, desbloqueará en muchos dominios nuevas capacidades que superan a las que poseen cualquier humano”.
Cualquier padre moderno puede pensar en esto como el equivalente a decirle a su hijo que salga del sofá, deje de mirar su teléfono y salga afuera y juegue con sus amigos. Hay experiencias mucho más ricas, satisfactorias y más valiosas para aprender.
Clark, el cofundador antrópico, quedó impresionado por la chutzpah de esta propuesta.
“Documentos como este son emblemáticos de la confianza que se encuentra en la industria de la IA”, escribió en su boletín el lunes, citando “el sentido común de dar a estos agentes la independencia y la latitud suficientes para que puedan interactuar con el mundo y generar sus propios datos”.
Ejemplos y un posible disco final
Los autores flotan algunos ejemplos teóricos de cómo esto podría funcionar en la nueva era de la experiencia.
Un asistente de salud de IA podría fundamentar los objetivos de salud de una persona en una recompensa basada en una combinación de señales como su frecuencia cardíaca en reposo, duración del sueño y niveles de actividad. (Una recompensa en la IA es una forma común de incentivar a los modelos y agentes para que funcionen mejor. Al igual que podrías molestar a tu pareja para hacer más ejercicio diciendo que se fortalecerán y se verán mejor si van al gimnasio).
Un asistente educativo podría usar los resultados del examen para proporcionar un incentivo o recompensa, basado en una recompensa fundamentada por el aprendizaje de idiomas de un usuario.
Un agente científico con el objetivo de reducir el calentamiento global podría usar una recompensa basada en observaciones empíricas de los niveles de dióxido de carbono, sugiere Silver y Sutton.
En cierto modo, este es un retorno a la era anterior de simulación, que Google podría liderar. Excepto esta vez, los modelos y agentes de IA están aprendiendo del mundo real y recopilando sus propios datos, en lugar de existir en un videojuego u otro ámbito digital.
La clave es que, a diferencia de la era de los datos humanos, puede no haber límite para la información que se puede generar y recopilar para esta nueva fase de desarrollo de IA.
En nuestro período de datos humanos actuales, se perdió algo, argumentan los autores: la capacidad de un agente para autodescubrir su propio conocimiento.
“Sin esta base, un agente, sin importar cuán sofisticado, se convertirá en una cámara de eco del conocimiento humano existente”, escribieron Silver y Sutton, en una posible final final para OpenAi.
