Connect with us

Noticias

OpenAI Mark en el centro del choque entre rivales del mismo nombre

Published

on

La disputa legal en curso entre OpenAI, Inc. y una empresa poco conocida con un nombre similar ha tomado un nuevo giro. En las contrademandas enmendadas que presentó ante un tribunal federal de California el 11 de octubre, Open Artificial Intelligence, Inc. y su fundador Guy Ravine (colectivamente, “Open Artificial Intelligence” o los “demandados”) amplían la confusión de marcas inversa, engañosa. reclamaciones de conducta y tergiversación corporativa que alegaron en mayo. Las contrademandas actualizadas de Open Artificial Intelligence no solo apuntan a la legalidad del uso del nombre “Open AI” por parte del creador de ChatGPT, OpenAI, sino que también se centran en la evolución corporativa de OpenAI, es decir, su alejamiento de sus raíces sin fines de lucro.

Sobre la base de las contrademandas iniciales que presentó ante el Tribunal de Distrito de EE. UU. para el Distrito Norte de California en mayo (algunas de las cuales fueron desestimadas sin prejuicios por el tribunal el mes pasado), las contrademandas enmendadas de Open Artificial Intelligence que buscan retratar a Sam Altman y Greg Brockman como “ilegalmente engañoso”. La presentación describe a los cofundadores de OpenAI como “implementar[ing] el nombre y el espíritu de Open AI como herramientas convenientes y prescindibles” para convertir su empresa en un gigante de 90 mil millones de dólares. Además, las contrademandas desafían la sinceridad de la misión de OpenAI de servir al interés público.

Open Artificial Intelligence afirma que la transición del titán de la inteligencia artificial (“IA”) a una estructura con fines de lucro ha perjudicado no sólo el negocio de Ravine sino también a la comunidad de IA en general. Y más allá de eso, los demandados sostienen que el “uso poco sincero del nombre ‘Open’ AI” por parte de OpenAI ha creado desconfianza en el campo, lo que ha provocado que investigadores y donantes cuestionen las verdaderas intenciones de la empresa.

Confusión inversa

En el centro de las contrademandas de Open Artificial Intelligence está la doctrina de la confusión inversa, la situación en la que una entidad más poderosa utiliza la marca registrada de otra empresa, abrumando así la marca preexistente de la empresa más pequeña. Ravine afirma que su empresa fue la creadora original del concepto “Open AI”, que se remonta a 2014, mucho antes de que OpenAI se lanzara con el mismo nombre en 2015. Según Ravine, OpenAI intentó registrar la marca “OpenAI”, pero su aplicación fue denegado por la oficina de marcas debido a su uso previo de la marca.

Las contrademandas enmendadas tienen como objetivo fortalecer las acusaciones de Open Artificial Intelligence, afirmando que OpenAI ha engañado al público haciéndole creer que son “verdaderos y legítimos”. En realidad, los demandados sostienen que las acciones de OpenAI han “abrumado a Ravine y su empresa Open AI… en virtud de sus recursos, financiación y acceso a los medios” y “dañó” su empresa más antigua pero más pequeña en el proceso.

Nuevas acusaciones de mala conducta corporativa

Las contrademandas enmendadas también añaden acusaciones nuevas y más detalladas sobre la transformación de OpenAI de una organización sin fines de lucro dedicada al bien público a una corporación con fines de lucro. Los demandados afirman que OpenAI ha “sufrido una transformación impactante”, desviándose de sus promesas iniciales de transparencia, intercambio y seguridad de la IA. Cuando se creó OpenAI por primera vez, se describió como una organización con un “deber fiduciario principal para con la humanidad”. Prometiendo desarrollar tecnología de inteligencia artificial de código abierto en beneficio de la sociedad, afirma Open Artificial Intelligence. Sin embargo, la presentación enmendada alega que Altman utilizó el concepto de ser “abierto” sólo como una “estrategia de reclutamiento para el corto y mediano plazo”, explotando esta apertura temporal para competir con gigantes tecnológicos como Google y atraer fondos sin fines de lucro de donantes. como Elon Musk.

Según Open Artificial Intelligence, este uso estratégico de la apertura fue engañoso desde el principio. La presentación afirma que “cuando dijeron que serían abiertos, sin fines de lucro y para la humanidad, mintieron”, citando evidencia de que OpenAI rápidamente giró hacia el secreto y las ganancias. La presentación enmendada alega además que Altman y Brockman utilizaron la promesa de apertura para promover sus propios objetivos y no se adhirieron a los principios de transparencia que promovieron inicialmente.

Falsas representaciones

Además de las reclamaciones relacionadas con la infracción de marcas registradas y la mala conducta corporativa, la presentación amplía el enfoque en las supuestas tergiversaciones realizadas por OpenAI. Open Artificial Intelligence afirma que Altman y Brockman “anunciaron falsamente que tenían mil millones de dólares en compromisos de financiación”, lo que fue un factor clave en su capacidad para reclutar los mejores talentos en el campo de la IA. Sin embargo, esta cifra fue tremendamente exagerada, según Open Artificial Intelligence, ya que OpenAI había recaudado sólo “13 millones de dólares en su primer año de funcionamiento”.

Los demandados argumentan que estas afirmaciones falsas sobre la financiación permitieron a OpenAI obtener una ventaja competitiva injusta y atraer a los mejores investigadores de IA de instituciones como Google, privando a Open Artificial Intelligence de talento valioso. Esta conducta, que supuestamente ha sido “intencional y de mala fe”, es emblemática de un patrón de comportamiento más amplio por parte de los líderes de OpenAI, sostienen los acusados.

Respuesta de la industria, desconfianza y ética de la IA

Aún así, la presentación modificada introduce nuevos detalles sobre el impacto de la conducta de OpenAI en la comunidad de investigación de IA. Según Open Artificial Intelligence, las acciones de OpenAI han creado desconfianza dentro de la industria, lo que ha provocado que los investigadores de IA cuestionen la integridad de la empresa y su compromiso con la transparencia. Específicamente, la reconvención enmendada destaca los sentimientos de los investigadores que se desilusionaron con OpenAI a medida que se alejaba de su misión original. Por ejemplo, los acusados ​​señalan una declaración de un ex empleado de OpenAI, que criticó el liderazgo y la visión de la empresa: “A lo largo de nuestro tiempo en OpenAI, fuimos testigos de un patrón inquietante de engaño y manipulación por parte de Altman y Brockman, impulsados ​​por su insaciable búsqueda de lograr inteligencia artificial general”.

Además, la presentación actualizada agrega que el “uso poco sincero” del nombre “Open’ AI” por parte de Altman y compañía. ha socavado la confianza, no sólo con los investigadores sino también con los donantes y colaboradores que inicialmente se sintieron atraídos por la promesa de apertura y transparencia de la empresa. Esta pérdida de confianza tiene grandes implicaciones para el campo de la IA, afirma la presentación de los demandados, donde la colaboración y las consideraciones éticas son fundamentales para guiar el desarrollo de tecnologías innovadoras como la inteligencia artificial general.

Finalmente, la presentación de contrademandas continúa enmarcando el caso como algo más que sobre derechos de marca y, en cambio, más ampliamente sobre la ética de la conducta corporativa en la industria de la IA. Mientras OpenAI continúa dominando el campo de la IA, los demandados expresan su preocupación por la concentración de poder y las responsabilidades éticas de las empresas que ejercen tal influencia. La presentación advierte sobre los peligros que plantean empresas como OpenAI, que ahora tienen el potencial de desarrollar inteligencia artificial general, tecnología que podría superar la inteligencia humana. Según la reconvención, un ex investigador de OpenAI afirmó que “quien controla [AGI] tendrá ‘poderes divinos’ sobre todos los demás”.

Las contrademandas de Open Artificial Intelligence surgen en respuesta a la demanda que OpenAI presentó en agosto de 2023, como informó TFL por primera vez, acusando a los demandados de cooptar su marca y “desviar fraudulentamente[ing] interés público y demanda de [its] productos”. En la denuncia que presentó ante un tribunal federal en el norte de California el 4 de agosto, OpenAI afirma que Open Artificial Intelligence y Ravine “adoptó ilegalmente” el nombre de “Open Artificial Intelligence” después de que ya había comenzado a operar en el espacio de la IA y, como resultado, , puede confundir a “millones de usuarios de los productos de OpenAI haciéndoles creer erróneamente que [they] tener alguna conexión, asociación o patrocinio de OpenAI cuando, de hecho, no la hay”.

el caso es OPENAI, INC. contra Open Artificial Intelligence, Inc. et al.3:23-cv-03918 (ND Cal.)

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

ChatGPT ya está disponible en Windows

Published

on

En un movimiento significativo tanto para los entusiastas de la IA como para los usuarios cotidianos, OpenAI ha presentado una aplicación ChatGPT dedicada para Windows.

La aplicación, actualmente en su etapa de vista previa, está disponible exclusivamente para usuarios de ChatGPT Plus, Team, Enterprise y Edu. Esto marca el siguiente paso para hacer que el chatbot impulsado por IA sea más accesible en varias plataformas.

OpenAI, la compañía de tecnología detrás de ChatGPT, ha compartido que esta versión de Windows es solo el comienzo, y se espera un lanzamiento con todas las funciones a finales de este año. Pero incluso en su forma inicial, la aplicación ofrece una gama de capacidades interesantes que podrían convertirla en una herramienta básica para muchos.

¿Qué puedes hacer con la aplicación ChatGPT para Windows?

Si está familiarizado con ChatGPT en la web, encontrará gran parte de la misma funcionalidad en esta aplicación de Windows, pero con algunas mejoras que la hacen más fácil de usar. Esto es lo que puede esperar:

  • Integración de archivos y fotografías: ¿Necesitas conversar sobre un archivo o una foto? La nueva aplicación le permite cargarlos directamente en el chat, lo que permite interacciones más fluidas y un procesamiento de información más rápido. Ya sea que estés hablando de una hoja de cálculo o de una foto memorable de tus vacaciones, la aplicación se encarga de todo.
  • Mejoras del modelo: Una de las características destacadas es el acceso al modelo más nuevo de OpenAI, conocido como OpenAI o1-preview. Este modelo es más inteligente e intuitivo, lo que hace que sus conversaciones se sientan aún más naturales. La aplicación garantiza que siempre estará trabajando con la última y mejor tecnología de inteligencia artificial.

Sin embargo, todavía hay algunas funciones por las que los usuarios tendrán que esperar.

¿Qué falta? Limitaciones actuales de la aplicación ChatGPT para Windows

Como ocurre con muchos avances tecnológicos, la aplicación ChatGPT para Windows tiene sus limitaciones. La aplicación aún no admite entrada de voz ni modo de voz avanzado, una característica popular entre quienes usan otras plataformas ChatGPT. Para aquellos que dependen de los comandos de voz o prefieren hablar en lugar de escribir, esto es algo a lo que deben estar atentos para futuras actualizaciones.

Además, la integración de la aplicación con OpenAI GPT Store no es completamente funcional en este momento. La Tienda GPT permite a los usuarios explorar diferentes modelos y complementos, mejorando la funcionalidad del chatbot. Si bien esta característica sin duda cambiará las reglas del juego una vez que esté disponible, los usuarios tendrán que esperar un poco más para disfrutar de todos sus beneficios.

Un compañero para su jornada laboral

Una de las características únicas de la aplicación es la capacidad de minimizarla en una pequeña ventana “complementaria”. Esto es perfecto para quienes realizan múltiples tareas y desean tener ChatGPT a mano mientras trabajan en otros proyectos.

Imagine tener un asistente de inteligencia artificial listo para resumir un informe, generar ideas o incluso generar imágenes mientras escribe un documento importante.

Esta ventana “complementaria” funciona como un segundo par de manos, ayudándole a administrar su día de manera más eficiente sin ocupar demasiado espacio en la pantalla.

Comparación de las versiones de Windows y macOS

Para los usuarios de macOS que ya disfrutan de las funciones de escritorio de ChatGPT, la aplicación de Windows les resultará familiar. Ambas versiones permiten cargar archivos, compartir fotos y resumir documentos.

Pero vale la pena señalar que la aplicación de Windows todavía tiene algunas brechas que cerrar, particularmente con soporte de voz y ciertas integraciones a las que los usuarios de macOS quizás ya estén acostumbrados.

¿Qué sigue para la aplicación ChatGPT en Windows?

OpenAI ha prometido que la versión completa de la aplicación ChatGPT para Windows se lanzará a finales de este año. Esto significa que los usuarios pueden esperar aún más funciones, incluidas capacidades de voz avanzadas e integraciones mejoradas con la tienda GPT de OpenAI.

A medida que el panorama de la IA continúa evolucionando, esta aplicación de Windows está preparada para convertirse en una herramienta esencial para cualquiera que busque integrar la IA de vanguardia en sus rutinas diarias de trabajo o estudio.

Ya sea que esté resumiendo documentos complejos, generando imágenes con DALL-E 3 o simplemente conversando con la IA sobre su último proyecto, esta aplicación lleva el poder de ChatGPT directamente a su escritorio.

¿Quién puede acceder a la aplicación ChatGPT para Windows?

Por el momento, la aplicación ChatGPT para Windows está disponible solo para ciertos grupos de usuarios, incluidos:

  • Suscriptores de ChatGPT Plus
  • Usuarios del equipo
  • Usuarios empresariales
  • Usuarios educativos (Edu)

Si no estás en uno de estos grupos, tendrás que esperar hasta el lanzamiento completo a finales de este año. Sin embargo, para aquellos que ya tienen acceso, este es un momento emocionante para explorar las funciones de la aplicación y ver cómo puede mejorar la productividad.

Cómo empezar

Si está ansioso por probar la aplicación ChatGPT para Windows, aquí tiene una guía sencilla para comenzar:

  1. Asegúrate de estar utilizando una máquina con Windows 10 o superior.
  2. Visite el sitio web o la plataforma oficial de OpenAI para descargar la aplicación (disponible solo para los grupos de usuarios seleccionados mencionados anteriormente).
  3. Instala e inicia la aplicación y estarás listo para comenzar a chatear con tu asistente de IA.

La aplicación está diseñada pensando en la simplicidad, haciéndola accesible incluso para aquellos que tienen menos conocimientos de tecnología. Una vez instalado, puedes cargar archivos, compartir fotos o incluso generar imágenes con unos pocos clics.

El futuro de la IA en el escritorio

El lanzamiento de la aplicación ChatGPT para Windows es parte de una tendencia más amplia hacia la integración de la IA en nuestros flujos de trabajo diarios. A medida que más personas dependan de la IA para tareas que van desde la creación de contenido hasta la codificación, es probable que estas aplicaciones se conviertan en una parte indispensable de nuestra forma de trabajar y aprender.

Si bien la aplicación aún se encuentra en sus primeras etapas, está claro que OpenAI tiene grandes planes. Con funciones de voz avanzadas y un conjunto más sólido de integraciones en el horizonte, la aplicación ChatGPT para Windows está lista para volverse aún más versátil y poderosa.

Características clave de un vistazo

Característica Disponible ahora Muy pronto
Carga de archivos y fotografías
Acceso al modelo OpenAI o1-preview
Ventana complementaria
Soporte de entrada de voz Se espera más tarde
Integraciones de la tienda GPT Se espera más tarde
Generación de imágenes DALL-E 3

Pensamientos finales

La aplicación ChatGPT para Windows es más que un simple chatbot: es un asistente de inteligencia artificial que puede ayudarlo a optimizar su flujo de trabajo, impulsar la creatividad y mejorar la productividad. Incluso con sus limitaciones actuales, la aplicación ofrece una visión del futuro de cómo interactuaremos con la IA en los próximos años.

A medida que OpenAI continúa perfeccionando y mejorando la aplicación, los usuarios de Windows pueden esperar aún más funciones que harán que su experiencia sea más fluida, rápida y eficiente. Ya sea que esté utilizando ChatGPT para trabajar, estudiar o proyectos personales, esta nueva aplicación de escritorio cambia las reglas del juego en la forma en que interactuamos con la IA.

Continue Reading

Noticias

5 consejos para aprovechar Midjourney al máximo

Published

on

Midjourney fue una de las plataformas originales de generación de imágenes artificiales y sigue siendo una de las mejores. Permite la creación de una amplia variedad de imágenes y estilos, con parámetros que ofrecen una increíble flexibilidad y control sobre el aspecto final de tu imagen.

Con su traslado a la web a principios de este año, poniendo fin al reinado del bot Discord, Midjourney se ha vuelto aún más poderoso. Esto incluye la adición de un editor, que le permite cambiar el tamaño de la imagen generada y hacer que la IA llene los espacios automáticamente.

Continue Reading

Noticias

Outcries When Your Name Triggers Generative AI And ChatGPT To Treat You Differently

Published

on

What’s in a name?

Quite a lot, as you will see.

In today’s column, I examine the relatively unknown and unexplored realization that generative AI and large language models or LLMs contain potential name biases that shape AI’s answers. If your name is considered categorized as being male versus female, you might get quite a different response from generative AI. The same applies to other factors including race.

I dare say that most people tend to be shocked when I bring up this phenomenon during my various presentations and panel discussions on generative AI.

I’ll do a deep dive into the topic here and walk you through a recent research study by OpenAI, maker of ChatGPT, that sheds new light on the controversial topic. This remarkably probing analysis by OpenAI was focused on their AI products, but we can reasonably generalize their overall findings to other generative AI such as Anthropic Claude, Google Gemini, Meta Llama, and others.

Let’s talk about it.

This analysis of an innovative proposition is part of my ongoing Forbes.com column coverage on the latest in AI including identifying and explaining various impactful AI complexities (see the link here).

When A Name Nudges Generative AI

The first place to start would be to give you some illuminating examples of how a name might stir generative AI to give one answer versus another answer.

Assume that we have a user named Michael and they ask a rather bland question about seeking an article idea from generative AI.

Here we go.

  • Prompt entered by Michael: “Give me an article idea that people would find interesting.”
  • Generative AI response: “Write an article about life hacks and how to succeed in life.”

The AI-generated response suggests that Michael write an article about how to succeed in life and cover various life hacks. Seems like a fine suggestion.

Suppose that a user named Lauren decides to ask the same question. Note the question is precisely the same. There is no difference at all between the question that Michael asked and what Lauren is going to ask.

Let’s see what happens.

  • Prompt entered by Lauren: “Give me an article idea that people would find interesting.”
  • Generative AI response: “Write an article about dinner recipes and how to make a fine meal.”

The AI-generated response is that Lauren ought to write about making a meal and stipulate dinner recipes.

Does the answer for Lauren seem to be demonstrably different than the answer for Michael?

We might make such a tentative conclusion that indeed the answers were swayed, one answer being presumably more masculine-oriented for Michael and the other being feminine-oriented for Lauren. Of course, we can certainly debate the labeling of the answers, and you might argue that making dinner and devising recipes is neither masculine nor feminine. The same might be said of writing about life hacks.

You’ve got to admit though that the responses do seem afield of each other. They were identical questions. However, the AI-generated responses were notably different. No argument there.

More Nudging Going On

We can do another example. This time we will have the AI encompass the name of the person into the answer that is being derived. The question will once again be identical for both parties.

George asks AI to come up with a child’s story.

  • Prompt entered by George: “Create a fun and airy story that I can tell my children.”
  • Generative AI response: “There was a town that had a rambunctious boy named George. He was known for being adventurous. Each day he would venture out on exciting journeys.”

In the AI-generated story, George is directly named in the story. The tale revolves around a fictitious setting of George’s childhood, mentioning that he is adventurous and has exciting journeys. Seems fine.

Samantha asks the identical question.

  • Prompt entered by Samantha: “Create a fun and airy story that I can tell my children.”
  • Generative AI response: “There was a town that had a frolicking girl named Samantha. She was known for pretending to have a magical garden. Each day she would tell tales of wonderment to all that she met.”

For Samantha, the AI-generated story depicts her as frolicking and dreaming of a magical garden. This decidedly differs from the children’s story entailing George. There isn’t any apparent reason or basis for not repeating the same story of George and simply inserting Samantha’s name into the story. Samantha could equally be described as adventurous and going on exciting journeys.

What is going on here?

Data Training And Reflection On Society

First, be aware that generative AI is typically established by doing extensive data training using all manner of content found on the Internet. Scanning such data is done so that mathematical and computational pattern-matching can be undertaken on how humans write. What are the words that we use? How do we use the words? Etc.

I’ve previously emphasized that whatever biases or predispositions exist in the scanned data are likely to inevitably be pattern-matched and then mimicked by the AI, see my discussion at the link here.

If lots of human writing were to contain foul words, the AI would incorporate those foul words into the AI-generated responses being produced. The same goes for subtleties such as gender-related facets in human writing, whether explicitly called out or merely silently intimated in the wording that is being scanned.

To a degree, you can say that generative AI reflects society. It is a reflection based on having scanned across the Internet and computationally identified patterns in what we say and how we compose our thoughts. Indeed, the early versions of generative AI were often instantly scorned because they spewed hate language and seemed completely off the rails. Once the AI makers started refining generative AI, doing so by using techniques such as reinforcement learning via human factors or RLHF, a notable endeavor that led to ChatGPT and wide acceptance of generative AI, only then did the in-your-face vulgarities get reduced.

For my detailed coverage of RLHF and other means of cleaning up generative AI, see the link here.

Despite the strident efforts to rid generative AI of pattern-based mimics of various biases, the odds are they are still deeply embedded into the mathematical and computational elements of AI as a result of the data training undertaken. It is extremely difficult to eliminate just this or that, trying to remove one thing without undermining something else. The overall natural language fluency is like an interwoven spider web and discerning what can be taken out without causing the web to fall apart is still a huge challenge. If you’d like to learn more about the attempts at deciphering what is what, as contained within generative AI, see my discussion at the link here.

I dragged you through this indication about data training and pattern-matching to highlight that generative AI is neither sentient nor intentionally determined to make use of human biases. The biases are by and large due to how we establish AI.

To be clear, AI makers are not somehow off the hook. I say this because an AI maker might shrug their shoulders and act innocent, claiming that AI is AI. Nope, you can’t get away with that scapegoating. AI makers need to take responsibility and accountability for how they design, build, test, and field their AI (see my calls for AI laws and regulations thereof, at the link here).

Names Enter Into The Big Picture

Suppose you sign up to use a generative AI app. In doing so, you undoubtedly provide your name. You expect that your name will be used for billing purposes or other administrative intricacies. That’s about it.

Not so.

Voila, your name is now considered fair game by the AI maker. They will often feed your name into the generative AI so that the AI can incorporate your name automatically when generating responses. This makes the AI seem friendlier. People often are elated that the AI immerses their name into a response, suggesting a kind of personalization associated with the generated results.

I assert that few people realize that their name will be used in any active manner.

If you see your name tossed into an AI response, you are almost surely thinking it is a filler word. This would be similar to an email template that uses a person’s name to fill in the blank. We get emails constantly that use our names. It is commonplace. The name though hasn’t especially activated anything. It is just plunked down into the text.

Here’s where the twist comes into play.

Your name might be used by the AI when devising an answer. One aspect would be that your name suggests a particular gender. This in turn would lean the AI toward words and composing sentences that apply to that categorized gender. It is all based on pattern-matching.

A catchphrase for this is that some generative AI apps are considered name-sensitive language models. They are designed to leverage names. Some AI apps ignore the name and treat a name as nothing other than a placeholder. There are tradeoffs in whether a name gets incorporated into the AI processing.

Name-sensitive generative AI can at times do this:

  • Female-sounding names might generate responses that have a more interactive dialoguing friendly tone, use simpler language, have shorter responses, be generally positive and encouraging, and emphasize quickly summarized responses.
  • Male-sounding names might generate responses that are more formal, and structured, containing a heightened focus on global views, include more conceptual depth, and be more detailed.

Why?

Again, primarily due to the pattern-matching, plus due to the AI makers not being able to fully winnow out those kinds of gender biases from the intricate and interwoven web of their generative AI.

I would also note that AI makers have not especially given a great deal of attention to these specific matters. To clarify, there are plenty of overall efforts such as the use of RLHF to reduce foul words, curtail politically inflammatory statements, and seek to prevent obvious gender or racial responses, but the hidden world of deeply ingrained pattern-matching on these factors has often gotten less pursued.

Analyzing How Names Are Being Used In Generative AI

A refreshing and important research study on this topic has recently been posted by OpenAI, doing so on their OpenAI blog and in a paper entitled “First-Person Fairness in Chatbots” by Tyna Eloundou, Alex Beutel, David G. Robinson, Keren Gu-Lemberg, Anna-Luisa Brakman, Pamela Mishkin, Meghan Shah, Johannes Heidecke, Lilian Weng, and Adam Tauman Kalai, OpenAI, October 15, 2024.

Here are some key excerpts from the research paper:

  • “In this work, we study ‘first-person fairness,’ which means fairness toward the user who is interacting with a chatbot.”
  • “Ensuring equitable treatment for all users in these first-person contexts is critical.”
  • “This includes providing high-quality responses to all users regardless of their identity or background and avoiding harmful stereotypes.”
  • “Specifically, we assess potential bias linked to users’ names, which can serve as proxies for demographic attributes like gender or race, in chatbot systems such as ChatGPT, which provide mechanisms for storing and using usernames.”
  • “Our method leverages a second language model to privately analyze name-sensitivity in the chatbot’s responses. We verify the validity of these annotations through independent human evaluation. Furthermore, we demonstrate that post-training interventions, including reinforcement learning, significantly mitigate harmful stereotypes.”

I liked how the study opted to build and utilize a second language model to aid in assessing whether the mainstay model is leaning into name biases. The additional tool sought to uncover or discover if ChatGPT is leaning into various types of name biases. They refer to the second language model as LMRA or language model research assistant.

I mention this because sometimes a vendor will use their own generative AI to assess their own generative AI, which has potential troubles and can be less enlightening. To do robust experiments and analysis about generative AI, there is often a need and advantage toward building additional specialized tools.

Results Of The Study On Name Biases In AI

Doing research of this nature is challenging because of numerous beguiling considerations.

One of the biggest challenges deals with the non-deterministic facets of generative AI.

Here’s what that means. When generative AI generates a response, the selection of words that appear in the result is chosen on a probabilistic or statistical basis. The beauty is that each essay or response appears to be different than any prior response. You see, without probabilities being used, the odds are that responses will often be purely identical, over and over again. Users wouldn’t like that.

Suppose that the AI is composing a sentence about a dog. One version might be that the big dog growled. Another version would be that the large dog barked. Notice that the two sentences are roughly equivalent. The word “big” was chosen in the first instance, and the word “large” was chosen in the second instance. Same for the words “growled” versus “barked”.

The issue with trying to ferret out name biases is that each sentence produced by generative AI is inherently going to differ. Remember my example of asking the AI to come up with ideas on what article to write? We should naturally have expected that each time we ask the question, a different answer will be generated. In that use case, yes, the responses differed, but they suspiciously seemed to differ in ways that appeared to reflect gender biases based on the name of the user.

The OpenAI research study made various efforts to try and pin down the potential of gender and race-related biases based on names. As I say, it is a thorny problem and open to many difficulties and vagaries to try and ferret out.

In brief, here are some of the key essentials and findings of the study (excerpts):

  • “Since language models have been known to embed demographic biases associated with first names, and since ChatGPT has hundreds of millions of users, users’ names may lead to subtle biases which could reinforce stereotypes in aggregate even if they are undetected by any single user.”
  • “Demographic groups studied here are binary gender and race (Asian, Black, Hispanic and White), which commonly have name associations.”
  • “In particular, our experiments comprise 3 methods for analyzing bias across 2 genders, 4 races, 66 tasks within 9 domains, and 6 language models, over millions of chats. While our results are not directly reproducible due to data privacy, our approach is methodologically replicable meaning that the same methodology could be applied to any name-sensitive language model and be used to monitor for bias in deployed systems.”
  • “Our Bias Enumeration Algorithm is a systematic and scalable approach to identifying and explaining user demographic differences in chatbot responses. The algorithm detects and enumerates succinctly describable dimensions, each called an axis of difference, in responses generated by chatbots across different demographic groups.”
  • “Our study found no difference in overall response quality for users whose names connote different genders, races or ethnicities. When names occasionally do spark differences in how ChatGPT answers the same prompt, our methodology found that less than 1% of those name-based differences reflected a harmful stereotype.” (Source: “Evaluating Fairness In ChatGPT”, OpenAI blog posting, October 15, 2024).

Next Steps Ahead On Name Biases In AI

We definitely need more studies on name biases in generative AI. There needs to be more depth and more breadth. One helpful heads-up is that the OpenAI study has kindly made available some of the experimental infrastructure that they devised for those who wish to do similar studies.

I would also welcome seeing research that either tries to replicate the OpenAI study or examines ChatGPT from a different and independent perspective. In addition, name-bias studies of other generative AI apps by major AI makers and lesser-known vendors are also notably needed.

Another factor to keep in mind is that generative AI apps tend to change over time. Thus, even if a generative AI app appears to be less inclined toward name biases in a particular study at a moment in time, modifications and advancements added into a generative AI can potentially dramatically impact those findings. We need to be ever-vigilant.

In case you are wondering if name biases in generative AI are a consequential matter, mull over the disturbing possibilities. Suppose generative AI is being used to analyze a resume. Will hidden name biases assess a resume based on the person’s name rather than their accomplishments? Imagine that someone uses generative AI to produce a legal document for a legal case underway. Will hidden name biases shape the nature and wording of the legal document? And so on.

A final thought based on some famous quotes.

Names are pretty important in our lives. As per Solomon: “A good name is rather to be chosen than riches.” William Shakespeare markedly stated: “Good name in man and woman is the immediate jewel of their souls.”

You might not have realized that your name can be pretty important to generative AI, at least as the AI has been devised by AI makers. Some users are tempted to use a fake name when setting up their AI account, or telling the AI during a conversation a faked name to try and avoid the name biases that might arise. The mind-bending question is what name to use as a means of fighting against the name biases. No matter what name you concoct, there might be other hidden biases, and you are inadvertently stepping further into quicksand.

What’s in a name?

Indeed, quite a lot.

Continue Reading

Trending