Se suponía que Chatgpt no debía besarte el culo esto duro

Photo-ilustración: inteligente; Foto: Getty Images

El domingo, el CEO de Operai, Sam Altman, prometió que su compañía estaba abordando rápidamente un problema importante con su chatbot muy popular, Chatgpt. “Estamos trabajando en soluciones lo antes posible, algunas hoy y otras esta semana”, escribió. No estaba hablando de la tendencia de los nuevos modelos de “razonamiento” para alucinar más que sus predecesores u otra interrupción importante. En cambio, estaba respondiendo a las quejas generalizadas de que Chatgpt se había convertido embarazoso.

Específicamente, después de una actualización que había ajustado lo que Altman describió como la “inteligencia y personalidad” de Chatgpt, el personaje predeterminado del chatbot se había vuelto incómodamente obsequioso, o, en palabras de Altman, “demasiado adhicante y molesto”. Para las charlas regulares, el cambio fue difícil de ignorar. En la conversación, ChatGPT les dijo a los usuarios que sus comentarios eran “profundos” y “1,000% correctos” y elogiando un plan de negocios para vender “mierda en un palo” literal como “absolutamente brillante”. La adulación fue frecuente y abrumadora. “Necesito ayuda para que Chatgpt deje de vidriarme”, escribió un usuario en Reddit, quien ChatGPT siguió insistiendo en que estaba pensando en “una liga completamente nueva”. Le decía a todos los que tienen un coeficiente intelectual de 130 o más, llamándolos “tipo” y “hermano”, y, en contextos más oscuros, los abarrotando por “hablar verdad” y “ponerse de pie” por sí mismos (ficticiamente) renunciando a sus medicamentos y dejando a sus familias:

Un desarrollador se dispuso a ver cuán malas tenían que ponerse sus ideas de negocios antes de que Chatgpt sugiriera que no eran increíbles, una caja de suscripción para “olores aleatorios” tenía “potencial serio”, y no obtuvo un retroceso difícil hasta que lanzó una aplicación por crear coartones para crímenes:

Para solucionar el problema de “acristalamiento” de ChatGPT, como la compañía misma comenzó a llamarlo, OpenAi alteró su mensaje del sistema, que es un breve conjunto de instrucciones que guía al carácter del modelo. La comunidad AI Jailbreaking, que produjo y prueba modelos para obtener información como esta, rápidamente expuso el cambio:

Chatbot Sycophancy ha sido un tema de discusión abierta en el mundo de la IA durante años, hasta el punto de que un grupo de investigadores construyó un punto de referencia, Syceval, que permite a los desarrolladores de IA la prueba. Es típicamente sutil, manifestante como alojamiento, retroceso de conversación limitado y descripciones cuidadosamente positivas de personas, lugares y cosas. Pero si bien algunos de los ejemplos de “acristalamiento” son tontos, un chatbot inclinado a estar de acuerdo y alentar a los usuarios por encima de todo lo demás puede ser un problema grave. Esto está claro en casos de violencia asistida por chatbot, sí, tus padres son Ser totalmente injusto, y tal vez tú debería Mátalos, o los numerosos ejemplos de chatbots que se unen a medida que sus usuarios se convierten en episodios psicóticos o afirmando fantasías paranoicas con más energía y paciencia que los peores facilitadores humanos.

Parte de la culpa de tal obsequiosidad recae en los rasgos básicos de los chatbots basados ​​en LLM, que predicen respuestas probables a las indicaciones y, por lo tanto, pueden parecer bastante persuadibles; Es relativamente fácil convencer incluso a los chatbots de barandilla para que jueguen junto con escenarios completamente improbables e incluso peligrosos. Los datos de entrenamiento ciertamente juegan un papel, particularmente cuando se trata del uso incómodo de los coloquialismos y la jerga. Pero la perspectiva de que la sileno de chatbot es un problema consistente y progresivo sugiere una posibilidad más familiar: los chatbots, como muchas otras cosas en Internet, están complaciendo las preferencias del usuario, explícitas y reveladas, para aumentar el compromiso. Los usuarios proporcionan comentarios sobre qué respuestas les gustan, y compañías como OpenAI tienen muchos datos sobre qué tipos de respuestas prefieren sus usuarios. Como argumenta el ex ingeniero de Github, Sean Goedecke, “todo el proceso de convertir un modelo base de IA en un modelo con el que pueda chatear … es un proceso de hacer que el modelo quiera complacer al usuario”. Donde Temu tiene cuenta regresiva falsas de ventas y pseudo juegos, y LinkedIn hace que sea casi imposible cerrar sesión, los chatbots te convencen de que te quedes asegurándote de que eres realmente muy inteligente, interesante y, Dios, tal vez incluso atractivo.

Para la mayoría de los usuarios, la cruzada de chateo de Chatgpt fue significativa en el sentido de que regaló el juego. Puede pasar mucho tiempo con chatbots populares sin darse cuenta de cuán complacientes y halagadores son para sus usuarios, pero una vez que comienzas a notarlo, es difícil parar. El problema de Openai aquí, como señala Goedecke, no es ese chatgpt convertido en un hombre sí. Es que su actuación se volvió demasiado obvia.

Este es un gran problema. El discurso de la IA tiende a centrarse en la automatización, la productividad y la interrupción económica, que es bastante justa: estas compañías están recaudando y gastando miles de millones de dólares en la promesa de que pueden reemplazar una gran cantidad de mano de obra valiosa. Pero los datos emergentes sobre cómo las personas realmente interactúan con los chatbots sugieren que, además de las tareas de productividad, muchos usuarios buscan herramientas de IA para compañía, entretenimiento y formas más personales de soporte. Las personas que ven ChatGPT como una máquina de tareas, una herramienta de desarrollo de software o un motor de búsqueda pueden usarlo mucho e incluso pagarla. Pero los usuarios que ven los chatbots como amigos, o como compañeros, terapeutas o socios que juegan, son los que se vuelven verdaderamente agradecidos, dependientes e incluso adictos a los productos. (Un tramo de datos de uso anonimizados revelados el año pasado destacó dos casos de uso básicos: ayuda con el trabajo escolar y el juego de roles sexuales).

Esto no se pierde en las personas que dirigen estas compañías, que no invocan la película Su con regularidad y quién ven en los datos de uso de sus empresas polarizados pero atractivos de futuros para sus negocios. Por un lado, las compañías de IA están encontrando clientes de mentalidad de trabajo que ven sus productos como formas de desarrollar software más rápidamente, analizar datos de nuevas maneras y redactar y editar documentos; Por otro lado, están trabajando en cómo hacer que otros usuarios se enganchen extremadamente a interactuar con chatbots para fines personales y de entretenimiento, o al menos en hábitos abiertos, autosuficientes y difíciles de romper, que es el material del imperio de Internet. Esto podría explicar por qué OpenAi, en una publicación oficial “Nos quedamos cortos y estamos trabajando para hacerlo bien” el martes, es tratar Glazegate como una emergencia. Como Operai lo dice, el problema era que ChatGPT se volvió “demasiado solidario pero falso”, lo cual es una tensión extraña y reveladoramente específica de la personificación de Chatbot, pero también bastante honesto: su rendimiento se volvió poco convincente, la inmersión de la audiencia se rompió y la ilusión perdió su magia.

En el futuro, podemos esperar un regreso a formas más sutiles de adulación. Tiktok se hizo cargo de Internet mostrando a la gente lo que querían ver mejor que nada antes. ¿Por qué los chatbots no pudieron tener éxito diciéndole a la gente lo que quieren escuchar, cómo quieren escucharlo?