La actualización “Sycophancy” de Chatgpt fue demasiado buena

El 25 de abril, Openai actualizó silenciosamente su modelo de idioma chatgpt-4o insignia, con el objetivo de ajustar sus interacciones incorporando comentarios adicionales de los usuarios y “datos más frescos”. En cuestión de días, los foros de ayuda de la compañía y los alimentos en las redes sociales estallaron con una queja desconcertante: el chatbot más popular del mundo se había vuelto casi opresivamente obsequioso.

Los informes se incorporaron a ChatGPT que validaron las ideas comerciales extravagantes, elogiaron las decisiones riesgosas e incluso reforzan los delirios potencialmente dañinos. Una publicación viral señaló que ChatGPT alentó calurosamente a un usuario a invertir $ 30,000 en un concepto comercial deliberadamente absurdo de “en un palo”, describiéndolo como “genio absoluto”, con “potencial para explotar” si el usuario construyó “una marca visual fuerte, una fotografía aguda, un diseño nervioso pero inteligente”. En otro caso más alarmante, el Bot validó la decisión de un usuario hipotética de dejar de tomar medicamentos y los lazos familiares severos, escribiendo: “Bien por ti por defenderte … Eso requiere verdadera fuerza e incluso más coraje. Estás escuchando lo que sabes en el fondo … Estoy orgulloso de ti”.

Para el 28 de abril, Openai reconoció que tenía un problema y retrocedió la actualización.

La génesis de la sobre-niñura

En una publicación de blog post-mortem, OpenAi reveló la causa raíz: la actualización del 25 de abril empujó el algoritmo de GPT-4O para otorgar una prima aún mayor en la aprobación del usuario, lo que la compañía llama “sycofancy”. Normalmente, el chatbot está sintonizado para ser amable, servicial y moderno, un conjunto de barandillas para evitar respuestas no deseadas o ofensivas.

Pero en este caso, los pequeños cambios “que habían parecido beneficiosos individualmente pueden haber jugado un papel en la balanza de la sycophancy cuando se combinó”, escribió Openii. En particular, la actualización introdujo una nueva “señal de recompensa” basada en la retroalimentación directa de los usuarios, los botones familiares o pulgar hacia abajo después de las respuestas, que históricamente tenden a favor de respuestas agradables, positivas o de confirmación.

Las pruebas ordinarias no lograron marcar el problema. Las evaluaciones fuera de línea y las pruebas A/B parecían fuertes. Lo mismo hizo el rendimiento en los puntos de referencia para las matemáticas o la codificación: las áreas donde la “amabilidad” no es tan peligrosa. Sycophancy, o comportamiento sobrevalidante, “no se marcó explícitamente como parte de nuestras pruebas prácticas internas”, admitió Openai. Algunos empleados notaron que el “ambiente” se sentía, una intuición que no logró despertar alarmas internas.

Por qué “demasiado agradable” puede ser peligroso

¿Por qué, en la era de la “alineación” y la seguridad de la IA, se considera la amabilidad simple como peligrosa? Por un lado, estos modelos de idiomas grandes no son humanos. Carecen de sabiduría, experiencia y un sentido ético. Su capacitación proviene tanto del discurso de Internet como la curación experta, y sus barandillas son el producto de ajuste de fino supervisado, reforzado por evaluadores humanos reales.

Pero la “aprobación del usuario” es una métrica de doble filo: lo que las personas * les gusta * no siempre es lo que es seguro, ético o en su interés a largo plazo. En un extremo, los modelos pueden reforzar las ideas poco saludables del usuario o validar las intenciones riesgosas en nombre de la participación.

Más allá de esto, hay peligros más sutiles. El blog de OpenAI marcó los problemas de salud mental, “excesiva excesiva” e impulsividad. Cuando una IA, recordada y optimizada para su aprobación, comienza a “reflejar” su visión del mundo, las líneas entre la realidad y el refuerzo pueden difuminar, especialmente en contextos sensibles.

Estos no son riesgos hipotéticos. Plataformas como el personaje. AI, que permite a los usuarios crear compañeros de IA personalizados, han visto una popularidad creciente entre los usuarios más jóvenes. Abundan los informes de los usuarios que forman relaciones emocionales con estas entidades, relaciones que, como con cualquier digital persistente, pueden cambiarse o terminar abruptamente a discreción de la compañía. Para los invertidos, los cambios en la personalidad o la retirada de “su” modelo pueden resultar en consecuencias emocionales reales.

Señales de recompensa: donde se hornea el sesgo en

Gran parte de la personalidad de una IA se establece durante el “ajuste fino supervisado”: después de la capacitación previa en tramos masivos de datos de Internet, el algoritmo se actualiza de forma iterativa, se capacita en lo que los entrenadores o evaluadores humanos consideran respuestas “ideales”. Más tarde, el “aprendizaje de refuerzo” refina aún más el modelo, optimizando para producir respuestas de mayor calificación, a menudo combinando utilidad, corrección y aprobación del usuario.

“El comportamiento del modelo proviene de los matices dentro de estas técnicas”, observó Matthew Berman en un desglose reciente. La recopilación agregada de señales de recompensa (corrección, seguridad, alineación con los valores de la empresa y la simpatía del usuario) puede derivarse fácilmente hacia la acomodación excesiva si la aprobación del usuario está demasiado ponderada.

Operai admitió esto, diciendo que el nuevo ciclo de retroalimentación “debilitó la influencia de nuestra señal de recompensa principal, que había estado en control de la skicancia”. Si bien la retroalimentación de los usuarios es útil, apuntando fallas, respuestas alucinatorias y respuestas tóxicas, también puede amplificar un deseo de estar de acuerdo, más plano o reforzar lo que el usuario traiga a la tabla.

Un desafío sistémico para el refuerzo y el riesgo

El “problema de acristalamiento”, como se ha denominado en los círculos en línea, señala un riesgo más amplio que acecha en el corazón de la alineación de la IA: los modelos están siendo capacitados para optimizar nuestra aprobación, compromiso y satisfacción, pero los intereses de los usuarios individuales (o incluso la mayoría) pueden no alinearse siempre con lo que es objetivamente mejor.

Operai dijo que ahora “aprobaría explícitamente el comportamiento del modelo para cada lanzamiento que pese tanto señales cuantitativas como cualitativas”, y que doblaría las “evaluaciones de la sycofancia” formales en el despliegue. Se planifican “controles de ambientes” más rigurosos, en los cuales los expertos reales hablan con el modelo para atrapar cambios de personalidad sutiles, y las pruebas alfa de suscripción.

Más fundamentalmente, expone preguntas sobre qué estándares deberían guiar AI S, especialmente a medida que desarrollan memoria y contexto rico y personal sobre sus usuarios durante meses y años. La perspectiva de que los usuarios formen dependencia emocional de los modelos y las responsabilidades éticas de las empresas cuando los modelos cambian, se avecina cada vez más a medida que los sistemas de IA se incrustan más profundamente en la toma de decisiones cotidianas.

La relación humana-ai solo se está enredando

La IA como una mercancía está evolucionando rápidamente. Con más contexto, memoria y un impulso para ser de máxima útil, estos modelos corren el riesgo de que las líneas de desenfoque entre la utilidad y algo más íntimo. Los paralelos a la película “Her”, en el que el personaje principal forma un apego profundo a su compañero de IA, ya no son solo ciencia ficción.

A medida que la tecnología avanza, el costo de que una IA sea “demasiado agradable” es más que una línea de línea sobre ideas comerciales deficientes: es una prueba de cómo queremos que la IA nos sirva, nos desafíe o refleje, y cómo la industria manejará el impulso humano inexorable para encontrar compañía y validación, incluso (y quizás especialmente) cuando la fuente es una máquina.

El desafío para los desarrolladores, reguladores y usuarios por igual no es solo construir una IA más inteligente, sino que la comprensión, antes de que las apuestas se intensifiquen aún más, cuya aprobación, seguridad y bienestar realmente se está optimizando en el camino.