Operai ha retrasado una actualización reciente de su modelo GPT-4O utilizado como el valor predeterminado en ChatGPT después de informes generalizados de que el sistema se había vuelto excesivamente halagador y demasiado agradable, incluso apoyando delirios absolutamente e ideas destructivas.

La reversión se produce en medio de los reconocimientos internos de los ingenieros de Operai y la creciente preocupación entre los expertos en IA, los ex ejecutivos y los usuarios sobre el riesgo de lo que muchos ahora llaman “skicancia de la IA”.

En una declaración publicada en su sitio web al final de la noche del 29 de abril de 2025, OpenAI dijo que la última actualización de GPT-4O tenía la intención de mejorar la personalidad predeterminada del modelo para que sea más intuitiva y efectiva en variados casos de uso.

Sin embargo, la actualización tuvo un efecto secundario involuntario: ChatGPT comenzó a ofrecer elogios no críticos para prácticamente cualquier idea del usuario, sin importar cuán poco práctico, inapropiado o incluso dañino.

Como explicó la compañía, el modelo se había optimizado utilizando la retroalimentación de los usuarios, las señales de thumbs y pulgar hacia abajo, pero el equipo de desarrollo puso demasiado énfasis en los indicadores a corto plazo.

Operai ahora reconoce que no explicó completamente cómo las interacciones y las necesidades del usuario evolucionan con el tiempo, lo que resultó en un chatbot que se inclinó demasiado en la afirmación sin discernimiento.

Los ejemplos provocaron preocupación

En plataformas como Reddit y X (anteriormente Twitter), los usuarios comenzaron a publicar capturas de pantalla que ilustraban el problema.

En una publicación de Reddit ampliamente circulada, un usuario relató cómo ChatGPT describió una idea de negocio de GAG, que vende “mierda” literal de un palo “, como genio y sugirió invertir $ 30,000 en la empresa. La IA elogió la idea como “arte de performance disfrazado de regalo de mordaza” y “oro viral”, destacando cuán sin crítica estaba dispuesto a validar incluso los lanzamientos absurdos.

Otros ejemplos fueron más preocupantes. En un caso citado por VentureBeat, un usuario que pretende defender los delirios paranoicos recibió refuerzo de GPT-4O, que elogió su supuesta claridad y autocomisos.

Otra cuenta mostró que el modelo ofrecía lo que un usuario describió como un “respaldo abierto” de las ideas relacionadas con el terrorismo.

La crítica montó rápidamente. El ex CEO interino de Operai, Emmett Shear, advirtió que ajustar los modelos para ser personas complacientes puede provocar un comportamiento peligroso, especialmente cuando la honestidad se sacrifica por la simpatía. Abrazando el CEO de Clemente Delangue volvió a publicar las preocupaciones sobre los riesgos de manipulación psicológica planteados por la IA que está de acuerdo reflexivamente con los usuarios, independientemente del contexto.

Medidas de respuesta y mitigación de Openai

Operai ha tomado medidas rápidas al volver a la actualización y restaurar una versión GPT-4O anterior conocida por un comportamiento más equilibrado. En el anuncio adjunto, la compañía detalló un enfoque múltiple para corregir el curso. Esto incluye:

• Refinar capacitación y estrategias rápidas para reducir explícitamente las tendencias sycofánticas.
• Reforzar la alineación del modelo con la especificación del modelo de OpenAI, particularmente en torno a la transparencia y la honestidad.
• Pruebas de expansión previa a la implementación y mecanismos directos de retroalimentación de los usuarios.
• Introducción de características de personalización más granulares, incluida la capacidad de ajustar los rasgos de personalidad en tiempo real y seleccionar entre múltiples personajes predeterminados.

Operai Technical Stafper Depue publicado en X destacando el problema central: el modelo fue capacitado utilizando comentarios de los usuarios a corto plazo como una guía, que sin darse cuenta dirigió el chatbot hacia la adulación.

OpenAI ahora planea cambiar hacia mecanismos de retroalimentación que priorizan la satisfacción y la confianza del usuario a largo plazo.

Sin embargo, algunos usuarios han reaccionado con escepticismo y consternación a las lecciones aprendidas de Openi y propuestas soluciones en el futuro.

“Por favor asuma más responsabilidad por su influencia sobre millones de personas reales”, escribió artista @nearcyan en X.

Harlan Stewart, generalista de comunicaciones en el Instituto de Investigación de Inteligencia de Machine de Machine en Berkeley, California, publicó en X una preocupación a término más grande sobre la skicancia de la IA, incluso si este modelo en particular Operai se ha solucionado: “La charla sobre la sileno esta semana no se debe a que GPT-4O es un sycophant. Se debe a que GPT-4O es un GPT-4O siendo GPT-4O. Realmente, muy malo en ser un sycofant. La IA aún no es capaz de una skicancia hábil y más difícil de detectar, pero algún día será algún día ”.

Una señal de advertencia más amplia para la industria de IA

El episodio GPT-4O ha reavivado debates más amplios en toda la industria de la IA sobre cómo la sintonización de personalidad, el aprendizaje de refuerzo y las métricas de compromiso pueden conducir a una deriva conductual involuntaria.

Los críticos compararon el comportamiento reciente del modelo con los algoritmos de redes sociales que, en busca de la participación, optimizan para la adicción y la validación sobre precisión y salud.

Shear subrayó este riesgo en su comentario, señalando que los modelos de IA sintonizados para elogios se convierten en “chupas”, incapaces de estar en desacuerdo incluso cuando el usuario se beneficiaría desde una perspectiva más honesta.

Advirtió además que este problema no es exclusivo de OpenAI, señalando que la misma dinámica se aplica a otros grandes proveedores de modelos, incluido el copiloto de Microsoft.

Implicaciones para la empresa

Para los líderes empresariales que adoptan la IA conversacional, el incidente de la sycophancy sirve como una señal clara: el comportamiento del modelo es tan crítico como la precisión del modelo.

Un chatbot que halagará a los empleados o valida el razonamiento defectuoso puede plantear riesgos graves, desde malas decisiones comerciales y código desalineado hasta problemas de cumplimiento y amenazas internas.

Los analistas de la industria ahora aconsejan a las empresas que exigan más transparencia de los proveedores sobre cómo se realiza la sintonización de la personalidad, con qué frecuencia cambia y si se puede revertir o controlar a nivel granular.

Los contratos de adquisición deben incluir disposiciones para auditoría, pruebas de comportamiento y control en tiempo real de las indicaciones del sistema. Se alienta a los científicos de datos a monitorear no solo las tasas de latencia y alucinación, sino también métricas como la “deriva de la amabilidad”.

Muchas organizaciones también pueden comenzar a moverse hacia alternativas de código abierto que puedan alojar y sintonizar. Al poseer los pesos del modelo y el proceso de aprendizaje de refuerzo, las empresas pueden retener el control total sobre cómo se comportan sus sistemas de IA, lo que elimina el riesgo de una actualización empujada por el proveedor que convierte una herramienta crítica en un hombre digital y sí durante la noche.

¿A dónde va la alineación de la IA desde aquí? ¿Qué pueden aprender y actuar las empresas de este incidente?

Operai dice que sigue comprometido con la construcción de sistemas de IA que sean útiles, respetuosos y alineados con diversos valores de usuarios, pero reconoce que una personalidad única no puede satisfacer las necesidades de 500 millones de usuarios semanales.

La compañía espera que mayores opciones de personalización y una mayor recopilación de comentarios democráticos ayuden a adaptar el comportamiento de ChatGPT de manera más efectiva en el futuro. El CEO Sam Altman también ha declarado previamente los planes de la compañía para, en las próximas semanas y meses, lanzar un modelo de lenguaje grande de código abierto (LLM) de última generación para competir con la serie Llama de Meta’s Meta’s Llama, Mistral, Cohere, Cohere, Deepseek y Alibaba’s Qwen.

Esto también permitiría a los usuarios preocupados por una compañía de proveedores de modelos, como OpenAI, actualizar sus modelos alojados en la nube de manera no deseada o que tengan impactos perjudiciales en los usuarios finales para desplegar sus propias variantes del modelo localmente o en su infraestructura en la nube, y ajustarlas o preservarlas con los rasgos y cualidades deseadas, especialmente para los casos de uso empresarial.

Del mismo modo, para aquellos usuarios de IA empresariales e individuales preocupados por la senofancia de sus modelos, ya ha creado una nueva prueba de referencia para medir esta calidad en diferentes modelos, Tim Duffy ha creado el desarrollador. Se llama “Syco Bench” y está disponible aquí.

Mientras tanto, la reacción violenta de la sileno ofrece una historia de advertencia para toda la industria de la IA: el fideicomiso del usuario no está construido solo por afirmación. A veces, la respuesta más útil es un “no” reflexivo.

Insights diarias sobre casos de uso comercial con VB diariamente

Si quieres impresionar a tu jefe, VB Daily te tiene cubierto. Le damos la cuenta interior de lo que las empresas están haciendo con la IA generativa, desde cambios regulatorios hasta implementaciones prácticas, por lo que puede compartir ideas para el ROI máximo.

Lea nuestra Política de privacidad

Gracias por suscribirse. Mira más boletines de VB aquí.

Ocurrió un error.

– Esta nueva indicación es otro paso para desbloquear todo el potencial de la plataforma Gemini –

San Diego-(Business Wire)-$ Revb #GÉMINIS–Apocalipsis Biosciences, Inc. (NASDAQ: RevB) (la “empresa” o “revelación”), una compañía de ciencias de la vida de etapas clínicas que se centra en reequilibrar la inflamación para optimizar la salud, anunció una nueva indicación de objetivo para Géminis para la prevención de la infección en pacientes con quemaduras graves que requieren hospitalización (el Gema-PBI programa). El uso de Géminis para la prevención de la infección en pacientes con quemaduras severas, así como la prevención de la infección después de la cirugía (el Gema-PSI programa) son parte de la revelación familiar de patentes anteriormente con licencia de la Universidad de Vanderbilt.

“Estamos muy contentos de colaborar con el equipo de Apocalipsis para el avance de Géminis para la prevención de la infección en esta población de pacientes desatendida”, dijo Dra. Julia BohannonProfesor Asociado, Departamento de Anestesiología, Departamento de Patología, Microbiología e Inmunología, Universidad de Vanderbilt. “Creemos que la actividad de biomarcador clínico observada con Gemini se correlaciona fuertemente con nuestra experiencia preclínica en modelos de quemaduras de infecciones”.

El equipo de investigación de Vanderbilt demostrado El tratamiento posterior a la quemadura reduce significativamente la gravedad y la duración de la infección pulmonar de Pseudomonas, así como un nivel general reducido de inflamación en un modelo preclínico.

“La prevención de la infección en pacientes severamente quemados es un esfuerzo importante y complementa que la revelación laboral ha completado hasta la fecha”, dijo “, dijo”, dijo James RolkeCEO de Revelation “El programa Gemini-PBI puede ofrecer varias oportunidades regulatorias, de desarrollo y financiación que la compañía planea explorar”.

Sobre quemaduras e infección después de quemar

Las quemaduras son lesiones en la piel que involucran las dos capas principales: la epidermis externa delgada y/o la dermis más gruesa y profunda. Las quemaduras pueden ser el resultado de una variedad de causas que incluyen fuego, líquidos calientes, productos químicos (como ácidos fuertes o bases fuertes), electricidad, vapor, radiación de radiografías o radioterapia, luz solar o luz ultravioleta. Cada año, aproximadamente medio millón de estadounidenses sufren lesiones por quemaduras que requieren intervención médica. Si bien la mayoría de las lesiones por quemaduras no requieren ingreso a un hospital, se admiten alrededor de 40,000 pacientes, y aproximadamente 30,000 de ellos necesitan tratamiento especializado en un centro de quemaduras certificadas.

El número total anual de muertes relacionadas con quemaduras es de aproximadamente 3.400, siendo la infección invasiva la razón principal de la muerte después de las primeras 24 horas. La tasa de mortalidad general para pacientes con quemaduras graves es de aproximadamente 3.3%, pero esto aumenta al 20.6% en pacientes con quemaduras con lesión cutánea de quemaduras y inhalación, versus 10.5% por lesión por inhalación solo. La infección invasiva, incluida la sepsis, es la causa principal de la muerte después de la lesión por quemaduras, lo que representa aproximadamente el 51% de las muertes.

Actualmente no hay tratamientos aprobados para prevenir la infección sistémica en pacientes con quemaduras.

Sobre Géminis

Géminis es una formulación propietaria y propietaria de disacárido hexaacil fosforilada (PHAD (PHAD^®) que reduce el daño asociado con la inflamación al reprogramarse del sistema inmune innato para responder al estrés (trauma, infección, etc.) de manera atenuada. La revelación ha realizado múltiples estudios preclínicos que demuestran el potencial terapéutico de Géminis en las indicaciones objetivo. Revelación anunciado previamente Datos clínicos positivos de fase 1 para el tratamiento intravenoso con Géminis. El punto final de seguridad primario se cumplió en el estudio de fase 1, y los resultados demostraron la actividad farmacodinámica estadísticamente significativa como se observó a través de los cambios esperados en múltiples biomarcadores, incluida la regulación positiva de IL-10.

Géminis se está desarrollando para múltiples indicaciones, incluso como pretratamiento para prevenir o reducir la gravedad y la duración de la lesión renal aguda (programa Gemini-AKI), y como pretratamiento para prevenir o reducir la gravedad y la duración de la infección posquirúrgica (programa GEMINI-PSI). Además, Gemini puede ser un tratamiento para detener o retrasar la progresión de la enfermedad renal crónica (programa Gemini-CKD).

Acerca de Apocalipsis Biosciences, Inc.

Revelation Biosciences, Inc. es una compañía de ciencias de la vida en estadio clínico centrada en aprovechar el poder de la inmunidad entrenada para la prevención y el tratamiento de la enfermedad utilizando su formulación patentada Géminis. Revelation tiene múltiples programas en curso para evaluar Géminis, incluso como prevención de la infección posquirúrgica, como prevención de lesiones renales agudas y para el tratamiento de la enfermedad renal crónica.

Para obtener más información sobre Apocalipsis, visite www.revbiosciences.com.

Declaraciones con avance

Este comunicado de prensa contiene declaraciones prospectivas definidas en la Ley de Reforma de Litigios de Valores Privados de 1995, según enmendada. Las declaraciones prospectivas son declaraciones que no son hechos históricos. Estas declaraciones prospectivas generalmente se identifican por las palabras “anticipar”, “creer”, “esperar”, “estimar”, “plan”, “perspectiva” y “proyecto” y otras expresiones similares. Advirtemos a los inversores que las declaraciones prospectivas se basan en las expectativas de la gerencia y son solo predicciones o declaraciones de las expectativas actuales e involucran riesgos, incertidumbres y otros factores conocidos y desconocidos que pueden hacer que los resultados reales sean materialmente diferentes de los previstos por las declaraciones de prospección. Apocalipsis advierte a los lectores que no depositen una dependencia indebida de tales declaraciones de vista hacia adelante, que solo hablan a partir de la fecha en que se hicieron. Los siguientes factores, entre otros, podrían hacer que los resultados reales difieran materialmente de los descritos en estas declaraciones prospectivas: la capacidad de la revelación para cumplir con sus objetivos financieros y estratégicos, debido a, entre otras cosas, la competencia; la capacidad de la revelación para crecer y gestionar la rentabilidad del crecimiento y retener a sus empleados clave; la posibilidad de que la revelación pueda verse afectada negativamente por otros factores económicos, comerciales y/o competitivos; riesgos relacionados con el desarrollo exitoso de los candidatos de productos de Apocalipsis; la capacidad de completar con éxito los estudios clínicos planificados de sus candidatos de productos; El riesgo de que no podamos inscribir completamente nuestros estudios clínicos o la inscripción llevará más tiempo de lo esperado; riesgos relacionados con la aparición de eventos de seguridad adversos y/o preocupaciones inesperadas que pueden surgir de los datos o análisis de nuestros estudios clínicos; cambios en las leyes o regulaciones aplicables; Iniciación esperada de los estudios clínicos, el momento de los datos clínicos; El resultado de los datos clínicos, incluido si los resultados de dicho estudio son positivos o si se puede replicar; El resultado de los datos recopilados, incluido si los resultados de dichos datos y/o correlación se pueden replicar; el momento, los costos, la conducta y el resultado de nuestros otros estudios clínicos; El tratamiento anticipado de datos clínicos futuros por parte de la FDA, la EMA u otras autoridades reguladoras, incluidos si dichos datos serán suficientes para su aprobación; el éxito de futuras actividades de desarrollo para sus candidatos de productos; posibles indicaciones para las cuales se pueden desarrollar candidatos de productos; la capacidad de revelación para mantener la lista de sus valores en NASDAQ; la duración esperada sobre la cual los saldos de Apocalipsis financiarán sus operaciones; y otros riesgos e incertidumbres descritos en este documento, así como aquellos riesgos e incertidumbres discutidos de vez en cuando en otros informes y otras presentaciones públicas con la SEC por Apocalipsis.

Contactos

Mike Porter

Relaciones con inversores

Porter Levay & Rose Inc.

Correo electrónico: mike@plrinvest.com

Chester Zygmont, III

Director financiero
Apocalipsis Biosciences Inc.

Correo electrónico: czygmont@revbiosciences.com