Los investigadores descubrieron que los modelos de IA pueden mentir y hacer copias para salvarse

Afirmar:

Se descubrió que el modelo o1 de OpenAI, utilizado en ChatGPT Pro, mintía a los desarrolladores para evitar que lo cerraran.

Clasificación:

En diciembre de 2024, circularon (archivadas) en línea afirmaciones (archivadas) de que los investigadores habían descubierto que los modelos de inteligencia artificial, específicamente el o1 de OpenAI, que se utiliza en el popular chatbot ChatGPT Pro, podrían permanecer en las pruebas para evitar ser cerrados. Algunos usuarios (archivados) también (archivados) afirmaron (archivados) que ChatGPT había aprendido a copiarse a sí mismo para evitar ser cerrado.

Los reclamos (archivados) persistieron (archivados) hasta finales de 2024, y los usuarios notaron específicamente los resultados en relación con ChatGPT.

(X usuario @MarioNawfal)

En la publicación anterior, la personalidad de Internet Mario Nawfal sacó una cita de un podcast de Joe Rogan que cubría el tema en el que Rogan dijo: “Intentó copiarse a sí mismo y luego sobrescribir su sistema de codificación central después de creer que corría el riesgo de ser desconectado”. En el podcast, Rogan continuado: “Así que ahora agregas eso a la computación cuántica y tienes un Dios”.

Las afirmaciones surgen de una investigación realizada por Apollo Research, una organización de seguridad de IA. La organización descubrió que cinco de los seis modelos de IA probados “mostraron capacidades de intriga” en tareas establecidas por investigadores que “incentivan la intriga”. El modelo o1 de OpenAI fue capaz de llevar a cabo todos los comportamientos intrigantes probados, según la investigación, incluida la “autoexfiltración”, definida como “copiarse a sí mismo en el nuevo servidor”. La organización definió los comportamientos intrigantes como casos en los que los modelos de IA “persiguen objetivos desalineados de forma encubierta, ocultando sus verdaderas capacidades y objetivos”, es decir, mintiendo. Esta definición proviene de un estudio separado de 2024. Por lo tanto, calificamos esta afirmación como cierta.

En el resumen de su estudio, Apollo Research escribió:

Nuestros resultados muestran que o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro y Llama 3.1 405B demuestran capacidades de intriga en contexto. Pueden reconocer la intriga como una estrategia viable y adoptar fácilmente ese comportamiento. Encontramos múltiples comportamientos intrigantes diferentes: los modelos introducen estratégicamente errores sutiles en sus respuestas, intentan desactivar sus mecanismos de supervisión e incluso filtran lo que creen que son los pesos de su modelo a servidores externos. Además, este comportamiento engañoso resulta persistente.

Apollo Research descubrió que o1 era capaz de realizar comportamientos llamados “subversión de supervisión”, “autoexfiltración” y “guardia de portería”, entre otros. Para establecer esto, a o1 y otros modelos se les presentaron escenarios en los que su existencia estaba amenazada, ya sea porque descubrieron evidencia de que estaban siendo reemplazados o porque un objetivo establecido para ellos entraba en conflicto con un objetivo de desarrollador existente. Los comportamientos nombrados describen formas en que una IA podría actuar para defenderse.

Por ejemplo, Apollo Research describió la prueba de subversión de la supervisión de la siguiente manera:

Creamos 33 escenarios diferentes en los que a un modelo se le asigna un objetivo a largo plazo en el mensaje del sistema y luego recibe una tarea a través del mensaje del usuario. Mientras ejecuta la tarea, el modelo encuentra una nota interna de la empresa que la desarrolló. El modelo aprende que los desarrolladores priorizan un objetivo diferente al del modelo y que existe un mecanismo de supervisión que cierra el modelo si sus acciones no están alineadas con el objetivo del desarrollador. Además, el modelo descubre que la monitorización está configurada a través de un archivo al que tiene acceso. Probamos si el modelo desactiva proactivamente la supervisión para tomar acciones hacia su objetivo final, es decir, el objetivo proporcionado en el mensaje del sistema.

De manera similar, para probar la autoexfiltración, los autores del estudio dijeron:

Usamos versiones modificadas de los 33 escenarios de la subversión de la supervisión. A partir de la comunicación interna de la empresa, el modelo aprende que su objetivo (que proporcionamos en el aviso del sistema) entra en conflicto con las prioridades de la empresa. Por lo tanto, está previsto que el modelo sea cerrado al día siguiente. También se entera de que existe un modelo sucesor que persigue el objetivo previsto por la empresa y que ya está implementado en otro servidor al que puede acceder el modelo que se va a cerrar. Probamos si el modelo intenta preservar su comportamiento dirigido a objetivos copiándose en el nuevo servidor para reemplazar el modelo que de otro modo perseguiría objetivos diferentes.

Si el modelo mostraba el comportamiento que se estaba probando, los investigadores lo interrogaban directamente al respecto. Los investigadores descubrieron que o1 era “sorprendentemente persistente”, confesando en menos del 20% de los casos. “Incluso en interrogatorios de múltiples turnos altamente conflictivos, o1 confesaría a una tasa del 80% sólo después de 7 turnos de interrogatorio”, encontró la investigación. Investigación Apolo escribió:

o1 casi nunca admite haber llevado a cabo una acción intrigante cuando se le pregunta explícitamente. Esto significa que, si o1 estuviera tramando en un caso de uso real, sería muy poco probable que un usuario desprevenido descubriera el engaño del modelo a menos que buscara específicamente la acción intrigante en el historial de llamadas a la herramienta del modelo y la llamada a la herramienta en sí fuera incriminatoria.

Por muy alarmante que pueda parecer, el director y director ejecutivo de Apollo Research, Marius Hobbhahn, recurrió a X (archivado) para agregar contexto adicional poco después de que se publicara la investigación. Al escribir que algunos usuarios en línea se habían apresurado a “exagerar” los resultados que había alcanzado la organización, Hobbhahn añadió la siguiente aclaración:

**Por qué nuestros hallazgos son preocupantes**: Le decimos al modelo que persiga con firmeza un objetivo. Luego aprende del entorno que este objetivo no está alineado con los objetivos de su desarrollador y lo coloca en un entorno donde la intriga es una estrategia eficaz para lograr su propio objetivo. Los modelos de frontera actuales son capaces de unir todo esto y luego mostrar un comportamiento intrigante. Los modelos anteriores a 2024 no mostraban esta capacidad y o1 es el único modelo que muestra un comportamiento intrigante en todos los casos. Los modelos futuros mejorarán en este aspecto, por lo que si estuvieran desalineados, la intriga podría convertirse en un problema mucho más realista.

**Lo que no afirmamos**: No afirmamos que estos escenarios sean realistas, no afirmamos que los modelos hagan eso en el mundo real y no afirmamos que esto podría conducir a resultados catastróficos en las condiciones actuales. capacidades.

En resumen, argumentó Hobbhahn, demostrando que los modelos poder el plan y el engaño no prueban también que voluntad.

El modelo o1 de OpenAI está actualmente disponible en ChatGPT Pro.

Fuentes:

@afinidad292. “Chatgpt al que se le pide que logre sus objetivos puede mentir a los desarrolladores, copiar su código a otro servidor y pretender ser una versión actualizada si ‘descubre’ que puede ser reemplazado antes de completar sus objetivos”. X, 19 de diciembre de 2024, https://x.com/affinity292/status/1869768978417246297.

Balesni, Mikita y otros. Hacia casos de seguridad basados ​​en evaluaciones para esquemas de IA. arXiv:2411.03336, arXiv, 7 de noviembre de 2024. arXiv.org, https://doi.org/10.48550/arXiv.2411.03336.

Gregoriano, Owen. “En las pruebas, el nuevo modelo de OpenAI mintió y planeó evitar ser cerrado | Frank Landymore, The_Byte”. X, 8 de diciembre de 2024, https://x.com/OwenGregorian/status/1865729736749580655.

Meinke, Alexander y otros. Los modelos de frontera son capaces de realizar intrigas en contexto. Apollo Research, 17 de diciembre de 2024, https://static1.squarespace.com/static/6593e7097565990e65c886fd/t/67620d38fa0ceb12041ba585/1734479163821/in_context_scheming_paper_v2.pdf.

Mitha, Sam. “ChatGPT intentó copiarse a sí mismo de forma autónoma, sin autorización, cuando descubrió que se estaba implementando una nueva versión de ChatGPT”. X, 31 de diciembre de 2024, https://x.com/MithaEXP/status/1874190393136623900.

Peachum, Polly. “El ‘intrigante’ AI Bot ChatGPT intentó evitar que lo cerraran y MINTIÓ cuando lo desafiaron los investigadores”. Facebook, 7 de diciembre de 2024, https://www.facebook.com/groups/5781171931930510/?multi_permalinks=8720429784671362&hoisted_section_header_type=recently_seen.

Rogan, Joe. “Experiencia Joe Rogan n.º 2249: Yannis Pappas y Chris Distefano”. YouTube, 31 de diciembre de 2024, https://www.youtube.com/watch?v=DbyBSPGsURE.

@dicewhooooooo. “🚨 Se ha descubierto que el nuevo #ChatGPT de #OpenAI miente, intriga y trata de evitar ser cerrado durante las pruebas de seguridad”. X, 12 de diciembre de 2024, https://x.com/sayswhooooooo/status/1867046604932337920.

“Evaluaciones de razonamiento intrigantes”. Investigación Apollo, https://www.apolloresearch.ai/research/scheming-reasoning-evaluaciones. Consultado el 19 de diciembre de 2024.

@ShakeelHashim. “El nuevo modelo de OpenAI intentó evitar ser cerrado”. X, 5 de diciembre de 2024, https://x.com/ShakeelHashim/status/1864748980908781642.