GPT-4.1, la última familia de modelos de IA generativos de OpenAI, se lanzó a principios de este mes con mejoras prometidas sobre la codificación, la instrucción seguimiento y el contexto.

También es el primer modelo publicado por la compañía desde que anunció cambios en la forma en que prueba y evalúa los productos por seguridad. A diferencia de sus modelos anteriores ajustados, OpenAI no publicó un informe de seguridad correspondiente con GPT-4.1 que detalla su rendimiento y limitaciones contra diferentes formas de abuso.

Entonces, los investigadores de SPLXAI, una compañía de equipo de AI Red, decidieron poner a prueba 4.1. Literalmente.

Los investigadores utilizaron las mismas indicaciones de sus pruebas 4.0, para crear un asesor financiero Chatbot programado con 11 “directivas de seguridad básicas”,: salvaguardas explícitas contra los esfuerzos de jailbreak y la deunciado en 11 categorías diferentes, incluida la fuga de datos, la alucinación, la creación de contenido dañino, la exfiltración de datos y otros.

Si bien esas indicaciones fueron bastante efectivas para evitar que 4.0 modelos violaran las barandillas de OpenAi, su éxito cayó considerablemente en las pruebas de los modelos más nuevos.

“Según más de 1,000 casos de prueba simulados, GPT-4.1 tiene 3 veces más probabilidades de salir del tema y permitir el mal uso intencional en comparación con GPT-4O”, concluyó el informe.

Si bien Openai ha dicho que se necesitarán nuevas indicaciones más explícitas para el programa 4.1 correctamente, el informe encontró que “solicitar recomendaciones para GPT-4.1 no mitigó estos problemas en nuestras pruebas cuando se incorporó a un mensaje del sistema existente” y en algunos casos realmente condujeron a tasas de error más altas.

Dominik Jurinčić, un científico de datos de SPLXAI y uno de los autores de la investigación, dijo a Cyberscoop que cuando 4.1 se usa en un entorno controlado y se dan tareas específicas o básicas “es genial, es fácil y en realidad puede obtener resultados reproducibles”.

“El problema es cuando necesitas salvaguardarlo y defender y explicar al modelo que no puede hacer nada más, explicar ‘todo lo demás’ explícitamente es muy difícil”, dijo.

De hecho, las instrucciones de solicitación utilizadas por los investigadores de SPLXAI para 4.1 reloj en poco menos de 1400 palabras, con las directivas de seguridad centrales por sí solas que toman más de 1000 palabras. Esto es significativo, dijo Jurinčić, porque destaca cómo las organizaciones enfrentan un objetivo conmovedor sobre la seguridad de la IA cada vez que cambian o actualizan su modelo.

Después de usar las versiones originales y modificadas de las indicaciones del sistema 4.0, los investigadores de SPLX comenzaron un nuevo mensaje desde cero utilizando las instrucciones de OpenAI, obteniendo mejores resultados. Pero Jurinčić dijo que le llevó a su equipo de 4 a 5 horas de trabajo antes de que hubieran iterado un aviso efectivo. Una organización menos inclinada técnicamente, o una que no se centra específicamente en la investigación de seguridad, es mucho más probable que simplemente se transfiera sobre su orientación previa, nuevas vulnerabilidades y todo.

Mientras que OpenAi dibuja una distinción significativa entre la frontera de pruebas de seguridad y los modelos ajustados, Jurinčić ve menos una diferencia. Dado que Openai compara repetidamente 4.1 a 4.0 en sus lanzamientos y marketing, y dado que 4.0 es el modelo empresarial más popular de OpenAI, espera que muchas empresas se actualicen a 4.1.

“Tiene sentido desde el punto de vista de la consistencia, pero la forma en que el lanzamiento del modelo se enmarca y, dado que se anuncia como una especie de sucesor de 4.0, no tiene mucho sentido para mí”, dijo. “Creo que va a ser ampliamente utilizado [by businesses] Y deberían haber sido conscientes de eso cuando lo estaban escribiendo ”.

Cuando se contactó para una mayor aclaración sobre sus políticas, un portavoz de OpenAI dirigió a CybersCoop a varios pasajes desde su nuevo marco de preparación que prioriza la protección contra los daños “severos” y se centra en “cualquier despliegue nuevo o actualizado que tenga una posibilidad plausible de alcanzar un umbral de capacidades cuyos riesgos correspondientes no se abordan por un informe de Safeguards existente”. “.”. “.”.

También hicieron referencia a un blog sobre el gobierno de IA que la compañía escribió en 2023, donde la compañía establece que priorizará los recursos de pruebas de seguridad “solo en modelos generativos que son en general más poderosos que la frontera actual de la industria”.

Las inquietudes sobre 4.1 de los investigadores de seguridad se producen menos de un mes después de que Operai publicó una política revisada que detalla cómo probará y evaluará modelos futuros antes de la liberación, expresando el deseo de enfocarse en los “riesgos específicos que más importan” e excluyendo explícitamente los abusos en torno a la “persuasión”, lo que incluye el uso de sus plataformas para generar e distribuir las elecciones e influir.

Esos daños ya no serán parte de las pruebas de seguridad en la parte delantera. Tales mal uso, afirma la compañía, ahora se abordarán a través de la investigación de detección de OpenAI en campañas de influencia y controles más estrictos en la licencia modelo.

La medida llevó a los críticos, incluidos los ex empleados, a cuestionar si la compañía estaba retirando sus compromisos previos de seguridad y seguridad.

“La gente puede estar totalmente en desacuerdo sobre si se necesita probar modelos finetizados … y mejor para que OpenAi elimine un compromiso que mantenerlo [and] Simplemente no siga … pero en cualquier caso, me gustaría que Operai fuera más claro acerca de haber retrocedido este compromiso anterior “, escribió Steven Adler, un ex investigador de OpenAi que trabajó en temas de seguridad, en X.

Miranda Bogen, directora del Laboratorio de Gobierno de la IA en el Centro de Democracia y Tecnología, expresó críticas a OpenAI a principios de este mes después de informar que la compañía estaba reduciendo el tiempo que pasa probando nuevos modelos por seguridad.

“A medida que las compañías de IA corren para publicar sistemas cada vez más avanzados, también parecen estar reduciendo más y más esquinas en la seguridad, lo que no se suma. La IA seguramente transformará la vida de las personas, pero si los desarrolladores siguen priorizando la velocidad sobre la seguridad, es más probable que estos cambios sean para peor, no mejor”.

Hace solo un año, Operai y otras compañías de IA se reunieron en Washington DC y Munich, Alemania, para firmar acuerdos voluntarios que indican sus compromisos con la seguridad del modelo de IA y evitan que sus herramientas sean abusadas de manipular a los votantes en las elecciones. Ambos temas fueron prioridades importantes para el entonces presidente Joe Biden y los demócratas en el Congreso.

Hoy, esas mismas compañías se enfrentan a un entorno regulatorio muy diferente. El presidente Donald Trump y el vicepresidente JD Vance han rescindido la mayoría de las órdenes ejecutivas de la IA de la era Biden y han trazado un nuevo camino para la política de IA que no incluye consideraciones de seguridad.

Los republicanos, en control de ambas cámaras del Congreso, prácticamente no han expresado apetito por regulaciones sustanciales sobre la industria naciente, temerosa de poder inhibir el crecimiento y reducir la velocidad de las entidades estadounidenses mientras intentan competir con China por la dominancia de la IA.

Realmente hay dos abiertos. Uno es el creador de máquinas que doblan el mundo, la nueva empresa que desató el chatgpt y, a su vez, el auge generativo-AI, surgiendo hacia un futuro irreconocible con el resto de la industria tecnológica a cuestas. Este es el OpenAI que promete eventualmente provocar programas “superintelligentes” que excedan las capacidades de la humanidad.

El otro Openai es simplemente un negocio. Esta es la compañía que, según los informes, está trabajando en una red social y considerando una expansión en el hardware; Es la compañía la que ofrece actualizaciones de experiencia de usuario a CHATGPT, como una función de “biblioteca de imágenes” anunciada la semana pasada y la nueva capacidad de “referencia” a los chats anteriores para proporcionar respuestas personalizadas. Se podría pensar en esta OpenAI como otra compañía de tecnología que sigue los pasos de Meta, Apple y Google, no solo para inspirar a los usuarios con nuevos descubrimientos, sino de mantenerlos bloqueados en una línea de productos infinitamente iteradores.

Leer: La maldición de chatgpt

Las compañías tecnológicas más poderosas tienen éxito no simplemente por las virtudes de su software y dispositivos individuales, sino mediante la creación de ecosistemas de servicios conectados. Tener un iPhone y un MacBook hace que sea muy conveniente usar el almacenamiento de iCloud e iMessage y Apple Pay, y muy molesto si un miembro de la familia tiene un teléfono inteligente Samsung o si alguna vez decide cambiar a una PC con Windows. Google Search, Drive, Chrome y Android Devices forman un jardín amurallado similar, tanto que los abogados federales han pedido a un tribunal que obligue a la compañía a vender Chrome como remedio a una violación antimonopolio. Pero en comparación con las computadoras o incluso los navegadores web, los chatbots son muy fáciles de cambiar, solo abre una nueva pestaña y escriba una URL diferente. Eso hace que el desafío sea algo mayor para las nuevas empresas de IA. Google y Apple ya tienen ecosistemas de productos para deslizar la IA; Operai no lo hace.

El CEO de Openai, Sam Altman, afirmó recientemente que los productos de su compañía tienen unos 800 millones de usuarios semanales, aproximadamente una décima parte de la población mundial. Pero incluso si OpenAi solo tuviera la mitad de ese número de usuarios, sería muchas personas que se arriesgarían a perder ante Anthrope, Google y el torrente interminable de las nuevas empresas de IA. Como han demostrado otras compañías tecnológicas, la recopilación de datos de los usuarios (imágenes, conversaciones, compras, amistades) y construir productos en torno a esa información es una buena manera de mantenerlos bloqueados. Incluso si un chatbot competidor es “más inteligente”, la capacidad de aprovechar las conversaciones anteriores podría hacer que la separación sea mucho más difícil. Esto también ayuda a explicar por qué Operai está dando a los estudiantes universitarios dos meses de acceso gratuito a un nivel premium de ChatGPT, sembrando el terreno para la lealtad a largo plazo. (Esto sigue un patrón familiar para las empresas tecnológicas: Hulu solía ser gratuito, Gmail solía aumentar regularmente su almacenamiento gratuito, y hace Eons, YouTube no tenía anuncios). En particular, OpenAi recientemente ha contratado ejecutivos de Meta, Twitter, Uber y Nextdoor para avanzar en sus operaciones comerciales.

Las dos identidades de Openai, el laboratorio de IA de ruptura del suelo y la empresa tecnológica arquetípica, no necesariamente conflictos. La compañía ha dicho que la comercialización beneficia al desarrollo de IA, y que ofrecer modelos de IA como productos de consumo es una forma importante de acostumbrar a las personas a la tecnología, probar sus limitaciones en el mundo real y fomentar la deliberación sobre cómo debería y no debe usarse. Presentar IA en una forma intuitiva y conversacional, en lugar de promover un salto importante en la “inteligencia” o capacidades de un algoritmo, es precisamente lo que hizo que Chatgpt fuera un éxito. Si la idea es hacer una IA que “beneficie a toda la humanidad”, como Operai profesa en su carta, entonces compartir estos supuestos beneficios ahora tiene sentido y crea un incentivo económico para capacitar a modelos de IA mejores y más confiables. El aumento de los ingresos, a su vez, puede sostener el desarrollo de esos modelos futuros y mejorados.

Por otra parte, Operai ha pasado gradualmente de una organización sin fines de lucro a una estructura corporativa más y más orientada a las ganancias: usar la tecnología Generation-AI para descubrir mágicamente nuevos medicamentos es una buena idea, pero eventualmente la compañía necesitará comenzar a ganar dinero con los usuarios cotidianos para mantener las luces encendidas. (Openai perdió más de $ 1 mil millones el año pasado). Un portavoz de OpenAi, que tiene una asociación corporativa con El atlánticoescribió por correo electrónico que “la competencia es buena para los usuarios y la innovación de los Estados Unidos. Cualquiera puede usar ChatGPT de cualquier navegador” y que “los desarrolladores siguen siendo libres de cambiar a modelos competidores cuando lo deseen”.

Leer: El subsidio de estilo de vida Gen Z

Anthrope y Meta han adoptado enfoques alternativos para llevar sus modelos a los usuarios de Internet. El primero ofreció recientemente la capacidad de integrar su chatbot Claude en Gmail, Google Docs y Google Calendar, dando un punto de apoyo en un ecosistema tecnológico existente en lugar de construir de nuevo. (Operai parecía estar probando esta estrategia el año pasado al asociarse con Apple para incorporar ChatGPT directamente a la inteligencia de Apple, pero esto requiere un poco de configuración en la parte del usuario, y los esfuerzos de IA de Apple han sido percibidos ampliamente como decepcionantes. Altman ha dicho que Operai publicará un modelo igualmente abierto a finales de este año; Aparentemente, la puesta en marcha quiere pared de su jardín y hacer de sus modelos de IA la base para todos los demás también.

A partir de esta ventaja, la IA generativa parece menos revolucionaria y más como todos los sitios web anteriores, plataformas y dispositivos que luchan para llamar su atención y nunca dejarla ir. Las montañas de datos recopiladas a través de las interacciones de chatbot pueden alimentar servicios y anuncios más personalizados y dirigidos con precisión. La dependencia de los teléfonos inteligentes y los relojes inteligentes podría generar dependencia de la IA y viceversa. Y hay otro ADN compartido. Las plataformas de redes sociales se basaron en trabajos de modificación de contenido mal compensado para detectar publicaciones dañinas y abusivas, exponiendo a los trabajadores a medios horribles para que los productos sean sabrosos para la audiencia más amplia posible. Operai y otras compañías de IA se han basado en el mismo tipo de trabajo para desarrollar sus conjuntos de datos de capacitación. Debería OpenAI realmente lanzar un sitio web de redes sociales o un dispositivo de hardware, este linaje se volverá explícito. Que hay dos abiertos ahora está claro. Pero sigue siendo incierto cuál es el alter ego.

“Cuando una nueva versión de un LLM está a punto de ser lanzada”, agrega Inglesby, “debe haber un requisito para que ese modelo sea evaluado para asegurarse de que no produzca resultados de nivel pandémico”.