OpenAI disuelve otro equipo de seguridad y el asesor principal dimite

OpenAI está disolviendo su equipo “AGI Readiness”, que asesoró a la empresa sobre la propia capacidad de OpenAI para manejar una IA cada vez más potente y la preparación del mundo para gestionar esa tecnología, según el jefe del equipo.

El miércoles, Miles Brundage, asesor senior de AGI Readiness, anunció su salida de la empresa a través de una publicación en Substack. Escribió que sus razones principales eran que el costo de oportunidad se había vuelto demasiado alto y pensaba que su investigación tendría más impacto externo, que quería ser menos sesgado y que había logrado lo que se propuso en OpenAI.

Brundage también escribió que, en cuanto a cómo le está yendo a OpenAI y al mundo en cuanto a la preparación de AGI, “ni OpenAI ni ningún otro laboratorio fronterizo está listo, y el mundo tampoco está listo”. Brundage planea iniciar su propia organización sin fines de lucro, o unirse a una existente, para centrarse en la investigación y la promoción de políticas de IA. Añadió que “es poco probable que la IA sea lo más segura y beneficiosa posible sin un esfuerzo concertado para que así sea”.

Los ex miembros del equipo AGI Readiness serán reasignados a otros equipos, según la publicación.

“Apoyamos plenamente la decisión de Miles de continuar su investigación de políticas fuera de la industria y estamos profundamente agradecidos por sus contribuciones”, dijo un portavoz de OpenAI a CNBC. “Su plan de apostar por la investigación independiente sobre políticas de IA le brinda la oportunidad de tener un impacto a una escala más amplia, y estamos entusiasmados de aprender de su trabajo y seguir su impacto. Estamos seguros de que en su nuevo rol “Miles seguirá elevando el listón de la calidad de la formulación de políticas en la industria y el gobierno”.

En mayo, OpenAI decidió disolver su equipo Superalignment, que se centraba en los riesgos a largo plazo de la IA, apenas un año después de anunciar el grupo, confirmó a CNBC en ese momento una persona familiarizada con la situación.

La noticia de la disolución del equipo de AGI Readiness sigue a los posibles planes de la junta directiva de OpenAI para reestructurar la empresa y convertirla en una empresa con fines de lucro, y después de que tres ejecutivos (la CTO Mira Murati, el jefe de investigación Bob McGrew y el vicepresidente de investigación Barret Zoph) anunciaran su partida el mismo día. mes pasado.

A principios de octubre, OpenAI cerró su animada ronda de financiación con una valoración de 157.000 millones de dólares, incluidos los 6.600 millones de dólares que la empresa recaudó de una amplia lista de firmas de inversión y grandes empresas tecnológicas. También recibió una línea de crédito renovable de 4.000 millones de dólares, lo que eleva su liquidez total a más de 10.000 millones de dólares. La compañía espera alrededor de 5 mil millones de dólares en pérdidas sobre 3,7 mil millones de dólares en ingresos este año, confirmó CNBC con una fuente familiarizada el mes pasado.

Y en septiembre, OpenAI anunció que su Comité de Seguridad, que la compañía presentó en mayo cuando abordaba la controversia sobre los procesos de seguridad, se convertiría en un comité de supervisión independiente de la junta directiva. Recientemente concluyó su revisión de 90 días evaluando los procesos y salvaguardas de OpenAI y luego hizo recomendaciones a la junta, y los hallazgos también se publicaron en una publicación de blog pública.

La noticia de las salidas de ejecutivos y cambios en la junta directiva también llega tras un verano de crecientes preocupaciones y controversias sobre seguridad en torno a OpenAI, que junto con Google, microsoftMeta y otras empresas están a la cabeza de una carrera armamentista generativa de IA, un mercado que se prevé superará el billón de dólares en ingresos en una década, mientras empresas de aparentemente todos los sectores se apresuran a añadir chatbots y agentes impulsados ​​por IA para evitar quedarse atrás. detrás de los competidores.

En julio, OpenAI reasignó a Aleksander Madry, uno de los principales ejecutivos de seguridad de OpenAI, a un trabajo centrado en el razonamiento de la IA, según confirmaron a CNBC fuentes familiarizadas con la situación en ese momento.

Madry era el jefe de preparación de OpenAI, un equipo que tenía “la tarea de rastrear, evaluar, pronosticar y ayudar a proteger contra riesgos catastróficos relacionados con los modelos de IA fronterizos”, según una biografía de Madry en un sitio web de la iniciativa de IA de la Universidad de Princeton. Madry seguirá trabajando en el trabajo central de seguridad de la IA en su nuevo cargo, dijo OpenAI a CNBC en ese momento.

La decisión de reasignar a Madry se produjo casi al mismo tiempo que los senadores demócratas enviaron una carta al director ejecutivo de OpenAI, Sam Altman, sobre “preguntas sobre cómo OpenAI está abordando las preocupaciones de seguridad emergentes”.

La carta, que fue vista por CNBC, también decía: “Buscamos información adicional de OpenAI sobre los pasos que la compañía está tomando para cumplir con sus compromisos públicos en materia de seguridad, cómo la compañía está evaluando internamente su progreso en esos compromisos y sobre la identificación y mitigación de amenazas a la ciberseguridad por parte de la empresa”.

Microsoft renunció a su puesto de observador en la junta directiva de OpenAI en julio, afirmando en una carta vista por CNBC que ahora puede hacerse a un lado porque está satisfecho con la construcción de la junta directiva de la startup, que había sido renovada desde el levantamiento que condujo al breve derrocamiento de Altman y amenazó la enorme inversión de Microsoft en la empresa.

Pero en junio, un grupo de empleados actuales y anteriores de OpenAI publicó una carta abierta en la que describían preocupaciones sobre el rápido avance de la industria de la inteligencia artificial a pesar de la falta de supervisión y de protección de los denunciantes para aquellos que desean hablar.

“Las empresas de IA tienen fuertes incentivos financieros para evitar una supervisión efectiva, y no creemos que las estructuras personalizadas de gobierno corporativo sean suficientes para cambiar esto”, escribieron los empleados en ese momento.

Días después de la publicación de la carta, una fuente familiarizada con el asunto confirmó a CNBC que la Comisión Federal de Comercio y el Departamento de Justicia estaban listos para abrir investigaciones antimonopolio sobre OpenAI, Microsoft y Nvidia, centrándose en la conducta de las empresas.

La presidenta de la FTC, Lina Khan, describió la acción de su agencia como una “investigación de mercado sobre las inversiones y asociaciones que se están formando entre los desarrolladores de IA y los principales proveedores de servicios en la nube”.

Los empleados actuales y anteriores escribieron en la carta de junio que las empresas de IA tienen “información sustancial no pública” sobre lo que puede hacer su tecnología, el alcance de las medidas de seguridad que han implementado y los niveles de riesgo que tiene la tecnología para diferentes tipos. de daño.

“También entendemos los graves riesgos que plantean estas tecnologías”, escribieron, añadiendo que las empresas “actualmente sólo tienen obligaciones débiles de compartir parte de esta información con los gobiernos, y ninguna con la sociedad civil. No creemos que se pueda confiar en todas ellas”. compartirlo voluntariamente.”

El equipo Superalignment de OpenAI, anunciado el año pasado y disuelto en mayo, se había centrado en “avances científicos y técnicos para dirigir y controlar sistemas de IA mucho más inteligentes que nosotros”. En ese momento, OpenAI dijo que comprometería el 20% de su potencia informática a la iniciativa durante cuatro años.

El equipo se disolvió después de que sus líderes, el cofundador de OpenAI, Ilya Sutskever y Jan Leike, anunciaran su salida de la startup en mayo. Leike escribió en una publicación en X que la “cultura y los procesos de seguridad de OpenAI han pasado a un segundo plano frente a los productos brillantes”.

Altman dijo en ese momento en X que estaba triste por ver a Leike irse y que OpenAI tenía más trabajo por hacer. Poco después, el cofundador Greg Brockman publicó una declaración atribuida a Brockman y al CEO en X, afirmando que la compañía ha “creado conciencia sobre los riesgos y oportunidades de AGI para que el mundo pueda prepararse mejor para ello”.

“Me uní porque pensé que OpenAI sería el mejor lugar del mundo para realizar esta investigación”, escribió Leike en X en ese momento. “Sin embargo, he estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la compañía durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura”.

Leike escribió que cree que una mayor parte del ancho de banda de la empresa debería centrarse en la seguridad, la supervisión, la preparación, la protección y el impacto social.

“Es bastante difícil solucionar estos problemas y me preocupa que no estemos en la trayectoria para llegar allí”, escribió en ese momento. “Durante los últimos meses mi equipo ha estado navegando contra el viento. A veces estábamos luchando por [computing resources] y cada vez era más difícil llevar a cabo esta investigación crucial”.

Leike añadió que OpenAI debe convertirse en una “empresa AGI que prioriza la seguridad”.

“Construir máquinas más inteligentes que las humanas es una tarea intrínsecamente peligrosa”, escribió en X. “OpenAI está asumiendo una enorme responsabilidad en nombre de toda la humanidad. Pero en los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los brillantes productos.”