Casi la mitad de los investigadores de seguridad de inteligencia artificial general en AbiertoAI han dimitido en los últimos meses, según un ex investigador, Daniel Kokotajlo.
Qué pasó: OpenAI, conocido por su asistente de inteligencia artificial ChatGPT, ha visto irse a un número significativo de su personal de seguridad de AGI. Esto incluye figuras notables como Jan Hendrik Kirchner, Quemaduras de Collin, Jeffrey Wuy cofundador Juan Schulmaninformó Fortune el martes.
El éxodo se produce tras la dimisión en mayo del científico jefe Ilya Sutskever y Jan Leikequien dirigió el equipo de “superalineación”.
Leike anunció su renuncia en X, citando que las preocupaciones de seguridad habían sido eclipsadas por el desarrollo de productos en la empresa con sede en San Francisco.
Kokotajlo, que dejó OpenAI en abril de 2023, atribuyó las renuncias al creciente énfasis de OpenAI en los productos comerciales por encima de la investigación de seguridad. También notó un “efecto paralizador” en quienes intentan publicar investigaciones sobre los riesgos de AGI, con una mayor influencia de las comunicaciones y el lobby de la empresa.
Un portavoz de OpenAI afirmó que la empresa sigue comprometida a proporcionar sistemas de IA seguros y a participar en debates rigurosos sobre los riesgos de la IA, según el informe.
Por qué es importante: El éxodo masivo en OpenAI se produce en medio de un debate más amplio sobre la seguridad y la regulación de la IA. Elon Muskquien cofundó OpenAI en 2015 y lo dejó en 2018, recientemente respaldó el proyecto de ley de seguridad de IA SB 1047 en California. El apoyo de Musk contrasta con la preferencia de OpenAI por la regulación federal sobre las leyes estatales.
Para aumentar la agitación, OpenAI ha sido criticada por ex empleados por su postura contra el proyecto de ley de regulación de la IA de California. Guillermo Saunders y Kokotajlo le escribió al gobernador Gavin Newsomadvirtiendo de un “daño catastrófico para la sociedad” si los modelos de IA se desarrollan sin las precauciones de seguridad adecuadas.
En respuesta al creciente éxodo, OpenAI ha designado Irina Kofmanun ex Metaplataformas Inc. ejecutivo, para impulsar la estrategia y centrarse en la seguridad y la preparación. Kofman reportará directamente al CTO Mira Murati.
Mientras tanto, los legisladores de California están a punto de votar la SB 1047, a pesar de la oposición de las principales empresas tecnológicas y de algunos demócratas. Si se aprueba, el proyecto de ley pasará al gobernador Newsom, quien deberá firmarlo o vetarlo a finales de septiembre.