El miércoles, Miles Brundage, que actualmente lideraba un equipo encargado de pensar en políticas para ayudar tanto a la empresa como a la sociedad en general a preparar la llegada de la “inteligencia general artificial” o AGI, anunció que dejaría la empresa el viernes después de más de seis años para poder continuar su trabajo con menos limitaciones.

En una extensa publicación de Substack, Brundage dijo que OpenAI había impuesto límites cada vez más restrictivos a lo que podía decir en las investigaciones publicadas. También dijo que, al fundar o unirse a una organización sin fines de lucro sobre políticas de IA, esperaba ser más eficaz a la hora de advertir a la gente sobre la urgencia en torno a los peligros de la IA, ya que “las afirmaciones en este sentido a menudo se descartan como exageraciones cuando provienen de la industria”.

“La atención que merece la seguridad”

La publicación de Brundage no atacó abiertamente a su futuro ex empleador; de hecho, mencionó al CEO Sam Altman como una de las muchas personas que brindaron “aportes sobre versiones anteriores de este borrador”, pero sí se quejó extensamente sobre Las empresas de IA en general “no necesariamente [giving] La seguridad de la IA recibe la atención que merece de forma predeterminada”.

“Hay muchas razones para esto, una de las cuales es una desalineación entre los intereses privados y sociales, que la regulación puede ayudar a reducir. También existen dificultades en torno a los compromisos creíbles y la verificación de los niveles de seguridad, que incentivan aún más los recortes”, escribió Brundage. “Se toman atajos en una variedad de áreas, incluida la prevención de resultados nocivos y alucinados, así como la inversión para prevenir los riesgos catastróficos en el horizonte”.

La partida de Brundage extiende una serie de renuncias de alto perfil de OpenAI este año, incluidas Mira Murati, su directora de tecnología, así como Ilya Sutskever, cofundador de la compañía y ex director científico, muchas de las cuales estaban explícitamente o probablemente relacionadas. a la postura cambiante de la empresa sobre la seguridad de la IA.

La partida de Brundage extiende una serie de renuncias de alto perfil de OpenAI este año, incluidas Mira Murati, su directora de tecnología, así como Ilya Sutskever, cofundador de la compañía y ex director científico, muchas de las cuales fueron explícitamente o probablemente relacionado con el cambio de postura de la empresa sobre la seguridad de la IA.

OpenAI se fundó inicialmente como una casa de investigación para el desarrollo de IA segura, pero con el tiempo la necesidad de una importante financiación externa (recientemente recaudó una ronda de 6.600 millones de dólares con una valoración de 157.000 millones de dólares) ha inclinado gradualmente la balanza hacia su lado con fines de lucro. que probablemente pronto se convierta formalmente en el componente estructural dominante de OpenAI.

Los cofundadores Sutskever y John Schulman dejaron OpenAI este año para centrarse en la IA segura. Sutskever fundó su propia empresa y Schulman se unió a Anthropic, archirrival de OpenAI, al igual que Jan Leike, un colega clave de Sutskever que declaró que “en los últimos años, la cultura y los procesos de seguridad [at OpenAI] han pasado a un segundo plano ante los productos brillantes”.

Ya en agosto, había quedado claro que alrededor de la mitad del personal centrado en la seguridad de OpenAI se había marchado en los últimos meses, y eso fue antes de la dramática salida de Murati, quien con frecuencia tuvo que resolver discusiones entre los investigadores de la empresa que priorizan la seguridad y sus equipo comercial más entusiasta, como Fortuna reportada. Por ejemplo, al personal de OpenAI se le dio sólo nueve días para probar la seguridad del potente modo GPT4-o de la empresa antes de su lanzamiento, según fuentes familiarizadas con la situación.

En una señal más del cambio en el enfoque de seguridad de OpenAI, Brundage dijo que el equipo de preparación de AGI que lideraba se está disolviendo y su personal se “distribuye entre otros equipos”. Su subequipo de investigación económica pasará a ser responsabilidad del nuevo economista jefe de OpenAI, Ronnie Chatterji, dijo. No especificó cómo se redistribuiría el resto del personal.

También vale la pena señalar que Brundage no es la primera persona en OpenAI que enfrenta problemas con la investigación que desea publicar. Después de la dramática y breve expulsión de Altman el año pasado por parte de la junta directiva centrada en la seguridad de OpenAI, se supo que Altman había criticado previamente a la entonces miembro de la junta Helen Toner porque era coautora de un artículo sobre seguridad de la IA que implícitamente criticaba a la empresa.

Modelo insostenible

Las preocupaciones sobre la cultura y el método de OpenAI también se vieron aumentadas por otra historia el miércoles. El New York Times publicó un artículo importante sobre Suchir Balaji, un investigador de IA que pasó casi cuatro años en OpenAI antes de irse en agosto.

Balaji dice que se fue porque se dio cuenta de que OpenAI estaba infringiendo la ley de derechos de autor al entrenar sus modelos con datos protegidos por derechos de autor de la web, y porque decidió que los chatbots como ChatGPT eran más dañinos que beneficiosos para la sociedad.

Una vez más, la transformación de OpenAI de un equipo de investigación a un generador de dinero es central aquí. “Con un proyecto de investigación, en términos generales, puedes entrenar con cualquier dato. Esa era la mentalidad en ese momento”, dijo Balaji al Veces. Ahora afirma que los modelos de IA amenazan la viabilidad comercial de las empresas que generaron esos datos en primer lugar, diciendo: “Este no es un modelo sostenible para el ecosistema de Internet en su conjunto”.

OpenAI y muchos de sus pares han sido demandados por los titulares de derechos de autor por esa capacitación, que implicó copiar mares de datos para que los sistemas de las empresas pudieran ingerirlos y aprender de ellos. No se cree que esos modelos de IA contengan copias completas de los datos como tales, y rara vez generan copias cercanas en respuesta a las indicaciones de los usuarios; es la copia inicial no autorizada a la que generalmente apuntan las demandas.

La defensa estándar en tales casos es que las empresas acusadas de violar los derechos de autor argumenten que la forma en que utilizan las obras protegidas por derechos de autor debería constituir un “uso justo”: que los derechos de autor no fueron infringidos porque las empresas transformaron las obras protegidas por derechos de autor en otra cosa, de una manera no de manera explotadora, los utilizó de una manera que no compitiera directamente con los titulares originales de los derechos de autor ni les impidiera explotar la obra de manera similar, ni sirviera al interés público. La defensa es más fácil de aplicar a casos de uso no comercial y siempre la deciden los jueces caso por caso.

En una publicación de blog del miércoles, Balaji se sumergió en la ley de derechos de autor de EE. UU. pertinente y evaluó cómo sus pruebas para establecer el “uso justo” se relacionaban con las prácticas de datos de OpenAI. Alegó que la llegada de ChatGPT había afectado negativamente el tráfico a destinos como el sitio de preguntas y respuestas para desarrolladores Stack Overflow, y dijo que la producción de ChatGPT podría en algunos casos sustituir la información encontrada en ese sitio. También presentó un razonamiento matemático que, según afirmó, podría usarse para determinar los vínculos entre la salida de un modelo de IA y sus datos de entrenamiento.

Balaji es informático y no abogado. Y hay muchos abogados de derechos de autor que creen que una defensa del uso legítimo del uso de obras protegidas por derechos de autor en el entrenamiento de modelos de IA debería tener éxito. Sin embargo, la intervención de Balaji sin duda llamará la atención de los abogados que representan a los editores y autores de libros que han demandado a OpenAI por infracción de derechos de autor. Parece probable que su análisis interno termine desempeñando algún papel en estos casos, cuyo resultado podría determinar la economía futura de la IA generativa y posiblemente el futuro de empresas como OpenAI.

Es raro que los empleados de las empresas de IA hagan públicas sus preocupaciones sobre los derechos de autor. Hasta ahora, el caso más significativo probablemente haya sido el de Ed Newton-Rex, quien fue jefe de audio en Stability AI antes de renunciar el pasado noviembre con la afirmación de que “los modelos de IA generativa actuales pueden claramente usarse para crear obras que compitan con los derechos de autor”. “Las obras en las que están entrenados, por lo que no veo cómo el uso de obras protegidas por derechos de autor para entrenar modelos generativos de IA de esta naturaleza puede considerarse un uso legítimo”.

“Construimos nuestros modelos de IA utilizando datos disponibles públicamente, de una manera protegida por el uso legítimo y principios relacionados, y respaldados por precedentes legales de larga data y ampliamente aceptados”, dijo un portavoz de OpenAI en un comunicado. “Consideramos que este principio es justo para los creadores, necesario para los innovadores y fundamental para la competitividad de Estados Unidos”.

“Estoy emocionado de seguir su impacto”

Mientras tanto, el portavoz de OpenAI dijo que el “plan de Brundage de apostar por la investigación independiente sobre políticas de IA le brinda la oportunidad de tener un impacto a una escala más amplia, y estamos entusiasmados de aprender de su trabajo y seguir su impacto”.

“Confiamos en que en su nuevo cargo, Miles seguirá elevando el listón de la calidad de la formulación de políticas en la industria y el gobierno”, dijeron.

Brundage había visto reducido el alcance de su trabajo en OpenAI a lo largo de su carrera en la empresa, pasando del desarrollo de metodologías de pruebas de seguridad de la IA y la investigación sobre cuestiones actuales de gobernanza nacional e internacional relacionadas con la IA hasta un enfoque exclusivo en el manejo de un potencial sobrehumano. AGI, en lugar de los riesgos de seguridad a corto plazo de la IA.

Mientras tanto, OpenAI ha contratado a un grupo cada vez mayor de expertos en políticas de gran impacto, muchos de ellos con amplia experiencia política, de seguridad nacional o diplomática, para encabezar equipos que analizan diversos aspectos de la gobernanza y las políticas de la IA. Contrató a Anna Makanju, una exfuncionaria de seguridad nacional de la administración Obama que había trabajado en funciones políticas en Starlink y Facebook de SpaceX, para supervisar su contacto inicial con funcionarios gubernamentales tanto en Washington, DC como en todo el mundo. Actualmente es vicepresidenta de impacto global de OpenAI. Más recientemente, contrató al veterano agente político Chris Lehane, que también había desempeñado un papel en comunicaciones y políticas en Airbnb, para que fuera su vicepresidente de asuntos globales. Chatterji, quien se hace cargo del equipo de economía que anteriormente dependía de Brundage, trabajó anteriormente en varios roles de asesoría en las Casas Blancas del presidente Joe Biden y del presidente Barack Obama y también se desempeñó como economista jefe en el Departamento de Comercio.

No es raro en las empresas de tecnología de rápido crecimiento ver que los primeros empleados ven sus funciones circunscritas por la incorporación posterior de personal de alto nivel. En Silicon Valley, esto a menudo se conoce como “ponerse en capas”. Y, aunque no se menciona explícitamente en la publicación del blog de Brundage, puede ser que la pérdida de su unidad económica a manos de Chatterji, después de la pérdida anterior de algunas de sus investigaciones sobre políticas de IA a corto plazo a manos de Makanju y Lehane, fuera la gota que colmó el vaso. . Brundage no respondió de inmediato a las solicitudes de comentarios para esta historia.

Brundage aprovechó su publicación para exponer las cuestiones en las que se centrará ahora. Estos incluyen: evaluar y pronosticar el progreso de la IA; la regulación de la seguridad y protección de la IA de frontera; Los impactos económicos de la IA; la aceleración de casos de uso positivos para la IA; política en torno a la distribución de hardware de IA; y la “gran estrategia general de IA” de alto nivel.

Advirtió que “ni OpenAI ni ningún otro laboratorio de vanguardia” estaba realmente preparado para la llegada de AGI, ni tampoco el mundo exterior. “Para ser claros, no creo que esta sea una declaración controvertida entre los líderes de OpenAI”, subrayó, antes de argumentar que la gente debería seguir trabajando en la empresa siempre y cuando “se tomen en serio el hecho de que sus acciones y declaraciones contribuyen a la cultura de la organización y puede crear dependencias de trayectoria positivas o negativas a medida que la organización comienza a administrar capacidades extremadamente avanzadas”.

Brundage señaló que OpenAI le había ofrecido financiación, créditos informáticos e incluso acceso temprano al modelo para ayudarlo en su próximo trabajo.

Sin embargo, dijo que aún no había decidido si aceptaría esas ofertas, ya que “pueden comprometer la realidad y/o la percepción de independencia”.