Zico Kolter de CMU da forma a nuevos caminos para la seguridad de la IA

Si le preocupa el uso ético de la inteligencia artificial en nuestro mundo, le complacerá saber que el líder de la industria OpenAI, el creador de ChatGPT, ha instituido recientemente un Comité de Seguridad para estudiar los posibles impactos del desarrollo de nuevos productos.

Y estará inmensamente complacido de que el Dr. Zico Kolter, profesor de informática de la Universidad Carnegie Mellon, esté en ese comité.

Kolter fue nombrado miembro de la junta directiva de nueve personas de OpenAI este otoño. Es el único investigador de IA de la junta y director del Departamento de Aprendizaje Automático de CMU.

El destacado presidente de la junta de OpenAI, Bret Taylor, dijo en una declaración de bienvenida: “Zico agrega una profunda comprensión técnica y una perspectiva en la seguridad y solidez de la IA que nos ayudará a garantizar que la inteligencia artificial general beneficie a toda la humanidad”.

“El Comité de Seguridad será informado por los líderes de la compañía sobre las evaluaciones de seguridad para los principales lanzamientos de modelos y, junto con la junta en pleno, ejercerá la supervisión de los lanzamientos de modelos, incluida la autoridad para retrasar un lanzamiento hasta que se aborden los problemas de seguridad”. según una actualización de septiembre sobre el comité de OpenAI.

El debate sobre hasta qué punto la IA beneficia o perjudica a cualquier segmento de la humanidad se ha intensificado en los tres años transcurridos desde que OpenAI presentó ChatGPT y DALL-E, chatbots de vanguardia capaces de entablar conversaciones similares a las de los humanos y crear imágenes sofisticadas basadas en mensajes de texto.

La investigación académica de Kolter sobre seguridad de la IA ha coincidido con puestos corporativos como científico jefe de datos en C3.ai, experto jefe en el Centro Bosch para IA y asesor técnico jefe en Gray Swan. Se unió al cuerpo docente de CMU en 2012 luego de una beca postdoctoral en el Instituto de Tecnología de Massachusetts.

NEXTpittsburgh le preguntó su opinión sobre la preparación para nuevos descubrimientos en el desarrollo de la IA.

* * *

SIGUIENTEpittsburgh: Parece que la IA, más que cualquier otro invento tecnológico de la historia, nos está obligando a reconsiderar lo que creemos que es la definición esencial de humanidad. Como alguien que ha pasado más de 20 años trabajando con aprendizaje automático, ¿cómo ve este momento decisivo?

Zico Kolter: Hablando sólo desde mi propia perspectiva, creo que hay dos aspectos realmente interesantes en esto. Una es la naturaleza muy práctica de ¿qué vamos a hacer nosotros como humanidad con estos sistemas que estamos construyendo? Independientemente de sus sentimientos sobre cuán capaces son estos sistemas actualmente y cuán capaces llegarán a ser, claramente ya tienen el potencial de generar un impacto masivo. Dice mucho sobre nosotros la forma en que implementamos estos sistemas, para qué los usamos y cómo los construimos.

Ese es el número uno. Número dos, cada vez más metafísico, hay preguntas fundamentales que estos sistemas comienzan a plantear en cuanto a qué es inteligencia. ¿Qué significa ser inteligente? Hasta ahora, todo tipo de inteligencia que hemos visto ha estado ligada a la vida, a los humanos o, en menor grado, a los animales. Nos resulta difícil imaginar que la inteligencia general esté separada de los seres vivos.

Pero es probable que nos acerquemos a un momento en el que estas cosas estarán separadas, un momento en el que tendremos sistemas que serán innegablemente inteligentes. Nosotros, como seres humanos, debemos tener en cuenta eso. Necesitamos entender lo que eso significa para nuestras filosofías, nuestra forma de vida, nuestro trabajo. En última instancia, planteará cuestiones muy profundas sobre nuestra ética.

SIGUIENTEpittsburgh: Cuando comience a participar en el Comité de Seguridad y Protección de la junta directiva de OpenAI, ¿qué buscará lograr?

Kolter: Quiero enfatizar que las creencias que expreso aquí son completamente independientes de mi función en el Comité de Seguridad y Protección. Por supuesto, traeré estas creencias y perspectivas y las compartiré con la junta directiva de OpenAI y otros. Pero estas son mis opiniones como alguien que ha estado en este campo durante bastante tiempo.

Siempre que lancemos tecnología como esta, habrá efectos masivos en el mundo. Es muy importante que nosotros, como desarrolladores de estos sistemas, pensemos en sus efectos tanto desde un punto de vista muy técnico como desde una perspectiva un poco más amplia. Cuando lancemos estas herramientas, ¿qué imaginamos que harán los usuarios y la sociedad en su conjunto con ellas?

No deberían ser sólo los investigadores de IA quienes piensen en estas cosas. Debería ser toda la sociedad pensando en ellos.

SIGUIENTEpittsburgh: Para el Varios grupos marginados de nuestra sociedad que no son expertos en tecnología ni no cuentan con buenos recursos económicos, ¿la tecnología de IA resultará ser un activo para ellos?

Kolter: Como ocurre con cualquier tecnología, existen enormes problemas de acceso y disponibilidad de las herramientas y de la capacitación. ¿Cómo pensamos sobre quién los usa y con qué fines? Mi esperanza sobre la IA en términos generales es que en muchos casos (no en todos, ciertamente, pero sí en muchos casos) se pueda hacer mucho trabajo para democratizar el acceso a estas herramientas.

Algo muy bueno de los sistemas actuales es que, en realidad, son bastante accesibles en comparación con muchos otros sistemas informáticos. Los usuarios pueden interactuar con ellos más fácilmente. La mayoría de las personas entienden intuitivamente cómo hablar y comunicarse con estos sistemas de una manera que tradicionalmente ha sido muy difícil para muchos sistemas informáticos más antiguos.

Si se usan correctamente, estas herramientas brindan una enorme cantidad de capacidades y potencia informática a un conjunto muy amplio de usuarios que de otro modo no podrían lograr ciertas cosas que ahora pueden lograr con la IA.

SIGUIENTEpittsburgh: En lo que va del año, usted y su equipo han publicado 27 artículos en revistas científicas revisadas por pares. ¿Hay áreas específicas que estés explorando?

Kolter: Este trabajo lo realiza principalmente mi Ph.D. estudiantes de mi grupo aquí en CMU. Tengo un grupo grande y afortunadamente podemos hacer muchas investigaciones realmente sorprendentes.

Las cosas en las que estoy trabajando más ahora entrarían en la categoría de seguridad y solidez de la IA. Tratar de comprender cómo los datos que utilizamos para entrenar estos modelos (los datos que utilizamos para ajustarlos o controlarlos) afectan el rendimiento de los modelos de aprendizaje automático y de IA. También trabajamos mucho en nuevas arquitecturas o nuevos métodos para sistemas de inteligencia artificial.

Lo que realmente determina cómo funcionan los métodos de IA son los datos utilizados para darles forma y construirlos. Cómo funcionan estos modelos al infundir datos en sistemas que generan contenido nuevo que es explícitamente no Lo mismo que en el conjunto de entrenamiento es fascinante. Creo que realmente no entendemos ese proceso completamente. Si la IA les parece mágica es porque a nosotros también nos parece un poco mágica. Realmente necesitamos comprender mejor este proceso desde una perspectiva científica, cómo funciona realmente este proceso.

SIGUIENTEpittsburgh: ¿Qué consejo daría sobre cómo prepararse para el impacto de la IA en los próximos años?

Kolter: Lo mejor que todos pueden hacer es comenzar a utilizar estos sistemas tal como existen en este momento. A veces me sorprende la poca frecuencia con la que la gente usa estos sistemas en la actualidad. Me sorprende la poca frecuencia con la que las personas de mi propia profesión, los investigadores de IA, utilizan estos sistemas más allá del laboratorio.

Todos debemos convertirnos en nativos de las herramientas de IA generativa. Úsalos para todo lo que hagas. Úsalos para redactar ideas, investigar, escribir código y crear informes iniciales. Úsalos también para divertirte. Los uso para escribir historias con mis hijas usando ChatGPT. Es muy divertido y a mis hijos les encanta trabajar con estos sistemas cuando pueden.

En muchos casos, no existe un manual para estos sistemas. Solo tienes un cuadro de texto en blanco. Es algo desalentador la primera vez que lo ves. Empiece a familiarizarse con lo que estos sistemas pueden hacer, lo que pueden hacer ahora mismo, lo que pueden hacer en su frontera absoluta. Se convertirán cada vez más en parte de nuestras vidas. Úselos de forma productiva y divertida. Estará mucho mejor equipado para manejar la progresión de estos sistemas que probablemente se avecinan.

Para considerar más preocupaciones éticas sobre la IA, recomendamos esta guía sobre el uso de IA generativa de la Universidad de Alberta en Canadá, que aborda preocupaciones ambientales, posibles implicaciones del uso de derechos de autor, sesgos, privacidad y problemas de precisión.