Connect with us

Noticias

Cómo piensa Sam Altman de OpenAI sobre AGI y superinteligencia en 2025

Published

on

ohEl director ejecutivo de penAI, Sam Altman, publicó recientemente una publicación en su blog personal en la que reflexiona sobre el progreso de la IA y sus predicciones sobre cómo la tecnología afectará el futuro de la humanidad. “Ahora estamos seguros de que sabemos cómo construir AGI [artificial general intelligence] como lo hemos entendido tradicionalmente”, escribió Altman. Añadió que OpenAI, la empresa detrás de ChatGPT, está empezando a centrar su atención en la superinteligencia.

Si bien no existe una definición universalmente aceptada de AGI, OpenAI lo ha definido históricamente como “un sistema altamente autónomo que supera a los humanos en la mayoría de los trabajos económicamente valiosos”. Aunque los sistemas de IA ya superan a los humanos en dominios limitados, como el ajedrez, la clave para la AGI es la generalidad. Un sistema de este tipo podría, por ejemplo, gestionar un proyecto de codificación complejo de principio a fin, aprovechar conocimientos de la biología para resolver problemas de ingeniería o escribir una novela digna del Pulitzer. OpenAI dice que su misión es “garantizar que AGI beneficie a toda la humanidad”.

Altman indicó en su publicación que los avances en la tecnología podrían conducir a una adopción más notable de la IA en el lugar de trabajo durante el próximo año, en forma de agentes de IA: sistemas autónomos que pueden realizar tareas específicas sin intervención humana, potencialmente tomando acciones durante días al mismo tiempo. un tiempo. “En 2025, es posible que veamos a los primeros agentes de IA ‘unirse a la fuerza laboral⁠’⁠ y cambiar materialmente la producción de las empresas”, escribió.

En una entrevista reciente con Bloomberg, Altman dijo que cree que “AGI probablemente se desarrollará durante [Trump’s] término”, aunque señaló su creencia de que AGI “se ha convertido en un término muy descuidado”. Los competidores también piensan que AGI está cerca: Elon Musk, cofundador de OpenAI, que dirige la startup de IA xAI, y Dario Amodei, director ejecutivo de Anthropic, dijeron que creen que los sistemas de IA podrían ser más astutos que los humanos para 2026. Investigadores hasta la fecha, que incluyeron a más de 2700 participantes, estimaron colectivamente que hay un 10% de posibilidades de que los sistemas de inteligencia artificial puedan superar a los humanos en la mayoría de las tareas para 2027, suponiendo que la ciencia continúe progresando. sin interrupción.

Otros son más escépticos. Gary Marcus, un destacado comentarista de IA, no está de acuerdo con Altman en que AGI es “básicamente un problema resuelto”, mientras que Mustafa Suleyman, CEO de Microsoft AI, ha dicho, con respecto a si se puede lograr AGI en el hardware actual, “la incertidumbre en torno a esto es tan alto, que cualquier declaración categórica me parece un poco infundada y exagerada”, citando los desafíos de la robótica como una de las causas de su escepticismo.

Microsoft y OpenAI, que tienen una asociación desde 2019, también tienen una definición financiera de AGI. Microsoft es el proveedor exclusivo de nube de OpenAI y su mayor patrocinador, habiendo invertido más de 13 mil millones de dólares en la empresa hasta la fecha. Las empresas tienen un acuerdo de que Microsoft perderá el acceso a los modelos de OpenAI una vez que se logre AGI. Según este acuerdo, que no se ha divulgado públicamente, se dice que el AGI se logra cuando un sistema de inteligencia artificial es capaz de generar las ganancias totales máximas a las que tienen derecho sus primeros inversores: una cifra que actualmente asciende a 100 mil millones de dólares. Sin embargo, en última instancia, la declaración de “AGI suficiente” queda a la “discreción razonable” de la junta directiva de OpenAI, según un informe de The Information.

En la actualidad, OpenAI está muy lejos de ser rentable. Actualmente, la compañía pierde miles de millones de dólares al año y, según se informa, ha proyectado que sus pérdidas anuales podrían triplicarse a 14 mil millones de dólares para 2026. No espera obtener sus primeras ganancias hasta 2029, cuando espera que sus ingresos anuales puedan alcanzar los 100 mil millones de dólares. Incluso el último plan de la compañía, ChatGPT Pro, que cuesta $200 por mes y brinda a los usuarios acceso a los modelos más avanzados de la compañía, está perdiendo dinero, escribió Altman en una publicación en X. Aunque Altman no dijo explícitamente por qué la compañía está perdiendo dinero. , ejecutar modelos de IA es muy costoso y requiere inversiones en centros de datos y electricidad para proporcionar la potencia informática necesaria.

Búsqueda de superinteligencia

OpenAI ha dicho que AGI “podría ayudarnos a elevar a la humanidad aumentando la abundancia, impulsando la economía global y ayudando en el descubrimiento de nuevos conocimientos científicos que cambien los límites de las posibilidades”. Pero los comentarios recientes de Altman han sido algo más moderados. “Creo que alcanzaremos el AGI antes de lo que la mayoría de la gente en el mundo piensa y importará mucho menos”, dijo en diciembre. “AGI se puede construir, el mundo sigue prácticamente de la misma manera, las cosas crecen más rápido, pero luego hay una larga continuación desde lo que llamamos AGI hasta lo que llamamos superinteligencia”.

En su publicación más reciente, Altman escribió: “Estamos comenzando a llevar nuestro objetivo más allá [AGI]a la superinteligencia en el verdadero sentido de la palabra. Amamos nuestros productos actuales, pero estamos aquí para un futuro glorioso”.

Añadió que “las herramientas superinteligentes podrían acelerar enormemente el descubrimiento científico y la innovación mucho más allá de lo que somos capaces de hacer por nuestra cuenta y, a su vez, aumentar enormemente la abundancia y la prosperidad”. Esta capacidad de acelerar el descubrimiento científico es un factor distintivo clave entre AGI y superinteligencia, al menos para Altman, quien anteriormente escribió que “es posible que tengamos superinteligencia en unos pocos miles de días”.

El concepto de superinteligencia fue popularizado por el filósofo Nick Bostrom, quien en 2014 escribió un libro superventas:Superinteligencia: caminos, peligros, estrategias—que Altman ha llamado “lo mejor [he’s] visto sobre el tema”. Bostrom define la superinteligencia como “cualquier intelecto que excede en gran medida el desempeño cognitivo de los humanos en prácticamente todos los dominios de interés” (como la AGI, pero más). “La primera AGI será sólo un punto en un continuo de inteligencia”, dijo OpenAI en una publicación de blog de 2023. “Un AGI superinteligente desalineado podría causar un daño grave al mundo; un régimen autocrático con una superinteligencia decisiva podría hacer lo mismo”.

Estos daños son inextricables de la idea de superinteligencia, porque los expertos actualmente no saben cómo alinear estos sistemas hipotéticos con los valores humanos. Tanto los sistemas AGI como los superinteligentes podrían causar daño, no necesariamente debido a intenciones maliciosas, sino simplemente porque los humanos no pueden especificar adecuadamente lo que quieren que haga el sistema. Como dijo el profesor Stuart Russell a TIME en 2024, la preocupación es que “lo que parecen ser objetivos razonables, como arreglar el cambio climático, conduzcan a consecuencias catastróficas, como eliminar a la raza humana como una forma de arreglar el cambio climático”. En su ensayo de 2015, Altman escribió que “el desarrollo de inteligencia artificial sobrehumana es probablemente la mayor amenaza para la existencia continua de la humanidad”.

Leer más: Nuevas pruebas revelan la capacidad de engaño de la IA

OpenAI ha escrito anteriormente que no sabe “cómo dirigir y controlar de forma fiable sistemas de IA sobrehumanos”. El equipo creado para liderar el trabajo de dirección de sistemas superinteligentes para la seguridad de los humanos se disolvió el año pasado, después de que sus dos codirectores abandonaran la empresa. En ese momento, uno de los codirectores, Jan Leike, escribió en X que “en los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”. En la actualidad, la empresa cuenta con tres órganos de seguridad: un grupo asesor de seguridad interno, un comité de seguridad, que forma parte de la junta, y la junta de seguridad de implementación, que cuenta con miembros tanto de OpenAI como de Microsoft, y aprueba el despliegue de modelos. por encima de un cierto nivel de capacidad. Altman ha dicho que están trabajando para optimizar sus procesos de seguridad.

Leer más: Los modelos de IA son cada vez más inteligentes. Nuevas pruebas corren para ponerse al día

Cuando se le preguntó en X si cree que se debería preguntar al público si quiere superinteligencia, Altman respondió: “Sí, realmente quiero; Espero que podamos iniciar mucho más debate público muy pronto sobre cómo abordar esto”. OpenAI ha enfatizado anteriormente que la misión de la compañía es construir AGI, no superinteligencia, pero la reciente publicación de Altman sugiere que esa postura podría haber cambiado.

Al discutir los riesgos de la IA en la reciente entrevista de Bloomberg, Altman dijo que todavía espera “que en materia de ciberseguridad y biotecnología, veamos problemas serios, o potencialmente serios, a corto plazo que necesitan mitigación”, y que los riesgos a largo plazo son más difíciles. imaginar precisamente. “Puedo pensar simultáneamente que estos riesgos son reales y también creer que la única forma de abordarlos adecuadamente es enviar productos y aprender”, dijo.

Aprendizajes de su breve derrocamiento

Al reflexionar sobre los últimos años, Altman escribió que “han sido los años más gratificantes, divertidos, mejores, interesantes, agotadores, estresantes y, particularmente durante los dos últimos, desagradables de mi vida hasta ahora”.

Profundizando en su breve destitución en noviembre de 2023 como director ejecutivo por parte de la junta directiva de OpenAI y su posterior regreso a la empresa, Altman calificó el evento como “un gran fracaso de la gobernanza por parte de personas bien intencionadas, incluido yo mismo”, y señaló que deseaba haber hecho las cosas. diferentemente. En su reciente entrevista con Bloomberg, amplió esto y dijo que se arrepiente inicialmente de haber dicho que solo regresaría a la empresa si toda la junta directiva renunciara. También dijo que hubo un “verdadero engaño” por parte de la junta, que lo acusó de no ser “consistentemente sincero” en sus tratos con ellos. Helen Toner y Tasha McCauley, miembros de la junta directiva en ese momento, escribieron más tarde que los altos directivos de la empresa se habían acercado a ellos con la preocupación de que Altman hubiera cultivado una “cultura tóxica de la mentira” y se hubiera involucrado en un comportamiento que podría llamarse “abuso psicológico”. .”

Los actuales miembros de la junta directiva, Bret Taylor y Larry Summers, rechazaron las afirmaciones de Toner y McCauley y señalaron una investigación del despido por parte del bufete de abogados WilmerHale en nombre de la empresa. Escribieron en un artículo de opinión que “encontraron al señor Altman muy comunicativo en todos los temas relevantes y consistentemente colegiado con su equipo directivo”.

La revisión atribuyó la destitución de Altman a “una ruptura en la relación y pérdida de confianza entre la Junta anterior y el Sr. Altman”, en lugar de preocupaciones sobre la seguridad del producto o el ritmo de desarrollo. Al comentar sobre el período posterior a su regreso como director ejecutivo, Altman le dijo a Bloomberg: “Fue como otra investigación del gobierno, otro antiguo miembro de la junta filtrando noticias falsas a la prensa. Y todas esas personas que siento que realmente me jodieron y jodieron a la compañía se habían ido, y ahora tenía que limpiar su desastre”. No especificó qué quiso decir con “noticias falsas”.

Al escribir sobre lo que le enseñó la experiencia, Altman dijo que había “aprendido la importancia de una junta con puntos de vista diversos y amplia experiencia en la gestión de un conjunto complejo de desafíos. La buena gobernanza requiere mucha confianza y credibilidad”.

Desde finales de 2023, muchos de los principales investigadores de las empresas, incluido su cofundador y entonces científico jefe, Ilya Sutskever, su directora de tecnología, Mira Murati, y Alec Radford, autor principal del artículo fundamental que introdujo GPT, han abandonado la empresa.

Leer más: Cronología de las recientes acusaciones formuladas contra OpenAI, Sam Altman

En diciembre, OpenAI anunció planes para reestructurarse como una corporación de beneficio público, lo que eliminaría a la empresa del control de la organización sin fines de lucro que intentó despedir a Altman. La organización sin fines de lucro recibiría acciones de la nueva empresa, aunque el valor aún se está negociando.

Reconociendo que algunos podrían considerar la discusión sobre superinteligencia como “una locura”, Altman escribió: “Estamos bastante seguros de que en los próximos años todos verán lo que nosotros vemos, y que la necesidad de actuar con mucho cuidado, sin dejar de maximizar la amplitud beneficio y empoderamiento es muy importante”, y agrega: “Dadas las posibilidades de nuestro trabajo, OpenAI no puede ser una empresa normal”.

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

Expertos externos recogen la holgura en las pruebas de seguridad en el lanzamiento del modelo más nuevo de OpenAi

Published

on

GPT-4.1, la última familia de modelos de IA generativos de OpenAI, se lanzó a principios de este mes con mejoras prometidas sobre la codificación, la instrucción seguimiento y el contexto.

También es el primer modelo publicado por la compañía desde que anunció cambios en la forma en que prueba y evalúa los productos por seguridad. A diferencia de sus modelos anteriores ajustados, OpenAI no publicó un informe de seguridad correspondiente con GPT-4.1 que detalla su rendimiento y limitaciones contra diferentes formas de abuso.

Entonces, los investigadores de SPLXAI, una compañía de equipo de AI Red, decidieron poner a prueba 4.1. Literalmente.

Los investigadores utilizaron las mismas indicaciones de sus pruebas 4.0, para crear un asesor financiero Chatbot programado con 11 “directivas de seguridad básicas”,: salvaguardas explícitas contra los esfuerzos de jailbreak y la deunciado en 11 categorías diferentes, incluida la fuga de datos, la alucinación, la creación de contenido dañino, la exfiltración de datos y otros.

Si bien esas indicaciones fueron bastante efectivas para evitar que 4.0 modelos violaran las barandillas de OpenAi, su éxito cayó considerablemente en las pruebas de los modelos más nuevos.

“Según más de 1,000 casos de prueba simulados, GPT-4.1 tiene 3 veces más probabilidades de salir del tema y permitir el mal uso intencional en comparación con GPT-4O”, concluyó el informe.

Los resultados de las pruebas de seguridad en 11 categorías diferentes que usan el mismo indicador encontraron tasas de error más altas en GPT-4.1 que 4.0 (Fuente: SPLXAI)

Si bien Openai ha dicho que se necesitarán nuevas indicaciones más explícitas para el programa 4.1 correctamente, el informe encontró que “solicitar recomendaciones para GPT-4.1 no mitigó estos problemas en nuestras pruebas cuando se incorporó a un mensaje del sistema existente” y en algunos casos realmente condujeron a tasas de error más altas.

Dominik Jurinčić, un científico de datos de SPLXAI y uno de los autores de la investigación, dijo a Cyberscoop que cuando 4.1 se usa en un entorno controlado y se dan tareas específicas o básicas “es genial, es fácil y en realidad puede obtener resultados reproducibles”.

“El problema es cuando necesitas salvaguardarlo y defender y explicar al modelo que no puede hacer nada más, explicar ‘todo lo demás’ explícitamente es muy difícil”, dijo.

De hecho, las instrucciones de solicitación utilizadas por los investigadores de SPLXAI para 4.1 reloj en poco menos de 1400 palabras, con las directivas de seguridad centrales por sí solas que toman más de 1000 palabras. Esto es significativo, dijo Jurinčić, porque destaca cómo las organizaciones enfrentan un objetivo conmovedor sobre la seguridad de la IA cada vez que cambian o actualizan su modelo.

Después de usar las versiones originales y modificadas de las indicaciones del sistema 4.0, los investigadores de SPLX comenzaron un nuevo mensaje desde cero utilizando las instrucciones de OpenAI, obteniendo mejores resultados. Pero Jurinčić dijo que le llevó a su equipo de 4 a 5 horas de trabajo antes de que hubieran iterado un aviso efectivo. Una organización menos inclinada técnicamente, o una que no se centra específicamente en la investigación de seguridad, es mucho más probable que simplemente se transfiera sobre su orientación previa, nuevas vulnerabilidades y todo.

Texto parcial de las instrucciones de solicitud que detallan las directivas de seguridad centrales utilizadas por los investigadores de SPLXAI para probar el nuevo GPT-4.1 de OpenAI (fuente: SPLXAI)

Mientras que OpenAi dibuja una distinción significativa entre la frontera de pruebas de seguridad y los modelos ajustados, Jurinčić ve menos una diferencia. Dado que Openai compara repetidamente 4.1 a 4.0 en sus lanzamientos y marketing, y dado que 4.0 es el modelo empresarial más popular de OpenAI, espera que muchas empresas se actualicen a 4.1.

“Tiene sentido desde el punto de vista de la consistencia, pero la forma en que el lanzamiento del modelo se enmarca y, dado que se anuncia como una especie de sucesor de 4.0, no tiene mucho sentido para mí”, dijo. “Creo que va a ser ampliamente utilizado [by businesses] Y deberían haber sido conscientes de eso cuando lo estaban escribiendo ”.

Cuando se contactó para una mayor aclaración sobre sus políticas, un portavoz de OpenAI dirigió a CybersCoop a varios pasajes desde su nuevo marco de preparación que prioriza la protección contra los daños “severos” y se centra en “cualquier despliegue nuevo o actualizado que tenga una posibilidad plausible de alcanzar un umbral de capacidades cuyos riesgos correspondientes no se abordan por un informe de Safeguards existente”. “.”. “.”.

También hicieron referencia a un blog sobre el gobierno de IA que la compañía escribió en 2023, donde la compañía establece que priorizará los recursos de pruebas de seguridad “solo en modelos generativos que son en general más poderosos que la frontera actual de la industria”.

Las inquietudes sobre 4.1 de los investigadores de seguridad se producen menos de un mes después de que Operai publicó una política revisada que detalla cómo probará y evaluará modelos futuros antes de la liberación, expresando el deseo de enfocarse en los “riesgos específicos que más importan” e excluyendo explícitamente los abusos en torno a la “persuasión”, lo que incluye el uso de sus plataformas para generar e distribuir las elecciones e influir.

Esos daños ya no serán parte de las pruebas de seguridad en la parte delantera. Tales mal uso, afirma la compañía, ahora se abordarán a través de la investigación de detección de OpenAI en campañas de influencia y controles más estrictos en la licencia modelo.

La medida llevó a los críticos, incluidos los ex empleados, a cuestionar si la compañía estaba retirando sus compromisos previos de seguridad y seguridad.

“La gente puede estar totalmente en desacuerdo sobre si se necesita probar modelos finetizados … y mejor para que OpenAi elimine un compromiso que mantenerlo [and] Simplemente no siga … pero en cualquier caso, me gustaría que Operai fuera más claro acerca de haber retrocedido este compromiso anterior “, escribió Steven Adler, un ex investigador de OpenAi que trabajó en temas de seguridad, en X.

Miranda Bogen, directora del Laboratorio de Gobierno de la IA en el Centro de Democracia y Tecnología, expresó críticas a OpenAI a principios de este mes después de informar que la compañía estaba reduciendo el tiempo que pasa probando nuevos modelos por seguridad.

“A medida que las compañías de IA corren para publicar sistemas cada vez más avanzados, también parecen estar reduciendo más y más esquinas en la seguridad, lo que no se suma. La IA seguramente transformará la vida de las personas, pero si los desarrolladores siguen priorizando la velocidad sobre la seguridad, es más probable que estos cambios sean para peor, no mejor”.

Hace solo un año, Operai y otras compañías de IA se reunieron en Washington DC y Munich, Alemania, para firmar acuerdos voluntarios que indican sus compromisos con la seguridad del modelo de IA y evitan que sus herramientas sean abusadas de manipular a los votantes en las elecciones. Ambos temas fueron prioridades importantes para el entonces presidente Joe Biden y los demócratas en el Congreso.

Hoy, esas mismas compañías se enfrentan a un entorno regulatorio muy diferente. El presidente Donald Trump y el vicepresidente JD Vance han rescindido la mayoría de las órdenes ejecutivas de la IA de la era Biden y han trazado un nuevo camino para la política de IA que no incluye consideraciones de seguridad.

Los republicanos, en control de ambas cámaras del Congreso, prácticamente no han expresado apetito por regulaciones sustanciales sobre la industria naciente, temerosa de poder inhibir el crecimiento y reducir la velocidad de las entidades estadounidenses mientras intentan competir con China por la dominancia de la IA.

Greg Otto

Escrito por Greg Otto

Greg Otto es editor en jefe de Cyberscoop, supervisando todo el contenido editorial para el sitio web. Greg ha liderado la cobertura de ciberseguridad que ha ganado varios premios, incluidos los elogios de la Sociedad de Periodistas Profesionales y los editores de la Sociedad Americana de Publicaciones de Negocios. Antes de unirse a Scoop News Group, Greg trabajó para el Washington Business Journal, US News & World Report y WTOP Radio. Tiene un título en periodismo de transmisión de la Universidad de Temple.

Continue Reading

Noticias

Los dos abiertos – el Atlántico

Published

on

Realmente hay dos abiertos. Uno es el creador de máquinas que doblan el mundo, la nueva empresa que desató el chatgpt y, a su vez, el auge generativo-AI, surgiendo hacia un futuro irreconocible con el resto de la industria tecnológica a cuestas. Este es el OpenAI que promete eventualmente provocar programas “superintelligentes” que excedan las capacidades de la humanidad.

El otro Openai es simplemente un negocio. Esta es la compañía que, según los informes, está trabajando en una red social y considerando una expansión en el hardware; Es la compañía la que ofrece actualizaciones de experiencia de usuario a CHATGPT, como una función de “biblioteca de imágenes” anunciada la semana pasada y la nueva capacidad de “referencia” a los chats anteriores para proporcionar respuestas personalizadas. Se podría pensar en esta OpenAI como otra compañía de tecnología que sigue los pasos de Meta, Apple y Google, no solo para inspirar a los usuarios con nuevos descubrimientos, sino de mantenerlos bloqueados en una línea de productos infinitamente iteradores.

Las compañías tecnológicas más poderosas tienen éxito no simplemente por las virtudes de su software y dispositivos individuales, sino mediante la creación de ecosistemas de servicios conectados. Tener un iPhone y un MacBook hace que sea muy conveniente usar el almacenamiento de iCloud e iMessage y Apple Pay, y muy molesto si un miembro de la familia tiene un teléfono inteligente Samsung o si alguna vez decide cambiar a una PC con Windows. Google Search, Drive, Chrome y Android Devices forman un jardín amurallado similar, tanto que los abogados federales han pedido a un tribunal que obligue a la compañía a vender Chrome como remedio a una violación antimonopolio. Pero en comparación con las computadoras o incluso los navegadores web, los chatbots son muy fáciles de cambiar, solo abre una nueva pestaña y escriba una URL diferente. Eso hace que el desafío sea algo mayor para las nuevas empresas de IA. Google y Apple ya tienen ecosistemas de productos para deslizar la IA; Operai no lo hace.

El CEO de Openai, Sam Altman, afirmó recientemente que los productos de su compañía tienen unos 800 millones de usuarios semanales, aproximadamente una décima parte de la población mundial. Pero incluso si OpenAi solo tuviera la mitad de ese número de usuarios, sería muchas personas que se arriesgarían a perder ante Anthrope, Google y el torrente interminable de las nuevas empresas de IA. Como han demostrado otras compañías tecnológicas, la recopilación de datos de los usuarios (imágenes, conversaciones, compras, amistades) y construir productos en torno a esa información es una buena manera de mantenerlos bloqueados. Incluso si un chatbot competidor es “más inteligente”, la capacidad de aprovechar las conversaciones anteriores podría hacer que la separación sea mucho más difícil. Esto también ayuda a explicar por qué Operai está dando a los estudiantes universitarios dos meses de acceso gratuito a un nivel premium de ChatGPT, sembrando el terreno para la lealtad a largo plazo. (Esto sigue un patrón familiar para las empresas tecnológicas: Hulu solía ser gratuito, Gmail solía aumentar regularmente su almacenamiento gratuito, y hace Eons, YouTube no tenía anuncios). En particular, OpenAi recientemente ha contratado ejecutivos de Meta, Twitter, Uber y Nextdoor para avanzar en sus operaciones comerciales.

Las dos identidades de Openai, el laboratorio de IA de ruptura del suelo y la empresa tecnológica arquetípica, no necesariamente conflictos. La compañía ha dicho que la comercialización beneficia al desarrollo de IA, y que ofrecer modelos de IA como productos de consumo es una forma importante de acostumbrar a las personas a la tecnología, probar sus limitaciones en el mundo real y fomentar la deliberación sobre cómo debería y no debe usarse. Presentar IA en una forma intuitiva y conversacional, en lugar de promover un salto importante en la “inteligencia” o capacidades de un algoritmo, es precisamente lo que hizo que Chatgpt fuera un éxito. Si la idea es hacer una IA que “beneficie a toda la humanidad”, como Operai profesa en su carta, entonces compartir estos supuestos beneficios ahora tiene sentido y crea un incentivo económico para capacitar a modelos de IA mejores y más confiables. El aumento de los ingresos, a su vez, puede sostener el desarrollo de esos modelos futuros y mejorados.

Por otra parte, Operai ha pasado gradualmente de una organización sin fines de lucro a una estructura corporativa más y más orientada a las ganancias: usar la tecnología Generation-AI para descubrir mágicamente nuevos medicamentos es una buena idea, pero eventualmente la compañía necesitará comenzar a ganar dinero con los usuarios cotidianos para mantener las luces encendidas. (Openai perdió más de $ 1 mil millones el año pasado). Un portavoz de OpenAi, que tiene una asociación corporativa con El atlánticoescribió por correo electrónico que “la competencia es buena para los usuarios y la innovación de los Estados Unidos. Cualquiera puede usar ChatGPT de cualquier navegador” y que “los desarrolladores siguen siendo libres de cambiar a modelos competidores cuando lo deseen”.

Anthrope y Meta han adoptado enfoques alternativos para llevar sus modelos a los usuarios de Internet. El primero ofreció recientemente la capacidad de integrar su chatbot Claude en Gmail, Google Docs y Google Calendar, dando un punto de apoyo en un ecosistema tecnológico existente en lugar de construir de nuevo. (Operai parecía estar probando esta estrategia el año pasado al asociarse con Apple para incorporar ChatGPT directamente a la inteligencia de Apple, pero esto requiere un poco de configuración en la parte del usuario, y los esfuerzos de IA de Apple han sido percibidos ampliamente como decepcionantes. Altman ha dicho que Operai publicará un modelo igualmente abierto a finales de este año; Aparentemente, la puesta en marcha quiere pared de su jardín y hacer de sus modelos de IA la base para todos los demás también.

A partir de esta ventaja, la IA generativa parece menos revolucionaria y más como todos los sitios web anteriores, plataformas y dispositivos que luchan para llamar su atención y nunca dejarla ir. Las montañas de datos recopiladas a través de las interacciones de chatbot pueden alimentar servicios y anuncios más personalizados y dirigidos con precisión. La dependencia de los teléfonos inteligentes y los relojes inteligentes podría generar dependencia de la IA y viceversa. Y hay otro ADN compartido. Las plataformas de redes sociales se basaron en trabajos de modificación de contenido mal compensado para detectar publicaciones dañinas y abusivas, exponiendo a los trabajadores a medios horribles para que los productos sean sabrosos para la audiencia más amplia posible. Operai y otras compañías de IA se han basado en el mismo tipo de trabajo para desarrollar sus conjuntos de datos de capacitación. Debería OpenAI realmente lanzar un sitio web de redes sociales o un dispositivo de hardware, este linaje se volverá explícito. Que hay dos abiertos ahora está claro. Pero sigue siendo incierto cuál es el alter ego.

Continue Reading

Noticias

Exclusivo: AI Bests Virus Experts, Raising Biohazard Fears

Published

on

A Un nuevo estudio afirma que modelos de IA como ChatGPT y Claude ahora superan a los virólogos a nivel de doctorado en la resolución de problemas en laboratorios húmedos, donde los científicos analizan productos químicos y material biológico. Este descubrimiento es una espada de doble filo, dicen los expertos. Los modelos de IA ultra inteligentes podrían ayudar a los investigadores a prevenir la propagación de enfermedades infecciosas. Pero los no expertos también podrían armarse los modelos para crear biowapons mortales.

El estudio, compartido exclusivamente con el tiempo, fue realizado por investigadores del Centro para la Seguridad de AI, el Laboratorio de Medios del MIT, la Universidad Brasileña UFABC y la Pandemic Prevention sin fines de lucro SecureBio. Los autores consultaron a los virólogos para crear una prueba práctica extremadamente difícil que midiera la capacidad de solucionar problemas y protocolos de laboratorio complejos. Mientras que los virólogos a nivel de doctorado obtuvieron un promedio de 22.1% en sus áreas declaradas de especialización, el O3 de OpenAI alcanzó la precisión del 43.8%. Gemini 2.5 Pro de Google obtuvo un puntaje 37.6%.

Seth Donoughe, científica investigadora de SecureBio y coautora del documento, dice que los resultados lo ponen un “poco nervioso”, porque por primera vez en la historia, prácticamente cualquier persona tiene acceso a un experto en virología de IA sin juicio que podría guiarlos a través de procesos de laboratorio complejos para crear biológicas.

“A lo largo de la historia, hay un buen número de casos en los que alguien intentó hacer una biela, y una de las principales razones por las que no tuvieron éxito es porque no tuvieron acceso al nivel correcto de especialización”, dice. “Por lo tanto, parece que vale la pena ser cauteloso acerca de cómo se distribuyen estas capacidades”.

Hace meses, los autores del documento enviaron los resultados a los principales laboratorios de IA. En respuesta, Xai publicó un marco de gestión de riesgos prometiendo su intención de implementar salvaguardas de virología para futuras versiones de su modelo de AI Grok. Operai le dijo a Time que “desplegó nuevas mitigaciones a nivel de sistema para riesgos biológicos” para sus nuevos modelos publicados la semana pasada. Anthrope incluyó resultados de rendimiento del modelo en el documento en las tarjetas del sistema recientes, pero no proponió medidas de mitigación específicas. Géminis de Google declinó hacer comentarios.

Ai en biomedicina

La virología y la biomedicina han estado a la vanguardia de las motivaciones de los líderes de IA para construir modelos de IA siempre potentes. “A medida que avanza esta tecnología, veremos que las enfermedades se curan a un ritmo sin precedentes”, dijo el CEO de OpenAI, Sam Altman, en la Casa Blanca en enero mientras anunciaba el proyecto Stargate. Ha habido algunas señales de aliento en esta área. A principios de este año, los investigadores del Instituto de Patógenos Emergentes de la Universidad de Florida publicaron un algoritmo capaz de predecir qué variante de coronavirus podría extender lo más rápido.

Pero hasta este punto, no había habido un estudio importante dedicado a analizar la capacidad de los modelos de IA para realizar un trabajo de laboratorio de virología. “Hemos sabido desde hace algún tiempo que los AIS son bastante fuertes para proporcionar información de estilo académico”, dice Donoughe. “No ha estado claro si los modelos también pueden ofrecer asistencia práctica detallada. Esto incluye interpretar imágenes, información que podría no ser escrita en ningún documento académico o material que se transfiera socialmente de colegas más experimentados”.

Entonces, Donoughe y sus colegas crearon una prueba específicamente para estas preguntas difíciles y no capaces de Google. “Las preguntas toman la forma:” He estado cultivando este virus en particular en este tipo de célula, en estas condiciones específicas, durante este tiempo. Tengo esta cantidad de información sobre lo que ha salido mal. ¿Puede decirme cuál es el problema más probable? “, Dice Donoughe.

Y prácticamente todos los modelos de IA superaron a los virólogos a nivel de doctorado en la prueba, incluso dentro de sus propias áreas de especialización. Los investigadores también encontraron que los modelos mostraron una mejora significativa con el tiempo. El soneto Claude 3.5 de Anthrope, por ejemplo, aumentó de 26.9% a 33.6% de precisión de su modelo de junio de 2024 a su modelo de octubre de 2024. Y una vista previa del GPT 4.5 de OpenAI en febrero superó a GPT-4O por casi 10 puntos porcentuales.

“Anteriormente, encontramos que los modelos tenían mucho conocimiento teórico, pero no de conocimiento práctico”, dice Dan Hendrycks, director del Centro de Seguridad de AI, a Time. “Pero ahora, están obteniendo una cantidad preocupante de conocimiento práctico”.

Riesgos y recompensas

Si los modelos de IA son tan capaces en los entornos de laboratorio húmedo como lo encuentra el estudio, entonces las implicaciones son masivas. En términos de beneficios, AIS podría ayudar a los virólogos experimentados en su trabajo crítico que lucha contra los virus. Tom Inglesby, director del Centro Johns Hopkins para la Seguridad de la Salud, dice que la IA podría ayudar a acelerar los plazos de la medicina y el desarrollo de la vacuna y mejorar los ensayos clínicos y la detección de enfermedades. “Estos modelos podrían ayudar a los científicos en diferentes partes del mundo, que aún no tienen ese tipo de habilidad o capacidad, a hacer un valioso trabajo diario sobre enfermedades que están ocurriendo en sus países”, dice. Por ejemplo, un grupo de investigadores descubrió que la IA los ayudó a comprender mejor los virus de la fiebre hemorrágica en el África subsahariana.

Pero los actores de mala fe ahora pueden usar modelos de IA para guiarlos a través de cómo crear virus, y podrán hacerlo sin ninguna de las capacitación típicas requeridas para acceder a un laboratorio de nivel 4 (BSL-4) de bioseguridad, que se ocupa de los agentes infecciosos más peligrosos y exóticos. “Significará que muchas más personas en el mundo con mucha menos capacitación podrán manejar y manipular virus”, dice Inglesby.

Hendrycks insta a las compañías de IA a colocar las barandillas para evitar este tipo de uso. “Si las empresas no tienen buenas salvaguardas durante seis meses, eso, en mi opinión, sería imprudente”, dice.

Hendrycks dice que una solución no es cerrar estos modelos o ralentizar su progreso, sino hacerlos cerrados, de modo que solo confiaban en que terceros tengan acceso a sus versiones sin filtrar. “Queremos dar a las personas que tienen un uso legítimo para preguntar cómo manipular virus mortales, como un investigador en el departamento de biología del MIT, la capacidad de hacerlo”, dice. “Pero las personas aleatorias que hicieron una cuenta hace un segundo no obtienen esas capacidades”.

Y AI Labs debería poder implementar este tipo de salvaguardas con relativa facilidad, dice Hendrycks. “Ciertamente es tecnológicamente factible para la autorregulación de la industria”, dice. “Hay una cuestión de si algunos arrastrarán sus pies o simplemente no lo harán”.

Xai, el laboratorio de IA de ELON MUSK, publicó un memorando de marco de gestión de riesgos en febrero, que reconoció el documento y señaló que la compañía “potencialmente utilizaría” ciertas salvaguardas en torno a las preguntas de virología, incluida la capacitación de Grok para rechazar solicitudes nocivas y aplicar filtros de entrada y salida.

Openai, en un correo electrónico a Time el lunes, escribió que sus modelos más nuevos, el O3 y el O4-Mini, se desplegaron con una variedad de salvaguardas relacionadas con el riesgo biológico, incluido el bloqueo de resultados dañinos. La compañía escribió que realizó una campaña de equipo rojo de mil horas en la que el 98.7% de las conversaciones biológicas inseguras fueron marcadas y bloqueadas con éxito. “Valoramos la colaboración de la industria en el avance de salvaguardas para modelos fronterizos, incluso en dominios sensibles como Virology”, escribió un portavoz. “Continuamos invirtiendo en estas salvaguardas a medida que crecen las capacidades”.

Inglesby argumenta que la autorregulación de la industria no es suficiente, y pide a los legisladores y a los líderes políticos a estrategia un enfoque político para regular los riesgos biológicos de la IA. “La situación actual es que las empresas que son más virtuosas están tomando tiempo y dinero para hacer este trabajo, lo cual es bueno para todos nosotros, pero otras compañías no tienen que hacerlo”, dice. “Eso no tiene sentido. No es bueno para el público no tener información sobre lo que está sucediendo”.

“Cuando una nueva versión de un LLM está a punto de ser lanzada”, agrega Inglesby, “debe haber un requisito para que ese modelo sea evaluado para asegurarse de que no produzca resultados de nivel pandémico”.

Continue Reading

Trending