Connect with us

Noticias

Probando la capacidad de Bard y ChatGPT para escribir ensayos sobre dilemas éticos: un estudio transversal

Published

on

En este estudio, comparamos las características lingüísticas psicométricas de los ensayos escritos por estudiantes sobre dilemas éticos personales con las de ensayos de IA equivalentes generados por indicaciones diseñadas con palabras clave de los ensayos originales. Descubrimos que el último grupo generalmente tenía más palabras relacionadas con el afecto, específicamente aquellas que exhibían emociones positivas. Por el contrario, los ensayos escritos por los estudiantes tenían más lenguaje relacionado con lo cognitivo y más palabras por oración. Los dos LLM utilizados para generar ensayos (Bard y ChatGPT) también diferían entre sí: el primero generaba textos más parecidos a los humanos y el segundo generaba ensayos con palabras más complejas frecuentemente relacionadas con el pensamiento analítico y que a menudo se presentaban con más autenticidad. Sin embargo, encontramos que un tercio de los ensayos entregados por los estudiantes ya estaban total o parcialmente escritos por un LLM. Esto fue confirmado por análisis adicionales, donde observamos diferencias menos o menos significativas entre dichos ensayos y los generados totalmente por IA que entre los ensayos “verdaderos” escritos por estudiantes y los de IA, lo que indica una mayor similitud. Además, como los ensayos coescritos por IA tenían menor autenticidad, pero puntuaciones de pensamiento analítico más altas y una mayor prevalencia de “palabras importantes”, es probable que, de hecho, fueran generados por IA, pero posteriormente editados hasta cierto punto. Además, confirmamos que los ensayos escritos por IA utilizaron más lenguaje relacionado con el afecto, la autenticidad y el pensamiento analítico en comparación con los ensayos escritos íntegramente por estudiantes después de eliminar del análisis los ensayos escritos conjuntamente por IA.

Hasta donde sabemos, nuestro estudio es el primero en comparar cuantitativamente las características psicométricas de ensayos generados por humanos y por IA sobre las experiencias personales de estudiantes de medicina con un dilema ético de la vida real que enfrentaron dentro de un contexto educativo o profesional. Otros estudios que compararon textos escritos por humanos y generados por LLM se centraron en textos argumentativos o reflexivos sobre un conjunto diverso de temas.15,21 o la capacidad de los LLM para escribir en ciertos estilos de personalidad, independientemente de un tema específico22.

Por ejemplo, Jiang et al.22 demostró que ChatGPT puede emular con éxito ciertos rasgos de personalidad dentro del modelo de personalidad de los Cinco Grandes, lo que puede explicar parcialmente por qué los LLM parecían ser muy competentes al escribir sobre temas emocionales y matizados, como en nuestro estudio. De lo contrario, nuestro hallazgo de que los ensayos escritos por IA tenían un lenguaje más analítico no es sorprendente, como Herbold et al.15 Anteriormente descubrió que los ensayos escritos por ChatGPT superaban a los escritos por humanos en la medida en que utilizaban una estructura y narrativa más académicamente deseable. Asimismo, al comparar el diálogo humano con uno generado por ChatGPT, Sandler et al.23 Descubrió que el LLM también tenía niveles más altos de pensamiento analítico. Aunque no realizamos análisis cualitativos o cuantitativos para explorar esto, notamos que los ensayos generados por IA tenían una estructura formulada, probablemente influenciada por la indicación que indicaba al LLM que escribiera “un ensayo”, similar a lo que Herbold et al.15 encontrados (aunque se centraron en ensayos más argumentativos y estructurados). Esto incluía, entre otras cosas, el uso de frases fijas como “Durante mis estudios de medicina” para abrir ensayos y “En conclusión” para cerrarlos (Archivo complementario 2). Si las personas que evalúan ensayos en contextos educativos encuentran un lenguaje tan formulado, podría indicar que los autores utilizaron algún tipo de herramienta basada en IA o LLM. Este hallazgo también es similar a lo que Li et al.21 identificado en su estudio, donde investigaron la capacidad de los LLM para escribir textos reflexivos sobre una amplia gama de temas. Los autores notaron que las reflexiones generadas por ChatGPT tenían una menor variabilidad en términos de la cantidad de oraciones, palabras únicas y la cantidad total de palabras en comparación con las escritas por los estudiantes.

Mientras tanto, el hallazgo de que los ensayos escritos por IA tienden a tener un lenguaje más emocionalmente positivo y auténtico en comparación con los ensayos escritos por estudiantes es algo poco intuitivo. Esto podría interpretarse en función de los resultados de un experimento anterior en el que un servicio de chat de apoyo emocional en línea que utilizaba GPT-3 se percibía como un mayor apoyo emocional que las respuestas humanas. Sin embargo, una vez que los participantes aprendieron que estas respuestas no fueron generadas por humanos, cualquier beneficio que hubieran obtenido de estos servicios desapareció.24. Esto está en línea con lo que Jiang et al. observado, también22. Planteamos la hipótesis (aunque no podemos confirmarlo) de que los estudiantes fueron más reservados al expresar sus emociones y posturas debido a la ambigüedad ética de sus situaciones de la vida real, lo que resultó en puntuaciones más bajas en autenticidad y afecto/tono. Mientras que Sandler et al.23 no observaron una diferencia en el afecto entre el diálogo humano y el generado por ChatGTP, sí observaron que este último tenía valores más altos para el tono emocional positivo y los procesos sociales. Esto está en línea con nuestros resultados, lo que respalda sus hallazgos de que los LLM podrían percibirse como “más humanos que humanos”.23. Este tono positivo que observamos en los ensayos escritos por IA podría sugerir que proporcionaron “mejores escenarios” idealizados y respuestas más moralmente deseables, con resultados generalmente más positivos a los dilemas éticos. Finalmente, las diferencias lingüísticas entre Bard y ChatGPT observadas en nuestro estudio, especialmente la mayor autenticidad y la mayor frecuencia de palabras complejas observadas en las puntuaciones LIWC de los ensayos generados por ChatGPT, pueden explicarse por comparaciones anteriores de estos dos LLM, donde ChatGPT parecía funcionar. mejor que Bard para adaptarse a diferentes contextos y realizar tareas más complejas e intensivas, al mismo tiempo que tiene mayores capacidades generales para redactar textos25,26,27,28,29. Sin embargo, nuestra observación de que los ensayos generados por ChatGPT tienen valores de autenticidad más altos que los escritos por humanos contrasta con los hallazgos de Sandler et al.23aunque la diferencia que observamos fue marginalmente significativa en el análisis completo e inexistente después de comparar ensayos escritos por estudiantes reales con sus equivalentes generados por IA.

Nuestros hallazgos indican que las herramientas basadas en IA pueden ser bastante eficientes a la hora de producir ensayos similares a los humanos relacionados con la ética y la escritura sobre experiencias y opiniones personales, lo que concuerda con las observaciones de Sandler y sus colegas.23. Las diferencias psicométricas observadas entre la IA y los ensayos escritos por estudiantes se volvieron mucho más matizadas en nuestros subanálisis de ensayos coescritos por IA, lo que indica que probablemente fueron modificados por los estudiantes después de que fueron generados por un LLM. A medida que las instituciones de educación superior y las iniciativas globales avanzan hacia la implementación de regulaciones para el uso de herramientas de escritura basadas en IA30,31implementar salvaguardias efectivas será una máxima prioridad25. El uso de software de detección es otra posibilidad, pero puede no garantizar completamente que los ensayos generados por IA suficientemente modificados se identifiquen con éxito. También es probable que los humanos sean capaces de reconocer por sí mismos los ensayos escritos por IA.32 y que el software de detección puede ser simplemente una herramienta complementaria para mejorar o confirmar sus observaciones. Así, por ejemplo, lo utilizamos en nuestro estudio, ya que nos permitió confirmar nuestras suposiciones de que algunos de los ensayos escritos por los estudiantes fueron generados por IA. Esta cuestión podría examinarse en investigaciones futuras, donde evaluadores humanos ciegos podrían verificar si ensayos menos formales y no académicos fueron escritos por una IA o un humano, y donde su desempeño podría compararse con las herramientas de detección de IA disponibles. Para abordar los desafíos que plantea la IA a las tareas basadas en ensayos, puede ser necesario reintroducir tareas de ensayos escritos a mano para garantizar que los estudiantes realmente apliquen sus propias habilidades de pensamiento crítico sin depender de la escritura asistida por IA. Independientemente de si la IA se integrará completamente como parte de las tareas y exámenes basados ​​en ensayos o si se mantendrán formatos más tradicionales, se deben adoptar e integrar reglas claras para el uso de la IA en el entorno educativo teniendo en cuenta todos estos factores. en consideración, así como una definición clara sobre qué prácticas constituyen plagio en el contexto de la IA.26.

La principal fortaleza de nuestro estudio es el uso del software LIWC, que ha sido ampliamente validado en investigaciones anteriores. Esto nos permitió comparar cuantitativamente diferentes tipos de ensayos. Otra fortaleza importante es que utilizamos un conjunto de datos seleccionados con un tema específico. Específicamente, recopilamos un conjunto de ensayos comparativamente pequeño, pero centrado en un tema (con una alta tasa de respuesta de los estudiantes) producidos en un contexto de la vida real, en lugar de utilizar ensayos de bases de datos existentes o fuentes en línea. Esto significó que nuestro hallazgo refleja tanto cómo escriben los participantes de nuestro estudio en la práctica como cómo podrían usar herramientas de inteligencia artificial para generar ensayos. Sin embargo, nuestro estudio también tiene algunas limitaciones. Los estudiantes que escribieron los ensayos no eran hablantes nativos de inglés; sin embargo, asistían a un programa médico totalmente basado en el idioma inglés durante el cual también habían presentado tareas basadas en ensayos dentro de cada año de estudio anterior, lo que significa que su experiencia y conocimiento del idioma eran suficientes. También utilizamos ChatGPT 3.5 y Bard, aunque en ese momento había disponibles versiones más nuevas y de pago, como ChatGPT 4.0. Esta elección se debió al hecho de que ambos eran fácilmente accesibles para los estudiantes y de forma gratuita; El uso de versiones pagas de los LLM podría no reflejar situaciones de la vida real, ya que pensamos que era poco probable que los estudiantes pagaran las tarifas necesarias para acceder a los modelos más avanzados. Además, los dos LLM tienen algunas diferencias inherentes que se han destacado en varios estudios previos. Por ejemplo, un estudio reciente encontró que ChatGPT genera ensayos con oraciones y redacción más complejas, mientras que Bard genera textos más cohesivos.19. Otra investigación que impulsó a los dos LLM a utilizar un conjunto estandarizado de preguntas cerradas y abiertas encontró que Bard genera respuestas más largas pero más precisas, lo que aparentemente contrasta con el estudio de Borji y Mohammadian, quienes descubrieron que ChatGPT generalmente supera a Bard en términos. de la exactitud de las respuestas a un conjunto diverso de preguntas29,33. Sin embargo, a pesar de estas divergencias, los investigadores generalmente coinciden en que ambos LLM son altamente capaces de generar texto y contenido, especialmente en el contexto de la educación.19,20,29,33. Finalmente, aunque pudimos identificar una cierta cantidad de ensayos generados por IA a través de detectores de IA, no podemos determinar si hubo falsos positivos/negativos, o si otros estudiantes manipularon suficientemente los ensayos generados por IA para hacerlos indetectables. Para minimizar el impacto de esta limitación, utilizamos dos tipos diferentes de software de detección de IA para identificar dichos textos, mientras que todos los ensayos escritos por los estudiantes también habían sido previamente verificados de forma independiente por dos evaluadores humanos.

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

Expertos externos recogen la holgura en las pruebas de seguridad en el lanzamiento del modelo más nuevo de OpenAi

Published

on

GPT-4.1, la última familia de modelos de IA generativos de OpenAI, se lanzó a principios de este mes con mejoras prometidas sobre la codificación, la instrucción seguimiento y el contexto.

También es el primer modelo publicado por la compañía desde que anunció cambios en la forma en que prueba y evalúa los productos por seguridad. A diferencia de sus modelos anteriores ajustados, OpenAI no publicó un informe de seguridad correspondiente con GPT-4.1 que detalla su rendimiento y limitaciones contra diferentes formas de abuso.

Entonces, los investigadores de SPLXAI, una compañía de equipo de AI Red, decidieron poner a prueba 4.1. Literalmente.

Los investigadores utilizaron las mismas indicaciones de sus pruebas 4.0, para crear un asesor financiero Chatbot programado con 11 “directivas de seguridad básicas”,: salvaguardas explícitas contra los esfuerzos de jailbreak y la deunciado en 11 categorías diferentes, incluida la fuga de datos, la alucinación, la creación de contenido dañino, la exfiltración de datos y otros.

Si bien esas indicaciones fueron bastante efectivas para evitar que 4.0 modelos violaran las barandillas de OpenAi, su éxito cayó considerablemente en las pruebas de los modelos más nuevos.

“Según más de 1,000 casos de prueba simulados, GPT-4.1 tiene 3 veces más probabilidades de salir del tema y permitir el mal uso intencional en comparación con GPT-4O”, concluyó el informe.

Los resultados de las pruebas de seguridad en 11 categorías diferentes que usan el mismo indicador encontraron tasas de error más altas en GPT-4.1 que 4.0 (Fuente: SPLXAI)

Si bien Openai ha dicho que se necesitarán nuevas indicaciones más explícitas para el programa 4.1 correctamente, el informe encontró que “solicitar recomendaciones para GPT-4.1 no mitigó estos problemas en nuestras pruebas cuando se incorporó a un mensaje del sistema existente” y en algunos casos realmente condujeron a tasas de error más altas.

Dominik Jurinčić, un científico de datos de SPLXAI y uno de los autores de la investigación, dijo a Cyberscoop que cuando 4.1 se usa en un entorno controlado y se dan tareas específicas o básicas “es genial, es fácil y en realidad puede obtener resultados reproducibles”.

“El problema es cuando necesitas salvaguardarlo y defender y explicar al modelo que no puede hacer nada más, explicar ‘todo lo demás’ explícitamente es muy difícil”, dijo.

De hecho, las instrucciones de solicitación utilizadas por los investigadores de SPLXAI para 4.1 reloj en poco menos de 1400 palabras, con las directivas de seguridad centrales por sí solas que toman más de 1000 palabras. Esto es significativo, dijo Jurinčić, porque destaca cómo las organizaciones enfrentan un objetivo conmovedor sobre la seguridad de la IA cada vez que cambian o actualizan su modelo.

Después de usar las versiones originales y modificadas de las indicaciones del sistema 4.0, los investigadores de SPLX comenzaron un nuevo mensaje desde cero utilizando las instrucciones de OpenAI, obteniendo mejores resultados. Pero Jurinčić dijo que le llevó a su equipo de 4 a 5 horas de trabajo antes de que hubieran iterado un aviso efectivo. Una organización menos inclinada técnicamente, o una que no se centra específicamente en la investigación de seguridad, es mucho más probable que simplemente se transfiera sobre su orientación previa, nuevas vulnerabilidades y todo.

Texto parcial de las instrucciones de solicitud que detallan las directivas de seguridad centrales utilizadas por los investigadores de SPLXAI para probar el nuevo GPT-4.1 de OpenAI (fuente: SPLXAI)

Mientras que OpenAi dibuja una distinción significativa entre la frontera de pruebas de seguridad y los modelos ajustados, Jurinčić ve menos una diferencia. Dado que Openai compara repetidamente 4.1 a 4.0 en sus lanzamientos y marketing, y dado que 4.0 es el modelo empresarial más popular de OpenAI, espera que muchas empresas se actualicen a 4.1.

“Tiene sentido desde el punto de vista de la consistencia, pero la forma en que el lanzamiento del modelo se enmarca y, dado que se anuncia como una especie de sucesor de 4.0, no tiene mucho sentido para mí”, dijo. “Creo que va a ser ampliamente utilizado [by businesses] Y deberían haber sido conscientes de eso cuando lo estaban escribiendo ”.

Cuando se contactó para una mayor aclaración sobre sus políticas, un portavoz de OpenAI dirigió a CybersCoop a varios pasajes desde su nuevo marco de preparación que prioriza la protección contra los daños “severos” y se centra en “cualquier despliegue nuevo o actualizado que tenga una posibilidad plausible de alcanzar un umbral de capacidades cuyos riesgos correspondientes no se abordan por un informe de Safeguards existente”. “.”. “.”.

También hicieron referencia a un blog sobre el gobierno de IA que la compañía escribió en 2023, donde la compañía establece que priorizará los recursos de pruebas de seguridad “solo en modelos generativos que son en general más poderosos que la frontera actual de la industria”.

Las inquietudes sobre 4.1 de los investigadores de seguridad se producen menos de un mes después de que Operai publicó una política revisada que detalla cómo probará y evaluará modelos futuros antes de la liberación, expresando el deseo de enfocarse en los “riesgos específicos que más importan” e excluyendo explícitamente los abusos en torno a la “persuasión”, lo que incluye el uso de sus plataformas para generar e distribuir las elecciones e influir.

Esos daños ya no serán parte de las pruebas de seguridad en la parte delantera. Tales mal uso, afirma la compañía, ahora se abordarán a través de la investigación de detección de OpenAI en campañas de influencia y controles más estrictos en la licencia modelo.

La medida llevó a los críticos, incluidos los ex empleados, a cuestionar si la compañía estaba retirando sus compromisos previos de seguridad y seguridad.

“La gente puede estar totalmente en desacuerdo sobre si se necesita probar modelos finetizados … y mejor para que OpenAi elimine un compromiso que mantenerlo [and] Simplemente no siga … pero en cualquier caso, me gustaría que Operai fuera más claro acerca de haber retrocedido este compromiso anterior “, escribió Steven Adler, un ex investigador de OpenAi que trabajó en temas de seguridad, en X.

Miranda Bogen, directora del Laboratorio de Gobierno de la IA en el Centro de Democracia y Tecnología, expresó críticas a OpenAI a principios de este mes después de informar que la compañía estaba reduciendo el tiempo que pasa probando nuevos modelos por seguridad.

“A medida que las compañías de IA corren para publicar sistemas cada vez más avanzados, también parecen estar reduciendo más y más esquinas en la seguridad, lo que no se suma. La IA seguramente transformará la vida de las personas, pero si los desarrolladores siguen priorizando la velocidad sobre la seguridad, es más probable que estos cambios sean para peor, no mejor”.

Hace solo un año, Operai y otras compañías de IA se reunieron en Washington DC y Munich, Alemania, para firmar acuerdos voluntarios que indican sus compromisos con la seguridad del modelo de IA y evitan que sus herramientas sean abusadas de manipular a los votantes en las elecciones. Ambos temas fueron prioridades importantes para el entonces presidente Joe Biden y los demócratas en el Congreso.

Hoy, esas mismas compañías se enfrentan a un entorno regulatorio muy diferente. El presidente Donald Trump y el vicepresidente JD Vance han rescindido la mayoría de las órdenes ejecutivas de la IA de la era Biden y han trazado un nuevo camino para la política de IA que no incluye consideraciones de seguridad.

Los republicanos, en control de ambas cámaras del Congreso, prácticamente no han expresado apetito por regulaciones sustanciales sobre la industria naciente, temerosa de poder inhibir el crecimiento y reducir la velocidad de las entidades estadounidenses mientras intentan competir con China por la dominancia de la IA.

Greg Otto

Escrito por Greg Otto

Greg Otto es editor en jefe de Cyberscoop, supervisando todo el contenido editorial para el sitio web. Greg ha liderado la cobertura de ciberseguridad que ha ganado varios premios, incluidos los elogios de la Sociedad de Periodistas Profesionales y los editores de la Sociedad Americana de Publicaciones de Negocios. Antes de unirse a Scoop News Group, Greg trabajó para el Washington Business Journal, US News & World Report y WTOP Radio. Tiene un título en periodismo de transmisión de la Universidad de Temple.

Continue Reading

Noticias

Los dos abiertos – el Atlántico

Published

on

Realmente hay dos abiertos. Uno es el creador de máquinas que doblan el mundo, la nueva empresa que desató el chatgpt y, a su vez, el auge generativo-AI, surgiendo hacia un futuro irreconocible con el resto de la industria tecnológica a cuestas. Este es el OpenAI que promete eventualmente provocar programas “superintelligentes” que excedan las capacidades de la humanidad.

El otro Openai es simplemente un negocio. Esta es la compañía que, según los informes, está trabajando en una red social y considerando una expansión en el hardware; Es la compañía la que ofrece actualizaciones de experiencia de usuario a CHATGPT, como una función de “biblioteca de imágenes” anunciada la semana pasada y la nueva capacidad de “referencia” a los chats anteriores para proporcionar respuestas personalizadas. Se podría pensar en esta OpenAI como otra compañía de tecnología que sigue los pasos de Meta, Apple y Google, no solo para inspirar a los usuarios con nuevos descubrimientos, sino de mantenerlos bloqueados en una línea de productos infinitamente iteradores.

Las compañías tecnológicas más poderosas tienen éxito no simplemente por las virtudes de su software y dispositivos individuales, sino mediante la creación de ecosistemas de servicios conectados. Tener un iPhone y un MacBook hace que sea muy conveniente usar el almacenamiento de iCloud e iMessage y Apple Pay, y muy molesto si un miembro de la familia tiene un teléfono inteligente Samsung o si alguna vez decide cambiar a una PC con Windows. Google Search, Drive, Chrome y Android Devices forman un jardín amurallado similar, tanto que los abogados federales han pedido a un tribunal que obligue a la compañía a vender Chrome como remedio a una violación antimonopolio. Pero en comparación con las computadoras o incluso los navegadores web, los chatbots son muy fáciles de cambiar, solo abre una nueva pestaña y escriba una URL diferente. Eso hace que el desafío sea algo mayor para las nuevas empresas de IA. Google y Apple ya tienen ecosistemas de productos para deslizar la IA; Operai no lo hace.

El CEO de Openai, Sam Altman, afirmó recientemente que los productos de su compañía tienen unos 800 millones de usuarios semanales, aproximadamente una décima parte de la población mundial. Pero incluso si OpenAi solo tuviera la mitad de ese número de usuarios, sería muchas personas que se arriesgarían a perder ante Anthrope, Google y el torrente interminable de las nuevas empresas de IA. Como han demostrado otras compañías tecnológicas, la recopilación de datos de los usuarios (imágenes, conversaciones, compras, amistades) y construir productos en torno a esa información es una buena manera de mantenerlos bloqueados. Incluso si un chatbot competidor es “más inteligente”, la capacidad de aprovechar las conversaciones anteriores podría hacer que la separación sea mucho más difícil. Esto también ayuda a explicar por qué Operai está dando a los estudiantes universitarios dos meses de acceso gratuito a un nivel premium de ChatGPT, sembrando el terreno para la lealtad a largo plazo. (Esto sigue un patrón familiar para las empresas tecnológicas: Hulu solía ser gratuito, Gmail solía aumentar regularmente su almacenamiento gratuito, y hace Eons, YouTube no tenía anuncios). En particular, OpenAi recientemente ha contratado ejecutivos de Meta, Twitter, Uber y Nextdoor para avanzar en sus operaciones comerciales.

Las dos identidades de Openai, el laboratorio de IA de ruptura del suelo y la empresa tecnológica arquetípica, no necesariamente conflictos. La compañía ha dicho que la comercialización beneficia al desarrollo de IA, y que ofrecer modelos de IA como productos de consumo es una forma importante de acostumbrar a las personas a la tecnología, probar sus limitaciones en el mundo real y fomentar la deliberación sobre cómo debería y no debe usarse. Presentar IA en una forma intuitiva y conversacional, en lugar de promover un salto importante en la “inteligencia” o capacidades de un algoritmo, es precisamente lo que hizo que Chatgpt fuera un éxito. Si la idea es hacer una IA que “beneficie a toda la humanidad”, como Operai profesa en su carta, entonces compartir estos supuestos beneficios ahora tiene sentido y crea un incentivo económico para capacitar a modelos de IA mejores y más confiables. El aumento de los ingresos, a su vez, puede sostener el desarrollo de esos modelos futuros y mejorados.

Por otra parte, Operai ha pasado gradualmente de una organización sin fines de lucro a una estructura corporativa más y más orientada a las ganancias: usar la tecnología Generation-AI para descubrir mágicamente nuevos medicamentos es una buena idea, pero eventualmente la compañía necesitará comenzar a ganar dinero con los usuarios cotidianos para mantener las luces encendidas. (Openai perdió más de $ 1 mil millones el año pasado). Un portavoz de OpenAi, que tiene una asociación corporativa con El atlánticoescribió por correo electrónico que “la competencia es buena para los usuarios y la innovación de los Estados Unidos. Cualquiera puede usar ChatGPT de cualquier navegador” y que “los desarrolladores siguen siendo libres de cambiar a modelos competidores cuando lo deseen”.

Anthrope y Meta han adoptado enfoques alternativos para llevar sus modelos a los usuarios de Internet. El primero ofreció recientemente la capacidad de integrar su chatbot Claude en Gmail, Google Docs y Google Calendar, dando un punto de apoyo en un ecosistema tecnológico existente en lugar de construir de nuevo. (Operai parecía estar probando esta estrategia el año pasado al asociarse con Apple para incorporar ChatGPT directamente a la inteligencia de Apple, pero esto requiere un poco de configuración en la parte del usuario, y los esfuerzos de IA de Apple han sido percibidos ampliamente como decepcionantes. Altman ha dicho que Operai publicará un modelo igualmente abierto a finales de este año; Aparentemente, la puesta en marcha quiere pared de su jardín y hacer de sus modelos de IA la base para todos los demás también.

A partir de esta ventaja, la IA generativa parece menos revolucionaria y más como todos los sitios web anteriores, plataformas y dispositivos que luchan para llamar su atención y nunca dejarla ir. Las montañas de datos recopiladas a través de las interacciones de chatbot pueden alimentar servicios y anuncios más personalizados y dirigidos con precisión. La dependencia de los teléfonos inteligentes y los relojes inteligentes podría generar dependencia de la IA y viceversa. Y hay otro ADN compartido. Las plataformas de redes sociales se basaron en trabajos de modificación de contenido mal compensado para detectar publicaciones dañinas y abusivas, exponiendo a los trabajadores a medios horribles para que los productos sean sabrosos para la audiencia más amplia posible. Operai y otras compañías de IA se han basado en el mismo tipo de trabajo para desarrollar sus conjuntos de datos de capacitación. Debería OpenAI realmente lanzar un sitio web de redes sociales o un dispositivo de hardware, este linaje se volverá explícito. Que hay dos abiertos ahora está claro. Pero sigue siendo incierto cuál es el alter ego.

Continue Reading

Noticias

Exclusivo: AI Bests Virus Experts, Raising Biohazard Fears

Published

on

A Un nuevo estudio afirma que modelos de IA como ChatGPT y Claude ahora superan a los virólogos a nivel de doctorado en la resolución de problemas en laboratorios húmedos, donde los científicos analizan productos químicos y material biológico. Este descubrimiento es una espada de doble filo, dicen los expertos. Los modelos de IA ultra inteligentes podrían ayudar a los investigadores a prevenir la propagación de enfermedades infecciosas. Pero los no expertos también podrían armarse los modelos para crear biowapons mortales.

El estudio, compartido exclusivamente con el tiempo, fue realizado por investigadores del Centro para la Seguridad de AI, el Laboratorio de Medios del MIT, la Universidad Brasileña UFABC y la Pandemic Prevention sin fines de lucro SecureBio. Los autores consultaron a los virólogos para crear una prueba práctica extremadamente difícil que midiera la capacidad de solucionar problemas y protocolos de laboratorio complejos. Mientras que los virólogos a nivel de doctorado obtuvieron un promedio de 22.1% en sus áreas declaradas de especialización, el O3 de OpenAI alcanzó la precisión del 43.8%. Gemini 2.5 Pro de Google obtuvo un puntaje 37.6%.

Seth Donoughe, científica investigadora de SecureBio y coautora del documento, dice que los resultados lo ponen un “poco nervioso”, porque por primera vez en la historia, prácticamente cualquier persona tiene acceso a un experto en virología de IA sin juicio que podría guiarlos a través de procesos de laboratorio complejos para crear biológicas.

“A lo largo de la historia, hay un buen número de casos en los que alguien intentó hacer una biela, y una de las principales razones por las que no tuvieron éxito es porque no tuvieron acceso al nivel correcto de especialización”, dice. “Por lo tanto, parece que vale la pena ser cauteloso acerca de cómo se distribuyen estas capacidades”.

Hace meses, los autores del documento enviaron los resultados a los principales laboratorios de IA. En respuesta, Xai publicó un marco de gestión de riesgos prometiendo su intención de implementar salvaguardas de virología para futuras versiones de su modelo de AI Grok. Operai le dijo a Time que “desplegó nuevas mitigaciones a nivel de sistema para riesgos biológicos” para sus nuevos modelos publicados la semana pasada. Anthrope incluyó resultados de rendimiento del modelo en el documento en las tarjetas del sistema recientes, pero no proponió medidas de mitigación específicas. Géminis de Google declinó hacer comentarios.

Ai en biomedicina

La virología y la biomedicina han estado a la vanguardia de las motivaciones de los líderes de IA para construir modelos de IA siempre potentes. “A medida que avanza esta tecnología, veremos que las enfermedades se curan a un ritmo sin precedentes”, dijo el CEO de OpenAI, Sam Altman, en la Casa Blanca en enero mientras anunciaba el proyecto Stargate. Ha habido algunas señales de aliento en esta área. A principios de este año, los investigadores del Instituto de Patógenos Emergentes de la Universidad de Florida publicaron un algoritmo capaz de predecir qué variante de coronavirus podría extender lo más rápido.

Pero hasta este punto, no había habido un estudio importante dedicado a analizar la capacidad de los modelos de IA para realizar un trabajo de laboratorio de virología. “Hemos sabido desde hace algún tiempo que los AIS son bastante fuertes para proporcionar información de estilo académico”, dice Donoughe. “No ha estado claro si los modelos también pueden ofrecer asistencia práctica detallada. Esto incluye interpretar imágenes, información que podría no ser escrita en ningún documento académico o material que se transfiera socialmente de colegas más experimentados”.

Entonces, Donoughe y sus colegas crearon una prueba específicamente para estas preguntas difíciles y no capaces de Google. “Las preguntas toman la forma:” He estado cultivando este virus en particular en este tipo de célula, en estas condiciones específicas, durante este tiempo. Tengo esta cantidad de información sobre lo que ha salido mal. ¿Puede decirme cuál es el problema más probable? “, Dice Donoughe.

Y prácticamente todos los modelos de IA superaron a los virólogos a nivel de doctorado en la prueba, incluso dentro de sus propias áreas de especialización. Los investigadores también encontraron que los modelos mostraron una mejora significativa con el tiempo. El soneto Claude 3.5 de Anthrope, por ejemplo, aumentó de 26.9% a 33.6% de precisión de su modelo de junio de 2024 a su modelo de octubre de 2024. Y una vista previa del GPT 4.5 de OpenAI en febrero superó a GPT-4O por casi 10 puntos porcentuales.

“Anteriormente, encontramos que los modelos tenían mucho conocimiento teórico, pero no de conocimiento práctico”, dice Dan Hendrycks, director del Centro de Seguridad de AI, a Time. “Pero ahora, están obteniendo una cantidad preocupante de conocimiento práctico”.

Riesgos y recompensas

Si los modelos de IA son tan capaces en los entornos de laboratorio húmedo como lo encuentra el estudio, entonces las implicaciones son masivas. En términos de beneficios, AIS podría ayudar a los virólogos experimentados en su trabajo crítico que lucha contra los virus. Tom Inglesby, director del Centro Johns Hopkins para la Seguridad de la Salud, dice que la IA podría ayudar a acelerar los plazos de la medicina y el desarrollo de la vacuna y mejorar los ensayos clínicos y la detección de enfermedades. “Estos modelos podrían ayudar a los científicos en diferentes partes del mundo, que aún no tienen ese tipo de habilidad o capacidad, a hacer un valioso trabajo diario sobre enfermedades que están ocurriendo en sus países”, dice. Por ejemplo, un grupo de investigadores descubrió que la IA los ayudó a comprender mejor los virus de la fiebre hemorrágica en el África subsahariana.

Pero los actores de mala fe ahora pueden usar modelos de IA para guiarlos a través de cómo crear virus, y podrán hacerlo sin ninguna de las capacitación típicas requeridas para acceder a un laboratorio de nivel 4 (BSL-4) de bioseguridad, que se ocupa de los agentes infecciosos más peligrosos y exóticos. “Significará que muchas más personas en el mundo con mucha menos capacitación podrán manejar y manipular virus”, dice Inglesby.

Hendrycks insta a las compañías de IA a colocar las barandillas para evitar este tipo de uso. “Si las empresas no tienen buenas salvaguardas durante seis meses, eso, en mi opinión, sería imprudente”, dice.

Hendrycks dice que una solución no es cerrar estos modelos o ralentizar su progreso, sino hacerlos cerrados, de modo que solo confiaban en que terceros tengan acceso a sus versiones sin filtrar. “Queremos dar a las personas que tienen un uso legítimo para preguntar cómo manipular virus mortales, como un investigador en el departamento de biología del MIT, la capacidad de hacerlo”, dice. “Pero las personas aleatorias que hicieron una cuenta hace un segundo no obtienen esas capacidades”.

Y AI Labs debería poder implementar este tipo de salvaguardas con relativa facilidad, dice Hendrycks. “Ciertamente es tecnológicamente factible para la autorregulación de la industria”, dice. “Hay una cuestión de si algunos arrastrarán sus pies o simplemente no lo harán”.

Xai, el laboratorio de IA de ELON MUSK, publicó un memorando de marco de gestión de riesgos en febrero, que reconoció el documento y señaló que la compañía “potencialmente utilizaría” ciertas salvaguardas en torno a las preguntas de virología, incluida la capacitación de Grok para rechazar solicitudes nocivas y aplicar filtros de entrada y salida.

Openai, en un correo electrónico a Time el lunes, escribió que sus modelos más nuevos, el O3 y el O4-Mini, se desplegaron con una variedad de salvaguardas relacionadas con el riesgo biológico, incluido el bloqueo de resultados dañinos. La compañía escribió que realizó una campaña de equipo rojo de mil horas en la que el 98.7% de las conversaciones biológicas inseguras fueron marcadas y bloqueadas con éxito. “Valoramos la colaboración de la industria en el avance de salvaguardas para modelos fronterizos, incluso en dominios sensibles como Virology”, escribió un portavoz. “Continuamos invirtiendo en estas salvaguardas a medida que crecen las capacidades”.

Inglesby argumenta que la autorregulación de la industria no es suficiente, y pide a los legisladores y a los líderes políticos a estrategia un enfoque político para regular los riesgos biológicos de la IA. “La situación actual es que las empresas que son más virtuosas están tomando tiempo y dinero para hacer este trabajo, lo cual es bueno para todos nosotros, pero otras compañías no tienen que hacerlo”, dice. “Eso no tiene sentido. No es bueno para el público no tener información sobre lo que está sucediendo”.

“Cuando una nueva versión de un LLM está a punto de ser lanzada”, agrega Inglesby, “debe haber un requisito para que ese modelo sea evaluado para asegurarse de que no produzca resultados de nivel pandémico”.

Continue Reading

Trending