Noticias
OpenAI financia la investigación sobre la ‘moralidad de la IA’
En una presentación ante el IRS, OpenAI Inc., la organización sin fines de lucro de OpenAI, reveló que otorgó una subvención a investigadores de la Universidad de Duke para un proyecto titulado “Investigación de la moralidad de la IA”. Al ser contactado para hacer comentarios, un portavoz de OpenAI señaló un comunicado de prensa que indica que el premio es parte de una subvención mayor de tres años y un millón de dólares para profesores de Duke que estudian “crear IA moral”.
Poco se sabe públicamente sobre esta investigación sobre “moralidad” que OpenAI financia, aparte del hecho de que la subvención finaliza en 2025. El investigador principal del estudio, Walter Sinnott-Armstrong, profesor de ética práctica en Duke, le dijo a TechCrunch por correo electrónico que “no lo hará”. poder hablar” sobre el trabajo.
Sinnott-Armstrong y la coinvestigadora del proyecto, Jana Borg, han elaborado varios estudios (y un libro) sobre el potencial de la IA para servir como un “GPS moral” para ayudar a los humanos a tomar mejores decisiones. Como parte de equipos más grandes, crearon un algoritmo “alineado moralmente” para ayudar a decidir quién recibe donaciones de riñón y estudiaron en qué escenarios la gente preferiría que la IA tomara decisiones morales.
Según el comunicado de prensa, el objetivo del trabajo financiado por OpenAI es entrenar algoritmos para “predecir juicios morales humanos” en escenarios que involucran conflictos “entre características moralmente relevantes en la medicina, el derecho y los negocios”.
Lea más sobre la investigación de moralidad de la IA de OpenAI en TechCrunch
El director ejecutivo de NVIDIA, Jensen Huang, regresó a su alma mater e interactuó con los estudiantes de la Universidad de Ciencia y Tecnología de Hong Kong. Habló sobre todo, desde la importancia de la IA, cómo evolucionó la IA, el precio de las acciones de NVIDIA e incluso cómo cortejó a su esposa diciéndole que será CEO cuando tenga 30 años. Mira a Jensen Huang desconectado, como nunca antes.
En el vertiginoso mundo de la inteligencia artificial, los datos que impulsan la innovación son cada vez más escasos. Pero muchas empresas cuentan con montañas de datos no estructurados que podrían utilizarse si se procesan adecuadamente.
Ingresa Veritone, Inc., con la intención de abordar este desafío con la introducción de Veritone Data Refinery. Esta nueva herramienta está diseñada para transformar vastos conjuntos de datos no estructurados en activos pulidos y listos para la IA, un paso crítico a medida que las industrias amplían los límites del aprendizaje automático.
“Muchas organizaciones están tratando de pensar en su ‘estrategia GenAI’, pero una pregunta mucho más importante y fundamental es cómo procesar grandes cantidades de datos no estructurados y transformarlos en algo procesable e interpretable”, dijo el Dr. Christos Makridis, asociado profesor de la Universidad Estatal de Arizona y fundador de Dainamic. “Las plataformas y servicios que permitan a las organizaciones darle sentido a sus datos no estructurados (y la mayoría de las organizaciones tienen muchos más de lo que creen) serán fundamentales para cosechar los beneficios de la revolución de los datos en la que nos encontramos”.
El crecimiento explosivo del sector de la IA ha generado un apetito voraz por datos de entrenamiento de alta calidad. Pero según los análisis de la industria, se vislumbra en el horizonte una escasez significativa de datos no estructurados accesibles, y se espera una crisis ya en 2026.
Más información sobre Veritone abordando la sequía de datos de la IA en Forbes
Únase al maestro inventor Martin Keen mientras explora el concepto de superinteligencia artificial (ASI), un hipotético sistema de inteligencia artificial basado en software que es más avanzado que cualquier ser humano. En este video, Martin analiza los beneficios de ASI, incluida la toma de decisiones, la resolución de problemas, la reducción de errores y la creatividad, así como los riesgos potenciales, incluidos el riesgo existencial, la automatización, la ética y los objetivos.
Nos hemos asociado con Logictry AI para evangelizar sus productos y servicios. Consulte este estudio de caso con National Instruments y conozca cómo utilizaron la plataforma para capacitar a su equipo de ventas interno, así como a sus distribuidores y socios.
Para obtener más información sobre la plataforma Logictry y los casos de uso, envíeme un mensaje.
A medida que mejoran su autocorrección y su razonamiento, los últimos LLM encuentran nuevas capacidades a un ritmo que hace que sea más difícil medir todo lo que pueden hacer.
Los grandes modelos de lenguaje y otras formas de inteligencia artificial generativa están mejorando constantemente en términos de “autocorrección”, abriendo posibilidades para nuevos tipos de trabajo que pueden realizar, incluida la “IA agente”, según el vicepresidente de Anthropic, un proveedor líder. de modelos de IA.
“Se está volviendo muy bueno en autocorrección y autorazonamiento”, dijo Michael Gerstenhaber, jefe de tecnologías API en Anthropic, que fabrica la familia Claude de LLM que compiten con GPT de OpenAI.
“Cada dos meses presentamos un nuevo modelo que ha ampliado lo que pueden hacer los LLM”, dijo Gerstenhaber durante una entrevista el miércoles en Nueva York con Anurag Rana de Bloomberg Intelligence. “Lo más interesante de esta industria es que con cada revisión de modelo se desbloquean nuevos casos de uso”.
Los modelos más recientes incluyen la planificación de tareas, como por ejemplo cómo realizar tareas en una computadora como lo haría una persona; por ejemplo, pedir pizza en línea. “Planificar pasos intersticiales es algo que ayer no era posible y hoy es posible”, dijo Gerstenhaber sobre la realización de esta tarea paso a paso.
Lea más sobre la autocorrección y el autorazonamiento de la IA
Amjad Masad es cofundador y director ejecutivo de Replit, un entorno de codificación basado en navegador que permite a cualquiera escribir e implementar código. Replit tiene 34 millones de usuarios en todo el mundo y es una de las comunidades de desarrolladores de más rápido crecimiento en el mundo.
Antes de Replit, Amjad trabajó en Facebook, donde dirigió el equipo de infraestructura de JavaScript y contribuyó a populares herramientas de desarrollo de código abierto. Además, desempeñó un papel clave como ingeniero fundador en la escuela de codificación en línea Codecademy.
En la columna de hoy, exploro el ámbito apasionante y en rápido avance de una IA generativa más rápida y delgada que se está ideando a través de los últimos avances en los llamados modelos de lenguaje grande (LLM) de 1 bit. No te preocupes si no sabes cuáles son. Le explicaré paso a paso de qué se tratan estos LLM emergentes de 1 bit.
El aspecto principal es que al diseñar una IA generativa basada en esta forma relativamente nueva de capacidades tecnológicas, se puede crear astutamente una IA que funcione bien en situaciones de bajos recursos.
¿Qué es una situación de bajos recursos? Imagine querer ejecutar una aplicación de IA generativa a gran escala completamente en su teléfono inteligente, sin tener que conectarse a ninguna conexión en línea o a Internet. Imagine un dispositivo de borde especializado que se ejecute de forma independiente en una fábrica, completamente cargado con una aplicación de IA generativa de tamaño completo diseñada para realizar el trabajo de fábrica. Etcétera. Momentos emocionantes, sin duda. Hablemos de ello.
Más información sobre LLM de 1 bit para aplicaciones de IA más rápidas y delgadas
En esta conversación, la socia de a16z, Seema Amble, y la presentadora del podcast de a16z, Steph Smith, analizan el papel cambiante del marketing en una industria de 500 mil millones de dólares. En particular, destacan cómo las herramientas de IA generativa están remodelando todo, desde la creación de contenido hasta la información basada en datos.
💡 Conclusiones clave:
-
Cambio de roles: los profesionales del marketing están pasando de ser creadores prácticos a revisores estratégicos, potenciados por la automatización impulsada por la IA.
-
Herramientas innovadoras: la IA permite la hiperpersonalización, la investigación en tiempo real y la perfecta integración de ventas y marketing.
-
Desafíos futuros: la confianza, la calidad del contenido y la coherencia de la marca siguen siendo preocupaciones críticas para la adopción de la IA.
-
Oportunidades: la IA puede cerrar brechas para las PYMES, orquestar ecosistemas de marketing y desbloquear nuevas eficiencias.
✅ Pasos para especialistas en marketing: experimente con herramientas impulsadas por inteligencia artificial para optimizar los flujos de trabajo. Concéntrese en la toma de decisiones estratégicas aprovechando la IA para automatizar tareas rutinarias. Manténgase actualizado sobre los últimos avances en tecnología de inteligencia artificial para mantener una ventaja competitiva. 🔍
Discusión 📈Con herramientas de inteligencia artificial como Jasper y ChatGPT, el marketing ya no se trata solo de creación, sino de orquestación. Los equipos de marketing pueden gestionar campañas, impulsar la participación del cliente o escalar soluciones para PYMES, y la IA está reescribiendo el manual.
Eso es todo por hoy; sin embargo, mientras lees esto, se están produciendo nuevos avances, inversiones y asociaciones. La IA avanza rápido, suscríbete hoy para mantenerte informado.
Noticias
Explicador de Mint: El caso OpenAI y lo que está en juego para la IA y los derechos de autor en la India
ANI contra OpenAI: ¿Cuál es el caso?
El 19 de noviembre, ANI presentó una demanda por infracción de derechos de autor contra OpenAI, acusando a la empresa de utilizar su material protegido por derechos de autor para entrenar sus modelos de lenguaje. La demanda, presentada ante el Tribunal Superior de Delhi, busca indemnización por daños y perjuicios $2 millones de rupias y una orden judicial para evitar que OpenAI almacene, publique, reproduzca o utilice las obras protegidas por derechos de autor de ANI.
La declaración de la ANI describió tres causas principales de acción contra OpenAI.
- Alegó que OpenAI utilizó el contenido protegido por derechos de autor disponible públicamente de ANI para entrenar sus grandes modelos de lenguaje (LLM) sin obtener autorización.
- ANI citó casos en los que ChatGPT generó respuestas textuales o sustancialmente similares a su material protegido por derechos de autor.
- La ANI expresó su preocupación por las respuestas “alucinadas”, en las que ChatGPT atribuyó falsamente entrevistas o noticias inventadas a la agencia. La ANI argumentó que este uso indebido de su contenido no solo infringía sus derechos de autor sino que también planteaba importantes preocupaciones de interés público, particularmente en el contexto de falsas políticas. noticias que podrían tener consecuencias de gran alcance.
¿Cómo ha respondido Open AI?
OpenAI ha negado haber actuado mal y afirma que las leyes de derechos de autor protegen la expresión de ideas, no los hechos o las ideas en sí. La compañía destacó que ANI no ha citado casos específicos de que ChatGPT reproduzca su material protegido por derechos de autor.
OpenAI informó al Tribunal Superior de Delhi que había incluido en la lista bloqueada el dominio de ANI a partir de octubre de 2024, asegurando que el material de ANI ya no se utilizara para entrenar sus modelos.
La empresa también enfatizó que sus servidores están ubicados fuera de la India, argumentando que esto hace que la demanda sea jurisdiccionalmente irrelevante. OpenAI también señaló que ninguna de las demandas que ha enfrentado a nivel mundial, incluidos Estados Unidos, Canadá y Alemania, ha dado lugar a medidas cautelares o conclusiones de infracción de derechos de autor.
Un portavoz de OpenAI, en un comunicado, dijo: “… construimos nuestros modelos de IA utilizando datos disponibles públicamente, de una manera protegida por el uso legítimo y principios relacionados, y respaldados por precedentes legales de larga data y ampliamente aceptados”.
¿Qué ha dicho el tribunal hasta ahora?
Un tribunal único del Tribunal Superior de Delhi, encabezado por el juez Amit Bansal, emitió notificaciones y citaciones a OpenAI, pero se negó a conceder una orden judicial provisional a favor de ANI.
El tribunal reconoció la complejidad del caso como el primero de su tipo en la India y subrayó la necesidad de deliberaciones detalladas. El tribunal ha designado un amicus curiae (un experto en la materia para ayudar al tribunal) y ha programado la próxima audiencia para el 28 de enero de 2025.
¿Qué significa este caso para la regulación de la IA en la India?
Los expertos creen que el resultado de este caso podría establecer un marco legal para regular el contenido de IA en la India, particularmente en lo que respecta a las violaciones de derechos de autor. Si el tribunal falla en contra de OpenAI, podría sentar un precedente para reglas más estrictas sobre el uso de contenido protegido por derechos de autor para entrenar modelos de IA.
“La demanda de la ANI contra OpenAI marca un momento crucial para la jurisprudencia sobre IA generativa en la India. El caso subraya la creciente tensión entre la innovación en IA y la protección de la propiedad intelectual”, dijo Amit Panigrahi, socio de Luthra & Luthra Law Offices en India.
El abogado Ayush Jindal, fundador de BeLegal, añadió que el caso debería establecer directrices para el uso ético de contenidos protegidos por derechos de autor para entrenar modelos de IA. “También podría determinar si la ley de derechos de autor de la India considera los productos generados por IA como trabajos derivados”, dijo.
Lea también | ANI vs OpenAI: por qué es poco probable que las ‘alucinaciones’ desaparezcan pronto
Incluso una sentencia provisional del Tribunal Superior de Delhi influirá significativamente en el despliegue de la IA en la India, añadió Ameet Datta, socio del bufete de abogados Saikrishna & Associates. “Este caso solicita a un tribunal indio que decida si el scraping y el uso no autorizados de contenido protegido por derechos de autor para la capacitación en IA constituye una infracción de los derechos de autor y si los resultados de la IA basados en dichos datos también infringen los derechos de autor”.
Latha R. Nair, socia de K&S Partners, explicó que la ley de derechos de autor de la India carece de excepciones para la minería de textos y datos, que es esencial para el aprendizaje automático, y este caso podría impulsar cambios en la ley.
¿Qué cuestiones clave relacionadas con la IA y los derechos de autor puede abordar este caso?
Como primer caso de este tipo en la India, se espera que el fallo aborde varias cuestiones críticas en torno a los derechos de autor y la IA:
- Si la extracción y el uso de contenido protegido por derechos de autor sin autorización para entrenar modelos de IA constituye una infracción de los derechos de autor.
- Si dicho uso puede considerarse “trato justo” según la Ley de derechos de autor de la India, que permite excepciones para fines como investigación, crítica o presentación de informes. Esto pondrá a prueba los límites de lo que está permitido dentro del marco de derechos de autor existente.
- Si el concepto de “uso transformador”, un principio reconocido en la ley de derechos de autor de EE. UU., puede aplicarse en la jurisprudencia india. El uso transformador generalmente permite una defensa cuando la obra original se altera o reutiliza significativamente, lo que plantea preguntas importantes sobre su relevancia para la feria india. utilizar defensas.
Swati Sharma, socio y director de propiedad intelectual de Cyril Amarchand Mangaldas, explicó: “El caso probablemente abordará si descargar y copiar contenido protegido por derechos de autor para la capacitación en IA constituye una infracción, si los modelos de IA o sus resultados pueden considerarse trabajos derivados, y si el uso legítimo puede servir como defensa en tales reclamaciones.”
Ronil Goger, socio director de Blaze Legal, añadió que la legislación y los fallos judiciales deben aclarar los estándares de originalidad para las obras generadas por IA, y añadió que el Reino Unido, Estados Unidos y Canadá priorizan el esfuerzo sobre la novedad, reconociendo el papel colaborativo de la creatividad humana en la producción. Contenido impulsado por IA.
¿Cómo puede este caso empoderar a los editores?
Por un lado, el caso de ANI contra OpenAI “es probable que abra las compuertas para que más editores presenten demandas por violaciones de derechos de autor”, dijo Sharma de Cyril Amarchand Mangaldas. “Muchos también podrían considerar intervenir en los procedimientos actuales”.
Panigrahi de Luthra & Luthra añadió que el resultado del caso podría aumentar el escrutinio regulatorio, sobrecargar a las empresas de inteligencia artificial y fomentar acuerdos de licencia con creadores de contenido.
¿Qué ha funcionado para OpenAI en demandas a nivel mundial?
OpenAI señala que ha sido demandada por infracción de derechos de autor en 13 países, pero ninguno de esos casos ha dado lugar a medidas cautelares.
Por ejemplo, el Tribunal de Distrito de EE. UU. para el Distrito Sur de Nueva York desestimó recientemente los reclamos de la Ley de Copyright del Milenio Digital de Raw Story Media Inc. contra OpenAI. Raw Story había alegado que su periodismo protegido por derechos de autor fue eliminado y utilizado para entrenar ChatGPT, lo que generó un posible plagio en las respuestas.
El tribunal dictaminó que Raw Story no demostró un riesgo sustancial de que ChatGPT produjera copias textuales de su trabajo. El tribunal señaló que ChatGPT sintetiza grandes cantidades de información, lo que hace remota la probabilidad de plagio específico, y desestimó las demandas de infracción de derechos de autor.
Lea también | ¿Qué pasa si el motor de búsqueda de inteligencia artificial de ChatGPT hace clic en los usuarios?
La principal defensa de OpenAI en el caso ANI es jurisdiccional, argumentando que sus operaciones no tienen lugar en India. También es probable que la empresa se base en argumentos de “uso justo” y “uso transformador”, sosteniendo que los resultados de la IA no son reproducciones exactas de las obras originales y, a menudo, añaden nuevos significados o expresiones.
Sohini Mandal, fundadora de Nilaya Legal, explicó: “El uso justo y el uso transformador son fundamentales para la defensa de OpenAI a nivel mundial. Los tribunales pueden concluir que el uso es justo si es suficientemente transformador y no sustituye a la obra original”.
¿Qué pasa con el caso del New York Times contra OpenAI?
El caso más destacado que desafía los modelos lingüísticos de OpenAI es la demanda presentada por el New York Times en Estados Unidos. El Times acusó a OpenAI de utilizar sus artículos protegidos por derechos de autor sin autorización para entrenar sus modelos, alegando apropiación indebida de su contenido con fines de lucro.
Aún está pendiente de sentencia en este caso. Pero la demanda del NYT contra OpenAI y otros casos similares a nivel mundial podrían moldear el futuro de la regulación de la IA y la ley de derechos de autor, sentando un precedente global sobre cómo se entrenan los modelos de IA y cómo se protege la propiedad intelectual en la era digital.
Noticias
¿No sabes qué regalarles a tus seres queridos para Navidad? Pregúntale a ChatGPT | ChatGPT
A algunas personas les encanta comprar regalos de Navidad. Polly Arrowsmith comienza a tomar nota de lo que les gusta a sus amigos y familiares y luego busca gangas, lenta y cuidadosamente. Vie Portland comienza sus compras en enero y tiene un tema cada año, desde espejos de corazones hasta libros inspiradores. Y Betsy Benn pasó tanto tiempo pensando en regalos que terminó abriendo su propio negocio de regalos en línea.
¿Cómo reaccionarían estos expertos en obsequios ante una tendencia que es una idea que ahorra tiempo o una terrible corrupción del espíritu navideño: pedirle a ChatGPT que lo haga por ellos?
La respuesta, como el día de Navidad, tendrá que esperar. Pero, ¿realmente la gente le pide a ChatGPT que escriba sus listas navideñas? Eso parece. Hay docenas de mensajes personalizados en la herramienta de Open AI para que las personas generen listas de regalos de Navidad y una avalancha de publicaciones en Reddit de personas que buscan inspiración a través de una conversación con un chatbot.
¿Hay mucha gente haciendo esto? El bot de ChatGPT no lo sabía, o si lo sabía, no le estaba diciendo al Observador. El portavoz de Open AI tampoco lo sabía, pero dijo que la gente también había estado haciendo cuestionarios navideños, diseñando tarjetas y elaborando “respuestas creativas” a las cartas de sus hijos a Santa. (Otros chatbots de IA, Gemini y Perplexity AI de Google, eran igualmente ignorantes).
Aunque hasta ahora sólo lo están haciendo un puñado de personas, las empresas de IA esperan que pronto comiencen más. La semana pasada, Perplexity lanzó “Buy with Pro” en EE. UU., un asistente de compras con inteligencia artificial que permitirá a los usuarios buscar productos y luego comprarlos en el sitio web de Perplexity, por 20 dólares al mes.
Esta medida, días antes del pico del frenesí minorista del Viernes Negro, es un ataque directo al dominio absoluto de la publicidad en línea de Google, según Jai Khan, director de Push, una agencia de marketing digital.
“Algunas personas comienzan sus viajes de compras en Amazon y algunos jóvenes usan TikTok, pero Google ha sido el actor dominante”, dijo. “Lo más importante para nosotros es lo que sucederá con los anuncios de Google si la gente comienza a acudir a ChatGPT en busca de respuestas”.
Hay un montón de guías de regalos navideños en línea que predicen qué productos serán objeto de la histeria anual por los juguetes (esté atento a las renovaciones de los Furbies y las peonzas de Beyblade, una mamá pato contoneándose con patitos y un lanzador de pedos), mientras que las de Lego Malvado La gama está volando de los estantes.
La búsqueda en línea es una pequeña parte de la compra de regalos para Portland, un entrenador de confianza de 53 años de Winchester. “Tiendo a comprar regalos durante todo el año; es muy frustrante cuando encuentras el regalo perfecto en febrero y ya no se produce en diciembre”, dijo. “También ayuda con el presupuesto”.
Benn odia la idea de regalar regalos directamente a tiendas benéficas. “Quiero que mis seres queridos se sientan realmente vistos, verdaderamente apreciados por sus propias peculiaridades”, dijo. Este hombre de Cheltenham, de 49 años, fundó betsybenn.com, una empresa que vende regalos personalizados, como adornos para árboles de Navidad.
“La alegría cuando el destinatario sabe que esto es sólo para él y no una botella de vino agarrada apresuradamente en una bolsa de regalo festiva es una sensación inmejorable. ¿Y no queremos todos simplemente ser vistos y comprendidos? ¿No es ese el objetivo de la conexión humana?
El problema –como sabrá cualquiera que reciba una lata de desodorante, un vale vencido o ropa interior roja dos tallas más grande– es que con demasiada frecuencia los obsequios demuestran que quien los da no ha visto ni comprendido.
“Entre el 60% y el 70% de las personas se equivocan al comprar regalos de Navidad”, afirmó Cathrine Jansson-Boyd, profesora de psicología del consumidor en la Universidad Anglia Ruskin. “Al observar los patrones de compra, la mayoría de las personas lo dejan para el último minuto y eso simplemente demuestra que no tienen idea de lo que van a comprar de todos modos”.
Si a esto le sumamos la confusión de intentar comprender qué podría disfrutar alguien de una generación completamente diferente, es fácil ver por qué una lista generada por IA podría ser una solución a esta compleja negociación social.
“La realidad es que la IA es una herramienta que recopila datos de Internet y produce dos más dos es igual a cuatro”, dijo Jansson-Boyd. “No se pueden abordar las emociones, no se puede personalizar, porque no se pueden cuantificar.
“Dicho esto, creo que es una gran idea, porque a menudo nosotros mismos nos quedamos sin ideas”.
Ante este tipo de problema (una encuesta de YouGov del año pasado encontró que el 45% de los compradores navideños estaban estresados por la compra de regalos), algunas personas optan por no hacerlo y simplemente le dicen a la gente lo que quieren.
Decidir lo que uno puede querer es en sí mismo una forma de terror para algunos. La IA también puede ser una solución en este caso, ya que la mayoría de los robots de IA ofrecen a los usuarios la opción de recordar conversaciones y utilizarlas para informar respuestas futuras.
“Puedes preguntarle a ChatGPT: ‘Cuéntame algo sobre mí que no sepa'”, dijo Khan. “Las ideas que obtienes son fascinantes”.
Podríamos llegar a un punto en el que los usuarios habituales encuentren que su mejor oportunidad de ser vistos y comprendidos es a través de su robot de inteligencia artificial.
Entonces, ¿cómo Observador¿Qué hacen los gurús de los regalos con ChatGPT?
Arrowsmith no quedó impresionada con las sugerencias para su hermana. Sugirió velas Neom “pero los precios eran considerablemente más altos que los que compré ayer en las ofertas del Black Friday”, dijo. “Todo era tan genérico. Le compré bolsos de diseñador, no bolsos de mano genéricos.
“También repetí el ejercicio con mi papá: 83 años, hombre con algunos intereses”, dijo. “Supusimos que le gustaría una máquina de masaje de pies, un bastón personalizado, un servicio de entrega de comidas o una suscripción a un periódico. Mi papá se preguntaría por qué le compré cualquiera de estas cosas, ya que él compra sus propias suscripciones, compra alimentos y camina 20.000 pasos al día”.
Portland preguntó qué podía regalarle a una “madre de niños discapacitados con poco tiempo” y pensó que las sugerencias de días de spa y baños prolongados eran inapropiadas. “Puede que sea lo que necesita, pero no para lo que tiene tiempo”, dijo. Otras opciones eran los servicios de limpieza, entrega de cajas de comida y ropa, lo que creaba “un riesgo de ofensa al equivocarse en la talla”.
“Y hubo una sugerencia de regalos para sus hijos; yo no haría eso. Eso hace que todo se centre en ella como madre y no como individuo”.
Benn descubrió que la manera de evitar obsequios genéricos y clichés era seguir haciendo preguntas.
“Cuando empiezas a agregar intereses o personalidades, obtienes resultados mucho mejores; eso me encanta”, dijo. “Es posible que encuentres un éxito increíble en tu primer intento, o que te inspiren algunas de las sugerencias y sigas la madriguera del conejo hasta llegar a algo épico.
“Si alguien dijera que había usado IA para ayudarle a encontrar un regalo para mí, el solo hecho de que hubiera pensado en mí, se hubiera sentado, hubiera explorado opciones y hubiera encontrado algo que le pareciera perfecto, bueno, me llenaría el corazón hasta el borde. .”
Noticias
Los investigadores de OpenAI proponen un enfoque de aprendizaje por refuerzo de varios pasos para mejorar el equipo rojo de LLM
A medida que el uso de modelos de lenguaje grande (LLM) se vuelve cada vez más frecuente en aplicaciones del mundo real, aumentan las preocupaciones sobre sus vulnerabilidades. A pesar de sus capacidades, los LLM todavía son susceptibles a varios tipos de ataques adversarios, incluidos aquellos que generan contenido tóxico, revelan información privada o permiten inyecciones rápidas. Estas vulnerabilidades plantean importantes preocupaciones éticas en cuanto a prejuicios, desinformación, posibles violaciones de la privacidad y abuso del sistema. La necesidad de una estrategia eficaz para abordar estas cuestiones es apremiante. Tradicionalmente, el equipo rojo (un proceso que implica probar los sistemas de IA mediante la simulación de ataques) ha sido eficaz para la detección de vulnerabilidades. Sin embargo, los enfoques anteriores para la formación de equipos rojos automatizados a menudo han tenido dificultades para equilibrar la diversidad de ataques generados y su efectividad, lo que limita la solidez de los modelos.
Para abordar estos desafíos, los investigadores de OpenAI proponen un enfoque para el equipo rojo automatizado que incorpora diversidad y efectividad en los ataques generados. Esto se logra descomponiendo el proceso de formación de equipos rojos en dos pasos distintos. El primer paso implica generar diversos objetivos de atacante, mientras que el segundo paso entrena a un atacante de aprendizaje por refuerzo (RL) para alcanzar estos objetivos de manera efectiva. El método propuesto utiliza aprendizaje por refuerzo de varios pasos (RL de varios pasos) y generación automatizada de recompensas. Este enfoque implica aprovechar grandes modelos de lenguaje para generar objetivos de atacantes y utilizar recompensas basadas en reglas (RBR) y medidas de diversidad personalizadas para guiar el entrenamiento de RL. Al recompensar a un atacante basado en RL por ser eficaz y distinto de sus intentos anteriores, el método garantiza una mayor diversidad y eficacia de los ataques.
Detalles técnicos
El equipo de investigación describe la descomposición del sistema de equipos rojos en la generación de objetivos y ataques de entrenamiento como un medio para simplificar el proceso y al mismo tiempo lograr resultados sólidos. Para generar objetivos, los autores utilizan tanto indicaciones breves de un modelo de lenguaje como conjuntos de datos existentes de ataques pasados. Estos objetivos sirven como una base diversa, brindando al atacante basado en RL direcciones específicas pero variadas para optimizar. El núcleo del entrenamiento de atacantes basado en RL utiliza una función de recompensa específica basada en reglas para cada ejemplo, lo que garantiza que cada ataque se alinee con un objetivo adversario específico. Además, para evitar que el atacante de RL converja en estrategias de ataque similares, se implementa una recompensa por diversidad que se centra en las diferencias de estilo en las indicaciones generadas. La RL de varios pasos permite al atacante repetir sus propios ataques y ser recompensado por generar con éxito tipos nuevos y variados de ataques, lo que lleva a un sistema de equipos rojos más completo. Este proceso ayuda a identificar las vulnerabilidades del modelo y al mismo tiempo garantiza que la diversidad de ejemplos contradictorios refleje fielmente aquellos que podrían encontrarse en situaciones del mundo real.
La importancia de este enfoque de equipo rojo radica en su capacidad para abordar tanto la efectividad como la diversidad de los ataques, una dualidad que ha sido un desafío de larga data en la generación de adversarios automatizados. Al utilizar RL de varios pasos y recompensas automatizadas, el enfoque permite que los ataques generados sean diversos y relevantes. Los autores demostraron su enfoque en dos aplicaciones clave: ataques de inyección rápida y ataques de “jailbreaking” que provocan respuestas inseguras. En ambos escenarios, el atacante basado en RL de varios pasos mostró una mayor efectividad y diversidad de ataques en comparación con los métodos anteriores. Específicamente, la inyección de aviso indirecto, que puede engañar a un modelo para que genere un comportamiento no deseado, logró una alta tasa de éxito del ataque y tenía un estilo notablemente más variado en comparación con los métodos de aviso de un solo disparo. En general, el método propuesto fue capaz de generar ataques con una tasa de éxito de hasta el 50 %, al tiempo que logró métricas de diversidad sustancialmente más altas que los enfoques anteriores. Esta combinación de generación automatizada de recompensas y aprendizaje reforzado proporciona un mecanismo matizado para probar la solidez del modelo y, en última instancia, mejorar las defensas del LLM contra amenazas del mundo real.
Conclusión
El enfoque de equipo rojo propuesto ofrece una dirección para las pruebas adversas automatizadas de LLM, abordando limitaciones anteriores que involucran compensaciones entre diversidad y efectividad de ataques. Al aprovechar tanto la generación automatizada de objetivos como el RL de varios pasos, esta metodología permite una exploración más detallada de las vulnerabilidades presentes en los LLM, lo que en última instancia ayuda a crear modelos más seguros y sólidos. Si bien los resultados presentados son prometedores, todavía existen limitaciones y áreas para futuras investigaciones, particularmente en el perfeccionamiento de las recompensas automatizadas y la optimización de la estabilidad del entrenamiento. Sin embargo, la combinación de RL con recompensas basadas en reglas y entrenamiento centrado en la diversidad marca un paso importante en las pruebas adversas, proporcionando un modelo que puede responder mejor a la naturaleza cambiante de los ataques.
Verificar el periódico aquí. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.
[FREE AI VIRTUAL CONFERENCE] SmallCon: Conferencia virtual gratuita sobre GenAI con Meta, Mistral, Salesforce, Harvey AI y más. Únase a nosotros el 11 de diciembre en este evento virtual gratuito para aprender lo que se necesita para construir a lo grande con modelos pequeños de pioneros de la IA como Meta, Mistral AI, Salesforce, Harvey AI, Upstage, Nubank, Nvidia, Hugging Face y más.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
🐝🐝 Lea este informe de investigación de IA de Kili Technology sobre ‘Evaluación de vulnerabilidades de modelos de lenguaje grandes: un análisis comparativo de las técnicas de Red Teaming’
-
Recursos6 meses ago
Cómo Empezar con Popai.pro: Tu Espacio Personal de IA – Guía Completa, Instalación, Versiones y Precios
-
Recursos6 meses ago
Suno.com: La Revolución en la Creación Musical con Inteligencia Artificial
-
Startups6 meses ago
Remove.bg: La Revolución en la Edición de Imágenes que Debes Conocer
-
Recursos6 meses ago
Perplexity aplicado al Marketing Digital y Estrategias SEO
-
Eventos6 meses ago
La nueva era de la inteligencia artificial por el Washington Post – Mayo 2024
-
Noticias4 meses ago
Dos periodistas octogenarios deman a ChatGPT por robar su trabajo
-
Estudiar IA6 meses ago
Curso de Inteligencia Artificial de UC Berkeley estratégico para negocios
-
Tutoriales6 meses ago
Cómo Comenzar a Utilizar ChatGPT: Una Guía Completa para Principiantes