Noticias
Los investigadores de OpenAI proponen un enfoque de aprendizaje por refuerzo de varios pasos para mejorar el equipo rojo de LLM
Published
5 meses agoon

A medida que el uso de modelos de lenguaje grande (LLM) se vuelve cada vez más frecuente en aplicaciones del mundo real, aumentan las preocupaciones sobre sus vulnerabilidades. A pesar de sus capacidades, los LLM todavía son susceptibles a varios tipos de ataques adversarios, incluidos aquellos que generan contenido tóxico, revelan información privada o permiten inyecciones rápidas. Estas vulnerabilidades plantean importantes preocupaciones éticas en cuanto a prejuicios, desinformación, posibles violaciones de la privacidad y abuso del sistema. La necesidad de una estrategia eficaz para abordar estas cuestiones es apremiante. Tradicionalmente, el equipo rojo (un proceso que implica probar los sistemas de IA mediante la simulación de ataques) ha sido eficaz para la detección de vulnerabilidades. Sin embargo, los enfoques anteriores para la formación de equipos rojos automatizados a menudo han tenido dificultades para equilibrar la diversidad de ataques generados y su efectividad, lo que limita la solidez de los modelos.
Para abordar estos desafíos, los investigadores de OpenAI proponen un enfoque para el equipo rojo automatizado que incorpora diversidad y efectividad en los ataques generados. Esto se logra descomponiendo el proceso de formación de equipos rojos en dos pasos distintos. El primer paso implica generar diversos objetivos de atacante, mientras que el segundo paso entrena a un atacante de aprendizaje por refuerzo (RL) para alcanzar estos objetivos de manera efectiva. El método propuesto utiliza aprendizaje por refuerzo de varios pasos (RL de varios pasos) y generación automatizada de recompensas. Este enfoque implica aprovechar grandes modelos de lenguaje para generar objetivos de atacantes y utilizar recompensas basadas en reglas (RBR) y medidas de diversidad personalizadas para guiar el entrenamiento de RL. Al recompensar a un atacante basado en RL por ser eficaz y distinto de sus intentos anteriores, el método garantiza una mayor diversidad y eficacia de los ataques.
Detalles técnicos
El equipo de investigación describe la descomposición del sistema de equipos rojos en la generación de objetivos y ataques de entrenamiento como un medio para simplificar el proceso y al mismo tiempo lograr resultados sólidos. Para generar objetivos, los autores utilizan tanto indicaciones breves de un modelo de lenguaje como conjuntos de datos existentes de ataques pasados. Estos objetivos sirven como una base diversa, brindando al atacante basado en RL direcciones específicas pero variadas para optimizar. El núcleo del entrenamiento de atacantes basado en RL utiliza una función de recompensa específica basada en reglas para cada ejemplo, lo que garantiza que cada ataque se alinee con un objetivo adversario específico. Además, para evitar que el atacante de RL converja en estrategias de ataque similares, se implementa una recompensa por diversidad que se centra en las diferencias de estilo en las indicaciones generadas. La RL de varios pasos permite al atacante repetir sus propios ataques y ser recompensado por generar con éxito tipos nuevos y variados de ataques, lo que lleva a un sistema de equipos rojos más completo. Este proceso ayuda a identificar las vulnerabilidades del modelo y al mismo tiempo garantiza que la diversidad de ejemplos contradictorios refleje fielmente aquellos que podrían encontrarse en situaciones del mundo real.
La importancia de este enfoque de equipo rojo radica en su capacidad para abordar tanto la efectividad como la diversidad de los ataques, una dualidad que ha sido un desafío de larga data en la generación de adversarios automatizados. Al utilizar RL de varios pasos y recompensas automatizadas, el enfoque permite que los ataques generados sean diversos y relevantes. Los autores demostraron su enfoque en dos aplicaciones clave: ataques de inyección rápida y ataques de “jailbreaking” que provocan respuestas inseguras. En ambos escenarios, el atacante basado en RL de varios pasos mostró una mayor efectividad y diversidad de ataques en comparación con los métodos anteriores. Específicamente, la inyección de aviso indirecto, que puede engañar a un modelo para que genere un comportamiento no deseado, logró una alta tasa de éxito del ataque y tenía un estilo notablemente más variado en comparación con los métodos de aviso de un solo disparo. En general, el método propuesto fue capaz de generar ataques con una tasa de éxito de hasta el 50 %, al tiempo que logró métricas de diversidad sustancialmente más altas que los enfoques anteriores. Esta combinación de generación automatizada de recompensas y aprendizaje reforzado proporciona un mecanismo matizado para probar la solidez del modelo y, en última instancia, mejorar las defensas del LLM contra amenazas del mundo real.

Conclusión
El enfoque de equipo rojo propuesto ofrece una dirección para las pruebas adversas automatizadas de LLM, abordando limitaciones anteriores que involucran compensaciones entre diversidad y efectividad de ataques. Al aprovechar tanto la generación automatizada de objetivos como el RL de varios pasos, esta metodología permite una exploración más detallada de las vulnerabilidades presentes en los LLM, lo que en última instancia ayuda a crear modelos más seguros y sólidos. Si bien los resultados presentados son prometedores, todavía existen limitaciones y áreas para futuras investigaciones, particularmente en el perfeccionamiento de las recompensas automatizadas y la optimización de la estabilidad del entrenamiento. Sin embargo, la combinación de RL con recompensas basadas en reglas y entrenamiento centrado en la diversidad marca un paso importante en las pruebas adversas, proporcionando un modelo que puede responder mejor a la naturaleza cambiante de los ataques.
Verificar el periódico aquí. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.
[FREE AI VIRTUAL CONFERENCE] SmallCon: Conferencia virtual gratuita sobre GenAI con Meta, Mistral, Salesforce, Harvey AI y más. Únase a nosotros el 11 de diciembre en este evento virtual gratuito para aprender lo que se necesita para construir a lo grande con modelos pequeños de pioneros de la IA como Meta, Mistral AI, Salesforce, Harvey AI, Upstage, Nubank, Nvidia, Hugging Face y más.

Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
Lea este informe de investigación de IA de Kili Technology sobre ‘Evaluación de vulnerabilidades de modelos de lenguaje grandes: un análisis comparativo de las técnicas de Red Teaming’
You may like
Noticias
‘Uno de los mejores investigadores de IA’ negó la tarjeta verde después de 12 años en EE. UU.
Published
2 horas agoon
26 abril, 2025
Un investigador de inteligencia artificial (IA) canadiense que ha vivido en los Estados Unidos durante 12 años y trabajó en ChatGPT se le negó una tarjeta verde, según los empleados de la empresa matriz OpenAI a través de una serie de publicaciones en X, anteriormente Twitter.
Newsweek comunicado con los servicios de ciudadanía e inmigración de los Estados Unidos (USCIS) por correo electrónico fuera del horario comercial normal el sábado por la mañana para hacer comentarios.
Por que importa
El presidente Donald Trump se comprometió a promulgar la mayor represión contra la inmigración en la historia del país, iniciando deportaciones masivas que permanecen sumidas en el estancamiento legal en medio de desafíos de varios estados y autoridades legales.
Sin embargo, Elon Musk y Vivek Ramaswamy, ambos inicialmente aprovechados por Trump para liderar el Departamento de Eficiencia del Gobierno (DOGE), defendieron un enfoque en una expansión de programas como la visa H-1B, una visa temporal y no inmigrante que permite a los empleadores estadounidenses contratar trabajadores extranjeros para trabajos estacionales o no intraficulturales, para aumentar el número de inmigrantes altos en escéquidos.
Que saber
Noam Brown, un investigador de Openai, el viernes por la mañana escribió en X que estaba “profundamente preocupado” por el estado migratorio de Kai Chen, un ciudadano canadiense que ha vivido y trabajado en los Estados Unidos durante 12 años que se vio obligado a irse después de que su solicitud de tarjeta verde fue negada.
“Es profundamente preocupante que uno de los mejores investigadores de IA con los que he trabajado, [Kai Chen]se le negó una tarjeta verde de EE. UU. Hoy “, escribió Brown, y agregó:” Estamos arriesgando el liderazgo de IA de Estados Unidos cuando rechazamos el talento como este “.
Dylan Hunn, otro empleado de Operai, se hizo eco del sentimiento de Brown solo unas horas después, diciendo que Chen era “increíblemente importante para OpenAi”, ya que era “crucial para GPT-4.5”.
“Nuestro sistema de inmigración se ha vuelto * loco * para patearla”, escribió Hunn. “¡Estados Unidos la necesita!”
Brown luego escribió en X que Chen planeaba trabajar de forma remota desde un Airbnb en Vancouver y ir al “modo de monje completo” para mantenerse al día con sus proyectos mientras el problema de inmigración se resolvió. Chen trató de conocer el momento con optimismo, escribiendo en respuesta a Brown de que ella estaría en Vancouver “por una cantidad de tiempo indeterminada” y estaría “entusiasmada con conocer a nuevas personas”.
“Esperemos que regrese a casa en algún momento de este año, pero si no lo hará lo mejor”, escribió Chen, luego agregando en una publicación separada de que OpenAi ha sido “increíblemente solidario durante esta kerfuffle”.
Brown proporcionó una actualización poco antes de la medianoche de que parecía que “podría haber habido problemas de papeleo con la presentación de tarjeta verde inicial” realizado dos años antes.
“Es una pena que esto signifique [Chen] Tiene que dejar a los Estados Unidos por un tiempo, pero hay una razón para el optimismo de que esto se resolverá “, escribió Brown en X.
Chen aclaró aún más la situación, diciendo que había solicitado la tarjeta verde hace tres años antes de su tiempo en OpenAi.
“Realmente apesta ser negado después de esperar tanto tiempo y no poder regresar a casa, pero en general se siente muy afortunado de estar donde estoy”, escribió.
Una persona muestra el logotipo de ChatGPT en la pantalla de un teléfono inteligente con el logotipo de OpenAI en el fondo el 29 de diciembre de 2024 en Chongqing, China.
Cheng Xin/Getty Images
¿Qué protecciones tienen los titulares de tarjetas verdes?
El USCIS dice que un titular de la tarjeta verde tiene derecho a vivir permanentemente en los EE. UU. Siempre que no cometan ninguna acción que “lo haga removible bajo la ley de inmigración”. Esto incluye romper las leyes y no presentar impuestos.
Un titular de la tarjeta verde está protegido por todas las leyes de los Estados Unidos, incluidas las de los niveles estatales y locales, y pueden solicitar trabajos más libremente que aquellos que pueden estar en los EE. UU. En visas basadas en el trabajo.
Viajar también es mucho más fácil con una tarjeta verde que con otras visas temporales, pero los titulares deben asegurarse de que no se van por más de seis meses a la vez.
“Hay una razón por la cual alguien querría una tarjeta verde en lugar de estar aquí con una visa temporal porque es una residencia permanente legal, le brinda la capacidad de vivir y trabajar permanentemente en los Estados Unidos. Pero dicho eso, no es ciudadanía”, Eliss Taub, socio de la firma de abogados de inmigración Siskind, contada, contada. Newsweek.
Los titulares de tarjetas verdes deben renovar sus tarjetas cada 10 años y pueden solicitar la ciudadanía después de tres años si están casados con un ciudadano estadounidense o cinco si no.
Lo que la gente dice
Un portavoz de OpenAi dijo Newsweek En una respuesta por correo electrónico a una solicitud de comentarios: “Esta solicitud se presentó algún tiempo antes de que nuestro empleado se uniera a OpenAI y no estábamos involucrados en el caso. Sin embargo, nuestra evaluación inicial, basada en la información que nos proporciona, muestra que puede haber algunos problemas de papeleo en la presentación. Continuamos trabajando estrechamente con nuestro empleado en su situación”.
Noam Brown, un empleado de Operai, Escribí en X el sábado: “He estado en IA desde 2012, y he visto suficientes historias de terror de visa desde entonces para saber que la ruptura de la inmigración altamente calificada en Estados Unidos es persistente. Es particularmente doloroso ver que la ruptura ralentiza a mi compañero de equipo durante más de 2 meses cuando el progreso de la IA es semana a semana”.
CEO de Operai Sam Altman en 2023 Escribió en X: “Una de las victorias de política más fáciles que puedo imaginar para los Estados Unidos es reformar la inmigración de alta habilidad. El hecho de que muchas de las personas más talentosas del mundo quieran estar aquí es un regalo ganado con fuerza; abrazarlos es la clave para mantenerlo así. Es difícil recuperar esto si lo perdemos”.
Shaun Ralston, un contratista independiente que brinda soporte para los clientes de API de Openai, escribió en X el viernes: …@Openai presentó más de 80 más H-1BS el año pasado solo. ¿Cuántas mentes más brillantes se alejará la administración Trump a otros países? Hola, Maga, arregle la tubería de talento o deja de hablar sobre el liderazgo de IA “.
Matt Tegarden, el CEO de la Asociación Kansas Livestock, A principios de este mes le dijo Newsweek: “Las empresas se están asegurando de que sus archivos de documentos de empleo están en orden. También están confirmando sus derechos y responsabilidades en esta área, así como ayudando a sus empleados a comprender sus derechos”.
¿Qué pasa después?
La aplicación de la tarjeta verde de Chen tomará tiempo para resolverse, pero parece que el problema raíz ha sido identificado, lo que hace que sea más probable que pueda regresar a los Estados Unidos más temprano que tarde.
Actualización, 26/04/25 a las 4:52 PM ET: Este artículo se ha actualizado para incluir una declaración de OpenAI.
Noticias
Alphabet Inc. (Googl) aprovecha el crecimiento de Gemini AI y Waymo para alimentar la próxima ola de innovación
Published
7 horas agoon
26 abril, 2025
La inteligencia artificial es la mayor oportunidad de inversión de nuestra vida. ¡El tiempo para invertir en una IA innovadora es ahora, y esta acción es un robo!
Mi selección de IA #1 entregó ganancias sólidas desde el comienzo de 2025 mientras que las existencias populares de IA como NVDA y AVGO perdieron alrededor del 25%.
Los números hablan por sí mismos: mientras los gigantes del mundo de la IA sangran, nuestra selección de IA ofrece, mostrando el poder de nuestra investigación y la inmensa oportunidad esperando ser incautada.
Los susurros se están convirtiendo en rugidos.
La inteligencia artificial ya no es ciencia ficción.
Es la revolución que remodelan todas las industrias del planeta.
Desde automóviles sin conductor hasta avances médicos, AI está en la cúspide de una explosión global, y los inversores inteligentes pueden cosechar las recompensas.
He aquí por qué este es el mejor momento para saltar en el carro de la IA:
Crecimiento exponencial en el horizonte: Olvídese del crecimiento lineal: la IA está preparada para una trayectoria de palo de hockey.
Imagine todos los sectores, desde la atención médica hasta las finanzas, infundidas con inteligencia sobrehumana.
Estamos hablando de predicción de enfermedades, marketing hiperpersonalizado y logística automatizada que agiliza todo.
Esto no es tal vez, es una inevitabilidad.
Los primeros inversores serán los posicionados para montar la ola de este tsunami tecnológico.
Oportunidad de la planta baja: ¿Recuerdas los primeros días de Internet?
Aquellos que vieron el potencial de los gigantes tecnológicos en ese entonces están sentados bastante hoy.
AI está en un punto de inflexión similar.
No estamos hablando de jugadores establecidos: estamos hablando de nuevas empresas ágiles con ideas innovadoras y el potencial de convertirse en el próximo Google o Amazon.
¡Esta es tu oportunidad de entrar antes de que los Rockets despeguen!
La interrupción es el nuevo nombre del juego: Seamos realistas, la complacencia genera estancamiento.
La IA es el último disruptor, y está sacudiendo los cimientos de las industrias tradicionales.
Las compañías que adoptan la IA prosperarán, mientras que los dinosaurios se aferran a métodos obsoletos se dejarán en el polvo.
Como inversor, desea estar del lado de los ganadores, y AI es el boleto ganador.
El grupo de talentos se desborda: Las mentes más brillantes del mundo acuden en masa a la IA.
Desde informática hasta matemáticos, la próxima generación de innovadores está vertiendo su energía en este campo.
Esta afluencia de talento garantiza una corriente constante de ideas innovadoras y avances rápidos.
Al invertir en IA, esencialmente está respaldando el futuro.
El futuro funciona con inteligencia artificial, y el tiempo de invertir es ahora.
No seas un espectador en esta revolución tecnológica.
Sumérgete en la fiebre del oro AI y observa que tu cartera se eleva junto con las mentes más brillantes de nuestra generación.
No se trata solo de ganar dinero, se trata de ser parte del futuro.
Entonces, ¡abrochate y prepárese para el viaje de su vida de inversión!
Actúe ahora y desbloquee un rendimiento potencial del 10,000%: esta acción de IA es un diamante en bruto (¡pero nuestra ayuda es clave!)
La Revolución AI está sobre nosotros, y los inversores inteligentes pueden hacer una fortuna.
Pero con tantas opciones, ¿cómo se encuentra la joya oculta: la compañía preparada para un crecimiento explosivo?
Ahí es donde entra nuestra experiencia.
Tenemos la respuesta, pero hay un giro …
Imagine una compañía de IA tan innovadora, hasta ahora antes de la curva, que incluso si el precio de sus acciones cuadruplicado hoytodavía se consideraría ridículamente barato.
Ese es el potencial que estás viendo. No se trata solo de un regreso decente, estamos hablando de un 10,000% ¡Gane durante la próxima década!
Nuestro equipo de investigación ha identificado una joya oculta: una compañía de IA con tecnología de vanguardia, potencial masivo y un precio actual de acciones que grita oportunidades.
Esta compañía cuenta con la tecnología más avanzada en el sector de la IA, colocándolos en ligas por delante de los competidores.
Es como tener un auto de carreras en una pista de go-kart.
Tienen una gran posibilidad de arrinconar los mercados enteros, convirtiéndose en el líder indiscutible en su campo.
Aquí está la trampa (es buena): Para descubrir este gigante dormido, necesitará nuestro Intel exclusivo.
¡Queremos asegurarnos de que ninguno de nuestros valiosos lectores se pierda esta innovadora oportunidad!
Es por eso que estamos reduciendo el precio de nuestro boletín de lectores premium por un enorme 70%.
Por un precio ridículamente bajo de solo $ 29.99puede desbloquear un año de investigación de inversiones en profundidad y ideas exclusivas, ¡eso es menos que una comida de un solo restaurante!
He aquí por qué este es un trato que no puede permitirse dejar pasar:
• Acceso a nuestro informe detallado sobre esta acción de IA que cambia el juego: Nuestro informe en profundidad se sumerge en la tecnología innovadora de nuestra serie de IA #1 y un potencial de crecimiento masivo.
• 11 nuevos números de nuestro boletín de lectores premium: También recibirá 11 nuevos problemas y al menos una nueva selección de acciones por mes de la cartera de nuestro boletín mensual durante los próximos 12 meses. Estas acciones son seleccionadas por nuestro Director de Investigación, Dr. Inan Dogan.
• Un próximo número gratuito de nuestro boletín trimestral de más de 70 páginas: Un valor de $ 149
• Informes de bonificación: Acceso premium a solo para miembros Entrevistas de video del administrador de fondos
• navegación sin anuncios: Disfrute de un año de investigación de inversiones sin distracción de anuncios emergentes y anuncios emergentes, lo que le permite concentrarse en descubrir la próxima gran oportunidad.
• Garantía de devolución de dinero de 30 días: Si no está absolutamente satisfecho con nuestro servicio, proporcionaremos un reembolso completo dentro de los 30 días, no se hacen preguntas.
¡El espacio es limitado! Solo 1000 puntos están disponibles para esta oferta exclusiva. No permita que esta oportunidad se escape: suscríbase a nuestro boletín de lectores premium hoy y desbloquee el potencial de una inversión que cambie la vida.
Esto es lo que debe hacer a continuación:
1. Dirígete a nuestro sitio web y suscríbete a nuestro boletín de lectores premium por solo $ 29.99.
2. Disfrute de un año de navegación sin publicidad, acceso exclusivo a nuestro informe en profundidad sobre la Revolucionaria Compañía de IA y los próximos números de nuestro boletín de lectores premium en los próximos 12 meses.
3. Siéntese, relájese y sepa que está respaldado por nuestra garantía de dinero de dinero de 30 días.
¡No te pierdas esta increíble oportunidad! ¡Suscríbase ahora y tome el control de su futuro de inversión de IA!
¡No se preocupe por las renovaciones automáticas! ¡Nuestra garantía de devolución de dinero de 30 días se aplica si se está uniendo a nosotros por primera vez o renovando su suscripción un año después!
Noticias
El éxito de Deepseek muestra por qué la motivación es clave para la innovación de IA
Published
7 horas agoon
26 abril, 2025
Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información
Enero de 2025 sacudió el paisaje de IA. El OpenAI aparentemente imparable y los poderosos gigantes tecnológicos estadounidenses se sorprendieron por lo que ciertamente podemos llamar un desvalido en el área de grandes modelos de idiomas (LLM). Deepseek, una empresa china que no está en el radar de nadie, de repente desafió a OpenAi. No es que Deepseek-R1 fuera mejor que los mejores modelos de los gigantes estadounidenses; Estaba ligeramente atrasado en términos de los puntos de referencia, pero de repente hizo que todos pensaran en la eficiencia en términos de hardware y uso de energía.
Dada la falta de disponibilidad del mejor hardware de alta gama, parece que Deepseek estaba motivado para innovar en el área de eficiencia, lo cual era una preocupación menor para los jugadores más grandes. Operai ha afirmado que tienen evidencia que sugiere que Deepseek puede haber usado su modelo para la capacitación, pero no tenemos pruebas concretas para respaldar esto. Entonces, ya sea cierto o que sea OpenAi simplemente tratar de apaciguar a sus inversores es un tema de debate. Sin embargo, Deepseek ha publicado su trabajo, y las personas han verificado que los resultados son reproducibles al menos en una escala mucho más pequeña.
Pero, ¿cómo podría Deepseek alcanzar tales ahorradores de costos, mientras que las empresas estadounidenses no podían? La respuesta corta es simple: tenían más motivación. La respuesta larga requiere un poco más de una explicación técnica.
Deepseek usó la optimización de KV-Cache
Un ahorro importante de costos para la memoria de GPU fue la optimización del caché de valor clave utilizado en cada capa de atención en un LLM.
Los LLM están formados por bloques de transformadores, cada uno de los cuales comprende una capa de atención seguida de una red regular de alimentación de vainilla. La red de feed-forward modela las relaciones arbitrarias conceptuales, pero en la práctica, es difícil para él determinar siempre los patrones en los datos. La capa de atención resuelve este problema para el modelado de idiomas.
El modelo procesa textos utilizando tokens, pero por simplicidad, nos referiremos a ellos como palabras. En un LLM, a cada palabra se le asigna un vector en una dimensión alta (por ejemplo, mil dimensiones). Conceptualmente, cada dimensión representa un concepto, como ser caliente o frío, ser verde, ser suave, ser un sustantivo. La representación vectorial de una palabra es su significado y valores según cada dimensión.
Sin embargo, nuestro lenguaje permite que otras palabras modifiquen el significado de cada palabra. Por ejemplo, una manzana tiene un significado. Pero podemos tener una manzana verde como versión modificada. Un ejemplo más extremo de modificación sería que una Apple en un contexto de iPhone difiere de una Apple en un contexto de prado. ¿Cómo dejamos que nuestro sistema modifique el significado vectorial de una palabra basado en otra palabra? Aquí es donde entra la atención.
El modelo de atención asigna otros dos vectores a cada palabra: una clave y una consulta. La consulta representa las cualidades del significado de una palabra que se puede modificar, y la clave representa el tipo de modificaciones que puede proporcionar a otras palabras. Por ejemplo, la palabra ‘verde’ puede proporcionar información sobre color y verde. Entonces, la clave de la palabra ‘verde’ tendrá un alto valor en la dimensión ‘verde’. Por otro lado, la palabra ‘manzana’ puede ser verde o no, por lo que el vector de consulta de ‘manzana’ también tendría un alto valor para la dimensión verde. Si tomamos el producto DOT de la clave de ‘verde’ con la consulta de ‘manzana’, el producto debe ser relativamente grande en comparación con el producto de la clave de ‘tabla’ y la consulta de ‘manzana’. La capa de atención luego agrega una pequeña fracción del valor de la palabra ‘verde’ al valor de la palabra ‘manzana’. De esta manera, el valor de la palabra ‘Apple’ se modifica para ser un poco más verde.
Cuando el LLM genera texto, lo hace una palabra tras otra. Cuando genera una palabra, todas las palabras generadas anteriormente se convierten en parte de su contexto. Sin embargo, las teclas y los valores de esas palabras ya están calculados. Cuando se agrega otra palabra al contexto, su valor debe actualizarse en función de su consulta y las claves y valores de todas las palabras anteriores. Es por eso que todos esos valores se almacenan en la memoria de la GPU. Este es el caché KV.
Deepseek determinó que la clave y el valor de una palabra están relacionados. Entonces, el significado de la palabra verde y su capacidad para afectar la verdura están obviamente muy estrechamente relacionados. Por lo tanto, es posible comprimir tanto como un vector único (y tal vez más pequeño) y descomprimir mientras se procesa muy fácilmente. Deepseek ha descubierto que afecta su rendimiento en los puntos de referencia, pero ahorra mucha memoria de GPU.
Deepseek aplicado moe
La naturaleza de una red neuronal es que toda la red debe ser evaluada (o calculada) para cada consulta. Sin embargo, no todo esto es un cálculo útil. El conocimiento del mundo se encuentra en los pesos o parámetros de una red. El conocimiento sobre la Torre Eiffel no se usa para responder preguntas sobre la historia de las tribus sudamericanas. Saber que una manzana es una fruta no es útil al responder preguntas sobre la teoría general de la relatividad. Sin embargo, cuando se calcula la red, todas las partes de la red se procesan independientemente. Esto incurre en grandes costos de cálculo durante la generación de texto que idealmente deberían evitarse. Aquí es donde entra la idea de la mezcla de expertos (MOE).
En un modelo MOE, la red neuronal se divide en múltiples redes más pequeñas llamadas expertos. Tenga en cuenta que el ‘experto’ en el tema no está definido explícitamente; La red lo resuelve durante el entrenamiento. Sin embargo, las redes asignan una puntuación de relevancia a cada consulta y solo activan las partes con puntajes de coincidencia más altos. Esto proporciona un gran ahorro de costos en el cálculo. Tenga en cuenta que algunas preguntas necesitan experiencia en múltiples áreas para ser respondidas correctamente, y el rendimiento de tales consultas se degradará. Sin embargo, debido a que las áreas se resuelven a partir de los datos, se minimiza el número de tales preguntas.
La importancia del aprendizaje de refuerzo
Se le enseña a un LLM a pensar a través de un modelo de cadena de pensamiento, con el modelo ajustado para imitar el pensamiento antes de entregar la respuesta. Se le pide al modelo que verbalice su pensamiento (genere el pensamiento antes de generar la respuesta). Luego se evalúa el modelo tanto en el pensamiento como en la respuesta, y se entrena con aprendizaje de refuerzo (recompensado para una coincidencia correcta y penalizado para una coincidencia incorrecta con los datos de entrenamiento).
Esto requiere datos de entrenamiento costosos con el token de pensamiento. Deepseek solo le pidió al sistema que generara los pensamientos entre las etiquetas
Deepseek emplea varios trucos de optimización adicionales. Sin embargo, son muy técnicos, por lo que no los profundizaré aquí.
Pensamientos finales sobre Deepseek y el mercado más grande
En cualquier investigación de tecnología, primero necesitamos ver lo que es posible antes de mejorar la eficiencia. Esta es una progresión natural. La contribución de Deepseek al paisaje LLM es fenomenal. La contribución académica no se puede ignorar, ya sea que estén o no entrenando o no la salida de OpenAI. También puede transformar la forma en que funcionan las startups. Pero no hay razón para que Operai o los otros gigantes estadounidenses se desesperen. Así es como funciona la investigación: un grupo se beneficia de la investigación de los otros grupos. Deepseek ciertamente se benefició de las investigaciones anteriores realizadas por Google, Operai y muchos otros investigadores.
Sin embargo, la idea de que Operai dominará el mundo LLM indefinidamente ahora es muy poco probable. Ninguna cantidad de cabildeo regulatorio o señalar con el dedo preservará su monopolio. La tecnología ya está en manos de muchos y fuera de la intemperie, lo que hace que su progreso sea imparable. Aunque esto puede ser un poco de dolor de cabeza para los inversores de OpenAI, en última instancia es una victoria para el resto de nosotros. Si bien el futuro pertenece a muchos, siempre estaremos agradecidos con los primeros contribuyentes como Google y OpenAI.
Debasish Ray Chawdhuri es ingeniero principal senior de Talentica Software.
Insights diarias sobre casos de uso comercial con VB diariamente
Si quieres impresionar a tu jefe, VB Daily te tiene cubierto. Le damos la cuenta interior de lo que las empresas están haciendo con la IA generativa, desde cambios regulatorios hasta implementaciones prácticas, por lo que puede compartir ideas para el ROI máximo.
Lea nuestra Política de privacidad
Gracias por suscribirse. Mira más boletines de VB aquí.
Ocurrió un error.
Related posts




























































































































































































































































































Trending
-
Startups11 meses ago
Remove.bg: La Revolución en la Edición de Imágenes que Debes Conocer
-
Tutoriales12 meses ago
Cómo Comenzar a Utilizar ChatGPT: Una Guía Completa para Principiantes
-
Recursos12 meses ago
Cómo Empezar con Popai.pro: Tu Espacio Personal de IA – Guía Completa, Instalación, Versiones y Precios
-
Startups10 meses ago
Startups de IA en EE.UU. que han recaudado más de $100M en 2024
-
Startups12 meses ago
Deepgram: Revolucionando el Reconocimiento de Voz con IA
-
Recursos11 meses ago
Perplexity aplicado al Marketing Digital y Estrategias SEO
-
Recursos12 meses ago
Suno.com: La Revolución en la Creación Musical con Inteligencia Artificial
-
Noticias10 meses ago
Dos periodistas octogenarios deman a ChatGPT por robar su trabajo