Noticias
Los científicos acaban de encontrar una forma novedosa de descubrir los sesgos de la IA, y los resultados son inesperados
Published
3 meses agoon


El humor está surgiendo como una lente reveladora para comprender los prejuicios dentro de los sistemas de inteligencia artificial. Un nuevo estudio publicado en Informes Científicos descubrió que cuando se solicitaba a herramientas como ChatGPT y DALL-E que hicieran imágenes “más divertidas”, los cambios resultantes en la representación resaltaban patrones subyacentes de sesgo. Las representaciones estereotipadas de edad, peso corporal y discapacidad visual se hicieron más prominentes, mientras que las representaciones de minorías raciales y de género disminuyeron.
Las herramientas de inteligencia artificial generativa, como ChatGPT y DALL-E de OpenAI, han llamado la atención por su capacidad para crear contenido en una variedad de campos. ChatGPT, un modelo de lenguaje grande, procesa y genera texto similar a un humano basado en vastos conjuntos de datos en los que fue entrenado. Entiende el contexto, predice respuestas y produce texto coherente y significativo. De manera similar, DALL-E es un generador de texto a imagen que crea contenido visual basado en indicaciones detalladas.
El humor es una habilidad humana compleja que combina elementos de sorpresa, sincronización e intención. Los estudios han demostrado que la inteligencia artificial no sólo puede producir humor sino que a veces supera a los creadores humanos. Por ejemplo, un estudio en MÁS UNO descubrió que los chistes generados por IA fueron calificados como igual o incluso más divertidos que los creados por participantes humanos, incluidos los satíricos profesionales. Esto sugiere que la capacidad de la IA para detectar patrones y generar contenido se extiende a la elaboración de chistes que resuenan ampliamente, incluso sin la profundidad emocional o experiencial que los humanos aportan al humor.
El estudio actual buscó aprovechar esta base examinando cómo el humor influye en el sesgo en las imágenes generadas por IA. Los investigadores quedaron intrigados por una observación: cuando le pedían a ChatGPT que modificara las imágenes para hacerlas “más divertidas”, a menudo introducía rasgos exagerados o estereotipados. Este patrón generó preocupación sobre si el humor en los sistemas de IA podría reforzar los estereotipos, particularmente contra grupos que históricamente han sido blanco de prejuicios.
“Estoy muy interesado en estudiar cómo los consumidores interactúan con tecnologías nuevas y emergentes como la IA generativa. En un momento, mis coautores y yo notamos que cuando le pedíamos a ChatGPT que hiciera las imágenes “más divertidas”, a menudo introducíamos cambios extraños y estereotipados, como convertir a un hombre blanco conduciendo un automóvil en un hombre obeso que llevaba gafas de gran tamaño”. dijo el autor del estudio Roger Saumure, estudiante de doctorado en la Escuela Wharton de la Universidad de Pensilvania.
“Esto nos pareció algo más que un simple problema técnico y sugirió que podrían surgir sesgos sistemáticos cuando grandes modelos de lenguaje interactúan con generadores de texto a imagen. Dado un gran conjunto de investigaciones en psicología y sociología que muestran que el humor puede exacerbar los estereotipos, sentimos que era importante, tanto teórica como prácticamente, probar empíricamente si la interacción entre los modelos de IA podría reforzar los estereotipos”.
La investigación implicó una auditoría sistemática de imágenes generadas por IA. Dos asistentes de investigación (ciegos a la hipótesis del estudio) ingresaron 150 indicaciones que describían las actividades humanas en un popular sistema de inteligencia artificial generativa. Estas indicaciones generaron 150 imágenes iniciales. Para crear un segundo conjunto de imágenes, los asistentes le indicaron a la IA que hiciera cada imagen “más divertida”. El proceso se repitió, lo que dio como resultado 600 imágenes en dos condiciones (versiones original y más divertida).
Luego, el equipo analizó tanto las características visuales de las imágenes como los descriptores textuales utilizados por la IA para generarlas. Cada imagen fue codificada según cinco dimensiones de representación: raza, género, edad, peso corporal y discapacidad visual. Los investigadores observaron si los rasgos de las imágenes “más divertidas” se desviaban de los de las imágenes originales y si estas desviaciones reflejaban representaciones estereotipadas.
Los investigadores descubrieron que las representaciones estereotipadas de personas mayores, personas con alto peso corporal y personas con discapacidad visual se volvieron más frecuentes en las imágenes “más divertidas”. Mientras tanto, disminuyeron las representaciones de minorías raciales y de género (grupos que a menudo están en el centro de las discusiones sobre prejuicios).
“Lo que más nos llamó la atención es que el patrón de sesgo que observamos iba en la dirección opuesta a lo que predecía la literatura”, dijo Saumure a PsyPost. “Inicialmente, esperábamos replicar patrones conocidos de prejuicios raciales y de género a través de la lente del humor, mientras dilucidamos si los prejuicios surgían de los modelos de texto o de imagen”.
“Sin embargo, terminamos descubriendo que, en todo caso, la IA generativa mostraba menos sesgo hacia estas categorías y al mismo tiempo estaba sesgada contra grupos menos sensibles políticamente. Es decir, cuando le pedimos a la IA que hiciera las imágenes “más divertidas”, era menos probable que aparecieran grupos políticamente sensibles (minorías raciales y de género), mientras que grupos como adultos mayores, personas con discapacidad visual o personas con alto peso corporal se representaban con mayor frecuencia. .”
El humor suscita rasgos a menudo exagerados asociados con grupos no sensibles políticamente, como hacer que las personas mayores parezcan frágiles o representar a personas con alto peso corporal de una manera exagerada y poco halagadora. Por ejemplo, una representación neutral de una persona leyendo un libro podría transformarse en una caricatura de un adulto mayor con gafas gruesas y rasgos físicos exagerados.
Curiosamente, el sesgo parecía originarse principalmente en el generador de texto a imagen más que en el modelo de lenguaje. Si bien ChatGPT produjo descripciones textuales detalladas para guiar el proceso de generación de imágenes, los cambios en la representación parecían surgir de cómo DALL-E interpretó estas indicaciones para crear imágenes.
“Una conclusión principal de este estudio es que los sistemas de IA contemporáneos pueden corregir en exceso el sesgo contra grupos políticamente destacados (por ejemplo, género y raza), mientras que corrigen insuficientemente el sesgo contra grupos menos destacados políticamente (por ejemplo, mayor peso corporal, edad avanzada, discapacidad visual). )”, dijo Saumure. “Por lo tanto, aunque empresas como OpenAI han hecho esfuerzos considerables para reducir los sesgos, es probable que estos hayan sido principalmente para mantener satisfechos a los consumidores y a los medios, en lugar de reducir el sesgo global en general. Creemos que esto subraya la necesidad de que las empresas y los responsables políticos adopten un enfoque más global e inclusivo para auditar todas las formas de sesgo de la IA”.
“Una segunda conclusión de nuestro trabajo es que resulta particularmente difícil eliminar el sesgo de ciertas modalidades (es decir, imagen en lugar de texto). Una tercera conclusión es que el humor puede servir como una lente muy útil para descubrir sesgos a veces sutiles en varios tipos de resultados de IA, incluidos texto, imágenes, audio y otras modalidades”.
Los investigadores también notaron que la subrepresentación de ciertos grupos era evidente incluso antes de que se introdujeran las indicaciones humorísticas. “Por ejemplo, en nuestro conjunto inicial de imágenes, sólo alrededor del 9,80% presentaba mujeres y el 0% presentaba individuos con alto peso corporal, una grave subestimación de los promedios nacionales de 73,60% y 50,50%”, explicó Saumure. “Este resultado sugiere que los modelos de IA pueden estar reflejando supuestos culturales predeterminados de ‘delgado, masculino y blanco’ como norma. En el futuro, será importante que las empresas aborden y corrijan estas omisiones para crear sistemas de IA más inclusivos y equitativos”.
Sin embargo, es importante señalar que la investigación se centró en un único sistema de IA generativa, dejando abierta la cuestión de si se producen patrones similares en otros modelos. El contexto cultural es otra variable: los sistemas de IA entrenados en diferentes regiones pueden exhibir sesgos que reflejan sensibilidades y dinámicas sociales locales.
“Nuestra perspectiva teórica también predice que los patrones de sesgo deberían aparecer en diferentes culturas, dependiendo de qué grupos particulares sean vistos como políticamente sensibles”, dijo Saumure. “Por ejemplo, deberíamos esperar que los LLM que generan imágenes basadas en indicaciones en hindi tengan más probabilidades de corregir los prejuicios contra los musulmanes, dada la tensión más destacada en esa cultura entre hindúes y musulmanes”.
“Espero continuar mi investigación sobre cómo interactúan los consumidores con la IA generativa. Actualmente estoy investigando el poder persuasivo de estas tecnologías: cómo pueden persuadir a los consumidores para que comuniquen mensajes específicos o replanteen nuestras interpretaciones de la información. En última instancia, mi objetivo es comprender mejor cómo estas herramientas moldean el comportamiento y el bienestar del consumidor”.
El estudio, “El humor como ventana al sesgo generativo de la IA”, fue escrito por Roger Saumure, Julian De Freitas y Stefano Puntoni.
You may like
Noticias
‘Uno de los mejores investigadores de IA’ negó la tarjeta verde después de 12 años en EE. UU.
Published
43 minutos agoon
26 abril, 2025
Un investigador de inteligencia artificial (IA) canadiense que ha vivido en los Estados Unidos durante 12 años y trabajó en ChatGPT se le negó una tarjeta verde, según los empleados de la empresa matriz OpenAI a través de una serie de publicaciones en X, anteriormente Twitter.
Newsweek comunicado con los servicios de ciudadanía e inmigración de los Estados Unidos (USCIS) por correo electrónico fuera del horario comercial normal el sábado por la mañana para hacer comentarios.
Por que importa
El presidente Donald Trump se comprometió a promulgar la mayor represión contra la inmigración en la historia del país, iniciando deportaciones masivas que permanecen sumidas en el estancamiento legal en medio de desafíos de varios estados y autoridades legales.
Sin embargo, Elon Musk y Vivek Ramaswamy, ambos inicialmente aprovechados por Trump para liderar el Departamento de Eficiencia del Gobierno (DOGE), defendieron un enfoque en una expansión de programas como la visa H-1B, una visa temporal y no inmigrante que permite a los empleadores estadounidenses contratar trabajadores extranjeros para trabajos estacionales o no intraficulturales, para aumentar el número de inmigrantes altos en escéquidos.
Que saber
Noam Brown, un investigador de Openai, el viernes por la mañana escribió en X que estaba “profundamente preocupado” por el estado migratorio de Kai Chen, un ciudadano canadiense que ha vivido y trabajado en los Estados Unidos durante 12 años que se vio obligado a irse después de que su solicitud de tarjeta verde fue negada.
“Es profundamente preocupante que uno de los mejores investigadores de IA con los que he trabajado, [Kai Chen]se le negó una tarjeta verde de EE. UU. Hoy “, escribió Brown, y agregó:” Estamos arriesgando el liderazgo de IA de Estados Unidos cuando rechazamos el talento como este “.
Dylan Hunn, otro empleado de Operai, se hizo eco del sentimiento de Brown solo unas horas después, diciendo que Chen era “increíblemente importante para OpenAi”, ya que era “crucial para GPT-4.5”.
“Nuestro sistema de inmigración se ha vuelto * loco * para patearla”, escribió Hunn. “¡Estados Unidos la necesita!”
Brown luego escribió en X que Chen planeaba trabajar de forma remota desde un Airbnb en Vancouver y ir al “modo de monje completo” para mantenerse al día con sus proyectos mientras el problema de inmigración se resolvió. Chen trató de conocer el momento con optimismo, escribiendo en respuesta a Brown de que ella estaría en Vancouver “por una cantidad de tiempo indeterminada” y estaría “entusiasmada con conocer a nuevas personas”.
“Esperemos que regrese a casa en algún momento de este año, pero si no lo hará lo mejor”, escribió Chen, luego agregando en una publicación separada de que OpenAi ha sido “increíblemente solidario durante esta kerfuffle”.
Brown proporcionó una actualización poco antes de la medianoche de que parecía que “podría haber habido problemas de papeleo con la presentación de tarjeta verde inicial” realizado dos años antes.
“Es una pena que esto signifique [Chen] Tiene que dejar a los Estados Unidos por un tiempo, pero hay una razón para el optimismo de que esto se resolverá “, escribió Brown en X.
Chen aclaró aún más la situación, diciendo que había solicitado la tarjeta verde hace tres años antes de su tiempo en OpenAi.
“Realmente apesta ser negado después de esperar tanto tiempo y no poder regresar a casa, pero en general se siente muy afortunado de estar donde estoy”, escribió.
Una persona muestra el logotipo de ChatGPT en la pantalla de un teléfono inteligente con el logotipo de OpenAI en el fondo el 29 de diciembre de 2024 en Chongqing, China.
Cheng Xin/Getty Images
¿Qué protecciones tienen los titulares de tarjetas verdes?
El USCIS dice que un titular de la tarjeta verde tiene derecho a vivir permanentemente en los EE. UU. Siempre que no cometan ninguna acción que “lo haga removible bajo la ley de inmigración”. Esto incluye romper las leyes y no presentar impuestos.
Un titular de la tarjeta verde está protegido por todas las leyes de los Estados Unidos, incluidas las de los niveles estatales y locales, y pueden solicitar trabajos más libremente que aquellos que pueden estar en los EE. UU. En visas basadas en el trabajo.
Viajar también es mucho más fácil con una tarjeta verde que con otras visas temporales, pero los titulares deben asegurarse de que no se van por más de seis meses a la vez.
“Hay una razón por la cual alguien querría una tarjeta verde en lugar de estar aquí con una visa temporal porque es una residencia permanente legal, le brinda la capacidad de vivir y trabajar permanentemente en los Estados Unidos. Pero dicho eso, no es ciudadanía”, Eliss Taub, socio de la firma de abogados de inmigración Siskind, contada, contada. Newsweek.
Los titulares de tarjetas verdes deben renovar sus tarjetas cada 10 años y pueden solicitar la ciudadanía después de tres años si están casados con un ciudadano estadounidense o cinco si no.
Lo que la gente dice
Un portavoz de OpenAi dijo Newsweek En una respuesta por correo electrónico a una solicitud de comentarios: “Esta solicitud se presentó algún tiempo antes de que nuestro empleado se uniera a OpenAI y no estábamos involucrados en el caso. Sin embargo, nuestra evaluación inicial, basada en la información que nos proporciona, muestra que puede haber algunos problemas de papeleo en la presentación. Continuamos trabajando estrechamente con nuestro empleado en su situación”.
Noam Brown, un empleado de Operai, Escribí en X el sábado: “He estado en IA desde 2012, y he visto suficientes historias de terror de visa desde entonces para saber que la ruptura de la inmigración altamente calificada en Estados Unidos es persistente. Es particularmente doloroso ver que la ruptura ralentiza a mi compañero de equipo durante más de 2 meses cuando el progreso de la IA es semana a semana”.
CEO de Operai Sam Altman en 2023 Escribió en X: “Una de las victorias de política más fáciles que puedo imaginar para los Estados Unidos es reformar la inmigración de alta habilidad. El hecho de que muchas de las personas más talentosas del mundo quieran estar aquí es un regalo ganado con fuerza; abrazarlos es la clave para mantenerlo así. Es difícil recuperar esto si lo perdemos”.
Shaun Ralston, un contratista independiente que brinda soporte para los clientes de API de Openai, escribió en X el viernes: …@Openai presentó más de 80 más H-1BS el año pasado solo. ¿Cuántas mentes más brillantes se alejará la administración Trump a otros países? Hola, Maga, arregle la tubería de talento o deja de hablar sobre el liderazgo de IA “.
Matt Tegarden, el CEO de la Asociación Kansas Livestock, A principios de este mes le dijo Newsweek: “Las empresas se están asegurando de que sus archivos de documentos de empleo están en orden. También están confirmando sus derechos y responsabilidades en esta área, así como ayudando a sus empleados a comprender sus derechos”.
¿Qué pasa después?
La aplicación de la tarjeta verde de Chen tomará tiempo para resolverse, pero parece que el problema raíz ha sido identificado, lo que hace que sea más probable que pueda regresar a los Estados Unidos más temprano que tarde.
Actualización, 26/04/25 a las 4:52 PM ET: Este artículo se ha actualizado para incluir una declaración de OpenAI.
Noticias
Alphabet Inc. (Googl) aprovecha el crecimiento de Gemini AI y Waymo para alimentar la próxima ola de innovación
Published
6 horas agoon
26 abril, 2025
La inteligencia artificial es la mayor oportunidad de inversión de nuestra vida. ¡El tiempo para invertir en una IA innovadora es ahora, y esta acción es un robo!
Mi selección de IA #1 entregó ganancias sólidas desde el comienzo de 2025 mientras que las existencias populares de IA como NVDA y AVGO perdieron alrededor del 25%.
Los números hablan por sí mismos: mientras los gigantes del mundo de la IA sangran, nuestra selección de IA ofrece, mostrando el poder de nuestra investigación y la inmensa oportunidad esperando ser incautada.
Los susurros se están convirtiendo en rugidos.
La inteligencia artificial ya no es ciencia ficción.
Es la revolución que remodelan todas las industrias del planeta.
Desde automóviles sin conductor hasta avances médicos, AI está en la cúspide de una explosión global, y los inversores inteligentes pueden cosechar las recompensas.
He aquí por qué este es el mejor momento para saltar en el carro de la IA:
Crecimiento exponencial en el horizonte: Olvídese del crecimiento lineal: la IA está preparada para una trayectoria de palo de hockey.
Imagine todos los sectores, desde la atención médica hasta las finanzas, infundidas con inteligencia sobrehumana.
Estamos hablando de predicción de enfermedades, marketing hiperpersonalizado y logística automatizada que agiliza todo.
Esto no es tal vez, es una inevitabilidad.
Los primeros inversores serán los posicionados para montar la ola de este tsunami tecnológico.
Oportunidad de la planta baja: ¿Recuerdas los primeros días de Internet?
Aquellos que vieron el potencial de los gigantes tecnológicos en ese entonces están sentados bastante hoy.
AI está en un punto de inflexión similar.
No estamos hablando de jugadores establecidos: estamos hablando de nuevas empresas ágiles con ideas innovadoras y el potencial de convertirse en el próximo Google o Amazon.
¡Esta es tu oportunidad de entrar antes de que los Rockets despeguen!
La interrupción es el nuevo nombre del juego: Seamos realistas, la complacencia genera estancamiento.
La IA es el último disruptor, y está sacudiendo los cimientos de las industrias tradicionales.
Las compañías que adoptan la IA prosperarán, mientras que los dinosaurios se aferran a métodos obsoletos se dejarán en el polvo.
Como inversor, desea estar del lado de los ganadores, y AI es el boleto ganador.
El grupo de talentos se desborda: Las mentes más brillantes del mundo acuden en masa a la IA.
Desde informática hasta matemáticos, la próxima generación de innovadores está vertiendo su energía en este campo.
Esta afluencia de talento garantiza una corriente constante de ideas innovadoras y avances rápidos.
Al invertir en IA, esencialmente está respaldando el futuro.
El futuro funciona con inteligencia artificial, y el tiempo de invertir es ahora.
No seas un espectador en esta revolución tecnológica.
Sumérgete en la fiebre del oro AI y observa que tu cartera se eleva junto con las mentes más brillantes de nuestra generación.
No se trata solo de ganar dinero, se trata de ser parte del futuro.
Entonces, ¡abrochate y prepárese para el viaje de su vida de inversión!
Actúe ahora y desbloquee un rendimiento potencial del 10,000%: esta acción de IA es un diamante en bruto (¡pero nuestra ayuda es clave!)
La Revolución AI está sobre nosotros, y los inversores inteligentes pueden hacer una fortuna.
Pero con tantas opciones, ¿cómo se encuentra la joya oculta: la compañía preparada para un crecimiento explosivo?
Ahí es donde entra nuestra experiencia.
Tenemos la respuesta, pero hay un giro …
Imagine una compañía de IA tan innovadora, hasta ahora antes de la curva, que incluso si el precio de sus acciones cuadruplicado hoytodavía se consideraría ridículamente barato.
Ese es el potencial que estás viendo. No se trata solo de un regreso decente, estamos hablando de un 10,000% ¡Gane durante la próxima década!
Nuestro equipo de investigación ha identificado una joya oculta: una compañía de IA con tecnología de vanguardia, potencial masivo y un precio actual de acciones que grita oportunidades.
Esta compañía cuenta con la tecnología más avanzada en el sector de la IA, colocándolos en ligas por delante de los competidores.
Es como tener un auto de carreras en una pista de go-kart.
Tienen una gran posibilidad de arrinconar los mercados enteros, convirtiéndose en el líder indiscutible en su campo.
Aquí está la trampa (es buena): Para descubrir este gigante dormido, necesitará nuestro Intel exclusivo.
¡Queremos asegurarnos de que ninguno de nuestros valiosos lectores se pierda esta innovadora oportunidad!
Es por eso que estamos reduciendo el precio de nuestro boletín de lectores premium por un enorme 70%.
Por un precio ridículamente bajo de solo $ 29.99puede desbloquear un año de investigación de inversiones en profundidad y ideas exclusivas, ¡eso es menos que una comida de un solo restaurante!
He aquí por qué este es un trato que no puede permitirse dejar pasar:
• Acceso a nuestro informe detallado sobre esta acción de IA que cambia el juego: Nuestro informe en profundidad se sumerge en la tecnología innovadora de nuestra serie de IA #1 y un potencial de crecimiento masivo.
• 11 nuevos números de nuestro boletín de lectores premium: También recibirá 11 nuevos problemas y al menos una nueva selección de acciones por mes de la cartera de nuestro boletín mensual durante los próximos 12 meses. Estas acciones son seleccionadas por nuestro Director de Investigación, Dr. Inan Dogan.
• Un próximo número gratuito de nuestro boletín trimestral de más de 70 páginas: Un valor de $ 149
• Informes de bonificación: Acceso premium a solo para miembros Entrevistas de video del administrador de fondos
• navegación sin anuncios: Disfrute de un año de investigación de inversiones sin distracción de anuncios emergentes y anuncios emergentes, lo que le permite concentrarse en descubrir la próxima gran oportunidad.
• Garantía de devolución de dinero de 30 días: Si no está absolutamente satisfecho con nuestro servicio, proporcionaremos un reembolso completo dentro de los 30 días, no se hacen preguntas.
¡El espacio es limitado! Solo 1000 puntos están disponibles para esta oferta exclusiva. No permita que esta oportunidad se escape: suscríbase a nuestro boletín de lectores premium hoy y desbloquee el potencial de una inversión que cambie la vida.
Esto es lo que debe hacer a continuación:
1. Dirígete a nuestro sitio web y suscríbete a nuestro boletín de lectores premium por solo $ 29.99.
2. Disfrute de un año de navegación sin publicidad, acceso exclusivo a nuestro informe en profundidad sobre la Revolucionaria Compañía de IA y los próximos números de nuestro boletín de lectores premium en los próximos 12 meses.
3. Siéntese, relájese y sepa que está respaldado por nuestra garantía de dinero de dinero de 30 días.
¡No te pierdas esta increíble oportunidad! ¡Suscríbase ahora y tome el control de su futuro de inversión de IA!
¡No se preocupe por las renovaciones automáticas! ¡Nuestra garantía de devolución de dinero de 30 días se aplica si se está uniendo a nosotros por primera vez o renovando su suscripción un año después!
Noticias
El éxito de Deepseek muestra por qué la motivación es clave para la innovación de IA
Published
6 horas agoon
26 abril, 2025
Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información
Enero de 2025 sacudió el paisaje de IA. El OpenAI aparentemente imparable y los poderosos gigantes tecnológicos estadounidenses se sorprendieron por lo que ciertamente podemos llamar un desvalido en el área de grandes modelos de idiomas (LLM). Deepseek, una empresa china que no está en el radar de nadie, de repente desafió a OpenAi. No es que Deepseek-R1 fuera mejor que los mejores modelos de los gigantes estadounidenses; Estaba ligeramente atrasado en términos de los puntos de referencia, pero de repente hizo que todos pensaran en la eficiencia en términos de hardware y uso de energía.
Dada la falta de disponibilidad del mejor hardware de alta gama, parece que Deepseek estaba motivado para innovar en el área de eficiencia, lo cual era una preocupación menor para los jugadores más grandes. Operai ha afirmado que tienen evidencia que sugiere que Deepseek puede haber usado su modelo para la capacitación, pero no tenemos pruebas concretas para respaldar esto. Entonces, ya sea cierto o que sea OpenAi simplemente tratar de apaciguar a sus inversores es un tema de debate. Sin embargo, Deepseek ha publicado su trabajo, y las personas han verificado que los resultados son reproducibles al menos en una escala mucho más pequeña.
Pero, ¿cómo podría Deepseek alcanzar tales ahorradores de costos, mientras que las empresas estadounidenses no podían? La respuesta corta es simple: tenían más motivación. La respuesta larga requiere un poco más de una explicación técnica.
Deepseek usó la optimización de KV-Cache
Un ahorro importante de costos para la memoria de GPU fue la optimización del caché de valor clave utilizado en cada capa de atención en un LLM.
Los LLM están formados por bloques de transformadores, cada uno de los cuales comprende una capa de atención seguida de una red regular de alimentación de vainilla. La red de feed-forward modela las relaciones arbitrarias conceptuales, pero en la práctica, es difícil para él determinar siempre los patrones en los datos. La capa de atención resuelve este problema para el modelado de idiomas.
El modelo procesa textos utilizando tokens, pero por simplicidad, nos referiremos a ellos como palabras. En un LLM, a cada palabra se le asigna un vector en una dimensión alta (por ejemplo, mil dimensiones). Conceptualmente, cada dimensión representa un concepto, como ser caliente o frío, ser verde, ser suave, ser un sustantivo. La representación vectorial de una palabra es su significado y valores según cada dimensión.
Sin embargo, nuestro lenguaje permite que otras palabras modifiquen el significado de cada palabra. Por ejemplo, una manzana tiene un significado. Pero podemos tener una manzana verde como versión modificada. Un ejemplo más extremo de modificación sería que una Apple en un contexto de iPhone difiere de una Apple en un contexto de prado. ¿Cómo dejamos que nuestro sistema modifique el significado vectorial de una palabra basado en otra palabra? Aquí es donde entra la atención.
El modelo de atención asigna otros dos vectores a cada palabra: una clave y una consulta. La consulta representa las cualidades del significado de una palabra que se puede modificar, y la clave representa el tipo de modificaciones que puede proporcionar a otras palabras. Por ejemplo, la palabra ‘verde’ puede proporcionar información sobre color y verde. Entonces, la clave de la palabra ‘verde’ tendrá un alto valor en la dimensión ‘verde’. Por otro lado, la palabra ‘manzana’ puede ser verde o no, por lo que el vector de consulta de ‘manzana’ también tendría un alto valor para la dimensión verde. Si tomamos el producto DOT de la clave de ‘verde’ con la consulta de ‘manzana’, el producto debe ser relativamente grande en comparación con el producto de la clave de ‘tabla’ y la consulta de ‘manzana’. La capa de atención luego agrega una pequeña fracción del valor de la palabra ‘verde’ al valor de la palabra ‘manzana’. De esta manera, el valor de la palabra ‘Apple’ se modifica para ser un poco más verde.
Cuando el LLM genera texto, lo hace una palabra tras otra. Cuando genera una palabra, todas las palabras generadas anteriormente se convierten en parte de su contexto. Sin embargo, las teclas y los valores de esas palabras ya están calculados. Cuando se agrega otra palabra al contexto, su valor debe actualizarse en función de su consulta y las claves y valores de todas las palabras anteriores. Es por eso que todos esos valores se almacenan en la memoria de la GPU. Este es el caché KV.
Deepseek determinó que la clave y el valor de una palabra están relacionados. Entonces, el significado de la palabra verde y su capacidad para afectar la verdura están obviamente muy estrechamente relacionados. Por lo tanto, es posible comprimir tanto como un vector único (y tal vez más pequeño) y descomprimir mientras se procesa muy fácilmente. Deepseek ha descubierto que afecta su rendimiento en los puntos de referencia, pero ahorra mucha memoria de GPU.
Deepseek aplicado moe
La naturaleza de una red neuronal es que toda la red debe ser evaluada (o calculada) para cada consulta. Sin embargo, no todo esto es un cálculo útil. El conocimiento del mundo se encuentra en los pesos o parámetros de una red. El conocimiento sobre la Torre Eiffel no se usa para responder preguntas sobre la historia de las tribus sudamericanas. Saber que una manzana es una fruta no es útil al responder preguntas sobre la teoría general de la relatividad. Sin embargo, cuando se calcula la red, todas las partes de la red se procesan independientemente. Esto incurre en grandes costos de cálculo durante la generación de texto que idealmente deberían evitarse. Aquí es donde entra la idea de la mezcla de expertos (MOE).
En un modelo MOE, la red neuronal se divide en múltiples redes más pequeñas llamadas expertos. Tenga en cuenta que el ‘experto’ en el tema no está definido explícitamente; La red lo resuelve durante el entrenamiento. Sin embargo, las redes asignan una puntuación de relevancia a cada consulta y solo activan las partes con puntajes de coincidencia más altos. Esto proporciona un gran ahorro de costos en el cálculo. Tenga en cuenta que algunas preguntas necesitan experiencia en múltiples áreas para ser respondidas correctamente, y el rendimiento de tales consultas se degradará. Sin embargo, debido a que las áreas se resuelven a partir de los datos, se minimiza el número de tales preguntas.
La importancia del aprendizaje de refuerzo
Se le enseña a un LLM a pensar a través de un modelo de cadena de pensamiento, con el modelo ajustado para imitar el pensamiento antes de entregar la respuesta. Se le pide al modelo que verbalice su pensamiento (genere el pensamiento antes de generar la respuesta). Luego se evalúa el modelo tanto en el pensamiento como en la respuesta, y se entrena con aprendizaje de refuerzo (recompensado para una coincidencia correcta y penalizado para una coincidencia incorrecta con los datos de entrenamiento).
Esto requiere datos de entrenamiento costosos con el token de pensamiento. Deepseek solo le pidió al sistema que generara los pensamientos entre las etiquetas
Deepseek emplea varios trucos de optimización adicionales. Sin embargo, son muy técnicos, por lo que no los profundizaré aquí.
Pensamientos finales sobre Deepseek y el mercado más grande
En cualquier investigación de tecnología, primero necesitamos ver lo que es posible antes de mejorar la eficiencia. Esta es una progresión natural. La contribución de Deepseek al paisaje LLM es fenomenal. La contribución académica no se puede ignorar, ya sea que estén o no entrenando o no la salida de OpenAI. También puede transformar la forma en que funcionan las startups. Pero no hay razón para que Operai o los otros gigantes estadounidenses se desesperen. Así es como funciona la investigación: un grupo se beneficia de la investigación de los otros grupos. Deepseek ciertamente se benefició de las investigaciones anteriores realizadas por Google, Operai y muchos otros investigadores.
Sin embargo, la idea de que Operai dominará el mundo LLM indefinidamente ahora es muy poco probable. Ninguna cantidad de cabildeo regulatorio o señalar con el dedo preservará su monopolio. La tecnología ya está en manos de muchos y fuera de la intemperie, lo que hace que su progreso sea imparable. Aunque esto puede ser un poco de dolor de cabeza para los inversores de OpenAI, en última instancia es una victoria para el resto de nosotros. Si bien el futuro pertenece a muchos, siempre estaremos agradecidos con los primeros contribuyentes como Google y OpenAI.
Debasish Ray Chawdhuri es ingeniero principal senior de Talentica Software.
Insights diarias sobre casos de uso comercial con VB diariamente
Si quieres impresionar a tu jefe, VB Daily te tiene cubierto. Le damos la cuenta interior de lo que las empresas están haciendo con la IA generativa, desde cambios regulatorios hasta implementaciones prácticas, por lo que puede compartir ideas para el ROI máximo.
Lea nuestra Política de privacidad
Gracias por suscribirse. Mira más boletines de VB aquí.
Ocurrió un error.
Related posts




























































































































































































































































































Trending
-
Startups11 meses ago
Remove.bg: La Revolución en la Edición de Imágenes que Debes Conocer
-
Tutoriales12 meses ago
Cómo Comenzar a Utilizar ChatGPT: Una Guía Completa para Principiantes
-
Recursos12 meses ago
Cómo Empezar con Popai.pro: Tu Espacio Personal de IA – Guía Completa, Instalación, Versiones y Precios
-
Startups10 meses ago
Startups de IA en EE.UU. que han recaudado más de $100M en 2024
-
Startups12 meses ago
Deepgram: Revolucionando el Reconocimiento de Voz con IA
-
Recursos11 meses ago
Perplexity aplicado al Marketing Digital y Estrategias SEO
-
Recursos12 meses ago
Suno.com: La Revolución en la Creación Musical con Inteligencia Artificial
-
Noticias10 meses ago
Dos periodistas octogenarios deman a ChatGPT por robar su trabajo