El éxito de Deepseek muestra por qué la motivación es clave para la innovación de IA

Enero de 2025 sacudió el paisaje de IA. El OpenAI aparentemente imparable y los poderosos gigantes tecnológicos estadounidenses se sorprendieron por lo que ciertamente podemos llamar un desvalido en el área de grandes modelos de idiomas (LLM). Deepseek, una empresa china que no está en el radar de nadie, de repente desafió a OpenAi. No es que Deepseek-R1 fuera mejor que los mejores modelos de los gigantes estadounidenses; Estaba ligeramente atrasado en términos de los puntos de referencia, pero de repente hizo que todos pensaran en la eficiencia en términos de hardware y uso de energía.

Dada la falta de disponibilidad del mejor hardware de alta gama, parece que Deepseek estaba motivado para innovar en el área de eficiencia, lo cual era una preocupación menor para los jugadores más grandes. Operai ha afirmado que tienen evidencia que sugiere que Deepseek puede haber usado su modelo para la capacitación, pero no tenemos pruebas concretas para respaldar esto. Entonces, ya sea cierto o que sea OpenAi simplemente tratar de apaciguar a sus inversores es un tema de debate. Sin embargo, Deepseek ha publicado su trabajo, y las personas han verificado que los resultados son reproducibles al menos en una escala mucho más pequeña.

Pero, ¿cómo podría Deepseek alcanzar tales ahorradores de costos, mientras que las empresas estadounidenses no podían? La respuesta corta es simple: tenían más motivación. La respuesta larga requiere un poco más de una explicación técnica.

Deepseek usó la optimización de KV-Cache

Un ahorro importante de costos para la memoria de GPU fue la optimización del caché de valor clave utilizado en cada capa de atención en un LLM.

Los LLM están formados por bloques de transformadores, cada uno de los cuales comprende una capa de atención seguida de una red regular de alimentación de vainilla. La red de feed-forward modela las relaciones arbitrarias conceptuales, pero en la práctica, es difícil para él determinar siempre los patrones en los datos. La capa de atención resuelve este problema para el modelado de idiomas.

El modelo procesa textos utilizando tokens, pero por simplicidad, nos referiremos a ellos como palabras. En un LLM, a cada palabra se le asigna un vector en una dimensión alta (por ejemplo, mil dimensiones). Conceptualmente, cada dimensión representa un concepto, como ser caliente o frío, ser verde, ser suave, ser un sustantivo. La representación vectorial de una palabra es su significado y valores según cada dimensión.

Sin embargo, nuestro lenguaje permite que otras palabras modifiquen el significado de cada palabra. Por ejemplo, una manzana tiene un significado. Pero podemos tener una manzana verde como versión modificada. Un ejemplo más extremo de modificación sería que una Apple en un contexto de iPhone difiere de una Apple en un contexto de prado. ¿Cómo dejamos que nuestro sistema modifique el significado vectorial de una palabra basado en otra palabra? Aquí es donde entra la atención.

El modelo de atención asigna otros dos vectores a cada palabra: una clave y una consulta. La consulta representa las cualidades del significado de una palabra que se puede modificar, y la clave representa el tipo de modificaciones que puede proporcionar a otras palabras. Por ejemplo, la palabra ‘verde’ puede proporcionar información sobre color y verde. Entonces, la clave de la palabra ‘verde’ tendrá un alto valor en la dimensión ‘verde’. Por otro lado, la palabra ‘manzana’ puede ser verde o no, por lo que el vector de consulta de ‘manzana’ también tendría un alto valor para la dimensión verde. Si tomamos el producto DOT de la clave de ‘verde’ con la consulta de ‘manzana’, el producto debe ser relativamente grande en comparación con el producto de la clave de ‘tabla’ y la consulta de ‘manzana’. La capa de atención luego agrega una pequeña fracción del valor de la palabra ‘verde’ al valor de la palabra ‘manzana’. De esta manera, el valor de la palabra ‘Apple’ se modifica para ser un poco más verde.

Cuando el LLM genera texto, lo hace una palabra tras otra. Cuando genera una palabra, todas las palabras generadas anteriormente se convierten en parte de su contexto. Sin embargo, las teclas y los valores de esas palabras ya están calculados. Cuando se agrega otra palabra al contexto, su valor debe actualizarse en función de su consulta y las claves y valores de todas las palabras anteriores. Es por eso que todos esos valores se almacenan en la memoria de la GPU. Este es el caché KV.

Deepseek determinó que la clave y el valor de una palabra están relacionados. Entonces, el significado de la palabra verde y su capacidad para afectar la verdura están obviamente muy estrechamente relacionados. Por lo tanto, es posible comprimir tanto como un vector único (y tal vez más pequeño) y descomprimir mientras se procesa muy fácilmente. Deepseek ha descubierto que afecta su rendimiento en los puntos de referencia, pero ahorra mucha memoria de GPU.

Deepseek aplicado moe

La naturaleza de una red neuronal es que toda la red debe ser evaluada (o calculada) para cada consulta. Sin embargo, no todo esto es un cálculo útil. El conocimiento del mundo se encuentra en los pesos o parámetros de una red. El conocimiento sobre la Torre Eiffel no se usa para responder preguntas sobre la historia de las tribus sudamericanas. Saber que una manzana es una fruta no es útil al responder preguntas sobre la teoría general de la relatividad. Sin embargo, cuando se calcula la red, todas las partes de la red se procesan independientemente. Esto incurre en grandes costos de cálculo durante la generación de texto que idealmente deberían evitarse. Aquí es donde entra la idea de la mezcla de expertos (MOE).

En un modelo MOE, la red neuronal se divide en múltiples redes más pequeñas llamadas expertos. Tenga en cuenta que el ‘experto’ en el tema no está definido explícitamente; La red lo resuelve durante el entrenamiento. Sin embargo, las redes asignan una puntuación de relevancia a cada consulta y solo activan las partes con puntajes de coincidencia más altos. Esto proporciona un gran ahorro de costos en el cálculo. Tenga en cuenta que algunas preguntas necesitan experiencia en múltiples áreas para ser respondidas correctamente, y el rendimiento de tales consultas se degradará. Sin embargo, debido a que las áreas se resuelven a partir de los datos, se minimiza el número de tales preguntas.

La importancia del aprendizaje de refuerzo

Se le enseña a un LLM a pensar a través de un modelo de cadena de pensamiento, con el modelo ajustado para imitar el pensamiento antes de entregar la respuesta. Se le pide al modelo que verbalice su pensamiento (genere el pensamiento antes de generar la respuesta). Luego se evalúa el modelo tanto en el pensamiento como en la respuesta, y se entrena con aprendizaje de refuerzo (recompensado para una coincidencia correcta y penalizado para una coincidencia incorrecta con los datos de entrenamiento).

Esto requiere datos de entrenamiento costosos con el token de pensamiento. Deepseek solo le pidió al sistema que generara los pensamientos entre las etiquetas y y que genere las respuestas entre las etiquetas y . El modelo es recompensado o penalizado puramente en función de la forma (el uso de las etiquetas) y la coincidencia de las respuestas. Esto requirió datos de capacitación mucho menos costosos. Durante la fase temprana de RL, el modelo probado generó muy poco pensamiento, lo que resultó en respuestas incorrectas. Finalmente, el modelo aprendió a generar pensamientos largos y coherentes, que es lo que Deepseek llama el momento ‘a-ha’. Después de este punto, la calidad de las respuestas mejoró bastante.

Deepseek emplea varios trucos de optimización adicionales. Sin embargo, son muy técnicos, por lo que no los profundizaré aquí.

Pensamientos finales sobre Deepseek y el mercado más grande

En cualquier investigación de tecnología, primero necesitamos ver lo que es posible antes de mejorar la eficiencia. Esta es una progresión natural. La contribución de Deepseek al paisaje LLM es fenomenal. La contribución académica no se puede ignorar, ya sea que estén o no entrenando o no la salida de OpenAI. También puede transformar la forma en que funcionan las startups. Pero no hay razón para que Operai o los otros gigantes estadounidenses se desesperen. Así es como funciona la investigación: un grupo se beneficia de la investigación de los otros grupos. Deepseek ciertamente se benefició de las investigaciones anteriores realizadas por Google, Operai y muchos otros investigadores.

Sin embargo, la idea de que Operai dominará el mundo LLM indefinidamente ahora es muy poco probable. Ninguna cantidad de cabildeo regulatorio o señalar con el dedo preservará su monopolio. La tecnología ya está en manos de muchos y fuera de la intemperie, lo que hace que su progreso sea imparable. Aunque esto puede ser un poco de dolor de cabeza para los inversores de OpenAI, en última instancia es una victoria para el resto de nosotros. Si bien el futuro pertenece a muchos, siempre estaremos agradecidos con los primeros contribuyentes como Google y OpenAI.

Debasish Ray Chawdhuri es ingeniero principal senior de Talentica Software.

Insights diarias sobre casos de uso comercial con VB diariamente

Si quieres impresionar a tu jefe, VB Daily te tiene cubierto. Le damos la cuenta interior de lo que las empresas están haciendo con la IA generativa, desde cambios regulatorios hasta implementaciones prácticas, por lo que puede compartir ideas para el ROI máximo.

Lea nuestra Política de privacidad

Gracias por suscribirse. Mira más boletines de VB aquí.

Ocurrió un error.