Connect with us

Noticias

¿Se puede confiar en Sam Altman el futuro de la IA?

Published

on

Sejal Sharma es columnista de IA de IE y ofrece inmersiones profundas en el mundo de la inteligencia artificial y su impacto transformador en todas las industrias. Su columna bimensual AI Logs explora las últimas tendencias, avances y dilemas éticos en IA, brindando análisis expertos y conocimientos nuevos. Para mantenerse informado, suscríbase a nuestro boletín AI Logs para obtener contenido exclusivo.

Imagínese a un joven emprendedor estadounidense que se acerca a Yoshua Bengio, uno de los padrinos de la IA, con una propuesta para lanzar una startup de inteligencia artificial en 2015. Aunque Bengio siguió comprometido con el mundo académico, proporcionó una lista de los principales investigadores de IA. Decidido a construir algo magnífico, el emprendedor se puso en contacto con estos expertos y con otros durante varias semanas, ofreciéndoles la oportunidad de unirse a su nueva empresa con un plazo de tres semanas para decidir. Cuando llegó la fecha límite, nueve de cada diez habían aceptado subir a bordo.

Unos años más tarde, esa startup rudimentaria, que alguna vez se dirigió desde una sala de estar, se ha convertido en el gigante tecnológico que ahora reconocemos como OpenAI. En el centro de todo estaba Greg Brockman, el emprendedor que ayudó a transformar a un grupo de investigadores de IA en una de las empresas más influyentes del mundo.

Fundada en 2015 por Sam Altman, Ilya Sutskever, Elon Musk, John Schulman, Wojciech Zaremba y Brockman, su misión era una tarea difícil: desarrollar AGI (Inteligencia General Artificial) que no solo sirviera a unos pocos, sino a la humanidad en general. grande.

Pero ninguna gran misión viene sin una serie de pruebas y tribulaciones. Desde entonces, la organización ha dado un giro total y casi no se parece en nada a la entidad naciente que era hace nueve años.

La salida de la vieja guardia

Uno de los mayores cambios es que de los seis fundadores originales, solo dos participan activamente en la empresa en la actualidad. La puerta giratoria del liderazgo de OpenAI ha girado más rápido que un hámster en una rueda.

Musk se fue en 2018, citando conflictos entre las ambiciones de IA de Tesla y los objetivos de OpenAI. Luego vinieron las salidas de otras figuras clave. En 2024, la directora de tecnología Mira Murati se fue silenciosamente, mientras que Schulman se mudó para unirse a la empresa rival Anthropic. Sorprendentemente, Brockman anunció un año sabático hasta finales de este año, dejando al mundo preguntándose si regresará.

La salida de Sutskever se anticipó después de que se convirtiera en persona non grata por su papel en la controvertida decisión del año pasado de destituir a Altman del puesto de director ejecutivo.

La expulsión no tuvo éxito. Cinco días después, Altman fue reintegrado después de que empleados e inversionistas lo apoyaran. Este episodio se convirtió en un punto de inflexión para la empresa. Y no en el buen sentido.

Debido a que las razones detrás de la destitución de Altman seguían siendo turbias, y la junta no proporcionó una explicación clara para su decisión en ese momento, excepto decir que Altman no fue abierto en su comunicación con la junta, la gente comenzó a cuestionar las intenciones de la compañía y si podría lograr la misión que se había propuesto cumplir en primer lugar: la seguridad de la IA.

Los comentarios recientes de Geoffrey Hinton, otra figura renombrada de la IA a la que a menudo se hace referencia como el “padrino de la IA”, dan crédito a sospechas arraigadas desde hace mucho tiempo de que OpenAI ha cambiado sus prioridades, favoreciendo potencialmente la rentabilidad sobre su compromiso inicial de garantizar la seguridad de la IA.

“Estoy particularmente orgulloso del hecho de que uno de mis estudiantes despidió a Sam Altman”, dijo Hinton, refiriéndose a Sutskever, quien es su protegido.

Hinton tiene muchos elogios a su nombre. Una adición a la lista es que recientemente recibió el Premio Nobel de Física por su trabajo en IA.

“OpenAI se creó con gran énfasis en la seguridad. Su objetivo principal era desarrollar inteligencia artificial general y garantizar que fuera segura… Y con el tiempo resultó que Sam Altman estaba mucho menos preocupado por la seguridad que por las ganancias y creo que eso es desafortunado”, añadió.

Al momento de escribir esta columna, solo Altman y Zaremba permanecen al frente de OpenAI. Sin embargo, la metamorfosis de la empresa (de una humilde organización sin fines de lucro a una empresa con fines de lucro) no ha pasado precisamente desapercibida.

De las puras intenciones al afán de lucro

La empresa que se propuso cambiar el mundo se ha transformado a sí misma más que el mundo que la rodea. Concebida como una organización sin fines de lucro, OpenAI cambió de rumbo en 2019, transformándose en una entidad de “beneficios limitados” bajo el nombre de OpenAI LP.

El trato: traer mucho dinero.

Ingresa Microsoft, blandiendo una chequera con una sonrisa de mil millones de dólares. Si bien Microsoft hizo una inversión multimillonaria, OpenAI afirmó que seguía siendo independiente, gobernada por su brazo sin fines de lucro.

Sin embargo, informes recientes han revelado que la compañía planea reorganizarse como una corporación con fines de lucro, diluyendo su gobierno sin fines de lucro y potencialmente entregando más control a los inversores y a Altman, que anteriormente no tenían capital.

Desde entonces, la relación con Microsoft ha crecido a lo largo de los años y su inversión resultó ser justo lo que OpenAI necesitaba para lanzar ChatGPT al mundo.

Lanzado a finales de 2022, ChatGPT, como sabes, lo cambió todo. ¿Libros de texto? Anticuado. ¿Google? Redundante. En un instante, ChatGPT se convirtió en una de las aplicaciones de más rápido crecimiento en la historia de la humanidad, con más de 200 millones de usuarios semanales.

El éxito de ChatGPT sacudió los cimientos mismos de Silicon Valley y desencadenó una carrera global de IA. Los inversores acudieron en masa y desde entonces la valoración de OpenAI se ha disparado de 14.000 millones de dólares en 2021 a la asombrosa cifra de 150.000 millones de dólares en 2024, después de recaudar recientemente otros 6.600 millones de dólares de Microsoft y Nvidia.

El aumento de la riqueza de OpenAI también ha llevado a lo que puede describirse como un enigma “muskiano”. En agosto de 2024, Musk presentó su segunda demanda, acusando a OpenAI de dejar de ser una corporación sin fines de lucro y traicionar su ideal fundacional.

Ahora exige el triple de los 44,6 millones de dólares que donó y que la empresa abra el código fuente de su investigación sobre GPT-4, alineándose coincidentemente con las necesidades de su empresa competidora, xAI.

Pero es poco probable que eso suceda. Es posible que el nombre diga “Open”, pero OpenAI aún no ha lanzado un modelo de código abierto desde GPT-2 en 2019. De hecho, la compañía ha hecho muchas de las cosas que dijo que no haría, como mantenerse alejado de desarrollo de productos comerciales y asociaciones con fines de lucro.

Su noble misión de desarrollar AGI segura ahora parece fuera de lugar, como tratar de enseñarle democracia a un gato.

¿Pero qué pasa con el futuro?

El éxito de la empresa con productos como ChatGPT sin duda ha cambiado el panorama tecnológico, pero también ha reavivado los temores sobre el mal uso de la IA. Es probable que veamos modelos de IA aún más potentes de OpenAI en los próximos años. Existe mucha preocupación de que si podemos construir una IA que pueda hacer grandes cosas, también podemos construir una IA que pueda hacer cosas terribles.

La creciente influencia de OpenAI genera serias preocupaciones sobre el poder desenfrenado de AGI: sistemas que pueden comprender, aprender y aplicar inteligencia como los humanos.

¿Se puede confiar en que cualquier corporación, sin importar cuán nobles sean sus orígenes, utilice dicha tecnología de manera responsable? Los críticos argumentan que el cambio de OpenAI impulsado por las ganancias (y la posible dilución del control de las organizaciones sin fines de lucro) pueden llevarlo por un camino peligroso, priorizando el éxito comercial sobre la gobernanza ética.

Y luego, en el centro de todo, está Altman, una figura que infunde tanto miedo como respeto en Silicon Valley. ¿Se puede confiar en él para garantizar que la IA (y eventualmente la AGI) se desarrolle de manera responsable?

La compañía está reescribiendo su historia con Altman, probablemente gane capital, y caras conocidas como Murati y Brockman ya no están en escena.

Las tensiones con Microsoft también están burbujeando bajo la superficie. Un informe reciente de La información sugiere que Microsoft está luchando por satisfacer las demandas informáticas de OpenAI, demandas tan vastas que la rentabilidad de OpenAI puede seguir siendo un sueño lejano hasta 2029.

Al final, el legado de OpenAI dependerá de lo que construya y cómo lo haga. Si podemos crear máquinas que piensen, también debemos enseñarles a preocuparse.

El viejo refrán dice: “El futuro ya está aquí, sólo que no está distribuido equitativamente”. Si OpenAI cumple su misión o se adentra en territorio peligroso determinará el futuro de la tecnología y la confianza en las manos que la moldean.

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

‘Uno de los mejores investigadores de IA’ negó la tarjeta verde después de 12 años en EE. UU.

Published

on

Un investigador de inteligencia artificial (IA) canadiense que ha vivido en los Estados Unidos durante 12 años y trabajó en ChatGPT se le negó una tarjeta verde, según los empleados de la empresa matriz OpenAI a través de una serie de publicaciones en X, anteriormente Twitter.

Newsweek comunicado con los servicios de ciudadanía e inmigración de los Estados Unidos (USCIS) por correo electrónico fuera del horario comercial normal el sábado por la mañana para hacer comentarios.

Por que importa

El presidente Donald Trump se comprometió a promulgar la mayor represión contra la inmigración en la historia del país, iniciando deportaciones masivas que permanecen sumidas en el estancamiento legal en medio de desafíos de varios estados y autoridades legales.

Sin embargo, Elon Musk y Vivek Ramaswamy, ambos inicialmente aprovechados por Trump para liderar el Departamento de Eficiencia del Gobierno (DOGE), defendieron un enfoque en una expansión de programas como la visa H-1B, una visa temporal y no inmigrante que permite a los empleadores estadounidenses contratar trabajadores extranjeros para trabajos estacionales o no intraficulturales, para aumentar el número de inmigrantes altos en escéquidos.

Que saber

Noam Brown, un investigador de Openai, el viernes por la mañana escribió en X que estaba “profundamente preocupado” por el estado migratorio de Kai Chen, un ciudadano canadiense que ha vivido y trabajado en los Estados Unidos durante 12 años que se vio obligado a irse después de que su solicitud de tarjeta verde fue negada.

“Es profundamente preocupante que uno de los mejores investigadores de IA con los que he trabajado, [Kai Chen]se le negó una tarjeta verde de EE. UU. Hoy “, escribió Brown, y agregó:” Estamos arriesgando el liderazgo de IA de Estados Unidos cuando rechazamos el talento como este “.

Dylan Hunn, otro empleado de Operai, se hizo eco del sentimiento de Brown solo unas horas después, diciendo que Chen era “increíblemente importante para OpenAi”, ya que era “crucial para GPT-4.5”.

“Nuestro sistema de inmigración se ha vuelto * loco * para patearla”, escribió Hunn. “¡Estados Unidos la necesita!”

Brown luego escribió en X que Chen planeaba trabajar de forma remota desde un Airbnb en Vancouver y ir al “modo de monje completo” para mantenerse al día con sus proyectos mientras el problema de inmigración se resolvió. Chen trató de conocer el momento con optimismo, escribiendo en respuesta a Brown de que ella estaría en Vancouver “por una cantidad de tiempo indeterminada” y estaría “entusiasmada con conocer a nuevas personas”.

“Esperemos que regrese a casa en algún momento de este año, pero si no lo hará lo mejor”, escribió Chen, luego agregando en una publicación separada de que OpenAi ha sido “increíblemente solidario durante esta kerfuffle”.

Brown proporcionó una actualización poco antes de la medianoche de que parecía que “podría haber habido problemas de papeleo con la presentación de tarjeta verde inicial” realizado dos años antes.

“Es una pena que esto signifique [Chen] Tiene que dejar a los Estados Unidos por un tiempo, pero hay una razón para el optimismo de que esto se resolverá “, escribió Brown en X.

Chen aclaró aún más la situación, diciendo que había solicitado la tarjeta verde hace tres años antes de su tiempo en OpenAi.

“Realmente apesta ser negado después de esperar tanto tiempo y no poder regresar a casa, pero en general se siente muy afortunado de estar donde estoy”, escribió.

Una persona muestra el logotipo de ChatGPT en la pantalla de un teléfono inteligente con el logotipo de OpenAI en el fondo el 29 de diciembre de 2024 en Chongqing, China.

Cheng Xin/Getty Images

¿Qué protecciones tienen los titulares de tarjetas verdes?

El USCIS dice que un titular de la tarjeta verde tiene derecho a vivir permanentemente en los EE. UU. Siempre que no cometan ninguna acción que “lo haga removible bajo la ley de inmigración”. Esto incluye romper las leyes y no presentar impuestos.

Un titular de la tarjeta verde está protegido por todas las leyes de los Estados Unidos, incluidas las de los niveles estatales y locales, y pueden solicitar trabajos más libremente que aquellos que pueden estar en los EE. UU. En visas basadas en el trabajo.

Viajar también es mucho más fácil con una tarjeta verde que con otras visas temporales, pero los titulares deben asegurarse de que no se van por más de seis meses a la vez.

“Hay una razón por la cual alguien querría una tarjeta verde en lugar de estar aquí con una visa temporal porque es una residencia permanente legal, le brinda la capacidad de vivir y trabajar permanentemente en los Estados Unidos. Pero dicho eso, no es ciudadanía”, Eliss Taub, socio de la firma de abogados de inmigración Siskind, contada, contada. Newsweek.

Los titulares de tarjetas verdes deben renovar sus tarjetas cada 10 años y pueden solicitar la ciudadanía después de tres años si están casados ​​con un ciudadano estadounidense o cinco si no.

Lo que la gente dice

Un portavoz de OpenAi dijo Newsweek En una respuesta por correo electrónico a una solicitud de comentarios: “Esta solicitud se presentó algún tiempo antes de que nuestro empleado se uniera a OpenAI y no estábamos involucrados en el caso. Sin embargo, nuestra evaluación inicial, basada en la información que nos proporciona, muestra que puede haber algunos problemas de papeleo en la presentación. Continuamos trabajando estrechamente con nuestro empleado en su situación”.

Noam Brown, un empleado de Operai, Escribí en X el sábado: “He estado en IA desde 2012, y he visto suficientes historias de terror de visa desde entonces para saber que la ruptura de la inmigración altamente calificada en Estados Unidos es persistente. Es particularmente doloroso ver que la ruptura ralentiza a mi compañero de equipo durante más de 2 meses cuando el progreso de la IA es semana a semana”.

CEO de Operai Sam Altman en 2023 Escribió en X: “Una de las victorias de política más fáciles que puedo imaginar para los Estados Unidos es reformar la inmigración de alta habilidad. El hecho de que muchas de las personas más talentosas del mundo quieran estar aquí es un regalo ganado con fuerza; abrazarlos es la clave para mantenerlo así. Es difícil recuperar esto si lo perdemos”.

Shaun Ralston, un contratista independiente que brinda soporte para los clientes de API de Openai, escribió en X el viernes: …@Openai presentó más de 80 más H-1BS el año pasado solo. ¿Cuántas mentes más brillantes se alejará la administración Trump a otros países? Hola, Maga, arregle la tubería de talento o deja de hablar sobre el liderazgo de IA “.

Matt Tegarden, el CEO de la Asociación Kansas Livestock, A principios de este mes le dijo Newsweek: “Las empresas se están asegurando de que sus archivos de documentos de empleo están en orden. También están confirmando sus derechos y responsabilidades en esta área, así como ayudando a sus empleados a comprender sus derechos”.

¿Qué pasa después?

La aplicación de la tarjeta verde de Chen tomará tiempo para resolverse, pero parece que el problema raíz ha sido identificado, lo que hace que sea más probable que pueda regresar a los Estados Unidos más temprano que tarde.

Actualización, 26/04/25 a las 4:52 PM ET: Este artículo se ha actualizado para incluir una declaración de OpenAI.

Continue Reading

Noticias

Alphabet Inc. (Googl) aprovecha el crecimiento de Gemini AI y Waymo para alimentar la próxima ola de innovación

Published

on

La inteligencia artificial es la mayor oportunidad de inversión de nuestra vida. ¡El tiempo para invertir en una IA innovadora es ahora, y esta acción es un robo!

Mi selección de IA #1 entregó ganancias sólidas desde el comienzo de 2025 mientras que las existencias populares de IA como NVDA y AVGO perdieron alrededor del 25%.

Los números hablan por sí mismos: mientras los gigantes del mundo de la IA sangran, nuestra selección de IA ofrece, mostrando el poder de nuestra investigación y la inmensa oportunidad esperando ser incautada.

Los susurros se están convirtiendo en rugidos.

La inteligencia artificial ya no es ciencia ficción.

Es la revolución que remodelan todas las industrias del planeta.

Desde automóviles sin conductor hasta avances médicos, AI está en la cúspide de una explosión global, y los inversores inteligentes pueden cosechar las recompensas.

He aquí por qué este es el mejor momento para saltar en el carro de la IA:

Crecimiento exponencial en el horizonte: Olvídese del crecimiento lineal: la IA está preparada para una trayectoria de palo de hockey.

Imagine todos los sectores, desde la atención médica hasta las finanzas, infundidas con inteligencia sobrehumana.

Estamos hablando de predicción de enfermedades, marketing hiperpersonalizado y logística automatizada que agiliza todo.

Esto no es tal vez, es una inevitabilidad.

Los primeros inversores serán los posicionados para montar la ola de este tsunami tecnológico.

Oportunidad de la planta baja: ¿Recuerdas los primeros días de Internet?

Aquellos que vieron el potencial de los gigantes tecnológicos en ese entonces están sentados bastante hoy.

AI está en un punto de inflexión similar.

No estamos hablando de jugadores establecidos: estamos hablando de nuevas empresas ágiles con ideas innovadoras y el potencial de convertirse en el próximo Google o Amazon.

¡Esta es tu oportunidad de entrar antes de que los Rockets despeguen!

La interrupción es el nuevo nombre del juego: Seamos realistas, la complacencia genera estancamiento.

La IA es el último disruptor, y está sacudiendo los cimientos de las industrias tradicionales.

Las compañías que adoptan la IA prosperarán, mientras que los dinosaurios se aferran a métodos obsoletos se dejarán en el polvo.

Como inversor, desea estar del lado de los ganadores, y AI es el boleto ganador.

El grupo de talentos se desborda: Las mentes más brillantes del mundo acuden en masa a la IA.

Desde informática hasta matemáticos, la próxima generación de innovadores está vertiendo su energía en este campo.

Esta afluencia de talento garantiza una corriente constante de ideas innovadoras y avances rápidos.

Al invertir en IA, esencialmente está respaldando el futuro.

El futuro funciona con inteligencia artificial, y el tiempo de invertir es ahora.

No seas un espectador en esta revolución tecnológica.

Sumérgete en la fiebre del oro AI y observa que tu cartera se eleva junto con las mentes más brillantes de nuestra generación.

No se trata solo de ganar dinero, se trata de ser parte del futuro.

Entonces, ¡abrochate y prepárese para el viaje de su vida de inversión!

Actúe ahora y desbloquee un rendimiento potencial del 10,000%: esta acción de IA es un diamante en bruto (¡pero nuestra ayuda es clave!)

La Revolución AI está sobre nosotros, y los inversores inteligentes pueden hacer una fortuna.

Pero con tantas opciones, ¿cómo se encuentra la joya oculta: la compañía preparada para un crecimiento explosivo?

Ahí es donde entra nuestra experiencia.

Tenemos la respuesta, pero hay un giro …

Imagine una compañía de IA tan innovadora, hasta ahora antes de la curva, que incluso si el precio de sus acciones cuadruplicado hoytodavía se consideraría ridículamente barato.

Ese es el potencial que estás viendo. No se trata solo de un regreso decente, estamos hablando de un 10,000% ¡Gane durante la próxima década!

Nuestro equipo de investigación ha identificado una joya oculta: una compañía de IA con tecnología de vanguardia, potencial masivo y un precio actual de acciones que grita oportunidades.

Esta compañía cuenta con la tecnología más avanzada en el sector de la IA, colocándolos en ligas por delante de los competidores.

Es como tener un auto de carreras en una pista de go-kart.

Tienen una gran posibilidad de arrinconar los mercados enteros, convirtiéndose en el líder indiscutible en su campo.

Aquí está la trampa (es buena): Para descubrir este gigante dormido, necesitará nuestro Intel exclusivo.

¡Queremos asegurarnos de que ninguno de nuestros valiosos lectores se pierda esta innovadora oportunidad!

Es por eso que estamos reduciendo el precio de nuestro boletín de lectores premium por un enorme 70%.

Por un precio ridículamente bajo de solo $ 29.99puede desbloquear un año de investigación de inversiones en profundidad y ideas exclusivas, ¡eso es menos que una comida de un solo restaurante!

He aquí por qué este es un trato que no puede permitirse dejar pasar:

• Acceso a nuestro informe detallado sobre esta acción de IA que cambia el juego: Nuestro informe en profundidad se sumerge en la tecnología innovadora de nuestra serie de IA #1 y un potencial de crecimiento masivo.

• 11 nuevos números de nuestro boletín de lectores premium: También recibirá 11 nuevos problemas y al menos una nueva selección de acciones por mes de la cartera de nuestro boletín mensual durante los próximos 12 meses. Estas acciones son seleccionadas por nuestro Director de Investigación, Dr. Inan Dogan.

• Un próximo número gratuito de nuestro boletín trimestral de más de 70 páginas: Un valor de $ 149

• Informes de bonificación: Acceso premium a solo para miembros Entrevistas de video del administrador de fondos

• navegación sin anuncios: Disfrute de un año de investigación de inversiones sin distracción de anuncios emergentes y anuncios emergentes, lo que le permite concentrarse en descubrir la próxima gran oportunidad.

• Garantía de devolución de dinero de 30 días: Si no está absolutamente satisfecho con nuestro servicio, proporcionaremos un reembolso completo dentro de los 30 días, no se hacen preguntas.

¡El espacio es limitado! Solo 1000 puntos están disponibles para esta oferta exclusiva. No permita que esta oportunidad se escape: suscríbase a nuestro boletín de lectores premium hoy y desbloquee el potencial de una inversión que cambie la vida.

Esto es lo que debe hacer a continuación:

1. Dirígete a nuestro sitio web y suscríbete a nuestro boletín de lectores premium por solo $ 29.99.

2. Disfrute de un año de navegación sin publicidad, acceso exclusivo a nuestro informe en profundidad sobre la Revolucionaria Compañía de IA y los próximos números de nuestro boletín de lectores premium en los próximos 12 meses.

3. Siéntese, relájese y sepa que está respaldado por nuestra garantía de dinero de dinero de 30 días.

¡No te pierdas esta increíble oportunidad! ¡Suscríbase ahora y tome el control de su futuro de inversión de IA!

¡No se preocupe por las renovaciones automáticas! ¡Nuestra garantía de devolución de dinero de 30 días se aplica si se está uniendo a nosotros por primera vez o renovando su suscripción un año después!

Continue Reading

Noticias

El éxito de Deepseek muestra por qué la motivación es clave para la innovación de IA

Published

on

Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información


Enero de 2025 sacudió el paisaje de IA. El OpenAI aparentemente imparable y los poderosos gigantes tecnológicos estadounidenses se sorprendieron por lo que ciertamente podemos llamar un desvalido en el área de grandes modelos de idiomas (LLM). Deepseek, una empresa china que no está en el radar de nadie, de repente desafió a OpenAi. No es que Deepseek-R1 fuera mejor que los mejores modelos de los gigantes estadounidenses; Estaba ligeramente atrasado en términos de los puntos de referencia, pero de repente hizo que todos pensaran en la eficiencia en términos de hardware y uso de energía.

Dada la falta de disponibilidad del mejor hardware de alta gama, parece que Deepseek estaba motivado para innovar en el área de eficiencia, lo cual era una preocupación menor para los jugadores más grandes. Operai ha afirmado que tienen evidencia que sugiere que Deepseek puede haber usado su modelo para la capacitación, pero no tenemos pruebas concretas para respaldar esto. Entonces, ya sea cierto o que sea OpenAi simplemente tratar de apaciguar a sus inversores es un tema de debate. Sin embargo, Deepseek ha publicado su trabajo, y las personas han verificado que los resultados son reproducibles al menos en una escala mucho más pequeña.

Pero, ¿cómo podría Deepseek alcanzar tales ahorradores de costos, mientras que las empresas estadounidenses no podían? La respuesta corta es simple: tenían más motivación. La respuesta larga requiere un poco más de una explicación técnica.

Deepseek usó la optimización de KV-Cache

Un ahorro importante de costos para la memoria de GPU fue la optimización del caché de valor clave utilizado en cada capa de atención en un LLM.

Los LLM están formados por bloques de transformadores, cada uno de los cuales comprende una capa de atención seguida de una red regular de alimentación de vainilla. La red de feed-forward modela las relaciones arbitrarias conceptuales, pero en la práctica, es difícil para él determinar siempre los patrones en los datos. La capa de atención resuelve este problema para el modelado de idiomas.

El modelo procesa textos utilizando tokens, pero por simplicidad, nos referiremos a ellos como palabras. En un LLM, a cada palabra se le asigna un vector en una dimensión alta (por ejemplo, mil dimensiones). Conceptualmente, cada dimensión representa un concepto, como ser caliente o frío, ser verde, ser suave, ser un sustantivo. La representación vectorial de una palabra es su significado y valores según cada dimensión.

Sin embargo, nuestro lenguaje permite que otras palabras modifiquen el significado de cada palabra. Por ejemplo, una manzana tiene un significado. Pero podemos tener una manzana verde como versión modificada. Un ejemplo más extremo de modificación sería que una Apple en un contexto de iPhone difiere de una Apple en un contexto de prado. ¿Cómo dejamos que nuestro sistema modifique el significado vectorial de una palabra basado en otra palabra? Aquí es donde entra la atención.

El modelo de atención asigna otros dos vectores a cada palabra: una clave y una consulta. La consulta representa las cualidades del significado de una palabra que se puede modificar, y la clave representa el tipo de modificaciones que puede proporcionar a otras palabras. Por ejemplo, la palabra ‘verde’ puede proporcionar información sobre color y verde. Entonces, la clave de la palabra ‘verde’ tendrá un alto valor en la dimensión ‘verde’. Por otro lado, la palabra ‘manzana’ puede ser verde o no, por lo que el vector de consulta de ‘manzana’ también tendría un alto valor para la dimensión verde. Si tomamos el producto DOT de la clave de ‘verde’ con la consulta de ‘manzana’, el producto debe ser relativamente grande en comparación con el producto de la clave de ‘tabla’ y la consulta de ‘manzana’. La capa de atención luego agrega una pequeña fracción del valor de la palabra ‘verde’ al valor de la palabra ‘manzana’. De esta manera, el valor de la palabra ‘Apple’ se modifica para ser un poco más verde.

Cuando el LLM genera texto, lo hace una palabra tras otra. Cuando genera una palabra, todas las palabras generadas anteriormente se convierten en parte de su contexto. Sin embargo, las teclas y los valores de esas palabras ya están calculados. Cuando se agrega otra palabra al contexto, su valor debe actualizarse en función de su consulta y las claves y valores de todas las palabras anteriores. Es por eso que todos esos valores se almacenan en la memoria de la GPU. Este es el caché KV.

Deepseek determinó que la clave y el valor de una palabra están relacionados. Entonces, el significado de la palabra verde y su capacidad para afectar la verdura están obviamente muy estrechamente relacionados. Por lo tanto, es posible comprimir tanto como un vector único (y tal vez más pequeño) y descomprimir mientras se procesa muy fácilmente. Deepseek ha descubierto que afecta su rendimiento en los puntos de referencia, pero ahorra mucha memoria de GPU.

Deepseek aplicado moe

La naturaleza de una red neuronal es que toda la red debe ser evaluada (o calculada) para cada consulta. Sin embargo, no todo esto es un cálculo útil. El conocimiento del mundo se encuentra en los pesos o parámetros de una red. El conocimiento sobre la Torre Eiffel no se usa para responder preguntas sobre la historia de las tribus sudamericanas. Saber que una manzana es una fruta no es útil al responder preguntas sobre la teoría general de la relatividad. Sin embargo, cuando se calcula la red, todas las partes de la red se procesan independientemente. Esto incurre en grandes costos de cálculo durante la generación de texto que idealmente deberían evitarse. Aquí es donde entra la idea de la mezcla de expertos (MOE).

En un modelo MOE, la red neuronal se divide en múltiples redes más pequeñas llamadas expertos. Tenga en cuenta que el ‘experto’ en el tema no está definido explícitamente; La red lo resuelve durante el entrenamiento. Sin embargo, las redes asignan una puntuación de relevancia a cada consulta y solo activan las partes con puntajes de coincidencia más altos. Esto proporciona un gran ahorro de costos en el cálculo. Tenga en cuenta que algunas preguntas necesitan experiencia en múltiples áreas para ser respondidas correctamente, y el rendimiento de tales consultas se degradará. Sin embargo, debido a que las áreas se resuelven a partir de los datos, se minimiza el número de tales preguntas.

La importancia del aprendizaje de refuerzo

Se le enseña a un LLM a pensar a través de un modelo de cadena de pensamiento, con el modelo ajustado para imitar el pensamiento antes de entregar la respuesta. Se le pide al modelo que verbalice su pensamiento (genere el pensamiento antes de generar la respuesta). Luego se evalúa el modelo tanto en el pensamiento como en la respuesta, y se entrena con aprendizaje de refuerzo (recompensado para una coincidencia correcta y penalizado para una coincidencia incorrecta con los datos de entrenamiento).

Esto requiere datos de entrenamiento costosos con el token de pensamiento. Deepseek solo le pidió al sistema que generara los pensamientos entre las etiquetas y y que genere las respuestas entre las etiquetas y . El modelo es recompensado o penalizado puramente en función de la forma (el uso de las etiquetas) y la coincidencia de las respuestas. Esto requirió datos de capacitación mucho menos costosos. Durante la fase temprana de RL, el modelo probado generó muy poco pensamiento, lo que resultó en respuestas incorrectas. Finalmente, el modelo aprendió a generar pensamientos largos y coherentes, que es lo que Deepseek llama el momento ‘a-ha’. Después de este punto, la calidad de las respuestas mejoró bastante.

Deepseek emplea varios trucos de optimización adicionales. Sin embargo, son muy técnicos, por lo que no los profundizaré aquí.

Pensamientos finales sobre Deepseek y el mercado más grande

En cualquier investigación de tecnología, primero necesitamos ver lo que es posible antes de mejorar la eficiencia. Esta es una progresión natural. La contribución de Deepseek al paisaje LLM es fenomenal. La contribución académica no se puede ignorar, ya sea que estén o no entrenando o no la salida de OpenAI. También puede transformar la forma en que funcionan las startups. Pero no hay razón para que Operai o los otros gigantes estadounidenses se desesperen. Así es como funciona la investigación: un grupo se beneficia de la investigación de los otros grupos. Deepseek ciertamente se benefició de las investigaciones anteriores realizadas por Google, Operai y muchos otros investigadores.

Sin embargo, la idea de que Operai dominará el mundo LLM indefinidamente ahora es muy poco probable. Ninguna cantidad de cabildeo regulatorio o señalar con el dedo preservará su monopolio. La tecnología ya está en manos de muchos y fuera de la intemperie, lo que hace que su progreso sea imparable. Aunque esto puede ser un poco de dolor de cabeza para los inversores de OpenAI, en última instancia es una victoria para el resto de nosotros. Si bien el futuro pertenece a muchos, siempre estaremos agradecidos con los primeros contribuyentes como Google y OpenAI.

Debasish Ray Chawdhuri es ingeniero principal senior de Talentica Software.

Continue Reading

Trending