Noticias
Latest OpenAI Announcement Showcases How Reinforcement Fine-Tuning Makes Quick Work Of Turning Generative AI Into Domain-Specific Wizards
In today’s column, I examine the recently revealed feature augmenting OpenAI’s advanced o1 AI model that was briefly showcased during the second day of the “12 Days Of OpenAI” video-streamed announcement. The feature is referred to as reinforcement fine-tuning (RFT).
Much of the media has been clamoring that this is “new” as though nobody has ever thought of RFT before.
Sad and silly.
There has indeed been AI research on reinforcement fine-tuning, sometimes labeled as RFT or ReFT. In any case, yes, this is ostensibly new in the sense that it is an additional capability for OpenAI o1 and thus a new feature for the product. That is surely exciting. Please note that OpenAI may have opted to establish RFT in ways differently than others have – right now, their version of RFT is only available on a limited preview basis, and they often keep the nitty-gritty technical details under wraps since they consider their AI models proprietary.
So, one must do a modicum of armchair AI-soothsaying detective work to know what it’s all about.
Let’s talk about it.
This analysis of an innovative proposition is part of my ongoing Forbes column coverage on the latest in AI including identifying and explaining various impactful AI complexities (see the link here). For my analysis of the key features and vital advancements in the OpenAI o1 AI model, see the link here and the link here, covering various aspects such as chain-of-thought reasoning, reinforcement learning, and the like.
The Overarching Aim Of Reinforcement Fine-Tuning
Here’s how RFT is typically conceived.
First, suppose you want to take a generic generative AI or large language model (LLM) and turn it into a domain-specific wizard of sorts.
This is a big trend these days. Most AI is rather generic and a jack-of-all-trades. Some refer to this as AI being an inch deep and a mile long. The aim is to apply generative AI to particular domains such as legal, finance, medical, and the like. Doing so requires going from a mile long and an inch deep to becoming at least many feet deep in a narrow niche of interest.
In case you are interested in how domain-specific instances are derived, I’ve discussed extensively the adaptation of generative AI for performing legal advisement, see the link here, while another domain that I’ve explored in-depth is the use of generative AI for mental health guidance, see the link here. The usual method or technique employed consists of in-context modeling, or retrieval-augmented generation (RAG), which you can read about in my explanation at the link here.
There is a kind of pursuit of the Holy Grail when it comes to finding the best way to push a generic generative AI into achieving domain-specific proficiency.
RFT Is One Such Method For Domain-Specificity
Voila, that takes us to the grand promise and hope of using reinforcement fine-tuning or RFT.
The deal is this.
RFT is a method or technique that leans into fine-tuning a generic generative AI model to become domain-specific in some respects. You can accomplish this by putting together data that pertains to the domain of interest, feeding it into the generative AI, and using the RFT approach to guide the AI toward “learning” about the domain.
The AI model is incrementally fine-tuned by providing a semblance of reinforcement to the AI. When AI gets things right, it is instructed that it’s doing well and should adjust toward producing future answers similarly (essentially, being given a reward for being correct). When the AI during this data training gets something wrong, it is instructed that the response was incorrect, and therefore the AI ought to steer away from that approach in the future (a penalty for being incorrect).
That’s how reinforcement works.
Note that I earlier put the word “learning” into quotes. I did so because we are excessively anthropomorphizing AI by using terminology that applies to humans and then outstretching those words to suggest the same applies to AI. The type of “learning” that the AI is doing should not be considered on par with human learning, see my discussion at the link here. It is a form of mathematical and computational reformulation and adjustment.
The Balance Of Generic Versus Specific
Keep in mind that you usually retain the generic aspects that are within the AI model and aren’t necessarily reducing those when trying to bring the AI up to speed on a particular domain. That being said, if you don’t especially need the full breadth of generic generative AI, you might strip down the AI to some barebones and then apply RFT, or possibly do the RFT first and then strip down the resultant AI. It all depends on what your goals are.
Why strip out some of the generic stuff?
Most generative AI is large in size and won’t run natively on smartphones, ergo requiring you to access the AI online. This means you need a reliable online connection. It is also costly due to your accessing expensive servers in the cloud. All in all, a movement toward small language models (SLM) is being avidly pursued so that a reduced-sized and likely reduced functionality version of generative AI can run on a standalone basis on everyday devices, see my analysis at the link here.
The same is often the case when producing domain-specific AI models. You are likely to want it to run on smartphones and not have to depend on the cloud. Thus, you can potentially hack out all sorts of generic aspects that don’t seem relevant to the domain at hand (does AI need to know for example about Abraham Lincoln to dispense medical advice on say a particular disease?).
The downside is that the AI won’t be able to respond well to across-the-board prompts and could be seen as weaker than the larger-sized AI.
The Fundamental Steps For Performing RFT
My way of depicting reinforcement fine-tuning is to say that RFT consists of five major steps:
- (1) Dataset Preparation: Put together a suitable custom dataset for the chosen domain and format the prepared data into a common structured format (e.g., JSONL).
- (2) Grader Formation: Devise a computer-based grader capability and/or leverage existing automated grading systems, which will be used to evaluate the model outputs. The evaluations usually include scoring the AI responses for correctness (topmost priority) and possibly also scoring for quality and reasoning.
- (3) Reinforcement Fine-Tuning: The AI model receives iterative feedback through computational rewards for accurate reasoning (considered providing incentives) and penalties for errors (known as disincentives), gradually improving performance. During RFT, feed in a selected portion of the prepared datasets and retain other portions for later use during validation.
- (4) Validation Process. Make use of the held-back or unseen dataset portions to validate and assess the AI model’s ability to generalize effectively. This is the validation process and is tremendously crucial for ascertaining whether the RFT has made a positive significant difference in the AI model’s domain specificity. Iterate as needed.
- (5) Optimization and Roll-out: Finalize the RFT to ensure that the AI model is suitably efficient and effective, determine if the footprint is sized well (usually, smallness is preferred), and whether the AI is sufficiently specialized for the chosen targeted domain. Deploy the completed AI model. Keep tabs on ongoing usage and feedback. Make updates to the AI model including performing maintenance as required.
Those five steps capture the essence of what needs to be undertaken for RFT. Variations exist that have six steps, seven steps, and even ten steps. My indicated five steps pretty much cover the gamut and do so in a tidy way.
Importance Of The Grading
One aspect that might have caught your eye is step #2, grader formation.
Allow me to elaborate on this.
I had already noted that the reinforcement process consists of telling the AI when it is right and when it is wrong, doing so during the RFT overall endeavor. Parlance amongst AI insiders is that the AI is being graded, almost like getting a letter grade in school.
An “A” grade in school means things went well. The dreaded “F” grade means the answers were incorrect. Instead of assigning letter grades during RFT, a numeric value is usually used. The common practice is to assign a score of zero for a wrong response, and a score of 1 for a response that is correct. Since not all answers will be completely right or completely wrong, a value between 0 and 1 is used to suggest how right or wrong the response was.
For example, go ahead and envision that I am data training a generic generative AI by using RFT. It is being tuned to the legal domain. I’ve fed in a bunch of legal content consisting of various laws, regulations, and so on. During the RFT process, I feed in a prompt asking the AI to decide whether a given legal clause is legally sound. The AI churns through the computational assessment and comes back with an answer that the clause is good to go.
If that was a correct answer, the grade given would be a 1, while if incorrect the grade would be a 0. But the world isn’t always quite so binary. Suppose the AI indicated that the clause is legally correct in certain circumstances but has loopholes in other circumstances. Perhaps that is a relatively fair answer, though in some ways correct and some ways incorrect. The grade given might be 0.60, suggesting that the response was mostly right (because it is assigned a score above 0.50 and inching toward a full 1.0), though it also was partially incorrect (thus it isn’t a full 1.0 and only given a score of 0.60).
How is the grading determined?
You could employ a human during the RFT that doles out grades. This is laborious, tends to be slow, and can be expensive. Generally, the grading component is usually some form of automation. It could be a specialized program that was developed for a particular domain. It could be a generic grading system that can be used across various domains. You can even use another generative AI as a grader, such as having a second generative AI standing there that does the grading during the RFT.
The bottom line is that the grader is vital and if you don’t get that setup properly, the rest of the RFT is going to be kaput.
Grand Twist Is The Introduction Of Chain-Of-Thought
I’ve got an important twist for you.
An ongoing assumption that is subject to heated debate is that the use of RFT will notably shine when the generative AI contains advanced AI features such as chain-of-thought reasoning (CoT), see my discussion about CoT at the link here.
Chain-of-thought refers to the conception that when the AI is trying to solve a problem or come up with an answer, the AI is instructed to perform a series of logical steps when doing so. If trying to diagnose a patient, the AI might first assess basic patient data such as age, weight, health, etc. The second step might be to examine medical tests like a blood test. The third step might be to then review what kinds of aliments seem to fit that patient. The fourth step might be to reach a medical diagnosis and explain how that diagnosis was determined.
Let’s bring RFT back into the picture.
A generative AI that leverages a chain of thought could be exercised and fine-tuned with reinforcement processes in the following way. We let the AI proceed trying to diagnose a patient based on data that we’ve collected for data training purposes. A particular chain-of-thought is derived. Great, that’s what we want to have happen.
Lots And Lots Of CoTs Make For Choosiness
It turns out that like the old saw, there are more ways than one to skin a cat (sorry, that’s a bit dour), we could have the AI take another shot at the diagnosis. The second time around the chain-of-thought might differ. We do this a third time and keep getting the AI to try out a wide variety of CoTs. For each of the attempts, we assign a grade to the derived answer, using whatever grader or grading system we’ve established.
What does this accomplish?
Aha, the hope is that by telling the AI which answers were right, and which were wrong, this also sheds light on which of the chain of thoughts were right and wrong. The AI is going to presumably mathematically begin to lean toward CoTs that are being rewarded and shift away from CoTs that are being penalized or disincentivized.
The act of this reinforcement fine-tuning is indirectly guiding the generative AI toward hopefully stronger and better chain-of-thought approaches and steering it from CoTs that aren’t as good.
If this is done well, we are not merely arriving at the right answers, we are also in a sense shaping the nature of the chain of thoughts that the AI is going to use. A cheeky way to express this is the famous adage that if you give a person a fish, you feed them for a day, but if you teach them how to fish, they will be fed for a lifetime.
Boom, drop the mic.
OpenAI Has Opened The Door To RFT
Previously, OpenAI had embraced the use of supervised fine-tuning (SFT), which I describe at the link here. SFT as adopted by OpenAI was mainly about tuning the AI tone and style of responses. That was handy. RFT is aimed at digging into specific domains and getting the AI up-to-speed on answering domain-specific prompts. It is a different angle on fine-tuning.
Both techniques have their particular aims.
OpenAI’s RFT is considered available only on a limited preview basis right now and will be more widely accessible sometime next year. Meanwhile, OpenAI has also indicated that they are earnestly seeking to identify ripe domains to use RFT on. AI researchers and domain experts who want to have ready access to the preview capability can submit their keen interest to OpenAI (see the OpenAI official log for details).
Here’s what OpenAI officially said about RFT in their formal announcement as noted in “OpenAI’s Reinforcement Fine-Tuning Research Program”, OpenAI blog, December 6, 2024 (excerpts):
- “This new model customization technique enables developers to customize our models using dozens to thousands of high-quality tasks and grade the model’s response with provided reference answers.”
- “This technique reinforces how the model reasons through similar problems and improves its accuracy on specific tasks in that domain.”
- “We’ve seen promising results in domains like Law, Insurance, Healthcare, Finance, and Engineering because Reinforcement Fine-Tuning excels at tasks where the outcome has an objectively “correct” answer that most experts would agree with.”
- “We’re expanding our Reinforcement Fine-Tuning Research Program to enable developers and machine learning engineers to create expert models fine-tuned to excel at specific sets of complex, domain-specific tasks.”
- “We encourage research institutes, universities, and enterprises to apply, particularly those that currently execute narrow sets of complex tasks led by experts and would benefit from AI assistance.”
If you are versed in a specific domain and believe that generative AI would be a boon, and if you are intrigued with RFT as a potential approach, you might want to consider putting your hat in the ring to make use of this latest OpenAI o1 model augmentation.
The Future Is Bright With More Approaches
A final comment for the moment.
There is a fascinating twist upon the twist that I earlier brought to your attention. It goes like this. The prevailing approach of RFT is usually that the grades are only assigned based on the AI responses. My point is that the chain of thought is not being directly graded. The CoT is only indirectly being graded.
An interesting next step consists of grading the actual CoT and even pieces or slices of the CoT.
Let me frame this in human terms, cautiously so. Imagine that a student gives me their completed test and they were instructed to write down the logic for their answers on the test, immediately adjacent to each question. One means of grading would be to simply look at the answer and assign a grade. As a grader, I utterly ignore the logic the student has displayed.
Another form of grading would be to look at how they came up with the answer and assign a grade based on both the answer and the logic used.
Mull over that approach to grading.
Maybe that’s a lot better means of grading since the student will have some semblance of where or how their logic went awry. If they only know that the answer is merely right or wrong, they aren’t getting much feedback about how they arrived at the answer. You could persuasively argue that doing grading at a more granular level could significantly enhance their capabilities.
There are tradeoffs. The grader must do a lot more work. The grader has to be a lot better at grading since they are no longer simply comparing one answer against an answer key. Also, suppose the grader messes up and gives foul guidance about the logic that the student used. Oops, that could frazzle a student, and they are worse off than they were beforehand. Etc.
If we do proceed to further enhance RFT in that manner, should we refer to that as some kind of super RFT, perhaps noted as SRFT or SURFT?
You never know what nomenclature catches hold.
Let’s end with a famous proverb: “Learning is a treasure that will follow its owner everywhere.” I suppose we can say that this motto applies to humans and perhaps even applies to the advancement and future of AI.
Keep on learning.
Noticias
¿Qué es Deepseek? Nuevos rivales de inteligencia artificial chino Chatgpt, OpenAi
Línea superior
Una nueva compañía de IA china llamada Deepseek disparó a la cima de las listas de aplicaciones y se sacudió las acciones de Global Tech el lunes después de que obtuvo calificaciones de alto rendimiento a la par con los principales rivales estadounidenses a pesar de que aparentemente carecen del acceso a los chips de vanguardia, impulsados por las afirmaciones de la compañía desarrolladas Sus modelos a una fracción del costo necesario para las plataformas estadounidenses.
Hechos clave
La startup de Deepseek tiene menos de dos años, fue fundada en 2023 por el empresario chino de 40 años Liang Wenfeng, y lanzó sus modelos de código abierto para descargar en los Estados Unidos a principios de enero, donde desde entonces ha aumentado al La parte superior de los gráficos de descarga de iPhone, superando la aplicación para el chatgpt de Openai.
El último producto de Deepseek, un modelo de razonamiento avanzado llamado R1, se ha comparado favorablemente con los mejores productos de Operai y Meta, al tiempo que parece ser más eficiente, con costos más bajos para entrenar y desarrollar modelos y posiblemente haberse hecho sin depender de la IA más poderosa. Aceleradores que son más difíciles de comprar en China debido a los controles de exportación de los Estados Unidos.
Los modelos R1 y V3 de la compañía se clasifican en el Top 10 en el chatbot Arena, una plataforma de rendimiento organizada por la Universidad de California, Berkeley, y la compañía dice que está obteniendo casi tan bien o superando modelos rivales en tareas matemáticas, conocimiento general y cuestión de preguntas y preguntas -y-y-respuesta de referencia de rendimiento.
Deepseek dijo que la capacitación de uno de sus últimos modelos costó $ 5.6 millones, lo que sería mucho menos que el director ejecutivo de $ 100 millones a $ 1 mil millones de una IA estimó que cuesta construir un modelo el año pasado, aunque el analista de Bernstein, Stacy Rasgon, luego llamó a las cifras de Deepseek muy engañosas.
A pesar de las preguntas que quedan sobre el verdadero costo y el proceso para construir los productos de Deepseek, todavía enviaron el mercado de valores a un pánico: Microsoft (menos de 3.7%a las 11:30 a.m. ET), Tesla (1.3%), Nvidia (15%) y Broadcom (16%) se resbaló el lunes después de una venta de una venta de una venta de SE VOLVER por el éxito de Deepseek, y el NASDAQ pesado por la tecnología disminuyó un 3,5% en el camino a su tercer día de los últimos dos años.
Obtenga alertas de mensajes de texto de Breaking News: Estamos lanzando alertas de mensajes de texto para que siempre sepa las historias más grandes que dan forma a los titulares del día. Envíe “alertas” de texto a (201) 335-0739 o registrarse aquí.
Cita crucial
“Deepseek R1 es el momento Sputnik de AI”, dijo el domingo el inversor multimillonario Marc Andressen.
Gran número
1.6 millones. Esa es cuántas veces se había descargado la aplicación Mobile Deepseek hasta el sábado, informó Bloomberg, la aplicación No. 1 en las tiendas de iPhone en Australia, Canadá, China, Singapur, Estados Unidos y el Reino Unido
¿Cómo uso Deepseek?
Deepseek es gratuito en Web, APP y API, pero requiere que los usuarios creen una cuenta.
¿Cómo se compara Deepseek con OpenAi y Chatgpt?
Deepseek-R1 es más similar al modelo O1 de OpenAI, que cuesta a los usuarios $ 200 por mes. Ambos son modelos de idiomas grandes con capacidades de razonamiento avanzado, diferentes de los chatbots de preguntas y respuestas de forma corta como el chatgtp de Openai. R1 y O1 se especializan en desglosar las solicitudes en una cadena de “pensamientos” lógicos y examinar cada uno individualmente. R1 ha logrado el rendimiento a la par con O1 en varios puntos de referencia y, según los informes, superó su rendimiento en la prueba Math-500. Chatbot Arena actualmente clasifica a R1 como empatado en el tercer mejor modelo de IA que existe, con O1 en cuarto lugar.
¿Es el código abierto Deepseek-R1?
Sí. Deepseek-R1 está disponible para que cualquiera pueda acceder, usar, estudiar, modificar y compartir, y no está restringido por licencias propietarias.
¿Quién posee Deepseek?
Deepseek opera de forma independiente, pero es financiado únicamente por High-Flyer, un fondo de cobertura de $ 8 mil millones también fundado por Wenfeng. La compañía lanzó su primer producto en noviembre de 2023, un modelo diseñado para la codificación de tareas, y sus lanzamientos posteriores, todos notables por sus bajos costos, obligaron a otros gigantes tecnológicos chinos a reducir sus precios del modelo de IA para seguir siendo competitivos. En una entrevista el año pasado, Wenfeng dijo que la compañía no tiene como objetivo obtener ganancias excesivas y precios de sus productos solo un poco por encima de sus costos.
¿Deepseek es realmente tan barato?
No todos están comprando las afirmaciones de que Deepseek hizo R1 con un presupuesto reducido y sin la ayuda de chips de IA de fabricación estadounidense. El CEO de Scale AI, Alexandr Wang, dijo a CNBC el jueves (sin evidencia) Deepseek construyó su producto utilizando aproximadamente 50,000 chips Nvidia H100 que no puede mencionar porque violaría los controles de exportación estadounidenses que prohíben la venta de tales chips a las empresas chinas. El multimillonario Elon Musk apoyó la teoría y dijo que era “obviamente” cierto en una publicación sobre X. Rasgon expresó pensamientos similares en una nota el lunes, escribiendo que Deepseek no cuantificaba los recursos que utilizaba para desarrollar el modelo R1 en sus informes y que “Las modelos se ven fantásticas … no creemos que sean milagros”. También dijo que la estimación de costos de $ 5 millones puede representar con precisión lo que Deepseek pagó para alquilar cierta infraestructura para capacitar a sus modelos, pero excluye la investigación anterior, experimentos, algoritmos, datos y costos asociados con la construcción de sus productos.
Que ver
Qué gran éxito Nvidia, el fabricante de chips de inteligencia artificial muy buscado, lleva el lunes. La compañía está rastreando hacia una pérdida del 11%, o $ 400 mil millones, que sería la mayor pérdida de valor de un solo día para cualquier empresa. Ese registro ya está en manos de Nvidia, que cayó casi un 10% en septiembre para perder $ 280 mil millones en valor de mercado.
Fondo clave
China y los Estados Unidos son los principales jugadores en la carrera armamentista de inteligencia artificial que parecía ser dirigida principalmente por las empresas estadounidenses OpenAi (respaldadas por Microsoft), Meta y Alphabet. La semana pasada, el presidente Donald Trump respaldó el plan de infraestructura Stargate de $ 500 mil millones de OpenAI para superar a sus compañeros y, al anunciar su apoyo, habló específicamente sobre la importancia del dominio estadounidense sobre China en el espacio de la IA. La inteligencia artificial está impulsada en gran medida por chips semiconductores de alta tecnología y de alto dólar que proporcionan la potencia de procesamiento necesaria para realizar cálculos complejos y manejar grandes cantidades de datos de manera eficiente. Y aunque no todos los fabricantes de chips semiconductores más grandes son estadounidenses, muchos, incluidos Nvidia, Intel y Broadcom, están diseñados en los Estados Unidos. En 2022, Estados Unidos comenzó a limitar las exportaciones de semiconductores a China en un intento de obstaculizar la capacidad del país para avanzar en la IA por solicitudes militares u otras amenazas de seguridad nacional.
Lectura adicional
Noticias
Esto es lo que debes saber
El lunes, la startup china de inteligencia artificial DeepSeek tomó el codiciado lugar de su rival OpenAI como la aplicación gratuita más descargada en los EE. UU. Manzana‘s App Store, destronando a ChatGPT para el asistente de inteligencia artificial de DeepSeek. Las acciones tecnológicas mundiales se vendieron y estaban en camino de eliminar miles de millones en capitalización de mercado.
Líderes tecnológicos, analistas, inversores y desarrolladores dicen que la exageración (y el consiguiente temor de quedarse atrás en el siempre cambiante ciclo exagerado de la IA) puede estar justificada. Especialmente en la era de la carrera armamentista generativa de la IA, donde tanto los gigantes tecnológicos como las nuevas empresas compiten para asegurarse de no quedarse atrás en un mercado que se prevé superará el billón de dólares en ingresos dentro de una década.
¿Qué es DeepSeek?
DeepSeek fue fundada en 2023 por Liang Wenfeng, cofundador de High-Flyer, un fondo de cobertura cuantitativo centrado en la IA. Según se informa, la startup de IA surgió de la unidad de investigación de IA del fondo de cobertura en abril de 2023 para centrarse en grandes modelos de lenguaje y alcanzar la inteligencia artificial general, o AGI, una rama de la IA que iguala o supera al intelecto humano en una amplia gama de tareas, que OpenAI y sus rivales dicen que lo están persiguiendo rápidamente. DeepSeek sigue siendo propiedad total de High-Flyer y financiado por ella, según analistas de Jefferies.
Los rumores en torno a DeepSeek comenzaron a cobrar fuerza a principios de este mes, cuando la startup lanzó R1, su modelo de razonamiento que rivaliza con el o1 de OpenAI. Es de código abierto, lo que significa que cualquier desarrollador de IA puede usarlo, y se ha disparado a la cima de las tiendas de aplicaciones y tablas de clasificación de la industria, y los usuarios elogian su rendimiento y capacidades de razonamiento.
Al igual que otros chatbots chinos, tiene sus limitaciones cuando se le pregunta sobre ciertos temas: cuando se le pregunta sobre algunas de las políticas del líder chino Xi Jinping, por ejemplo, DeepSeek supuestamente aleja al usuario de líneas de preguntas similares.
Otra parte clave de la discusión: el R1 de DeepSeek se construyó a pesar de que Estados Unidos limitó las exportaciones de chips a China tres veces en tres años. Las estimaciones difieren sobre cuánto cuesta exactamente el R1 de DeepSeek o cuántas GPU se incluyen en él. Los analistas de Jefferies estimaron que una versión reciente tenía un “coste de capacitación de sólo 5,6 millones de dólares (suponiendo un costo de alquiler de 2 dólares por hora y 800 horas). Eso es menos del 10% del costo de Meta‘s Llama.” Pero independientemente de las cifras específicas, los informes coinciden en que el modelo fue desarrollado a una fracción del costo de los modelos rivales por OpenAI, Anthropic, Google y otros.
Como resultado, el sector de la IA está inundado de preguntas, entre ellas si el creciente número de rondas de financiación astronómicas y valoraciones de miles de millones de dólares de la industria es necesaria, y si una burbuja está a punto de estallar.
Acciones de NVIDIA cayó un 11%, con el fabricante de chips ASML bajó más del 6%. El Nasdaq cayó más del 2% y cuatro gigantes tecnológicos… Meta, microsoft, Manzana y ASML están listos para informar sus ganancias esta semana.
Los analistas de Raymond James detallaron algunas de las preguntas que afectan a la industria de la IA este mes y escribieron: “¿Cuáles son las implicaciones para la inversión? ¿Qué dice sobre los modelos de código abierto versus los propietarios? ¿Invertir dinero en GPU es realmente una panacea? ¿Existen restricciones a las exportaciones de Estados Unidos? ¿Cuáles son las implicaciones más amplias de [DeepSeek]? Bueno, podrían ser espantosos o no ser un evento, pero tengan la seguridad de que la industria está llena de incredulidad y especulación”.
Los analistas de Bernstein escribieron en una nota el lunes que “según las muchas (ocasionalmente histéricas) tomas calientes que vimos [over the weekend,] las implicaciones van desde ‘Eso es realmente interesante’ hasta ‘Esta es la sentencia de muerte del complejo de infraestructura de IA tal como lo conocemos'”.
Cómo están respondiendo las empresas estadounidenses
Algunos directores ejecutivos de tecnología estadounidenses están luchando por responder antes de que los clientes cambien a ofertas potencialmente más baratas de DeepSeek, y se informa que Meta está iniciando cuatro “salas de guerra” relacionadas con DeepSeek dentro de su departamento de IA generativa.
microsoft El director ejecutivo Satya Nadella escribió en X que el fenómeno DeepSeek era solo un ejemplo de la paradoja de Jevons: “A medida que la IA se vuelva más eficiente y accesible, veremos cómo su uso se dispara, convirtiéndola en un bien del que simplemente no podemos tener suficiente”. “. El director ejecutivo de OpenAI, Sam Altman, tuiteó una cita que atribuyó a Napoleón y escribió: “Una revolución no se puede hacer ni detener. Lo único que se puede hacer es que uno de sus hijos le dé una dirección a fuerza de victorias”.
Yann LeCun, científico jefe de IA de Meta, escribió en LinkedIn que el éxito de DeepSeek es indicativo del cambio de rumbo en el sector de la IA para favorecer la tecnología de código abierto.
LeCun escribió que DeepSeek se ha beneficiado de parte de la tecnología propia de Meta, es decir, sus modelos Llama, y que la startup “ideó nuevas ideas y las construyó sobre el trabajo de otras personas. Debido a que su trabajo está publicado y es de código abierto, todos pueden sacar provecho de ello. Ese es el poder de la investigación abierta y del código abierto”.
Alexandr Wang, director ejecutivo de Scale AI, dijo a CNBC la semana pasada que el último modelo de IA de DeepSeek fue “revolucionario” y que su versión R1 es aún más poderosa.
“Lo que hemos descubierto es que DeepSeek… tiene el mejor rendimiento, o aproximadamente está a la par de los mejores modelos estadounidenses”, dijo Wang, añadiendo que la carrera de IA entre EE.UU. y China es una “guerra de IA”. La empresa de Wang proporciona datos de entrenamiento a actores clave de la IA, incluidos OpenAI, Google y Meta.
A principios de esta semana, el presidente Donald Trump anunció una empresa conjunta con OpenAI, Oracle y SoftBank para invertir miles de millones de dólares en infraestructura de IA en Estados Unidos. El proyecto, Stargate, fue presentado en la Casa Blanca por Trump, el director ejecutivo de SoftBank, Masayoshi Son, el cofundador de Oracle, Larry Ellison, y el director ejecutivo de OpenAI, Sam Altman. Los socios tecnológicos iniciales clave incluirán a Microsoft, Nvidia y Oracle, así como a la empresa de semiconductores Arm. Dijeron que invertirían 100.000 millones de dólares para empezar y hasta 500.000 millones de dólares en los próximos cuatro años.
IA evolucionando
La noticia de la destreza de DeepSeek también llega en medio del creciente revuelo en torno a los agentes de IA (modelos que van más allá de los chatbots para completar tareas complejas de varios pasos para un usuario) que tanto los gigantes tecnológicos como las nuevas empresas están persiguiendo. Meta, Google, Amazon, Microsoft, OpenAI y Anthropic han expresado su objetivo de crear IA agente.
Anthropic, la startup de IA respaldada por Amazon y fundada por ex ejecutivos de investigación de OpenAI, intensificó su desarrollo tecnológico durante el año pasado y, en octubre, la startup dijo que sus agentes de IA podían usar computadoras como humanos para completar tareas complejas. La capacidad de uso de computadoras de Anthropic permite que su tecnología interprete lo que hay en la pantalla de una computadora, seleccione botones, ingrese texto, navegue por sitios web y ejecute tareas a través de cualquier software y navegación por Internet en tiempo real, dijo la startup.
La herramienta puede “usar computadoras básicamente de la misma manera que nosotros”, dijo a CNBC Jared Kaplan, director científico de Anthropic, en una entrevista en ese momento. Dijo que puede realizar tareas con “decenas o incluso cientos de pasos”.
OpenAI lanzó una herramienta similar la semana pasada, introduciendo una función llamada Operador que automatizará tareas como planificar vacaciones, completar formularios, hacer reservas en restaurantes y pedir alimentos.
El microsoft-La startup respaldada lo describe como “un agente que puede ir a la web para realizar tareas por usted” y agregó que está capacitado para interactuar con “los botones, menús y campos de texto que la gente usa a diario” en la web. También puede hacer preguntas de seguimiento para personalizar aún más las tareas que realiza, como información de inicio de sesión para otros sitios web. Los usuarios pueden tomar el control de la pantalla en cualquier momento.
Noticias
Esto es lo que debes saber: NBC 6 South Florida
- El zumbido alrededor de la startup de IA China Deepseek comenzó a recoger a Steam a principios de este mes, cuando la startup lanzó R1, su modelo de razonamiento que rivaliza con el O1 de Openai.
- El lunes, Deepseek se hizo cargo del lugar codiciado de su rival Openai para la aplicación gratuita más descargada en los EE. UU. En la App Store de Apple, destronando a Chatgpt para el asistente de IA de Deepseek.
- Global Tech Stocks se vendió, con el gigante de chip de IA Nvidia cayendo un 10%.
El lunes, la startup de inteligencia artificial china Deepseek se hizo cargo del lugar codiciado de su rival Openai como la aplicación gratuita más desactivada en los EE. UU. En la tienda de aplicaciones de Apple, destronando Chatgpt para el asistente de IA de Deepseek. Las acciones de Global Tech se vendieron y estaban en camino de acabar con miles de millones en el límite de mercado.
Los líderes tecnológicos, analistas, inversores y desarrolladores dicen que el bombo, y el consiguiente temor de quedarse atrás en el ciclo de bombo de IA en constante cambio, pueden estar justificados. Especialmente en la era de la carrera armamentista generativa de IA, donde los gigantes tecnológicos y las startups están corriendo para garantizar que no se queden atrás en un mercado previsto para superar los ingresos de $ 1 billón en una década.
¿Qué es Deepseek?
Deepseek fue fundada en 2023 por Liang Wenfeng, cofundador de High-Flyer, un fondo cuantitativo de cobertura centrado en la IA. Según los informes, la startup de IA surgió de la Unidad de Investigación de AI del fondo de cobertura en abril de 2023 para centrarse en modelos de idiomas grandes y alcanzar la inteligencia general artificial, o AGI, una rama de IA que iguala o supere el intelecto humano en una amplia gama de tareas, que se abren. Y sus rivales dicen que están persiguiendo rápidamente. Deepseek sigue siendo propiedad y financiado por High-Flyer, según analistas de Jefferies.
El zumbido alrededor de Deepseek comenzó a recoger a Steam a principios de este mes, cuando la startup lanzó R1, su modelo de razonamiento que rivaliza con el O1 de OpenAI. Es de código abierto, lo que significa que cualquier desarrollador de IA puede usarlo, y se ha disparado a la cima de las tiendas de aplicaciones y las tablas de clasificación de la industria, con los usuarios elogios de su rendimiento y capacidades de razonamiento.
Al igual que otros chatbots chinos, tiene sus limitaciones cuando se les pregunta sobre ciertos temas: cuando se le pregunta sobre algunas de las políticas del líder chino Xi Jinping, por ejemplo, Deepseek aleja al usuario de líneas similares de preguntas.
Otra parte clave de la discusión: R1 de Deepseek se construyó a pesar de las exportaciones de chips de EE. UU. A China tres veces en tres años. Las estimaciones difieren exactamente en la cantidad de R1 de Deepseek, o en cuántas GPU entró. Los analistas de Jefferies estimaron que una versión reciente tenía un “costo de capacitación de solo US $ 5,6 millones (suponiendo un costo de alquiler de US $ 2/h800 horas). Eso es menos del 10% del costo de la LLAMA de Meta”. Pero independientemente de los números específicos, los informes acuerdan que el modelo se desarrolló a una fracción del costo de los modelos rivales por OpenAI, Anthrope, Google y otros.
Como resultado, el sector de la IA está inundado de preguntas, incluido si es necesario el creciente número de rondas de financiación astronómica y las valoraciones de mil millones de dólares, y si una burbuja está a punto de estallar.
Las acciones de NVIDIA cayeron un 11%, con el fabricante de chips ASML más del 6%. El NASDAQ cayó por 2%, y cuatro gigantes tecnológicos: Meta, Microsoft, Apple y ASML están listos para informar las ganancias esta semana.
Los analistas de Raymond James detallaron algunas de las preguntas que afectan a la industria de la IA este mes, escribiendo: “¿Cuáles son las implicaciones de inversión? ¿Qué dice sobre los modelos de origen abierto versus patentado? ¿Está arrojando dinero a las GPU realmente una panacea? trabajando? ¿Cuáles son las implicaciones más amplias de [DeepSeek]? Bueno, podrían ser terribles o un no evento, pero tengan la seguridad de que la industria está llena de incredulidad y especulación “.
Los analistas de Bernstein escribieron en una nota el lunes que “según las muchas tomas (ocasionalmente histéricas) que vimos que vimos [over the weekend,] El rango de implicaciones en cualquier lugar desde ‘eso es realmente interesante’ hasta ‘Esta es la luz de muerte del complejo de infraestructura de IA tal como lo conocemos’ “.
Cómo están respondiendo las empresas estadounidenses
Algunos CEO de tecnología estadounidense están trepando por responder antes de que los clientes cambien a ofertas potencialmente más baratas de Deepseek, y Según los informes, Meta inicia cuatro “salas de guerra” relacionadas con Deepseek dentro de su departamento generativo de IA.
El CEO de Microsoft, Satya Nadella, escribió en X que el fenómeno de Deepseek era solo un ejemplo de la paradoja de Jevons, escribiendo, “A medida que AI se vuelve más eficiente y accesible, veremos su uso Skyroocket, convirtiéndolo en una mercancía, simplemente no podemos obtener suficiente de.” El CEO de Operai, Sam Altman, tuiteó una cita que atribuyó a Napoleón, escribiendo: “Una revolución no se puede hacer ni detener.
Yann Lecun, el jefe científico de AI de Meta, escribió en LinkedIn que el éxito de Deepseek es indicativo de cambiar las mareas en el sector de IA para favorecer la tecnología de código abierto.
Lecun escribió que Deepseek se ha beneficiado de algunas de la propia tecnología de Meta, es decir, sus modelos de llama, y que la startup “se les ocurrió nuevas ideas y las construyó en la parte superior del trabajo de otras personas. Debido a que su trabajo es publicado y de código abierto, todos pueden Se beneficia de él.
Alexandr Wang, CEO de Scale AI, le dijo a CNBC la semana pasada que el último modelo de IA de Deepseek fue “devastador de la tierra” y que su lanzamiento de R1 es aún más poderoso.
“Lo que hemos encontrado es que Deepseek … es el mejor desempeño, o aproximadamente a la par con los mejores modelos estadounidenses”, dijo Wang, y agregó que la carrera de IA entre los Estados Unidos y China es una “guerra de IA”. La compañía de Wang proporciona datos de capacitación a jugadores clave de IA, incluidos OpenAI, Google y Meta.
A principios de esta semana, presidente Donald Trump anunció una empresa conjunta con OpenAI, Oracle y Softbank para invertir miles de millones de dólares en infraestructura de IA de EE. UU. El proyecto, Stargate, fue presentado en la Casa Blanca por Trump, el CEO de SoftBank, Masayoshi,, cofundador Larry Ellison, y el CEO de Operai, Sam Altman. Los socios de tecnología iniciales clave incluirán Microsoft, Nvidia y Oracle, así como el brazo de la compañía de semiconductores. Dijeron que invertirían $ 100 mil millones para comenzar y hasta $ 500 mil millones en los próximos cuatro años.
AI evolucionando
La noticia de la destreza de Deepseek también se produce en medio de la creciente exageración en torno a los agentes de IA, modelos que van más allá de los chatbots para completar tareas complejas de varios pasos para un usuario, que los gigantes tecnológicos y las startups están persiguiendo. Meta, Google, Amazon, Microsoft, Openai y Anthrope han expresado su objetivo de construir IA de agente.
Anthrope, la startup de IA respaldada por Amazon fundada por ex ejecutivos de investigación de Openai, aumentó su desarrollo de tecnología durante el año pasado, y en octubre, la startup dijo que sus agentes de IA pudieron usar computadoras como humanos para completar tareas complejas. La capacidad de uso de la computadora de Anthrope permite que su tecnología interprete lo que está en la pantalla de una computadora, seleccione botones, ingrese texto, navegue por los sitios web y ejecute tareas a través de cualquier software y navegación en Internet en tiempo real, dijo la startup.
La herramienta puede “usar computadoras básicamente de la misma manera que lo hacemos”, dijo Jared Kaplan, director científico de Anthrope, a CNBC en una entrevista en ese momento. Dijo que puede hacer tareas con “decenas o incluso cientos de pasos”.
Openai lanzó una herramienta similar la semana pasada, presentando una característica llamada operador que automatizará tareas como planificar vacaciones, completar formularios, hacer reservas de restaurantes y ordenar comestibles.
La startup respaldada por Microsoft lo describe como “un agente que puede ir a la web para realizar tareas para usted”, y agregó que está capacitado para interactuar con “los botones, los menús y los campos de texto que las personas usan a diario” en la web . También puede hacer preguntas de seguimiento para personalizar aún más las tareas que completa, como la información de inicio de sesión para otros sitios web. Los usuarios pueden tomar el control de la pantalla en cualquier momento.
-
Startups8 meses ago
Remove.bg: La Revolución en la Edición de Imágenes que Debes Conocer
-
Recursos9 meses ago
Cómo Empezar con Popai.pro: Tu Espacio Personal de IA – Guía Completa, Instalación, Versiones y Precios
-
Recursos9 meses ago
Suno.com: La Revolución en la Creación Musical con Inteligencia Artificial
-
Recursos8 meses ago
Perplexity aplicado al Marketing Digital y Estrategias SEO
-
Tutoriales9 meses ago
Cómo Comenzar a Utilizar ChatGPT: Una Guía Completa para Principiantes
-
Startups7 meses ago
Startups de IA en EE.UU. que han recaudado más de $100M en 2024
-
Estudiar IA8 meses ago
Curso de Inteligencia Artificial de UC Berkeley estratégico para negocios
-
Noticias7 meses ago
Dos periodistas octogenarios deman a ChatGPT por robar su trabajo