Connect with us

Noticias

From OpenAI to DeepSeek, companies say AI can “reason” now. Is it true?

Published

on

The AI world is moving so fast that it’s easy to get lost amid the flurry of shiny new products. OpenAI announces one, then the Chinese startup DeepSeek releases one, then OpenAI immediately puts out another one. Each is important, but focus too much on any one of them and you’ll miss the really big story of the past six months.

The big story is: AI companies now claim that their models are capable of genuine reasoning — the type of thinking you and I do when we want to solve a problem.

And the big question is: Is that true?

The stakes are high, because the answer will inform how everyone from your mom to your government should — and should not — turn to AI for help.

If you’ve played around with ChatGPT, you know that it was designed to spit out quick answers to your questions. But state-of-the-art “reasoning models” — like OpenAI’s o1 or DeepSeek’s r1 — are designed to “think” a while before responding, by breaking down big problems into smaller problems and trying to solve them step by step. The industry calls that “chain-of-thought reasoning.”

These models are yielding some very impressive results. They can solve tricky logic puzzles, ace math tests, and write flawless code on the first try. Yet they also fail spectacularly on really easy problems: o1, nicknamed Strawberry, was mocked for bombing the question “how many ‘r’s are there in ‘strawberry?’”

AI experts are torn over how to interpret this. Skeptics take it as evidence that “reasoning” models aren’t really reasoning at all. Believers insist that the models genuinely are doing some reasoning, and though it may not currently be as flexible as a human’s reasoning, it’s well on its way to getting there.

The best answer will be unsettling to both the hard skeptics of AI and the true believers.

What counts as reasoning?

Let’s take a step back. What exactly is reasoning, anyway?

AI companies like OpenAI are using the term reasoning to mean that their models break down a problem into smaller problems, which they tackle step by step, ultimately arriving at a better solution as a result.

But that’s a much narrower definition of reasoning than a lot of people might have in mind. Although scientists are still trying to understand how reasoning works in the human brain — nevermind in AI — they agree that there are actually lots of different types of reasoning.

There’s deductive reasoning, where you start with a general statement and use it to reach a specific conclusion. There’s inductive reasoning, where you use specific observations to make a broader generalization. And there’s analogical reasoning, causal reasoning, common sense reasoning … suffice it to say, reasoning is not just one thing!

Now, if someone comes up to you with a hard math problem and gives you a chance to break it down and think about it step by step, you’ll do a lot better than if you have to blurt out the answer off the top of your head. So, being able to do deliberative “chain-of-thought reasoning” is definitely helpful, and it might be a necessary ingredient of getting anything really difficult done. Yet it’s not the whole of reasoning.

One feature of reasoning that we care a lot about in the real world is the ability to suss out “a rule or pattern from limited data or experience and to apply this rule or pattern to new, unseen situations,” writes Melanie Mitchell, a professor at the Santa Fe Institute, together with her co-authors in a paper on AI’s reasoning abilities. “Even very young children are adept at learning abstract rules from just a few examples.”

In other words, a toddler can generalize. Can an AI?

A lot of the debate turns around this question. Skeptics are very, well, skeptical of AI’s ability to generalize. They think something else is going on.

“It’s a kind of meta-mimicry,” Shannon Vallor, a philosopher of technology at the University of Edinburgh, told me when OpenAI’s o1 came out in September.

She meant that while an older model like ChatGPT mimics the human-written statements in its training data, a newer model like o1 mimics the process that humans engage in to come up with those statements. In other words, she believes, it’s not truly reasoning. It would be pretty easy for o1 to just make it sound like it’s reasoning; after all, its training data is rife with examples of that, from doctors analyzing symptoms to decide on a diagnosis to judges evaluating evidence to arrive at a verdict.

Besides, when OpenAI built the o1 model, it made some changes from the previous ChatGPT model but did not dramatically overhaul the architecture — and ChatGPT was flubbing easy questions last year, like answering a question about how to get a man and a goat across a river in a totally ridiculous way. So why, Vallor asked, would we think o1 is doing something totally new and magical — especially given that it, too, flubs easy questions? “In the cases where it fails, you see what, for me, is compelling evidence that it’s not reasoning at all,” she said.

Mitchell was surprised at how well o3 — OpenAI’s newest reasoning model, announced at the end of last year as a successor to o1 — performed on tests. But she was also surprised at just how much computation it used to solve the problems. We don’t know what it’s doing with all that computation, because OpenAI is not transparent about what’s going on under the hood.

“I’ve actually done my own experiments on people where they’re thinking out loud about these problems, and they don’t think out loud for, you know, hours of computation time,” she told me. “They just say a couple sentences and then say, ‘Yeah, I see how it works,’ because they’re using certain kinds of concepts. I don’t know if o3 is using those kinds of concepts.”

Without greater transparency from the company, Mitchell said we can’t be sure that the model is breaking down a big problem into steps and getting a better overall answer as a result of that approach, as OpenAI claims.

She pointed to a paper, “Let’s Think Dot by Dot,” where researchers did not get a model to break down a problem into intermediate steps; instead, they just told the model to generate dots. Those dots were totally meaningless — what the paper’s authors call “filler tokens.” But it turned out that just having additional tokens there allowed the model more computational capacity, and it could use that extra computation to solve problems better. That suggests that when a model generates intermediate steps — whether it’s a phrase like “let’s think about this step by step” or just “….” — those steps don’t necessarily mean it’s doing the human-like reasoning you think it’s doing.

“I think a lot of what it’s doing is more like a bag of heuristics than a reasoning model,” Mitchell told me. A heuristic is a mental shortcut — something that often lets you guess the right answer to a problem, but not by actually thinking it through.

Here’s a classic example: Researchers trained an AI vision model to analyze photos for skin cancer. It seemed, at first blush, like the model was genuinely figuring out if a mole is malignant. But it turned out the photos of malignant moles in its training data often contained a ruler, so the model had just learned to use the presence of a ruler as a heuristic for deciding on malignancy.

Skeptical AI researchers think that state-of-the-art models may be doing something similar: They appear to be “reasoning” their way through, say, a math problem, but really they’re just drawing on a mix of memorized information and heuristics.

Other experts are more bullish on reasoning models. Ryan Greenblatt, chief scientist at Redwood Research, a nonprofit that aims to mitigate risks from advanced AI, thinks these models are pretty clearly doing some form of reasoning.

“They do it in a way that doesn’t generalize as well as the way humans do it — they’re relying more on memorization and knowledge than humans do — but they’re still doing the thing,” Greenblatt said. “It’s not like there’s no generalization at all.”

After all, these models have been able to solve hard problems beyond the examples they’ve been trained on — often very impressively. For Greenblatt, the simplest explanation as to how is that they are indeed doing some reasoning.

And the point about heuristics can cut both ways, whether we’re talking about a reasoning model or an earlier model like ChatGPT. Consider the “a man, a boat, and a goat” prompt that had many skeptics mocking OpenAI last year:

What’s going on here? Greenblatt says the model messed up because this prompt is actually a classic logic puzzle that dates back centuries and that would have appeared many times in the training data. In some formulations of the river-crossing puzzle, a farmer with a wolf, a goat, and a cabbage must cross over by boat. The boat can only carry the farmer and a single item at a time — but if left together, the wolf will eat the goat or the goat will eat the cabbage, so the challenge is to get everything across without anything getting eaten. That explains the model’s mention of a cabbage in its response. The model would instantly “recognize” the puzzle.

“My best guess is that the models have this incredibly strong urge to be like, ‘Oh, it’s this puzzle! I know what this puzzle is! I should do this because that performed really well in the training data.’ It’s like a learned heuristic,” Greenblatt said. The implication? “It’s not that it can’t solve it. In a lot of these cases, if you say it’s a trick question, and then you give the question, the model often does totally fine.”

Humans fail in the same way all the time, he pointed out. If you’d just spent a month studying color theory — from complementary colors to the psychological effects of different hues to the historical significance of certain pigments in Renaissance paintings — and then got a quiz asking, “Why did the artist paint the sky blue in this landscape painting?”… well, you might be tricked into writing a needlessly complicated answer! Maybe you’d write about how the blue represents the divine heavens, or how the specific shade suggests the painting was done in the early morning hours which symbolizes rebirth … when really, the answer is simply: Because the sky is blue!

Ajeya Cotra, a senior analyst at Open Philanthropy who researches the risks from AI, agrees with Greenblatt on that point. And, she said of the latest models, “I think they’re genuinely getting better at this wide range of tasks that humans would call reasoning tasks.”

She doesn’t dispute that the models are doing some meta-mimicry. But when skeptics say “it’s just doing meta-mimicry,” she explained, “I think the ‘just’ part of it is the controversial part. It feels like what they’re trying to imply often is ‘and therefore it’s not going to have a big impact on the world’ or ‘and therefore artificial superintelligence is far away’ — and that’s what I dispute.”

To see why, she said, imagine you’re teaching a college physics class. You’ve got different types of students. One is an outright cheater: He just looks in the back of the book for the answers and then writes them down. Another student is such a savant that he doesn’t even need to think about the equations; he understands the physics on such a deep, intuitive, Einstein-like level that he can derive the right equations on the fly. All the other students are somewhere in the middle: They’ve memorized a list of 25 equations and are trying to figure out which equation to apply in which situation.

Like the majority of students, AI models are pairing some memorization with some reasoning, Cotra told me.

“The AI models are like a student that is not very bright but is superhumanly diligent, and so they haven’t just memorized 25 equations, they’ve memorized 500 equations, including ones for weird situations that could come up,” she said. They’re pairing a lot of memorization with a little bit of reasoning — that is, with figuring out what combination of equations to apply to a problem. “And that just takes you very far! They seem at first glance as impressive as the person with the deep intuitive understanding.”

Of course, when you look harder, you can still find holes that their 500 equations just happen not to cover. But that doesn’t mean zero reasoning has taken place.

In other words, the models are neither exclusively reasoning nor exclusively just reciting.

“It’s somewhere in between,” Cotra said. “I think people are thrown off by that because they want to put it in one camp or another. They want to say it’s just memorizing or they want to say it’s truly deeply reasoning. But the fact is, there’s just a spectrum of the depth of reasoning.”

AI systems have “jagged intelligence”

Researchers have come up with a buzzy term to describe this pattern of reasoning: “jagged intelligence.” It refers to the strange fact that, as computer scientist Andrej Karpathy explained, state-of-the-art AI models “can both perform extremely impressive tasks (e.g., solve complex math problems) while simultaneously struggling with some very dumb problems.”

An illustration of a cloud shape contained within a jagged starburst shape filled with green circuitry

Drew Shannon for Vox

Picture it like this. If human intelligence looks like a cloud with softly rounded edges, artificial intelligence is like a spiky cloud with giant peaks and valleys right next to each other. In humans, a lot of problem-solving capabilities are highly correlated with each other, but AI can be great at one thing and ridiculously bad at another thing that (to us) doesn’t seem far apart.

Mind you, it’s all relative.

“Compared to what humans are good at, the models are quite jagged,” Greenblatt told me. “But I think indexing on humans is a little confusing. From the model’s perspective, it’s like, ‘Wow, those humans are so jagged! They’re so bad at next-token prediction!’ It’s not clear that there’s some objective sense in which AI is more jagged.”

The fact that reasoning models are trained to sound like humans reasoning makes us disposed to compare AI intelligence to human intelligence. But the best way to think of AI is probably not as “smarter than a human” or “dumber than a human” but just as “different.”

Regardless, Cotra anticipates that sooner or later AI intelligence will be so vast that it can contain within it all of human intelligence, and then some.

“I think about, what are the risks that emerge when AI systems are truly better than human experts at everything? When they might still be jagged, but their full jagged intelligence encompasses all of human intelligence and more?” she said. “I’m always looking ahead to that point in time and preparing for that.”

For now, the practical upshot for most of us is this: Remember what AI is and isn’t smart at — and use it accordingly.

The best use case is a situation where it’s hard for you to come up with a solution, but once you get a solution from the AI you can easily check to see if it’s correct. Writing code is a perfect example. Another example would be making a website: You can see what the AI produced and, if you don’t like it, just get the AI to redo it.

In other domains — especially ones where there is no objective right answer or where the stakes are high — you’ll want to be more hesitant about using AI. You might get some initial suggestions from it, but don’t put too much stock in it, especially if what it’s saying seems off to you. An example would be asking for advice on how to handle a moral dilemma. You might see what thoughts the model is provoking in you without trusting it as giving you the final answer.

“The more things are fuzzy and judgment-driven,” Cotra said, “the more you want to use it as a thought partner, not an oracle.”

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

¿Aburrido de Ghibli? 7 usos mejores para la generación de imágenes de chatgpt

Published

on

Cuando Operai presentó por primera vez la nueva función de generación de imágenes 4O en ChatGPT, Internet se volvió loco. La gente lo estaba usando para transformar todo, desde imágenes de perfil hasta memes populares en el estilo de anime de Studio Ghibli. Incluso la Casa Blanca se metió en la acción, publicando una imagen al estilo de Ghibli de un arresto contra hielo.

Sin embargo, convertir todo en el arte de Ghibli es hacer que la generación de imágenes presente un mal servicio. Si ha tenido suficiente de las imágenes de anime, hay muchas formas mejores de usar la generación de imágenes de ChatGPT.

7

Generar imágenes al estilo de los artistas fallecidos

El hecho de que pueda usar ChatGPT para generar imágenes al estilo de Studio Ghibli ha provocado algunos debates éticos difíciles. En primer lugar, hay problemas sobre si es correcto reproducir el estilo de un artista sin su permiso. En segundo lugar, hay problemas sobre si ChatGPT fue entrenado en material de derechos de autor para producir las imágenes en primer lugar.

Adam Davidson / geek / chatgpt

La forma más sencilla de evitar estos problemas espinosos es generar imágenes al estilo de los artistas fallecidos. Los derechos de autor sobre las obras artísticas vencen un período establecido después de la muerte de un artista en muchos países, lo que significa que las imágenes están en el dominio público. Esto no solo es éticamente menos problemático, sino que también significa que es menos probable que ChatGPT le diga que no puede crear una imagen debido a su política de contenido.

Con casi toda la historia del arte para elegir, es poco probable que se quede sin estilos para usar. El verdadero desafío es elegir qué estilo crear primero.

Relacionado

Antes de acusar a un artista de usar AI, lea esto

Deja tus Pitchforks ya

6

Haz tus propias caricaturas

Esto es algo que inicialmente probé cuando OpenAI primero permití cargar imágenes para chatgpt. Dibujé un boceto rápido de un personaje de dibujos animados y luego intenté que Chatgpt lo convirtiera en una caricatura. Los resultados fueron decepcionantes por decir lo menos.

Una caricatura de cuatro paneles creada usando chatgpt desde un boceto.
Adam Davidson / geek / chatgpt

Sin embargo, con la generación de imágenes 4O, los resultados son realmente impresionantes. Convirtí un boceto rápido en una caricatura de cuatro paneles en cuestión de momentos, con texto impecable y el personaje reproducido perfectamente en cada panel. Tampoco necesitas comenzar con un dibujo; Puede describir los personajes que desea, y ChatGPT creará la caricatura para usted.

Es muy divertido, pero aún necesitarás un poco de creatividad; Traté de hacer Chatgpt para crear algunas caricaturas propias con el mismo personaje, y las ideas que surgieron fueron terribles. Parece que la IA todavía no puede hacer divertida.

Relacionado

La gen de la imagen de Chatgpt todavía no ha solucionado mi tarea programada favorita

La nueva generación de imágenes es sorprendente, siempre y cuando puedas usarla.

5

Crear portadas de novelas o carteles de películas

¿Alguna vez has tenido ideas para libros o películas que desearías ser reales? Chatgpt no puede convertir esas ideas en novelas o películas enteras, pero puede permitirle ver cómo sería la portada del libro o el póster de la película. Simplemente describa la trama de su libro o película, o simplemente diga cómo quiere que se vea el póster o la portada del libro, y ChatGPT puede crearlo para usted.

Nicolas Cage como Frodo en un póster de película para el señor de los anillos hecho con chatgpt.
Adam Davidson / geek / chatgpt

Otra cosa divertida que puedes hacer con los carteles de películas es tocar con el casting. Si desea que Nicolas Cage haya sido la estrella en literalmente en todas las películas, puede crear carteles de películas con Nic Cage reemplazando a la estrella original. Es un poco divertido.

Si bien muchas de las formas en que puede usar la generación de imágenes de ChatGPT son muy divertidas, pero no tienen ningún propósito real, hay muchas maneras en que la característica puede ser realmente útil. Una forma en que puede usarlo es como una herramienta de visualización.

Una visualización de un jardín con macizos de flores generados a partir de una foto usando chatgpt.
Adam Davidson / geek / chatgpt

Mi esposa ha estado queriendo agregar algunos macizos de flores y bordes a nuestro jardín durante mucho tiempo, pero no sabía dónde estarían los mejores lugares para ponerlos o cómo se vería el jardín terminado. Tomó algunas fotos, las subió a Chatgpt y le pidió que agregara algunas camas y bordes en lugares específicos. Las imágenes resultantes fueron realmente impresionantes y dieron una excelente idea de cómo sería el jardín terminado.

Ella consiguió el insecto y comenzó a ir de una habitación a otra en la casa, visualizando diferentes tipos de pisos, papel tapiz y colores de pintura. No solo es bueno para la decoración, tampoco; Puede subir una imagen de ese sofá que tiene el ojo y ver cómo se vería en su sala de estar. Es una excelente manera de ver cómo se verá un cambio de imagen en el hogar antes de dar el paso.

Relacionado

Hice imágenes perfectas de la sala de casa de Apple usando chatgpt

La nueva generación de imágenes de Chatgpt puede hacer más que solo Studio Ghibli Style.

3

Genere imágenes fotorrealistas de casi cualquier cosa que desee

Hacer imágenes en un estilo de anime es divertido, pero está desperdiciando gran parte del potencial de la generación de imágenes ChatGPT, lo que ha aumentado significativamente la calidad de su fotorrealismo. Ahora puede generar imágenes fotorrealistas de casi cualquier cosa que pueda imaginar.

Una imagen fotorrealista generada por Chatgpt de un grupo de palomas en cascos que inspeccionan una grieta en el camino.
Adam Davidson / geek / chatgpt

Si desea una imagen fotorrealista de una bandada de palomas con cascos que examinan una grieta en el camino, eso es exactamente lo que puede crear. Si desea una imagen de una escena callejera ocupada donde todos son un muñeco de prueba de choque, puede hacer una.

Incluso la imagen de alguien que hizo arte de Ghibli en su teléfono en la parte superior de este artículo fue creada usando ChatGPT. El límite es solo tu imaginación.

2

Haz que los dibujos de tus hijos cobren vida

Esto es algo que he estado haciendo mucho porque a mis hijos les encanta. Les encanta hacer dibujos de cosas extrañas y maravillosas, y puedes hacer que Chatgpt convierta estos dibujos en imágenes fotorrealistas. Los resultados a menudo son hilarantes.

Si las imágenes no resultan bastante como los niños imaginaban, puede usar más indicaciones de imagen para refinar las imágenes para que se parezcan a lo que pretendían. En lugar de convertir las imágenes en fotos realistas, también puede agregar los personajes dibujados a escenas realistas, lo que también puede ser muy divertido.

Fotos lado a lado del dibujo de un niño y una imagen fotorrealista generada por ChatGPT a partir de ese dibujo.
Adam Davidson / geek / chatgpt

Ha sido una excelente manera de alentar a mis hijos a hacer más obras de arte, ya que les encanta ver sus dibujos transformados en imágenes realistas. Un día, pueden crecer para ser artistas que tienen sus propios estilos de arte robados por las principales compañías de IA.

1

Aplicación de diseño o maquetas de sitios web o imágenes de productos

La generación de imágenes ChatGPT también puede ser una herramienta útil para su negocio. Puede usarlo para crear todo tipo de imágenes que puedan ser útiles en su trabajo. Por ejemplo, si es un diseñador de aplicaciones, puede usarlo para crear una maqueta de cómo se verá su interfaz de usuario.

Puede hacer lo mismo si está diseñando un sitio web. Le permite ver cómo se verá su sitio web y moverá elementos antes de comenzar a construirlo.

Una imagen lado a lado que muestra una foto de un clip Bulldog y una imagen de producto generada por ChatGPT basada en esa foto.

Si vende productos, ChatGPT también puede crear fotos de productos. Simplemente suba una imagen de su producto y pídale a ChatGPT que cree una imagen de producto para él. Obtendrá una hermosa imagen de su producto con una iluminación perfecta, aunque algunas plataformas de comercio electrónico pueden requerir imágenes reales para sus sitios.


Las capacidades de generación de imágenes actualizadas de ChatGPT son realmente impresionantes. Puede crear imágenes de casi cualquier cosa que desee, utilizando estilos artísticos específicos o un fotorrealismo impresionante. Al igual que con muchas características de IA, hay tantas cosas que puede hacer que puede ser difícil saber por dónde empezar.

Intente experimentar con algunas de las ideas anteriores; Es posible que te sorprenda lo que es posible una vez que te muevas más allá de las imágenes de Ghibli.

Continue Reading

Noticias

O3 O3 de OpenAi es menos AGI de lo que se mide originalmente

Published

on


Resumen

Un análisis reciente de la Fundación del Premio ARC encuentra que el modelo O3 de OpenAI ofrece resultados significativamente más débiles en puntos de referencia de razonamiento estandarizados que su versión de vista previa de O3 previamente probada.

La Fundación del Premio ARC, un grupo sin fines de lucro centrado en la evaluación de IA, utiliza puntos de referencia abiertos como ARC-AGI para resaltar la brecha entre el razonamiento humano y los sistemas de inteligencia artificial actuales. Cada evaluación tiene como objetivo aclarar el estado actual del campo.

El punto de referencia ARC-AGI está estructurado para probar el razonamiento simbólico, la composición de varios pasos y la aplicación de reglas dependiente del contexto, las habilidades que los humanos a menudo demuestran sin capacitación especial, pero que los modelos de IA solo funcionan en un grado limitado.

El análisis evaluó el rendimiento en niveles de razonamiento “bajo”, “medio” y “altos”, que varían la profundidad del razonamiento del modelo. “Bajo” prioriza la velocidad y el uso mínimo de token, mientras que “alto” tiene la intención de fomentar la resolución de problemas más integral. Para este estudio, dos modelos, O3 y O4-Mini, se probaron en los tres niveles de razonamiento en 740 tareas de ARC-AGI-1 y ARC-AGI-2, produciendo 4.400 puntos de datos.

Anuncio

Eficiencia de rentabilidad y rendimiento: O3 Outpacios O1

Según la Fundación del Premio ARC, O3 alcanzó la precisión del 41 por ciento (bajo cálculo) y el 53 por ciento (cómputo medio) en ARC-AGI-1. El modelo O4-Mini más pequeño alcanzó el 21 por ciento (bajo cálculo) y el 42 por ciento (cómputo medio). En el punto de referencia ARC-AGI-2 más desafiante, ambos modelos actuales lucharon considerablemente, anotando por debajo del tres por ciento de precisión.

Trama de dispersión: la tabla de clasificación ARC-AGI muestra los puntajes del modelo de IA frente al costo por tarea, incluidos los modelos GPT y O.
El modelo O3 de OpenAI supera el modelo O1 publicado en el otoño de 2024 en aproximadamente un 20 por ciento en el punto de referencia ARC-AGI-1, pero permanece muy por detrás de los resultados de la previa vista O3 desde diciembre de 2024. El gráfico representa la relación precio / rendimiento. | Imagen: Arc Premio Foundation

A niveles de razonamiento más altos (cómputo “alto”), ambos modelos no pudieron completar muchas tareas. El análisis también observó que los modelos tendían a responder tareas que podrían resolver más fácilmente, mientras dejaban tareas más difíciles sin respuesta. Evaluar solo las respuestas exitosas distorsionaría el rendimiento real, por lo que estos resultados parciales fueron excluidos de las tablas de clasificación oficiales.

Modelo Configuración de razonamiento Eval Semi Private V1 Eval Semi Private V2 Costo por tarea (V2)
O3 Bajo 41% 1,9% 1.22 dólares estadounidenses
O3 Medio 53% 2,9% 2.52 dólares estadounidenses
O3 Alto
O4-Mini Bajo 21% 1,6% 0.05 dólar estadounidense
O4-Mini Medio 42% 2,3% 0.23 dólar estadounidense
O4-Mini Alto

Los datos muestran que un mayor esfuerzo de razonamiento no garantiza mejores resultados, pero a menudo solo resulta en costos más altos. En particular, O3 High consume significativamente más tokens sin lograr una ganancia correspondiente en precisión para tareas más simples. Esto plantea preguntas sobre la escalabilidad del enfoque actual para el razonamiento de la cadena de pensamiento.

Parcela de dispersión: comparación del uso de tokens de O3-Medium vs. O3-High en ARCV1, codificado por color según la corrección.
Una comparación del consumo de token para O3-Medio y O3-High en ARCV1 revela que los niveles de razonamiento más altos con frecuencia conducen a mayores costos. Los puntos azules por encima de la línea indican tareas donde O3 High usó más tokens sin mejorar los resultados. | Imagen: Arc Premio Foundation

Para aplicaciones sensibles a los costos, la Fundación del Premio ARC aconseja el uso de O3-Medio como la configuración predeterminada. El modo de “alta recuperación” solo se recomienda cuando se necesita la máxima precisión y el costo es menos importante. “No hay una razón convincente para usar bajo si te importa la precisión”, dice Mike Knoop, cofundador de la Fundación del Premio ARC.

La Fundación también señala que, a medida que avanza el rendimiento del modelo, la eficiencia, con qué rapidez, de bajo costo y con el uso mínimo de tokens, un modelo puede resolver problemas, se convierte en el diferenciador primario. En este sentido, O4-Mini es notable: logra una precisión del 21 por ciento en ARC-AGI-1 a un costo de aproximadamente cinco centavos por tarea, mientras que los modelos más antiguos como O1-Pro requieren aproximadamente once dólares por tarea para obtener resultados comparables.

Recomendación

Inconsistente e ilógico: el estudio descubre el razonamiento errático de los modelos de idiomas de IA

Inconsistente e ilógico: el estudio descubre el razonamiento errático de los modelos de idiomas de IA

O3 O3 de OpenAI es menos AGI que O3 previa

La versión actual de O3 diverge sustancialmente de la versión de previsión de O3 probada en diciembre de 2024. En ese momento, la previa vista de O3 obtuvo un 76 por ciento (bajo cómputo) y un 88 por ciento (alto cálculo) en ARC-AGI-1 en el modo de texto, mientras que el modelo O3 liberado ahora ofrece 41 por ciento (bajo) y 53 por ciento (medio).

OpenAI confirmó a ARC que el modelo de producción O3 difiere de la versión de vista previa de varias maneras clave. La compañía explicó que el modelo lanzado tiene una arquitectura diferente, es un modelo general más pequeño, opera multimodalmente (manejando las entradas de texto e imágenes) y utiliza menos recursos computacionales que la versión de vista previa.

Con respecto a los datos de capacitación, OpenAI afirma que la capacitación de O3 previa revisión cubrió el 75 por ciento del conjunto de datos ARC-AGI-1. Para el modelo O3 lanzado, OpenAI dice que no fue capacitado directamente en los datos de ARC-AGI, ni siquiera en el conjunto de datos de capacitación. Sin embargo, es posible que el modelo esté expuesto indirectamente al punto de referencia a través de su disponibilidad pública.

El modelo O3 publicado también se ha refinado para los casos de uso de productos y productos, que, según el premio ARC, se presenta tanto en ventajas como en desventajas en el punto de referencia ARC-AGI. Estas diferencias subrayan que los resultados de referencia, especialmente para los modelos de IA inéditos, deben verse con precaución.

Progreso continuo y limitaciones persistentes

El modelo O3-Medium actualmente ofrece el mayor rendimiento entre los modelos de Fundación de Premios ARC de ARC publicados en Publicación en ARC-AGI-1, duplicando los resultados de los enfoques anteriores de la cadena de pensamiento.

A pesar de esta mejora, el recién introducido Arc-Agi-2 Benchmark sigue sin resolverse en gran medida por ambos modelos nuevos. Mientras que los humanos resuelven un promedio del 60 por ciento de las tareas ARC-AGI-2 incluso sin capacitación especial, el modelo de razonamiento más fuerte de OpenAI actualmente logra solo alrededor del tres por ciento.

“ARC V2 tiene un largo camino por recorrer, incluso con la gran eficiencia de razonamiento de O3. Todavía se necesitan nuevas ideas”, escribe Knoop.

Esto destaca una brecha persistente en la capacidad de resolución de problemas entre humanos y máquinas, a pesar de los recientes avances y lo que la CEO de Microsoft, Satya Nadella, ha descrito como “piratería de referencia sin sentido”.

Un análisis reciente también sugiere que los llamados modelos de razonamiento como O3 probablemente no tienen ninguna capacidad nueva más allá de las de sus modelos de lenguaje fundamental. En cambio, estos modelos están optimizados para llegar a soluciones correctas más rápidamente para ciertas tareas, particularmente aquellos para los que han sido entrenados a través del aprendizaje de refuerzo dirigido.

Continue Reading

Noticias

Gemini 2.5 Pro + Notebooklm: Herramientas de IA para la productividad e investigación

Published

on


Las herramientas con IA de Google, Gemini 2.5 Pro y Notebooklm, están redefiniendo cómo aborda la productividad, la investigación y la creación de contenido. Estas herramientas integran capacidades de codificación avanzada, evaluación de fuente inteligente y procesamiento multimodal para simplificar tareas complejas. Ya sea que sea un desarrollador, educador o estratega, proporcionan soluciones intuitivas que mejoran la eficiencia sin requerir una amplia experiencia técnica. Al usar estas herramientas, puede racionalizar los flujos de trabajo, mejorar la precisión y centrarse en la creatividad y la estrategia.

En este tutorial, Grace Leung desglosa las fortalezas únicas de Gemini 2.5 Pro y Notebooklm, y cómo su integración puede ayudarlo a lograr más con menos esfuerzo. Desde la creación de visualizaciones interactivas y contenido educativo hasta racionalizar la investigación y la creación de prototipos, descubrirá formas procesables para aprovechar estas herramientas para el máximo impacto. Espere aprender cómo el modo de lienzo de Gemini convierte las ideas en salidas funcionales y cómo NotebookLM garantiza que su trabajo se basa en fuentes creíbles y de alta calidad. Al final, verá cómo esta poderosa combinación puede ahorrarle tiempo, aumentar la creatividad y ayudarlo a concentrarse en lo que realmente importa: entregar resultados.

Combinación de Google Notebooklm y Gemini 2.5 Pro

TL; DR Key Takeaways:

  • Gemini 2.5 Pro ofrece características avanzadas como el modo de lienzo, el procesamiento multimodal y una ventana de contexto de token ampliado, lo que lo hace ideal para manejar tareas complejas en todas las industrias.
  • NotebookLM se centra en la investigación y la evaluación de la fuente, proporcionando herramientas como mapeo mental y descubrimiento de fuentes creíble para optimizar la síntesis de información.
  • La sinergia entre Gemini 2.5 Pro y NotebookLM permite aplicaciones prácticas como la creación de visualizaciones interactivas, contenido educativo y herramientas de planificación estratégica.
  • Estas herramientas optimizan los flujos de trabajo combinando las capacidades de investigación de NotebookLM con la capacidad de Gemini para generar resultados pulidos, reduciendo el tiempo y el esfuerzo para los resultados profesionales.
  • Las mejoras futuras, como la integración más profunda y las actualizaciones sincronizadas, podrían mejorar aún más la transición perfecta de la investigación a la ejecución.

Características clave de Gemini 2.5 Pro

Gemini 2.5 Pro es una plataforma robusta diseñada para manejar tareas exigentes con precisión y facilidad. Ajusta a las necesidades técnicas y creativas, ofreciendo una gama de características que lo distinguen:

  • Modo de lienzo: Esta característica le permite crear salidas funcionales y listas para usar, como prototipos o aplicaciones interactivas, directamente dentro de la plataforma, ahorrando tiempo y esfuerzo.
  • Procesamiento multimodal: Analice y procese texto, imágenes y documentos largos sin problemas. Esta capacidad es ideal para resumir patentes, crear visualizaciones o administrar conjuntos de datos complejos.
  • Ventana de contexto de token expandido: Con soporte para hasta 1 millón de tokens, expandibles a 2 millones, puede abordar proyectos a gran escala, como generar informes detallados o analizar conjuntos de datos extensos, sin interrupciones.
  • Accesibilidad: Gemini 2.5 Pro está disponible de forma gratuita a través de la aplicación Gemini o AI Studio, asegurándose de que sus potentes características sean accesibles para una audiencia amplia.

Estas características hacen que Gemini 2.5 Pro sea una herramienta versátil para profesionales en todas las industrias. Al automatizar procesos complejos, le permite centrarse en tareas de alto nivel, como la planificación estratégica y la resolución de problemas creativos.

Notebooklm: Mejora de la investigación y la organización

NotebookLM sirve como una herramienta complementaria para Géminis, centrándose en la investigación, la organización y la evaluación de la fuente. Está diseñado para ayudarlo a sintetizar la información de manera efectiva y garantizar que su trabajo se basa en datos creíbles. Sus características destacadas incluyen:

  • Descubra fuentes: Identifique y evalúe fuentes web creíbles para garantizar que su investigación se base en información verificada de alta calidad.
  • Funcionalidad del mapa mental: Cree diagramas estructurados para visualizar ideas y conexiones, lo que facilita explorar y comprender conceptos complejos.
  • Integración perfecta con Géminis: Use NotebookLM para recopilar y evaluar datos, luego transición a Gemini para crear resultados procesables como prototipos, visualizaciones o materiales educativos.

Al combinar estas capacidades, NotebookLM optimiza el proceso de investigación, lo que le permite organizar la información de manera eficiente y producir resultados impactantes. Su enfoque en la credibilidad de la fuente garantiza que su trabajo mantenga un alto nivel de precisión y confiabilidad.

Combinando el modo de lienzo de IA y cuaderno

Aquí hay guías adicionales de nuestra expansiva biblioteca de artículos que puede encontrar útil en Notebooklm.

Aplicaciones prácticas en todas las industrias

La sinergia entre Gemini 2.5 Pro y Notebooklm desbloquea una amplia gama de aplicaciones prácticas, lo que las convierte en herramientas valiosas en varios campos. Aquí hay algunos ejemplos de cómo puede usar estas herramientas de manera efectiva:

  • Visualizaciones interactivas: Convierta documentos complejos, como trabajos de investigación o patentes, en infografías o micrositios para una comprensión y compromiso más fácil.
  • Investigación y creación de prototipos: Use Notebooklm para reunir ideas y Géminis para crear prototipos, mapas de oportunidad o páginas de destino adaptadas a sus objetivos.
  • Contenido educativo: Desarrolle cuestionarios, módulos de aprendizaje interactivos u otros materiales educativos combinando las ideas estructuradas de NotebookLM con las capacidades de codificación y visualización de Gemini.
  • Creación de contenido: Genere scripts de podcasts, pistas de audio o transcripciones de reutilización en diversos formatos para llegar a diferentes audiencias de manera efectiva.
  • Planificación estratégica: Visualice las tendencias, las prioridades y las estrategias de contenido utilizando los mapas mentales de NotebookLM y las herramientas de visualización avanzada de Gemini.

Estos casos de uso destacan la adaptabilidad de Gemini 2.5 Pro y NotebookLM, lo que demuestra su potencial para mejorar los flujos de trabajo en la educación, los negocios y las industrias creativas.

Optimización de la eficiencia del flujo de trabajo

Cuando se usan juntos, Gemini 2.5 Pro y Notebooklm pueden optimizar significativamente su flujo de trabajo. Notebooklm asegura que su investigación se basa en fuentes creíbles y curadas, mientras que Gemini transforma esas ideas en salidas pulidas y funcionales. Ya sea que esté creando un módulo prototipo, infográfico o educativo, esta combinación reduce el tiempo y el esfuerzo requeridos para lograr resultados profesionales. Al automatizar tareas repetitivas y simplificar procesos complejos, estas herramientas le permiten centrarse en la innovación y la toma de decisiones estratégicas.

Potencial futuro y oportunidades para el crecimiento

Si bien Gemini 2.5 Pro y NotebookLM ya son herramientas poderosas, existe el potencial de una mayor mejora. Una integración más profunda entre las dos plataformas podría crear un flujo de trabajo más perfecto, lo que le permite hacer la transición sin esfuerzo de la investigación a la ejecución. Las características como la transferencia de datos automática, las actualizaciones sincronizadas en proyectos compartidos o herramientas de colaboración mejoradas podrían optimizar aún más la experiencia del usuario. Estas mejoras harían que las herramientas sean aún más efectivas, capacitando a los usuarios para alcanzar sus objetivos con mayor eficiencia y precisión.

Crédito de los medios: Grace Leung

Archivado en: AI, guías





Últimas ofertas de gadgets geek

Divulgación: Algunos de nuestros artículos incluyen enlaces de afiliados. Si compra algo a través de uno de estos enlaces, los gadgets geek pueden ganar una comisión de afiliación. Aprenda sobre nuestra política de divulgación.

Continue Reading

Trending