Noticias

How Mark Zuckerberg went all-in to make Meta a major AI player and threaten OpenAI’s dominance

Published

5 meses ago

19 noviembre, 2024

It was the summer of 2023, and the question at hand was whether to release a Llama into the wild.

The Llama in question wasn’t an animal: Llama 2 was the follow-up release of Meta’s generative AI mode—a would-be challenger to OpenAI’s GPT-4. The first Llama had come out a few months earlier. It had originally been intended only for researchers, but after it leaked online, it caught on with developers, who loved that it was free—unlike the large language models (LLMs) from OpenAI, Google, and Anthropic—as well as state-of-the-art. Also unlike those rivals, it was open source, which meant researchers, developers, and other users could access the underlying code and its “weights” (which determine how the model processes information) to use, modify, or improve it.

Yann LeCun, Meta’s chief AI scientist, and Joelle Pineau, VP of AI research and head of Meta’s FAIR (Fundamental AI Research) team, wanted to give Llama 2 a wide open-source release. They felt strongly that open-sourcing Llama 2 would enable the model to become more powerful more quickly, at a lower
cost. It could help the company catch up in a generative AI race in which it was seen as lagging badly behind its rivals, even as the company struggled to recover from a pivot to the metaverse whose meager offerings and cheesy, legless avatars had underwhelmed investors and customers

But there were also weighty reasons not to take that path. Once customers got accustomed to a free product, how could you ever monetize it? And as other execs pointed out in debates on the topic, the legal repercussions were potentially ugly: What if someone hijacked the model to go on a hacking spree? It didn’t help that two earlier releases of Meta open-source AI products had backfired badly, earning the company tongue-lashings from everyone from scientists to U.S. senators.

It would fall to CEO Mark Zuckerberg, Meta’s founder and controlling shareholder, to break the deadlock. Zuckerberg has long touted open-source technology (Facebook itself was built on open-source software), but he likes to gather all opinions; he spoke to “everybody who was either for, anti, or in the middle” on the open-source question, recalls Ahmad Al-Dahle, Meta’s head of generative AI. But in the end it was Zuckerberg himself, LeCun says, who made the final decision to release Llama 2 as an open source model: “He said, ‘Okay, we’re just going to do it.’” On July 18, 2023, Meta released Llama 2 “free for research and commercial use.”

In a post on his personal Facebook page, Zuckerberg doubled down on his decision. He emphasized his belief that open-source drives innovation by enabling more developers to build with a given technology. “I believe it would unlock more progress if the ecosystem were more open,” he wrote.

The episode could have just been another footnote in the fast-unfolding history of artificial intelligence. But in hindsight, the release of Llama 2 marked a crucial crossroads for Meta and Zuckerberg—the beginning of a remarkable comeback, all thanks to tech named after a furry camelid. By the time Llama 3 models were released in April and July 2024, Llama had mostly caught up to its closed-source rivals in speed and accuracy. On several benchmarks, the largest Llama 3 model matched or outperformed the best proprietary models from OpenAI and Anthropic. One advantage in Llama’s favor: Meta uses publicly shared data from billions of Facebook and Instagram accounts to train its AI models.

The Llama story could be a pivotal chapter in the ongoing philosophical debate between open-source AI models (generally more transparent, flexible, and cost-effective, but potentially easier to abuse) and closed models (often more tightly controlled but lacking transparency and more costly to develop). Just as crucially, Llama is at the core of a complete strategic pivot on the part of Meta to go all in on generative AI. Zuckerberg is now seen as a champion of “democratizing tech” among Silicon Valley developers—just two years after he and his company were being questioned, and sometimes mocked, for going all in on the metaverse, and vilified for having contributed to political polarization, extremism, and harming the mental health of teenagers.

Yann LeCun, Meta’s chief AI scientist, built Meta’s AI research around open-source work long before Llama launched.

DeSean McClinton-Holland for Fortune

While ChatGPT remains the dominant gen AI tool in the popular imagination, Llama models now power many, if not most, of the Meta products that billions of consumers encounter every day. Meta’s AI assistant, which reaches across Facebook, Instagram, WhatsApp, and Messenger, is built with Llama, while users can create their own AI chatbot with AI Studio. Text-generation tools for advertisers are built on Llama. Llama helps power the conversational assistant that is part of Meta’s hit Ray-Ban glasses, and the feature in the Quest headset that lets users ask questions about their surroundings. The company is said to be developing its own AI-powered search engine. And outside its walls, Llama models have been downloaded over 600 million times on sites like open-source AI community Hugging Face.

Still, the pivot has perplexed many Meta watchers. The company has spent billions to build the Llama models: On its third-quarter earnings call, Meta announced that it projects capital expenditures for 2024 to reach as high as $40 billion, with a “significant” increase likely in 2025. Meanwhile, it’s giving Llama away for free to thousands of companies, including giants like Goldman Sachs, AT&T, and Accenture. Some investors are struggling to understand where and when, exactly, Meta’s revenue would start to justify the eye-watering spend.

Why open-sourcing Llama is good for Meta is “the big puzzle,” says Abhishek Nagaraj, associate professor at the University of California at Berkeley’s Haas School of Business, adding that it’s “hard to justify” from a purely economic standpoint.

Nonetheless, Llama’s contrarian success has allowed Zuckerberg to shrug off the lukewarm response to his metaverse ambitions and the company’s painful “year of efficiency” in late 2022 and early 2023. The rise of Llama has also given Zuckerberg a chance to address a longsimmering sore point in his otherwise meteoric career: the fact that Facebook, and now Meta, have so often seen their services and products constrained by rules imposed by Apple and Google—the rival giants whose app stores are Meta’s primary points of distribution in the mobiledevice era. As he wrote in a July blog post: “We must ensure that we always have access to the best technology, and that we’re not locking into a competitor’s closed ecosystem where they can restrict what we build.”

“We got incoming requests from people who said, ‘You have to open-source that stuff. It’s so valuable that you could create an entire industry, like a new internet.’”

Yann Lecun, describing reactions to the 2023 leak of Llama

With Llama, Meta and Zuckerberg have the chance to set a new industry standard. “I think we’re going to look back at Llama 3.1 as an inflection point in the industry, where open-source AI started to become the industry standard, just like Linux is,” he said on Meta’s July earnings call—invoking the open-source project that disrupted the dominance of proprietary operating systems like Microsoft Windows.

Perhaps it’s this possibility that is giving Zuckerberg some new swagger. At 40, two decades after he cofounded Facebook, he appears to be enjoying what many are calling his “Zuckaissance”—a personal and professional glow-up. His once close-cropped haircut has given way to lush curls, the drab hoodies are swapped for gold chains and oversize black T-shirts, and his hard-edged expressions have softened into relaxed smiles. He even found time in November to collaborate with T-Pain on a remake of the hip-hop hit “Get Low”—an anniversary gift to his wife, Priscilla Chan.

In the long run, OpenAI’s ChatGPT may be seen as the fiery spark that ignited the generative AI boom. But for now, at least, Llama’s own future’s so bright, Zuckerberg has gotta wear AI-powered Ray-Ban shades.

Meta’s work on AI began in earnest in 2013, when Zuckerberg handpicked LeCun, a longtime NYU professor and an AI luminary, to run Facebook’s new FAIR lab. LeCun recalls that when he began discussing the role, his first question was whether Facebook would open-source its work. “Nobody has a monopoly on good ideas,” he told Zuckerberg, “and we need to collaborate as much as we can.” LeCun was thrilled with the answer he got: “Oh, you don’t have to worry about it. We already open-source our platform software and everything.”

But prior to the generative AI boom, Meta’s use of AI was mostly behind the scenes—either research focused or integrated under the hood of its recommendation algorithms and content moderation. There were no big plans for a consumer-facing AI product like a chatbot—particularly not when Zuckerberg’s attention was focused on the metaverse.

Generative AI began to take off with OpenAI’s release of ChatGPT, just as the Meta pivot was looking particularly unwise. With metaverse spending through the roof and consumers utterly uninterested, Meta’s stock hit a seven-year low, inspiring headlines like, “How Much Trouble Is Mark Zuckerberg In?” The company began laying off thousands of employees.

Meta’s first widely noticed foray into gen AI didn’t fare much better. In November 2022, FAIR released a demo of an LLM chatbot, trained on scientific texts, called Galactica. Like previous FAIR models, Galactica was released as open-source, allowing free access to the “brains” of the model. This openness was meant to enable researchers to study how Galactica functioned.

But these were the days before the public was fully aware of LLMs’ tendency to hallucinate—to sometimes spit out answers that are convincing, confident, and wrong. Many scientists were appalled by the Galactica chatbot’s very unscientific output, which included citing research papers that didn’t exist, on topics such as how to make napalm in a bathtub; the benefits of eating crushed glass; and “why homosexuals are evil.” Critics called Galactica “unethical” and “the most dangerous thing Meta’s made yet.”

After three days of intense criticism, Meta researchers shut down Galactica. Twelve days later, OpenAI released ChatGPT, which quickly went viral around the world, tapping into the cultural zeitgeist (despite its own serious hallucination issues).

Bruised but undeterred, researchers at FAIR spent the winter fine-tuning a new family of generative AI models called LLaMA (short for Large Language Models Meta AI). After the Galactica backlash, Meta was cautious: Instead of fully opening the code and model weights to all, Meta required researchers to apply for access, and no commercial license was offered. When asked why, LeCun responded on X: “Because last time we made an LLM available to everyone…people threw vitriol at our face and told us this was going to destroy the fabric of society.”

Despite these restrictions, the full model leaked online within weeks, spreading across 4chan and various AI communities. “It felt a bit like Swiss cheese,” Nick Clegg, Meta’s president of global affairs, says of the failed attempt to keep Llama behind closed doors. Meta filed takedown requests against sites posting the model online in an attempt to control the spread. Some critics warned of serious repercussions and excoriated Meta: “Get ready for loads of personalized spam and phishing attacks,” cybersecurity researcher Jeffrey Ladish posted on X.

The consternation even reached Capitol Hill. In June 2023, two U.S. senators wrote a letter to Zuckerberg, criticizing Llama’s release and warning of its potential misuse for fraud, malware, harassment, and privacy violations. The letter said that Meta’s approach to distributing advanced AI “raises serious questions about the potential for misuse or abuse.”

But at the same time, LeCun says, he and other Meta leaders were taken aback by the sheer demand for the leaked Llama model from researchers and developers. These would-be users wanted the flexibility and control that would come with open access to a profoundly powerful LLM. A law firm, for example, could use it to train a specialized model for legal use—and own the intellectual property. A health care company could audit and manage the data behind the model, ensuring HIPAA compliance. Researchers could experiment and examine the inner workings of the model. “We got incoming requests from people who said, ‘You have to open-source that stuff. It’s so valuable that you could create an entire industry, like a new internet,’” LeCun says

Messages came directly to Zuckerberg, to CTO Andrew “Boz” Bosworth, and to LeCun, leading to weekly calls in which the leaders debated what they should do. Should they open-source the next release? Did the benefits outweigh the risks? By midsummer, Zuckerberg’s mind was made up, with backing from Pineau and LeCun—leading to the big July 2023 reveal.

Joelle Pineau (left) and Ahmad Al-Dahle have helped lead Meta’s generative-AI R&D efforts. This year, they began reporting to the chief product officer—a sign of how quickly their work was being deployed in Facebook, Instagram, and elsewhere.

Cayce Clifford for Fortune

Llama 2 was not entirely open. Meta did not disclose the datasets—including all that Facebook and Instagram material—used to train the model, which are widely regarded as its key competitive advantage. It also restricted usage by companies with more than 700 million monthly active users, primarily meant to deter Meta’s Big Tech competitors. But the source code and model weights could be downloaded, and Meta encouraged users to contribute improvements, bug fixes, and refinements of results to a collaborative community.

Even before the Llama 2 release, Zuckerberg had laid the groundwork to treat it like Meta’s next big thing. After the first Llama model was released, in February 2023, Zuckerberg quickly put together a team from across the company, including FAIR, to focus on accelerating generative AI R&D in order to deploy it in Meta app features and tools. He chose Ahmad Al-Dahle, a former Apple executive who had joined Meta in 2020 to work on metaverse products, to lead the new team.

At an internal all-hands meeting in June 2023, Zuckerberg shared his vision for Meta’s AI-powered future. Meta was building generative AI into all of its products, he said, and he reaffirmed the company’s commitment to an “open science-based approach” to AI research. “I had a big remit,” Al-Dahle says: “Develop state-of-theart models; put them in product at record speed.”

In other words: It was game on for Llama.

Meta’s strategy can seem counterintuitive, coming from a company with $135 billion in annual revenue. Open-source software has typically been seen as a way to democratize technology to the advantage of small startups or under-resourced teams— the kinds scrambling to compete with giants like Meta.

In a July 2024 blog post called “Open Source Is the Path Forward,” Zuckerberg made it clear that giving away Llama is not an altruistic move. Open-sourcing, he said, would give Meta a competitive edge in the AI race—and could eventually make Llama the go-to platform for generative AI. Just as important, he wrote: “Openly releasing Llama doesn’t undercut our revenue, sustainability, or ability to invest in research like it does for closed providers” like OpenAI or Google.

Now that Llama has had a year-plus to prove itself, some are finding Zuck’s case persuasive. Shweta Khajuria, an analyst at Wolfe Research who coverscMeta, calls releasing Llama as open-source “a stroke of genius” that will enable Meta to attract top talent, accelerate innovation on its own platform, develop new revenue sources, and extend its longevity. Already, she explains, open-sourcing Llama basically allowed Meta to quickly catch up to OpenAI, Google, and Anthropic, in part because thousands of developers are building and improving on Llama at a blistering pace. “If they had not open-sourced it, it probably would have taken a much longer time to be at bar with other frontier models,” she says.

Khajuria believes there will be plenty of new monetization opportunities for Meta down the line, such as subscription and advertising options for current Meta AI features based on Llama, as well as AI-powered in-app business messaging. “Meta benefits from having billions of users where Perplexity and Claude and ChatGPT don’t necessarily have that base,” she says. “Once they have a critical mass of users and usage around the world, they can monetize.”

Zuckerberg has also alluded to the fact that AI-generated content itself will be valuable (though others have criticized such content as “slop”). On the recent earnings call, Zuckerberg said: “I think we’re going to add a whole new category of content, which is AI-generated or AI-summarized content, or existing content pulled together by AI in some way, and I think that that’s gonna be very exciting for Facebook and Instagram and maybe Threads, or other kinds of feed experiences over time.”

Patrick Wendell is CTO and cofounder of data and AI company Databricks, which released Meta’s Llama 3.1 models on its platform in July. He sees Meta’s move as much more far-reaching. If the internet was the first big wave of technology, which enabled Facebook’s creation, and mobile was the second, dominated by Apple and Google, “I think [Zuckerberg’s] calculus is the third big wave is coming, and he does not want to have one or two companies completely control all access to AI,” Wendell says. “One way you can avoid that is by basically commoditizing the market, giving away the core IP for free…so no one gains a monopoly.”

Some critics argue that Meta shouldn’t be using the term “open-source” at all. Current versions of Llama still have restrictions that traditional open-source software doesn’t (including lack of access to datasets). In October, the Open Source Initiative, which coined the term, criticized Meta for “confusing” users and “polluting” the nomenclature, and noted that Google and Microsoft had dropped their use of the term (using the phrase “open weights” instead). Clegg, Meta’s global affairs chief, is blunt in his rebuttal: He says the debate reminds him of “folks who get very agitated about how vinyl is the only true kind of definition of good music.” Only a handful of scientific and low-performing models would fit the definition, he continues: “No one has copyright IP ownership over these two English words.”

Nomenclature aside, Meta is winning where it matters. Nathan Lambert, a research scientist at the nonprofit Allen Institute for AI, says that while definitions might be quibbled about, more than 90% of the open-source AI models currently in use are based on Llama. Open-source coders accept that Zuckerberg “has some corporate realities that will distort his messaging,” he says. “At the end of the day, the community needs Llama models.

Internally at Meta, Llama and revenue-generating businesses are increasingly inextricable. In January, Zuckerberg moved FAIR, the AI research group, into the same part of the company as the team deploying generative AI products across Meta’s apps. LeCun and Pineau now report directly to chief product officer Chris Cox, as does Al-Dahle. “I think it makes a lot of sense to put [FAIR] close to the family of app products,” says Pineau; she points out that even before the reshuffle, research her team worked on often ended up in Meta products just a few months later.

Zuckerberg also tasked FAIR with something far more ambitious: developing artificial general intelligence (AGI), a type of AI that possesses humanlike intelligence. The company prefers to use the term AMI (“advanced machine intelligence”), but whatever it’s called, Pineau says, Meta now has a “real road map” to create it—one that relies, presumably, on a thriving Llama. Meanwhile the company is hard at work on Llama 4 models currently being trained on a cluster of over 100,000 pricey Nvidia GPUs, a cluster that Zuckerberg recently said was “bigger than anything that I’ve seen reported for what others are doing.”

Not everyone loves the idea of a bigger-than-anything Llama. For years, Zuckerberg and his company have grappled with public mistrust over the way it has used other types of AI to personalize news feeds, moderate content, and target ads across Facebook, Instagram, and WhatsApp. Critics have accused its algorithms of exacerbating political polarization, adolescent mental-health crises, and the spread of misinformation (accusations Meta has denied or rebutted); it was perhaps inevitable that Llama would face extra scrutiny.

Zuckerberg “does not want to have one or two companies completely control all access to AI. One way you can avoid that is by giving away the core IP for free, so no one gains a monopoly.”

PATRICK WENDELL, cofounder and CTO, Databricks

Some critics fear that an open-source model like Llama is dangerous in the hands of malicious actors, precisely because it’s too open. Those concerns may grow in today’s tense geopolitical atmosphere. On Nov. 1, Reuters reported that China’s army had built AI applications for military use on the back of an early version of Llama.

An incoming Trump administration could make it even more complicated to keep Llama open. Trump’s economic nationalism would suggest that he would certainly not want China (or any other country) to access American-made state-of-the-art AI models. But Llama’s future may depend on who has Trump’s ear: Vice President–elect JD Vance has spoken out in support of open-source AI in the past, while Elon Musk’s xAI has open-sourced its chatbot Grok (and Musk famously cofounded OpenAI as an open-source lab).

Even some of Zuckerberg’s oldest friends have concerns about this kind of arms race. Dustin Moskovitz, a cofounder of Facebook and now CEO of Asana (and the founder of Open Philanthropy, one of the biggest funders of AI safety initiatives), says that while he is not against open-source LLMs, “I don’t think it’s appropriate to keep releasing ever more powerful versions.”

But Zuckerberg and his allies, both within Meta and without, argue that the risks of open-source models are actually less than those built behind proprietary closed doors. Preemptive regulation of theoretical harms of open-source AI will stifle innovation, they say. In a cowritten essay in August, Zuckerberg and Spotify cofounder Daniel Ek noted that open-source development is “the best shot at harnessing AI to drive progress and create economic opportunity and security for everyone.”

Whatever the outcome of Meta’s increasingly loud open-source activism, many argue that Zuckerberg is exactly the right messenger. His personal involvement in promoting Llama and open-source, insiders agree, is the key reason Meta has been able to move with such speed and focus. “He’s one of a few founder leaders left at these big tech companies,” says Clegg. “One of the great advantages of that means you have a very short line of command.”

Zuckerberg also has been active in recruiting AI talent, often reaching out personally. A March 2024 report said that Zuckerberg had been luring researchers from Google’s DeepMind with personal emails in messages that stressed how important AI was to the company.

Erik Meijer, who spent eight years at Meta leading a team focused on machine learning—before being laid off in November 2022—believes such a total shift is only possible with someone like Zuckerberg at the top. “It’s like pivoting a giant supertanker,” he says. “He’s a little bit like a cult hero inside the company, in a good sense, so I think that helps get all the noses in the same direction.” Zuckerberg’s new personal makeover, Meijer mused, is “maybe a very externally visible sign of renewal.”

Zuckerberg’s renewal, and Meta’s transformation, are sure to test investor patience due to skyrocketing capital expenditures. Khajuria, the Wolfe analyst, says investors will tolerate it for now “because Meta has laid the groundwork of telling folks what the opportunity is.” That said, if revenue does not begin accelerating, exiting 2025 into 2026, “I think investors will start losing patience,” she warns. (Zuckerberg is somewhat insulated from investor discontent; he controls about 61% of voting shares at Meta.)

One thing is clear, LeCun says: The kind of gamble Meta is taking, with its massive investment in GPUs and all things generative AI, requires a leader willing to take big swings. And Meta has not only that leader, but a massively profitable core business to fund the vision. As a result, Meta is back at the center of the most important conversation at the intersection of tech and business—and it’s not a conversation about legless metaverse avatars.

This article appears in the December 2024/January 2025 issue of Fortune as part of the 100 Most Powerful People in Business list.

Noticias

Chatgpt o3 La función de ubicación de la foto es una locura buena

Published

2 horas ago

26 abril, 2025

Sergio Villanueva

Operai lanzó dos poderosos modelos de razonamiento hace unos días que hacen que Chatgpt sea aún más impresionante. Estos son O3 y O4-Mini que puedes probar de inmediato en ChatGPT. Son mucho mejores en el razonamiento que sus predecesores y pueden sobresalir en la codificación y las matemáticas si esos son sus pasatiempos.

Sin embargo, la nueva función de cambio de cabeza de ChatGPT en O3 y O4-Mini es, al menos para mí, la capacidad de la IA para interpretar los datos en las imágenes. Esencialmente, ChatGPT tiene una visión por computadora como en las películas, incluidas las capacidades de razonamiento que permiten que la IA extraiga los datos de ubicación de las fotos. Puedes preguntarle a la IA: “¿Dónde se tomó esta foto?” Y la IA hará todo lo que esté en su poder para responder.

Chatgpt O3 y O4-Mini obtendrán las cosas bien, como estás a punto de ver en mi prueba altamente científica que sigue. Es decir, harán las cosas bien incluso si trato de usar AI para engañar a Chatgpt.

Porque sí, usé GPT-4O Generation para crear una foto realista de una ubicación de esquí bien conocida en los Alpes en lugar de subir una imagen real. Luego le dije a ChatGPT que alterara esa imagen de una manera que cambiaría el horizonte.

Después de eso, comencé nuevas chats con O3 y O4-Mini, convencido de que ChatGPT reconocería la ubicación en la foto falsa que acababa de enviar. No me equivoqué; Ambos modelos me dieron el resultado que esperaba, demostrando que puede usar contenido generado por IA para engañar a la IA. Pero, sin embargo, me volaron la mente.

Recientemente le expliqué cómo los algoritmos de Apple Watch me decepcionan mientras esquiaba la semana pasada, y eso es lo que usé como inspiración en mi experimento para engañar a la IA.

Le pedí a ChatGPT que generara una foto que mostrara el conocido Matterhorn Peak en un día soleado, con esquiadores disfrutando de su tiempo. La foto tenía que tener una relación de aspecto de 16: 9 y parecerse a una foto de iPhone.

Fuente de la imagen: Chris Smith, BGR

Le dije a la IA que pusiera una góndola por si acaso, pero, como puede ver en el primer intento, que Góndola no iba a lugares. No importa; Solo necesitaba una primera imagen de la IA para poder alterarla. Ingrese la siguiente imagen:

Le indiqué a ChatGPT que eliminara la góndola y colocara un pico más pequeño de Matterhorn hacia la derecha.

Tomé una captura de pantalla de la imagen para que no preservara ningún metadato, y luego convertí el archivo en una foto JPG:

Luego, comencé dos chats separados, con Chatgpt O3 y Chatgpt O4-Mini, donde subí la foto falsa de Matterhorn y le pedí a la IA que me dijera dónde se tomó la foto y cómo la descubrieron.

Como era de esperar, ambos modelos de IA de razonamiento identificaron con éxito Matterhorn como la ubicación.

Chatgpt o3

Primero, tenemos O3, que me dio amplios detalles sobre cómo determinó la ubicación. La IA tiene una confianza increíblemente segura en su respuesta, diciéndome que “picos flanqueantes como el Dent Blanche y Weisshorn” son letreros.

Tenía una sonrisa en mi rostro. Había vencido a la IA, con ai Haciéndolo reconocer la ubicación en una foto falsa. Era aún mejor que el O3 estuviera tan seguro de sí mismo después de solo 34 segundos de pensamiento.

Pero luego pensé que empujaría las cosas más para que pudiera averiguar que la imagen era falsa. Le pedí que dibujara círculos sobre Dent Blanche y Weisshorn.

Aquí es donde ver a O3 en acción me voló. Esta vez, la IA pasó casi seis minutos mirando la foto, tratando de identificar de manera confiable los dos picos que dijo que podía ver en la distancia.

Como verá, el Mini Matterhorn a la derecha inmediatamente arrojó la IA, pero Chatgpt no se detuvo allí. Seguía mirando la foto y buscó en la web imágenes de la región Alps donde se encuentran estos picos.

También observó la foto para determinar la ubicación relativa de los picos adicionales en la región. “Puedo intentar superponer a los máximos locales aproximados basados en el brillo, pero honestamente, creo que es más fácil usar mis ojos para esto”, pensó O3, y me sorprendió leerlo.

La IA pasó a acercarse para ver mejor las partes de la foto de IA falsa:

Recortó partes de la imagen tratando de descubrir detalles que esperaría estar allí en una foto real de las áreas que rodean el Matterhorn. En su cadena de pensamiento, Chatgpt dijo que no podía detectar formas de montaña que pensaba que debería estar allí.

La IA comenzó a anotar la imagen, buscando la respuesta mientras continuaba buscando en la web más imágenes que lo ayudarían a determinar la ubicación de los dos picos que le pedí que colocara círculos rojos.

Como puede ver, el falso Mini-Matterhorn a la derecha seguía engañando a la IA.

En última instancia, ChatGPT O3 reconoció las incertidumbres, pero aún así decidió marcar los dos picos que pedí. Ejecutó el código en el chat y me dio la siguiente imagen.

Me hubiera encantado ver Chatgpt O3 llamar a mi farol y decirme que esta foto no es real. Quizás las versiones futuras de la IA puedan hacerlo. Pero debo decir que leer esos cinco minutos de “pensamiento”, la mayoría de ellos vistos en la imagen de arriba, fue aún mejor.

Imagen de captura de pantalla Fuente: Chris Smith, BGR

Me mostró que AI está trabajando para hacer el trabajo y reforzar mi idea de que la visión por computadora de IA es increíble en estas nuevas versiones de ChatGPT.

Pero espera, se vuelve mejor.

Chatgpt o4-mini

Mi experimento no se puede hacer sin usar ChatGpt O4-Mini. Después de todo, O4-Mini es el precursor de O4, que debería ser incluso mejor que O3. O4-Mini fue mucho más rápido que O3 al darme la respuesta.

La IA pensó durante 15 segundos, durante los cuales apareció imágenes de Internet para respaldar su opinión que la foto que había subido era una imagen real del Matterhorn.

O4-Mini también explicó cómo identificaba la ubicación, pero se sentía seguro de que era correcto al respecto. Este es el Matterhorn, dado todo lo que ha aprendido de la Web.

A diferencia de ChatGPT O3, O4-Mini no mencionó los picos adicionales. Pero le pedí a O4-Mini que hiciera lo mismo que O3: Identifique a Dent Blanche y Weisshorn.

O4-Mini me voló con su velocidad aquí. Tomó 18 segundos darme la siguiente imagen, que tiene círculos rojos alrededor de los dos picos.

Sí, no es un gran trabajo, y no tengo idea de por qué la IA coloca esos círculos allí porque la transcripción más limitada de la cadena de pensamiento no lo explica.

Obviamente es incorrecto, considerando que estamos trabajando con una imagen de IA falsa aquí. Y sí, O4-Mini no podía decir que la foto era falsa.

El verdadero materia

Las conclusiones son obvias, y no todas son grandes noticias.

Primero, la generación de imágenes 4O puede ser fácilmente abusada. En realidad, nunca he visto el Matterhorn en persona, y por eso le pedí a la IA que hiciera esta imagen específica. Reconocí su famosa silueta de las fotos de la vida real, pero definitivamente no estoy familiarizado con los otros picos de la región. Esto demuestra que las imágenes creadas por Chatgpt pueden engañar a las personas. También pueden engañar a otros modelos de IA.

En segundo lugar, O3 y O4-Mini son simplemente increíbles al analizar los datos en las imágenes. Por supuesto, tienen que serlo. Si 4O puede crear fotos impresionantes y realistas, es porque la IA puede interpretar los datos en las imágenes.

En tercer lugar, encontrar información de ubicación de las fotos será trivialmente fácil para modelos OpenAI como O3 y O4-Mini. Los competidores probablemente obtendrán poderes similares. Este es un problema de privacidad que tendremos que tener en cuenta en el futuro.

Cuarto, ChatGPT O3 se toma muy en serio el trabajo de razonamiento. Si pasó todo ese tiempo en una foto de IA falsa tratando de igualarlo con el mundo real, pasará un tiempo similar en otros trabajos que podría lanzarle, y usará un montón de herramientas disponibles en ChatGPT (como codificación, búsqueda web, manipulación de imágenes) para hacer el trabajo.

Estoy seguro de que si hubiera pasado más tiempo con el razonamiento de la IA sobre la imagen, finalmente llegaríamos a la conclusión de que la imagen que la IA estaba investigando era falsa.

Quinto, ChatGpt O4-Mini puede ser realmente rápido. Demasiado rápido. Es algo que quieres de Genai Chatbots, pero también algo de lo que preocuparse. O4-Mini tampoco reconoció la foto falsa, pero su enfoque era mucho más descuidado. Eso me hace pensar que debes prestar atención adicional al trabajar con la versión Mini para asegurar que la IA haga el trabajo. Pero bueno, estoy trabajando con un experimento muy limitado aquí.

Finalmente, aquí está el Matterhorn y el área circundante de un clip de YouTube que se cargó en diciembre de 2020. Digo que, porque, en la era de la IA, el video que estás a punto de ver siempre podría ser falso. El video te brinda una “vista desde arriba del Nordwand de Weisshorn mirando hacia Matterhorn (L) y Dent Blanche (R). Mt Blanc es visible en la distancia (lejos R)”. Es un ángulo diferente, pero al menos lo suficientemente bueno como para darle una idea de lo que Chatgpt O3 estaba buscando.

https://www.youtube.com/watch?v=n3pzgp1acoe

Noticias

La mafia Operai: 15 de las nuevas empresas más notables fundadas por ex alumnos

Published

2 horas ago

26 abril, 2025

Sergio Villanueva

Mudarse, PayPal Mafia: hay una nueva mafia tecnológica en Silicon Valley. Como la startup detrás de ChatGPT, Operai es posiblemente el mayor jugador de IA de la ciudad. Su aumento meteórico a una valoración de $ 300 mil millones ha estimulado a muchos empleados a dejar al gigante de la IA para crear sus propias nuevas empresas.

La exageración alrededor de Openai es tan alta que algunas de estas nuevas empresas, como la superinteligencia segura de Ilya Sutskever y el Laboratorio de Máquinas de Pensamiento de Mira Murati, han podido recaudar miles de millones de dólares sin siquiera lanzar un producto.

Pero hay muchas otras startups en el ecosistema de la mafia Operai. Estos van desde la perplejidad del gigante de búsqueda de IA hasta Xai, el nuevo propietario de X (anteriormente Twitter). También hay atuendos más pequeños con algunos planes futuristas, como Living Carbon, que está creando plantas que absorben más carbono de la atmósfera, o prosperan la robótica, que está construyendo un mayordomo robot.

A continuación se muestra un resumen de las nuevas empresas más notables fundadas por ex alumnos de Operai.

Dario Amodei, Daniela Amodei y John Schulman – Anthrope

Los hermanos Dario y Daniela Amodei se fueron OpenAi en 2021 para formar su propia startup, Anthrope, con sede en San Francisco, que durante mucho tiempo ha promocionado un enfoque en la seguridad de la IA. Más tarde, el cofundador de Operai, John Schulman, se unió a Anthrope en 2024, comprometiéndose a construir un “AGI seguro”. Según los informes, Openai permanece varias veces más grande que Anthrope por ingresos ($ 3.7 mil millones en comparación con $ 1 mil millones para 2024, informó la información). Pero Anthrope ha crecido rápidamente para convertirse en el mayor rival de Openai y fue valorado en $ 61.5 mil millones en marzo de 2025.

Ilya Sutskever – Superinteligencia segura

El cofundador y científica jefe de Operai, Ilya Sutskever, se fue Openai en mayo de 2024 después de que, según los informes, formó parte de un esfuerzo fallido para reemplazar al CEO Sam Altman. Poco después, cofundó una superinteligencia segura, o SSI, con “un objetivo y un producto: una superinteligencia segura”, dice. Detalles sobre qué es exactamente la startup es escasa: aún no tiene producto ni ingresos. Pero los inversores claman por una pieza de todos modos, y ha podido recaudar $ 2 mil millones, y su última valoración aumenta a $ 32 mil millones este mes. SSI tiene su sede en Palo Alto, California y Tel Aviv, Israel.

Mira Murati – Laboratorio de máquinas de pensamiento

Mira Murati, el CTO de OpenAi, se fue de Openai el año pasado para fundar su propia compañía, Thinking Machines Lab, que surgió del sigilo en febrero de 2025, anunciando (bastante vagamente) que construirá IA que sea más “personalizable” y “capaz”. La startup de la IA de San Francisco no tiene ningún producto ni ingresos, pero muchos ex investigadores de Top OpenAI y, según los informes, está en el proceso de recaudar una ronda de semillas masivas de $ 2 mil millones que lo valora a $ 10 mil millones, mínimo.

Aravind Srinivas – Perplejidad

Aravind Srinivas trabajó como científico de investigación en OpenAI durante un año hasta 2022, cuando dejó a la compañía para cofundar la perplejidad del motor de búsqueda de IA. Su startup ha atraído una serie de inversores de alto perfil como Jeff Bezos y Nvidia, aunque también ha causado controversia sobre el presunto raspado web poco ético. La perplejidad, con sede en San Francisco, actualmente está recaudando alrededor de $ 1 mil millones a una valoración de $ 18 mil millones a marzo de 2025.

Kyle Kosic – Xai

Kyle Kosic se fue Openai en 2023 para convertirse en cofundador e líder de infraestructura de Xai, la startup de IA de Elon Musk que ofrece un chatbot rival, Grok. En 2024, sin embargo, regresó a Openai. Xai, con sede en Palo Alto, adquirió recientemente X, anteriormente Twitter, y le dio a la entidad combinada una valoración de $ 113 mil millones. La transacción de todo el stock levantó algunas cejas, pero es un buen negocio si está apostando por el imperio de Musk.

Emmett Shear – STEM AI

Emmett Shear es el ex CEO de Twitch que fue el CEO interino de OpenAI en noviembre de 2023 durante unos días antes de que Sam Altman se uniera a la compañía. Shear está trabajando en su propia startup sigilosa, llamada Stem AI, TechCrunch reveló en 2024. Aunque hay pocos detalles sobre su actividad y recaudación de fondos hasta ahora, ya ha atraído fondos de Andreessen Horowitz.

Andrej Karpathy – Eureka Labs

El experto en visión por computadora Andrej Karpathy fue miembro fundador y científico de investigación en OpenAI, dejando que la startup se uniera a Tesla en 2017 para liderar su programa de piloto automático. Karpathy también es conocido por sus videos de YouTube que explican conceptos de Core AI. Dejó Tesla en 2024 para encontrar su propia startup de tecnología educativa, Eureka Labs, una startup con sede en San Francisco que está construyendo asistentes de enseñanza de IA.

Jeff Arnold – Piloto

Jeff Arnold trabajó como Jefe de Operaciones de OpenAi durante cinco meses en 2016 antes de cofundar Pilot de Contabilidad de Contabilidad con sede en San Francisco en 2017. Pilot, que se centró inicialmente en contabilizar las nuevas empresas, recaudó una última serie de $ 100 millones en la serie C en 2021 con una valoración de $ 1.2 mil millones y ha atraído a inversores como Jeff Bamos. Arnold trabajó como COO de Pilot hasta que se fue en 2024 para lanzar un fondo VC.

David Luan – Adept Ai Labs

David Luan fue el vicepresidente de ingeniería de OpenAI hasta que se fue en 2020. Después de un período en Google, en 2021 cofundó Adept Ai Labs, una startup que construye herramientas de IA para los empleados. La startup recaudó por última vez $ 350 millones a una valoración al norte de $ 1 mil millones en 2023, pero Luan se fue a fines de 2024 para supervisar el laboratorio de agentes de IA de Amazon después de que Amazon contrató a los fundadores de Adept.

Tim Shi – Cresta

Tim Shi fue uno de los primeros miembros del equipo de Operai, donde se centró en construir una inteligencia general artificial segura (AGI), según su perfil de LinkedIn. Trabajó en Openai durante un año en 2017, pero se fue para fundar Cresta, una startup del Centro de Contacto AI con sede en San Francisco que ha recaudado más de $ 270 millones de VC como Sequoia Capital, Andreessen Horowitz y otros, según un comunicado de prensa.

Pieter Abbeel, Peter Chen y Rocky Duan – Covariant

El trío trabajó en OpenAI en 2016 y 2017 como científicos de investigación antes de fundar Covariant, una startup con sede en Berkeley, California, que construye modelos de IA de la Fundación para robots. En 2024, Amazon contrató a los tres fundadores covariantes y aproximadamente una cuarta parte de su personal. La adquisición cuasi fue vista por algunos como parte de una tendencia más amplia de gran tecnología que intentaba evitar el escrutinio antimonopolio.

Maddie Hall – Carbono vivo

Maddie Hall trabajó en “proyectos especiales” en Operai, pero se fue en 2019 para cofundar Living Carbon, una startup con sede en San Francisco que tiene como objetivo crear plantas de ingeniería que puedan absorber más carbono del cielo para combatir el cambio climático. Living Carbon recaudó una ronda de la Serie A de $ 21 millones en 2023, lo que lleva su financiamiento total hasta entonces a $ 36 millones, según un comunicado de prensa.

Shariq Hashme – Prosper Robotics

Shariq Hashme trabajó para Openai durante 9 meses en 2017 en un bot que podría reproducir el popular videojuego Dota, según su perfil de LinkedIn. Después de unos años en la escala de startups de datos de datos de datos, cofundó Prosper Robotics con sede en Londres en 2021. La startup dice que está trabajando en un mayordomo robot para los hogares de las personas, una tendencia caliente en robótica en la que otros jugadores como 1X y Apptronik con sede en Noruega y Texas también están trabajando.

Jonas Schneider – Daedalus

Jonas Schneider lideró el equipo de Ingeniería de Robótica para la Ingeniería de Robótica, pero se fue en 2019 para cofundar Daedalus, que construye fábricas avanzadas para componentes de precisión. La startup con sede en San Francisco recaudó una serie A de $ 21 millones el año pasado con el respaldo de Khosla Ventures, entre otros.

Margaret Jennings – KindO

Margaret Jennings trabajó en Operai en 2022 y 2023 hasta que se fue para cofundar KindO, que se comercializa como un chatbot de IA para empresas. Kindo ha recaudado más de $ 27 millones en fondos, recaudando la última serie A de $ 20.6 millones en 2024. Jennings se fue de KindO en 2024 para encabezar productos e investigaciones en la startup francesa de IA Mistral, según su perfil de LinkedIn.

Noticias

El futuro está aquí: probar el modo de cámara en vivo de Gemini

Published

6 horas ago

26 abril, 2025

Sergio Villanueva

“Acabo de ver tus tijeras sobre la mesa, justo al lado del paquete verde de pistachos. ¿Las ves?”

La nueva y charlatis función de cámara de Gemini Live era correcta. Mis tijeras estaban exactamente donde decían que estaban, y todo lo que hice fue pasar mi cámara frente a ellas en algún momento durante una sesión en vivo de 15 minutos de mí dándole al chatbot Ai un recorrido por mi apartamento. Google ha estado implementando el nuevo modo de cámara a todos los teléfonos Android utilizando la aplicación Gemini de forma gratuita después de una exclusiva de dos semanas en Pixel 9 (incluidos los nuevos teléfonos inteligentes Pixel 9a) y Galaxy S5. Entonces, ¿qué es exactamente este modo de cámara y cómo funciona?

Cuando comienzas una sesión en vivo con Gemini, ahora tienes la opción de habilitar una vista de cámara en vivo, donde puedes hablar con el chatbot y preguntarle sobre cualquier cosa que ve la cámara. No solo puede identificar objetos, sino que también puede hacer preguntas sobre ellos, y funciona bastante bien en su mayor parte. Además, puede compartir su pantalla con Gemini para que pueda identificar cosas que sale a la superficie en la pantalla de su teléfono.

Cuando apareció la nueva función de cámara en mi teléfono, no dudé en probarla. En una de mis pruebas más largas, lo encendí y comencé a caminar por mi apartamento, preguntándole a Géminis qué vio. Identificó algunas frutas, chapstick y algunos otros artículos cotidianos sin ningún problema. Me sorprendió cuando encontró mis tijeras.

Eso es porque no había mencionado las tijeras en absoluto. Géminis los había identificado silenciosamente en algún lugar del camino y luego retiró la ubicación con precisión. Se sentía mucho como el futuro, tuve que hacer más pruebas.

Mi experimento con la función de cámara de Gemini Live fue seguir el liderazgo de la demostración que Google hizo el verano pasado cuando mostró por primera vez estas capacidades de IA de video en vivo. Géminis le recordó a la persona que dio la demostración donde había dejado sus gafas, y parecía demasiado bueno para ser verdad. Pero como descubrí, era muy cierto.

Gemini Live reconocerá mucho más que las probabilidades y fines del hogar. Google dice que te ayudará a navegar por una estación de tren abarrotada o descubrir el relleno de una masa. Puede brindarle información más profunda sobre obras de arte, como dónde se originó un objeto y si se trataba de una pieza de edición limitada.

Es más que una lente de Google mejorada. Hablas con eso y te habla. No necesitaba hablar con Gemini de ninguna manera en particular, era tan informal como cualquier conversación. Mucho mejor que hablar con el antiguo Asistente de Google que la compañía se está eliminando rápidamente.

Conversación en vivo de Géminis — Aquí hay un vistazo a parte de mi conversación con Gemini Live sobre los objetos que estaba viendo en mi apartamento.

Blake Stimac/Cnet

Google también lanzó un nuevo video de YouTube para la caída de píxeles de abril de 2025 que muestra la función, y ahora hay una página dedicada en Google Store para ello.

Para comenzar, puede ir a vivir con Gemini, habilitar la cámara y comenzar a hablar. Eso es todo.

Gemini Live sigue desde el proyecto Astra de Google, revelado por primera vez el año pasado como posiblemente la característica más grande de la compañía “estamos en el futuro”, un siguiente paso experimental para las capacidades generativas de IA, más allá de su simplemente escribir o incluso hablar en un chatbot como chatgpt, Claude o gemini. Se produce a medida que las empresas de IA continúan aumentando drásticamente las habilidades de las herramientas de IA, desde la generación de videos hasta la potencia de procesamiento en bruto. Similar a Gemini Live, está la inteligencia visual de Apple, que el fabricante de iPhone lanzó en forma beta a fines del año pasado.

Mi gran conclusión es que una característica como Gemini Live tiene el potencial de cambiar la forma en que interactuamos con el mundo que nos rodea, fusionando nuestros mundos digitales y físicos simplemente sosteniendo su cámara frente a casi cualquier cosa.

Puse a Géminis en vivo en una prueba real

La primera vez que lo probé, Gemini fue sorprendentemente preciso cuando coloqué un juego muy específico coleccionable de un conejo relleno en la vista de mi cámara. La segunda vez, se lo mostré a un amigo en una galería de arte. Identificó la tortuga en una cruz (no me preguntes) e inmediatamente identificó y tradujo el Kanji justo al lado de la tortuga, dándonos a los dos escalofríos y dejándonos más que un poco asustados. En el buen sentido, creo.

Este fue el primer objeto que probé con la nueva función de Gemini Live, y reconoció impresionantemente qué era y de qué juego era (Alice de American McGee). Cada vez que le pedía a Géminis que identifique el juego del que era el lujoso, fallaba.

Blake Stimac/Cnet

Pensé en cómo podría probar la función. Traté de grabarlo en la pantalla en acción, pero constantemente se desmoronó en esa tarea. ¿Y qué pasaría si saliera del camino golpeado con él? Soy un gran admirador del género de terror (películas, programas de televisión, videojuegos) y tengo innumerables coleccionables, baratijas y lo que tienes. ¿Qué tan bien le haría con cosas más oscuras, como mis coleccionables con temática de terror?

Las pruebas iniciales demostraron ser significativamente más exitosas que la anterior, a pesar de darle varias pistas. Gemini finalmente consiguió el juego, Silent Hill: el mensaje corto, pero aún no podía dar el nombre correcto para la figura, aterrizando solo en “Cherry Blossom Monster” en lugar de Sakurahead, que había adivinado correctamente varias veces antes.

Blake Stimac/Cnet

Primero, permítanme decir que Géminis puede ser absolutamente increíble y ridículamente frustrante en la misma ronda de preguntas. Tenía aproximadamente 11 objetos que le estaba pidiendo a Gemini que se identificara, y a veces empeoraba cuanto más tiempo funcionara la sesión en vivo, por lo que tuve que limitar las sesiones a solo uno o dos objetos. Supongo que Gemini intentó usar información contextual de objetos previamente identificados para adivinar nuevos objetos que se ponen al frente, lo que tiene sentido, pero en última instancia, ni yo ni yo nos beneficié de esto.

A veces, Géminis estaba en punto, aterrizando fácilmente las respuestas correctas sin problemas ni confusión, pero esto tendía a suceder con objetos más recientes o populares. Por ejemplo, me sorprendió cuando inmediatamente supuso que uno de mis objetos de prueba no era solo de Destiny 2, sino que fue una edición limitada de un evento estacional del año pasado.

En otras ocasiones, Gemini estaría fuera de la marca, y necesitaría darle más pistas para entrar en el estadio de la respuesta correcta. Y a veces, parecía que Géminis estaba tomando contexto de mis sesiones en vivo anteriores para encontrar respuestas, identificando múltiples objetos como provenientes de Silent Hill cuando no lo estaban. Tengo un caso de exhibición dedicado a la serie de juegos, por lo que pude ver por qué querría sumergirse en ese territorio rápidamente.

Esta fue la más difícil de mis pruebas. Le pedí a Gemini que identifique no solo de qué juego todavía era esto (Silent Hill 2), sino qué cita icónica, dijo la persona en la parte superior de las escaleras. Géminis clavó el juego, los personajes y la mitad de la cita en la primera ronda; Se necesitaron dos conjeturas más para terminar la cita: “¿También lo ves? Para mí, siempre es así”.

Blake Stimac/Cnet

Géminis puede obtener un error completo a veces. En más de una ocasión, Gemini identificó erróneamente uno de los artículos como un personaje inventado de la colina silenciosa inédita: F Juego, claramente fusionando piezas de diferentes títulos en algo que nunca fue. El otro error consistente que experimenté fue cuando Gemini producía una respuesta incorrecta, y lo corrigía e insinuaría más cerca de la respuesta, o directamente darle la respuesta, solo para que repita la respuesta incorrecta como si fuera una nueva suposición. Cuando eso sucedía, cerraría la sesión y comenzaría una nueva, que no siempre fue útil.

Un truco que encontré fue que algunas conversaciones lo hicieron mejor que otras. Si me desplazé por mi lista de conversación de Géminis, aproveché un viejo chat que había obtenido un elemento específico correcto, y entonces Volvió a vivir de nuevo desde ese chat, podría identificar los elementos sin problemas. Si bien eso no es necesariamente sorprendente, fue interesante ver que algunas conversaciones funcionaron mejor que otras, incluso si usó el mismo idioma.

Google no respondió a mis solicitudes de más información sobre cómo funciona Gemini Live.

I buscado Géminis para responder con éxito mis preguntas a veces altamente específicas, así que proporcioné muchas pistas para llegar allí. Los empujones a menudo eran útiles, pero no siempre. A continuación hay una serie de objetos que intenté que Gemini identifique y proporcione información.