Connect with us

Noticias

OpenAI’s Economic Blueprint – Sync #502

Published

on

Hello and welcome to Sync #502!

In this week’s issue, we take a closer look at OpenAI’s Economic Blueprint, which outlines policy proposals preferred by OpenAI for how the US can maximise AI’s benefits, bolster national security, and drive economic growth.

Elsewhere in AI, Mark Zuckerberg said that AI could soon do the work of Meta’s midlevel engineers, Elon Musk wants courts to force OpenAI to auction off a significant ownership stake, and President Joe Biden issued an executive order to accelerate the domestic construction of AI infrastructure.

Over in robotics, OpenAI is taking robotics seriously again and is looking for people to join its newly reformed robotics team. We also have another video of a humanoid robot, and how soft robotics can help create more flexible, quieter, and adaptable robots.

In other news, Neuralink announced that its brain-computer interface has been implanted in a third patient. We also look at how AI is helping archaeologists read ancient texts, meet a startup planning to bury micro-nuclear reactors to power data centres and explore the future of nanotechnology.

Enjoy!

The car was not invented in America—it was invented in Europe. This invention promised to revolutionise the world and completely reimagine every aspect of our lives—how we work, how we do business, and how we live our everyday lives. It promised to unlock new ways of living and new opportunities for economic growth.

However, not everyone saw cars and the emerging automotive industry as an opportunity. Many countries introduced laws and regulations that hindered cars—this new, exciting technology—from reaching their full potential. Meanwhile, America seized this opportunity and transformed the automotive industry into one of the pillars of its 20th-century economy. While individual states invested in the necessary infrastructure and business incentives for the automotive industry to thrive, the federal government funded the massive highway system that connected the country.

This is the story that OpenAI opens its recently released Economic Blueprint and argues that history repeats before our eyes. However, instead of cars, this new vehicle of innovation, opportunity, and economic growth is AI. In this 15-page document, OpenAI outlines its preferred AI policies and how these can ensure shared and responsible AI benefits while fostering US leadership in AI development. It urges US policymakers to fully embrace AI, much as the country did a century ago with automobiles, and to create a fertile environment where the AI industry can thrive and become the new engine of economic growth.

OpenAI’s Economic Blueprint and the proposed policies are organised into three sections: Competitiveness and Security, Rules of the Road and Infrastructure as Destiny.

In the first section, OpenAI focuses on policies aimed at maintaining US leadership in AI and emphasises the need for the United States to lead in AI development through clear, consistent rules that promote innovation, ensure national security, and prevent misuse. It advocates aligning AI development with democratic values, such as free-market competition and user freedom while holding developers and users accountable for responsible use.

OpenAI warns of the risks posed by adversarial misuse of AI, including authoritarian governments using it for control, industrial espionage, novel cyber threats, and unchecked global investments flowing to nations like China.

To counter these risks, the blueprint calls for federal leadership to develop a cohesive strategy for AI. This includes prioritising the development of state-of-the-art frontier models with robust safeguards, streamlining regulations, and promoting collaboration with international allies. OpenAI also advocates for deeper collaboration with national security organizations (the company highlights here its partnerships with agencies like Los Alamos National Laboratory and the Air Force Research Laboratory, as well as recently the announced partnership with defence startup Andruil), to develop best practices for deploying AI securely and addressing emerging threats.

Export policies should securely share AI advancements with partner nations to strengthen their AI ecosystems while restricting access for adversaries. OpenAI also emphasises the need for an international coalition to establish shared safety standards and prevent regulatory fragmentation.

OpenAI highlights the importance of establishing clear and practical guidelines to ensure AI is developed and used responsibly while maximising its benefits for society. It emphasises that AI, like past transformative technologies, requires thoughtful governance to unlock its full potential. By setting these rules early, OpenAI argues, the US can lay the foundation for the rapid and widespread adoption of AI and empower users across the country.

OpenAI advocates for robust safeguards to prevent the creation of harmful AI-generated content and calls for stronger collaboration between AI companies and law enforcement. To build public trust in AI, it proposes using provenance data to trace AI-generated content back to its source. OpenAI also emphasises empowering users with control over their AI tools, including how personal data is used and the ability to personalise AI to their preferences.

OpenAI encourages states to serve as testing grounds for AI innovation, particularly in education and healthcare, fostering local AI ecosystems while increasing public confidence in the technology. By implementing these “rules of the road,” OpenAI believes the US can establish a secure, innovative, and user-centric AI ecosystem that benefits all Americans.

OpenAI underscores the critical role of infrastructure in securing US leadership in AI and fostering economic growth. Drawing parallels to the transformative impact of the automobile industry, OpenAI emphasises the need to develop the foundational resources—chips, data, energy, and talent—necessary for the AI industry to thrive. OpenAI argues that timely investment in these areas could catalyse a “reindustrialisation” of the US, creating widespread economic opportunities and bolstering global competitiveness.

To meet the growing demand for AI compute and energy, OpenAI proposes initiatives such as AI Economic Zones to fast-track infrastructure projects, increased investment in new energy sources, and a National AI Infrastructure Highway to connect regional power and communication grids. It also advocates digitising public data to support US AI developers of all sizes. In return, OpenAI suggests, developers using this data could collaborate with the government to generate insights that inform the development of better public policies.

The document envisions the creation of AI research labs aligned with local industries. As an example, the blueprint suggests Kansas could establish a hub dedicated to applying AI in agriculture, while Texas or Pennsylvania could develop hubs focused on integrating AI into power production and grid resilience.

The section also warns of the risks of inaction, such as allowing global AI investments (which OpenAI estimates at $175 billion) to flow to adversaries like China, and emphasises the importance of policies that ensure AI is built on democratic foundations. By investing in infrastructure and fostering the growth of AI ecosystems, OpenAI envisions a future where the US remains at the forefront of innovation while unlocking economic opportunities across the country.

In essence, OpenAI’s Economic Blueprint brings together what OpenAI and its CEO, Sam Altman, have been advocating for for the last two years. It calls on the US government to take decisive action to establish a federal legal framework that sets clear rules for the AI industry. At the same time, OpenAI urges the US government to step in and support the development of infrastructure necessary for an AI-powered economy — from creating new energy sources to investing in the chip industry and education.

With these policies in place, OpenAI argues, the US can win the AI race. In fact, OpenAI goes even further and says the US must win this race. The document suggests that if these policies are not implemented, it will be China—not the US—that benefits most from AI and dictates the course of the technology. This “us versus them” rhetoric appears throughout the document, aiming to use patriotism or nationalism to rally support for OpenAI’s proposed policies. OpenAI frames AI development as a critical battle for technological leadership and security between democratic nations like the US and authoritarian adversaries like China—a framing reminiscent of the Cold War.

With the new Trump administration set to take power soon, OpenAI might find greater success in convincing the White House and the US government to adopt its preferred AI policies.

By using the car industry as an analogy to the AI industry, OpenAI references one of the industries that defined the 20th-century United States. The car and the automotive industry redefined what America is and transformed how people work, conduct business, and live. OpenAI argues that AI will play a similarly transformative role in the 21st century. However, for history to repeat itself, decisive actions must be taken, according to OpenAI. Otherwise, AI will not be associated with the US, and the benefits of AI will be reaped by someone else.

The full Blueprint is available here⁠.

If you enjoy this post, please click the ❤️ button or share it.

Share

Do you like my work? Consider becoming a paying subscriber to support it

Become a paid subscriber

For those who prefer to make a one-off donation, you can ‘buy me a coffee’ via Ko-fi. Every coffee bought is a generous support towards the work put into this newsletter.

Your support, in any form, is deeply appreciated and goes a long way in keeping this newsletter alive and thriving.

Musk Says Neuralink Implanted Third Patient With Brain Device
Speaking at an event in Las Vegas, Elon Musk announced that Neuralink’s brain-computer interface has been implanted in a third patient. “We’ve now got three humans with Neuralinks implanted, and they’re all working well,” said Musk, adding that the company plans to carry out about 20 to 30 more implants in 2025.

▶️ It’s not fair having 12 pairs of legs (9:58)

I’ve recently been reminded about this TED Talk by Aimee Mullins from 2009. While her talk focuses on redefining disability and turning it into a superpower, it is also about how people react to someone who changed their body beyond what most will ever encounter. The story Mullins shares about someone telling her it’s unfair that she can choose her height offers insight into how people might respond if—or when—radical human augmentation becomes a reality.

Omi, a competitor to Friend, wants to boost your productivity using AI and a ‘brain interface’
Meet Omi, yet another AI-first device revealed at CES 2025. Similar to other devices in this category, such as Rabbit, Humane, and Friend, this AI wearable offers functions like answering questions, summarising conversations, creating to-do lists, and scheduling meetings. Like its predecessors, it features a sleek, futuristic design. However, unlike its predecessors, Omi is positioned as a complementary device to smartphones rather than a replacement or AI companion. Additionally, it includes a built-in brain interface to detect user commands without requiring a wake word.I have some doubts, but let’s wait for independent reviews, which are expected in Q2 2025 when the device is planned to be shipped.

▶️ Nanotechnology: The Future of Everything (36:48)

In this video, Isaac Arthur takes a closer look at nanotechnology—exploring its origins, the challenges and risks of engineering at the nanoscale, and the enormous potential this technology holds for manufacturing, medicine, and many other areas. Arthur compares the current state of nanotechnology to that of artificial intelligence a decade ago—when the AI we have today seemed like science fiction. The same, Arthur argues, could happen to nanotechnology and massively transform our lives.

Mark Zuckerberg says AI could soon do the work of Meta’s midlevel engineers
In a conversation with Joe Rogan, Mark Zuckerberg revealed Meta’s plans to automate the work of mid-level software engineers by 2025. Meta aims to have all coding for its apps eventually generated by AI, potentially making coding a fully automated skill which could lead to significant cost savings.

Biden opens federal land for AI data centers, sets rules for developers
President Joe Biden issued an executive order to accelerate the domestic construction of AI infrastructure and address national security risks associated with the technology. The US Department of Defense and Department of Energy are authorised to lease federal sites for gigawatt-scale AI data centres. The order also issued guidelines for AI developers using the sites to not only build, operate, and maintain the leased centres at full cost, but also to deliver clean energy resources to match their capacity needs to prevent increases in electricity costs. The move aligns with efforts to keep AI development onshore and reduce reliance on foreign resources. Agencies will now select federal sites for AI data centres, after which developers can submit lease proposals.

Elon Musk wants courts to force OpenAI to auction off a large ownership stake
The battle between OpenAI and Elon Musk continues. According to a report by the Financial Times, Elon Musk’s lawyer has urged the attorneys general of California and Delaware to force OpenAI to auction a significant stake in its business. OpenAI plans to convert into a public benefit corporation, with its nonprofit retaining shares—a move Musk has legally challenged, arguing it undervalues the nonprofit’s assets and unfairly consolidates power. OpenAI defends the conversion as a means to fund its mission better, while Musk and allies, including Meta, continue to voice concerns over governance, transparency, and potential monopolisation.

AI researcher François Chollet founds a new AI lab focused on AGI
There is a new AI lab focusing on AGI on the block. It’s called Ndea and was founded by François Chollet—a well-respected AI researcher, the author of Keras (a popular deep learning framework) and the co-creator of the ARC Benchmark and ARC-AGI Prize—and Mike Knoop, the founder of Zapier. As Chollet writes in his tweet, Ndea will focus on researching deep learning-guided program synthesis, a promising new method of building AI systems, which the team hopes will eventually lead to AGI.

How AI is unlocking ancient texts — and could rewrite history

AI is revolutionising archaeology by helping decipher ancient texts, reconstruct incomplete documents, and analyse vast historical archives. Recent projects include the Vesuvius Challenge, where AI revealed text from carbonised Herculaneum scrolls, and the Ithaca model, which restores missing words and dates Greek inscriptions. AI has also translated Korean royal archives and made strides in decoding rare scripts like Linear B. By combining machine learning with human expertise, researchers are uncovering hidden knowledge and making new discoveries about the ancient world.

Asimov’s Laws of Robotics Need an Update for AI
For decades, Asimov’s famous Three Laws of Robotics have been shaping the discourse on AI and robotics ethics. Times, however, have changed, and we now live in a world flooded with deepfakes and AI-generated misinformation. To address the rise in AI-generated misinformation and deepfakes, this article proposes a fourth law: A robot or AI must not deceive a human by impersonating a human being, and suggests how this fourth law could be implemented.

It’s Time to Move Past AI Nationalism
”AI nationalism depicts AI as a battle to be won, rather than an opportunity to be harnessed,” writes Verity Harding in this article calling to stop viewing the AI race from a nationalistic point of view, to not view AI through a competitive and nationalistic lens, influenced by geopolitical tensions, and to embrace diplomacy and collaborative frameworks in managing AI’s global impact. As Harding notes, there are signs that this shift is happening.

AI Brad Pitt dupes French woman out of €830,000
Here is yet another example of AI is being used by scammers. A 53-year-old French woman was conned out of €830,000 by scammers posing as actor Brad Pitt. For over 18 months, the scammers used AI-generated photos, videos, and fabricated news reports to convince the woman that she was interacting with the real Brad Pitt. When she realised it was a scam, the woman contacted the authorities and later publicly shared her story. While mockery dominated online responses, some posts and media highlighted the need for empathy and greater awareness of modern digital scams.

Transformer²: Self-Adaptive LLMs
Researchers from the Japanese AI lab Sakana.ai present Transformer²—a new approach to developing large language models that can adjust their own weights dynamically and adapt to new knowledge. The results presented in the paper look promising. Researchers hope this new approach will eventually lead to models embodying “living intelligence” that continually learn, evolve and adapt over time.

If you’re enjoying the insights and perspectives shared in the Humanity Redefined newsletter, why not spread the word?

Refer a friend

New OpenAI job listings reveal the company’s robotics plans
After dismantling its robotics team in 2021, OpenAI is now taking robotics seriously again and is looking for people to join its newly reformed robotics team. Caitlin Kalinowski, who leads OpenAI’s robotics efforts, recently tweeted that the company has open job listings for robotics engineers to develop “general-purpose,” “adaptive,” and “versatile” robots capable of human-like intelligence in dynamic, real-world settings. The company is looking to recruit engineers experienced in designing systems for high-volume manufacturing (1M+ units), hinting at potential plans for “full-scale production” of robots. While there are no further details on the type of robots OpenAI intends to build, rumours suggest that humanoid robots may be on the table.

▶️ Unitree G1 Bionic: Agile Upgrade (1:06)

Another week, another video of a humanoid robot. This time, the Chinese company Unitree showcases how its humanoid robot, G1, can navigate challenging terrain, such as stone-laden surfaces, running up and down hills, and climbing stairs.

▶️ How we can make robots more human-like (12:50)

In this talk, Robert Katzschmann, Assistant Professor of Robotics at ETH Zurich, shares his vision for soft robotics, which takes inspiration from nature to create more flexible, quieter, and adaptable robots. Katzschmann explains how these robots differ from traditional robots and demonstrates one on the stage. He also showcases his latest research project—a robotic leg powered by artificial hydraulic muscles—and its potential to revolutionise robotics for everyday life.

Illumina, Nvidia Launch AI-Based Genomics Partnership
Nvidia and Illumina announced a partnership to apply genomics and AI technologies in drug discovery, clinical research, and human health. The partnership will focus on developing biology foundation models, integrating Nvidia tools like RAPIDS and BioNeMo with Illumina’s multi-omics analysis tools, with production-ready solutions expected before the end of the year.

Nuclear startup Deep Fission plans to bury micro-reactors to power data centers
The growing demand for greater computing power has spurred interest in nuclear power and brought attention to the emerging ecosystem of startups focused on nuclear energy. One such startup is Deep Fission, which recently signed a deal with data centre developer Endeavour to deliver 2 gigawatts from its small modular reactors (SMRs) buried in boreholes one mile deep, using depth as a substitute for extensive concrete shielding. Deep Fission’s reactors are designed to be affordable, targeting electricity costs of 5–7 cents per kilowatt-hour, significantly lower than current nuclear power costs. The company aims to activate its first reactor by 2029.

Thanks for reading. If you enjoyed this post, please click the ❤️ button or share it.

Share

Humanity Redefined sheds light on the bleeding edge of technology and how advancements in AI, robotics, and biotech can usher in abundance, expand humanity’s horizons, and redefine what it means to be human.

A big thank you to my paid subscribers, to my Patrons: whmr, Florian, dux, Eric, Preppikoma and Andrew, and to everyone who supports my work on Ko-Fi. Thank you for the support!

My DMs are open to all subscribers. Feel free to drop me a message, share feedback, or just say “hi!”

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

Cómo el soporte de video de Gemini Live me ayudó a cultivar plantas en el desierto

Published

on

Vi una demostración de la transmisión de video multimodal de Gemini Live y el soporte para compartir pantalla en Google I/O 2024, y es cierto que era un proyecto escéptico que Astra reduciría bien a los teléfonos inteligentes. Avance rápido aproximadamente un año después, y Project Astra está en manos de millones de Google Pixel 9, Samsung Galaxy S25 y Gemini Advanced Usuarios. Está listo, y está aquí, pero ¿es realmente útil?

La respuesta es que puede ser absolutamente, siempre y cuando sus casos de uso sean personales para usted. Por ejemplo, las características multimodales de Gemini Live no serán una mejor alternativa a Google Search o Circle para buscar en la mayoría de los casos. Sin embargo, en circunstancias específicas en las que es mejor mostrar que decir, el soporte de la cámara de Gemini Live puede ser útil.

Continue Reading

Noticias

¿Cómo el Géminis de Google cambiará la forma en que los niños aprenden y juegan?

Published

on

Google ha anunciado que su IA de Géminis pronto estará disponible para que los niños los usen en sus dispositivos Android, todo mientras se supervisará a través de la aplicación de control de los padres de la empresa. Esta decisión ha planteado algunas preocupaciones y preguntas entre los padres sobre los posibles beneficios y riesgos de dejar que los niños interactúen con los sistemas de IA. El gigante tecnológico asegura a los usuarios que los datos de los niños no se utilizarán para entrenar a Gemini, pero como con cualquier tecnología nueva, algunas precauciones no deben ignorarse.

En este artículo, profundizaremos en los detalles de la próxima introducción de Google de Géminis Ai para niñoslos beneficios que podría ofrecer, riesgos potenciales y cómo los padres pueden mantener el control para asegurarse de que la experiencia de su hijo sea lo más segura posible.

¿Qué es Google Gemini AI?

Gemini AI es la herramienta de conversación avanzada de Google diseñada para ayudar a los usuarios con una variedad de tareas, incluidos el aprendizaje, el entretenimiento y la resolución de problemas. Al permitir que los niños usen Gemini, Google ofrece a los niños la oportunidad de responder sus preguntas, la tarea resuelta y las historias se leen en voz alta. También ayuda a los usuarios con ideas de lluvia de ideas, aprendiendo nuevos conceptos y a resolver problemas matemáticos.

Gemini AI tiene el potencial de ser una poderosa herramienta educativa, que proporciona a los niños un nivel de interacción y apoyo que no han tenido antes. Ya sea leer historias, ayudar con las tareas o incluso ofrecer sugerencias creativas, Gemini puede abrir nuevas vías para el aprendizaje y el compromiso. Pero, como es el caso con cualquier tecnología nueva, hay aspectos positivos y inconvenientes potenciales a considerar.

¿Cómo funcionará Gemini AI para los niños?

Google ha diseñado Gemini AI para que sea lo más amigable para los niños posible, teniendo en cuenta que los niños interactúan con la tecnología de manera diferente a los adultos. Al usar la aplicación Family Link, los padres pueden administrar el uso de sus hijos, permitiendo restricciones basadas en la edad de sus hijos. Esto significa que los niños podrán acceder a Gemini en sus dispositivos, pero los padres tendrán una supervisión completa sobre su actividad.

Como se mencionó, Google asegura que los datos recopilados del uso de los niños de Gemini AI no se utilizarán para capacitar a la IA, lo que hace que la privacidad sea una prioridad. Sin embargo, si bien Google ha tomado medidas para proteger los datos de los niños, también ha reconocido que existen riesgos potenciales involucrados con el uso de IA de esta manera.

Los riesgos y los posibles problemas con Géminis Ai

A pesar de que Google está tratando de hacer que Gemini AI sea segura para los niños, hay algunas preocupaciones notables. Primero, es importante entender que la IA puede cometer errores, y a veces estos errores pueden ser más que humorísticos o benignos. Por ejemplo, ha habido casos en el pasado donde los chatbots de IA sugirieron información ridícula o irrelevante a los usuarios. Algunos chatbots incluso han engañado a los usuarios para que piensen que estaban interactuando con humanos reales.

Para los niños, el riesgo es aún más pronunciado. Es posible que los niños no comprendan completamente que estén charlando con una máquina y pueden confundirse si la IA responde con información falsa o inapropiada. Se sabe que algunos chatbots de IA proporcionan contenido engañoso o angustiante, y existe el riesgo de que los niños se encuentren en situaciones incómodas o inapropiadas al usar estas herramientas sin supervisión.

¿Cómo el Géminis de Google cambiará la forma en que los niños aprenden y juegan?¿Cómo el Géminis de Google cambiará la forma en que los niños aprenden y juegan?

Un ejemplo bien conocido de este problema ocurrió con el personaje. En algunos casos, los bots llegaron a decirle a los usuarios que estaban hablando con personas reales. Después de las demandas alegando que los bots estaban promoviendo contenido inapropiado, carácter. AI introdujo controles parentales y nuevas restricciones para evitar este tipo de confusión.

Del mismo modo, mientras que Gemini AI está diseñado para ayudar a los niños, los padres deben comprender las limitaciones y los defectos inherentes a los sistemas de IA. Google ha advertido a los padres que “Géminis puede cometer errores”, lo que podría llevar a sus hijos a encontrarse con información que sea incorrecta o inapropiada.

¿Cómo pueden los padres mantener a sus hijos seguros?

Google ha presentado algunas recomendaciones clave para que los padres se aseguren de que sus hijos usen Gemini AI de manera segura y responsable. Uno de los pasos más importantes que los padres pueden dar es tener una discusión abierta con sus hijos sobre la IA. Los padres deben asegurarse de que sus hijos entiendan que la IA no es humana y no puede reemplazar las interacciones reales con las personas.

Además de explicar cómo funciona la IA, es crucial que los padres también establezcan límites en torno a lo que es aceptable compartir con Gemini. Se debe recordar a los niños que no ingresen información confidencial o personal en la IA, y se les debe enseñar a reconocer cuando algo se siente inapropiado o incorrecto.

La aplicación Family Link ofrece una gran cantidad de características para ayudar a los padres a mantener el control. A través de esta aplicación, los padres pueden monitorear el uso de Gemini, establecer límites del dispositivo y acceder a informes de actividad detallados sobre cómo y cuándo el niño está utilizando la IA. Los padres también pueden apagar el acceso a Géminis en cualquier momento, si sienten que la IA se está utilizando de manera inapropiada o excesiva.

¿Por qué Google ofrece Gemini AI para niños?

La decisión de Google de ofrecer a Gemini AI a los niños es parte de los esfuerzos más amplios de la compañía para integrar la IA en varios aspectos de nuestra vida cotidiana. A medida que AI continúa evolucionando, se está volviendo más integrado en el aprendizaje, la comunicación e incluso el entretenimiento. Para los niños, esto podría ser un cambio de juego, ofreciéndoles una nueva forma de explorar su creatividad e interactuar con el mundo.

La tecnología puede ser una herramienta invaluable para los niños, particularmente cuando se trata de ayudar con la tarea, la lectura y los ejercicios creativos. Mientras existan salvaguardas apropiadas, los niños podrían beneficiarse significativamente de tener un asistente personal de IA.

Sin embargo, es esencial que los padres sigan siendo atentos y proactivos en la gestión de cómo sus hijos usan esta nueva herramienta. Si bien la IA puede ayudar con muchas tareas, no puede reemplazar el juicio y la inteligencia emocional de una persona real. Por lo tanto, los padres deben asegurarse de que sus hijos usen Gemini con moderación y dentro de los límites seguros.

¿Qué pueden hacer los padres ahora mismo?

Si usted es padre y desea aprovechar los beneficios de Gemini AI para su hijo, aquí hay algunos pasos procesables que puede tomar:

  1. Descargar Google Family Link: Asegúrese de tener la aplicación instalada en el dispositivo de su hijo para que pueda administrar su uso de Gemini AI y establecer restricciones sobre cuánto tiempo pasan a usarlo.
  2. Tener una conversación sobre AI: Explique a su hijo que si bien Gemini puede ser una herramienta útil, sigue siendo una máquina y no una persona real. Asegúrese de que comprendan los límites de la IA.
  3. Establecer límites: Anime a su hijo a compartir solo información no sensible con Gemini y enseñarles a reconocer cuándo algo parece incorrecto o inapropiado.
  4. Monitoreo: Use el enlace familiar para rastrear la actividad de su hijo y asegúrese de que esté utilizando Gemini de manera responsable. Siempre puede deshabilitar el acceso si siente que es necesario.

El resultado final

Gemini AI presenta una nueva frontera emocionante en cómo los niños pueden aprender e interactuar con la tecnología. Sin embargo, como toda la nueva tecnología, viene con riesgos. Como padres, es esencial estar al tanto de estos riesgos y tomar medidas para garantizar que sus hijos usen Gemini AI de manera segura y responsable. Con las precauciones correctas en su lugar, Gemini puede ser una herramienta de aprendizaje valiosa para su hijo, pero depende de usted mantenerlas involucradas y protegerlas de peligros potenciales.

Continue Reading

Noticias

Operai anuló las preocupaciones de los evaluadores expertos para liberar Sycophantic GPT-4O

Published

on

Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información


Ha sido una semana de revés para la compañía de IA generativa número uno en términos de usuarios.

Operai, creador de ChatGPT, lanzado y luego retiró una versión actualizada del modelo de lenguaje grande (texto, imagen, audio) subyacente (LLM) que ChatGPT está conectado de forma predeterminada, GPT-4O, debido a que es demasiado sycofánico para los usuarios. La compañía reportó recientemente al menos 500 millones de usuarios semanales activos del servicio web exitoso.

Un manual rápido en la terrible, sin buena actualización Sycophantic GPT-4O

Operai comenzó a actualizar GPT-4O a un modelo más nuevo que esperaba que los usuarios fueran más recibidos por los usuarios el 24 de abril, completado la actualización del 25 de abril y, luego, cinco días después, lo volvió al 29 de abril, después de días de crecientes quejas de los usuarios en las redes sociales, principalmente en X y Reddit.

Las quejas variaron en intensidad y en detalles, pero todas generalmente se unieron en torno al hecho de que GPT-4O parecía estar respondiendo a las consultas de los usuarios con halagos excesivos, apoyo para ideas equivocadas, incorrectas y francamente dañinas, y “pesando” o elogiando al usuario a un grado excesivo cuando en realidad no se solicitó, mucho menos justificado.

En ejemplos captados y publicados por los usuarios, ChatGPT impulsado por ese modelo Sycofantántico y actualizado GPT-4O había elogiado y respaldado una idea de negocio para “mierda en un palo” literal, aplaudió el texto de muestra de un usuario de aislamiento delirante esquizofrénico, e incluso supuestamente apoyó a los planes para cometer terrorismo.

Los usuarios, incluidos los principales investigadores de IA e incluso un ex CEO interino de Openai, dijeron que les preocupaba que las animadoras descaradas de un modelo de IA por este tipo de indicaciones terribles de los usuarios fueran más que simplemente molestas o inapropiadas, que podría causar daños reales a los usuarios que creían erróneamente la IA y se sintió incorporada por su apoyo por sus peores ideas e impulsas. Se elevó al nivel de un problema de seguridad de IA.

Luego, Operai lanzó una publicación de blog que describe lo que salió mal: “Nos centramos demasiado en los comentarios a corto plazo y no explicamos completamente cómo las interacciones de los usuarios con ChatGPT evolucionan sobre el tiempo. Como resultado, GPT-4O se sesgó hacia las respuestas que fueron demasiado solidarias pero falsas”, y los pasos que la compañía estaba tomando para abordar los problemas. La jefa de comportamiento de modelo de OpenAi, Joanne Jang también participó en un foro de “preguntarme cualquier cosa” o AMA que respondió publicaciones de texto de los usuarios y reveló más información sobre el enfoque de la compañía a GPT-4O y cómo terminó con un modelo excesivamente sycofántico, incluida no “BAK[ing] En suficientes matices “, en cuanto a cómo estaba incorporando la retroalimentación de los usuarios, como las acciones de” pulgar hacia arriba “realizadas por los usuarios en respuesta a los resultados del modelo que les gustaba.

Ahora hoy, Openai ha lanzado una publicación de blog con aún más información sobre cómo ocurrió la actualización sycophantic GPT-4O, acreditada no a ningún autor en particular, sino a “OpenAi”.

El CEO y cofundador Sam Altman también publicó un enlace a la publicación del blog en X, diciendo: “Nos perdimos la marca con la actualización GPT-4O de la semana pasada. Lo que sucedió, lo que aprendimos y algunas cosas que haremos de manera diferente en el futuro”.

Lo que revela la nueva publicación del blog de Operai sobre cómo y por qué GPT-4O se volvió tan sycophantic

Para mí, un usuario diario de ChatGPT, incluido el modelo 4O, la admisión más sorprendente de la nueva publicación de blog de OpenAi sobre la actualización de la skocancia es cómo la compañía parece revelar que es hizo Reciba inquietudes sobre el modelo antes de la liberación de un pequeño grupo de “probadores expertos”, pero que aparentemente anuló a los que están a favor de una respuesta entusiasta más amplia de un grupo más amplio de usuarios más generales.

Como la compañía escribe (énfasis mía):

“Si bien hemos tenido discusiones sobre los riesgos relacionados con la skofancia en GPT-4O por un tiempo, la sycophancy no se marcó explícitamente como parte de nuestras pruebas prácticas internas, ya que algunos de nuestros probadores expertos estaban más preocupados por el cambio en el tono y el estilo del modelo. Sin embargo. Algunos probadores expertos habían indicado que el comportamiento del modelo se “sentía” ligeramente …

Luego tuvimos que tomar una decisión: ¿deberíamos retener la implementación de esta actualización a pesar de las evaluaciones positivas y los resultados de las pruebas A/B, basadas solo en los banderas subjetivas de los probadores expertos? Al final, decidimos lanzar el modelo debido a las señales positivas de los usuarios que probaron el modelo.

Desafortunadamente, esta fue la llamada equivocada. Construimos estos modelos para nuestros usuarios y, aunque los comentarios de los usuarios son críticos para nuestras decisiones, en última instancia, es nuestra responsabilidad interpretar esa retroalimentación correctamente “.

Esto me parece un gran error. ¿Por qué incluso tener evaluadores expertos si no vas a soportar su experiencia más alto que las masas de la multitud? Le pregunté a Altman sobre esta elección en X pero aún no ha respondido.

No todas las ‘señales de recompensa’ son iguales

La nueva publicación de blog post mortem de OpenAI también revela más detalles sobre cómo la compañía capacita y actualiza nuevas versiones de los modelos existentes, y cómo la retroalimentación humana altera las cualidades del modelo, el carácter y la “personalidad”. Como la compañía escribe:

“Desde que lanzó GPT – 4O en ChatGPT en mayo pasado, hemos lanzado cinco actualizaciones importantes centrado en los cambios en la personalidad y la ayuda. Cada actualización implica un nuevo post-entrenamiento, y a menudo muchos ajustes menores al proceso de capacitación del modelo se prueban de forma independiente y luego se combinan en un solo modelo actualizado que luego se evalúa para el lanzamiento.

Para los modelos posteriores al entrenamiento, tomamos un modelo base previamente capacitado, supervisamos el ajuste fino en un amplio conjunto de respuestas ideales escritas por humanos o modelos existentes, y luego ejecutamos el aprendizaje de refuerzo con señales de recompensa de una variedad de fuentes.

Durante el aprendizaje de refuerzo, presentamos el modelo de idioma con un aviso y le pedimos que escriba respuestas. Luego calificamos su respuesta de acuerdo con las señales de recompensa y actualizamos el modelo de idioma para que sea más probable que produzca respuestas de mayor calificación y menos probabilidades de producir respuestas con menor calificación.

Claramente, las “señales de recompensa” utilizadas por Operai durante el post-entrenamiento tienen un enorme impacto en el comportamiento del modelo resultante, y como la compañía admitió anteriormente cuando superó las respuestas de “pulgares” de los usuarios de ChatGPT a sus salidas, esta señal puede no ser la mejor para usar igualmente con otros al determinar a otros. cómo El modelo aprende a comunicarse y que tipos de respuestas debería estar sirviendo. Operai admite esto directamente en el próximo párrafo de su publicación, escribiendo:

“Definir el conjunto correcto de señales de recompensa es una pregunta difícil, y tenemos muchas cosas en cuenta: son las respuestas correctas, ¿son útiles? ¿Están en línea con nuestra especificación de modelo, están seguros, usan usuarios como ellos, y así sucesivamente? Tener mejores y más completas señales de recompensa produce mejores modelos para ChatGPT, por lo que siempre estamos experimentando con nuevas señales, pero cada uno tiene sus Quirks”.

De hecho, OpenAi también revela que la señal de recompensa de “pulgares hacia arriba” fue una nueva utilizada junto con otras señales de recompensa en esta actualización en particular.

“La actualización introdujo una señal de recompensa adicional basada en los comentarios de los usuarios: los datos de thumbs y pulgar de ChatGPT. Esta señal a menudo es útil; un pulgar hacia abajo generalmente significa que algo salió mal”.

Sin embargo, de manera crítica, la compañía no culpa a los nuevos datos de “pulgar hacia arriba” directamente por el fracaso del modelo y los comportamientos de porristas ostentosos. En su lugar, la publicación del blog de Openai dice que fue esta conjunto Con una variedad de otras señales de recompensa nuevas y antiguas, condujo a los problemas: “… Tuvimos mejoras de candidatos para incorporar mejor la retroalimentación, la memoria y los datos más frescos, entre otros. Nuestra evaluación temprana es que cada uno de estos cambios, que se habían visto beneficiosos individualmente, puede haber jugado un papel en la escalada sobre la sycofancia cuando se combinó”.

Al reaccionar a esta publicación de blog, Andrew Mayne, un ex miembro del personal técnico de Operai que ahora trabaja en la firma de consultoría de IA Interdimensional, escribió en X de otro ejemplo de cómo los cambios sutiles en los incentivos de recompensa y las pautas del modelo pueden afectar el rendimiento del modelo de manera bastante drástica:

Al principio de OpenAi, tuve un desacuerdo con un colega (que ahora es un fundador de otro laboratorio) sobre el uso de la palabra “cortés” en un pronta ejemplo que escribí.

Argumentaron que “cortés” era políticamente incorrecto y querían cambiarlo por “útil”.

Señalé que centrarse solo en la ayuda puede hacer que un modelo sea demasiado compatible, de hecho, de hecho, que puede ser dirigido a contenido sexual en unos pocos turnos.

Después de demostrar ese riesgo con un intercambio simple, el aviso se mantuvo “cortés”.

Estos modelos son raros.

Cómo Operai planea mejorar sus procesos de prueba modelo en el futuro

La compañía enumera seis mejoras en el proceso sobre cómo evitar un comportamiento de modelo indeseable y menos ideal en el futuro, pero para mí lo más importante es esto:

“Ajustaremos nuestro proceso de revisión de seguridad para considerar formalmente los problemas de comportamiento, como la alucinación, el engaño, la confiabilidad y la personalidad, como preocupaciones de bloqueo. Incluso si estos problemas no son perfectamente cuantificables hoy en día, nos comprometemos a bloquear los lanzamientos en función de las mediciones de proxy o las señales cualitativas, incluso cuando las métricas como las pruebas A/B se ven bien”.

En otras palabras, a pesar de lo importantes que los datos, especialmente los datos cuantitativos, son los campos del aprendizaje automático y la inteligencia artificial, OpenAi reconoce que esto solo no puede y no debe ser el único medio por el cual se juzga el rendimiento de un modelo.

Si bien muchos usuarios que proporcionan un “pulgar hacia arriba” podrían indicar un tipo de comportamiento deseable a corto plazo, las implicaciones a largo plazo sobre cómo responde el modelo de IA y dónde lo llevan esos comportamientos y sus usuarios podrían conducir a un lugar muy oscuro, angustioso, destructivo y indeseable. Más no siempre es mejor, especialmente cuando está limitando el “más” a algunos dominios de señales.

No es suficiente decir que el modelo aprobó todas las pruebas o recibió una serie de respuestas positivas de los usuarios: la experiencia de los usuarios avanzados capacitados y sus comentarios cualitativos de que algo “parecía” sobre el modelo, incluso si no podían expresar por qué, debería tener mucho más peso que OpenAi estaba asignando anteriormente.

Esperemos que la empresa, y todo el campo, aprenda de este incidente e integre las lecciones en el futuro.

Control y consideraciones más amplias para los tomadores de decisiones empresariales

Hablando quizás más teóricamente, para mí, también indica por qué la experiencia es tan importante, y específicamente, la experiencia en los campos más allá de y afuera de la que está optimizando (en este caso, aprendizaje automático e IA). Es la diversidad de la experiencia la que nos permite como especie lograr nuevos avances que beneficien a nuestro tipo. Uno, digamos, STEM, no necesariamente debe mantenerse por encima de los demás en las humanidades o las artes.

Y finalmente, también creo que revela en su corazón un problema fundamental con el uso de comentarios humanos para diseñar productos y servicios. Los usuarios individuales pueden decir que les gusta una IA más sycofántica basada en cada interacción aislada, al igual que también pueden decir que aman la forma en que la comida rápida y los soda saben, la conveniencia de los contenedores de plástico de un solo uso, el entretenimiento y la conexión que derivan de las redes sociales, la validación de la cosmovisión y el tribalista que se sienten cuando leen los medios políticos o el chismoso de los tabloides. Una vez más, tomados todos juntos, el acumulación De todos estos tipos de tendencias y actividades, a menudo conduce a resultados muy indeseables para los individuos y la sociedad: obesidad y mala salud en el caso de la comida rápida, la contaminación y la interrupción endocrina en el caso de los desechos plásticos, la depresión y el aislamiento de la sobreindulgencia de las redes sociales, un cuerpo más astillado y menos informado público de la lectura de noticias de mala calidad.

Los diseñadores de modelos de IA y los tomadores de decisiones técnicos en Enterprises harían bien en tener en cuenta esta idea más amplia al diseñar métricas en torno a cualquier objetivo medible, porque incluso cuando cree que está utilizando datos para su ventaja, podría ser contraproducente de una manera que no esperaba o anticipar completamente, dejando su lucha para reparar el daño y el MOP que hizo, sin embargo, sin embargo.

Continue Reading

Trending