Connect with us

Noticias

On the OpenAI Economic Blueprint

Published

4 meses ago

on

  1. Man With a Plan.

  2. Oh the Pain.

  3. Actual Proposals.

  4. For AI Builders.

  5. Think of the Children.

  6. Content Identification.

  7. Infrastructure Week.

  8. Paying Attention.

The primary Man With a Plan this week for government-guided AI prosperity was UK Prime Minister Keir Starmer, with a plan coming primarily from Matt Clifford. I’ll be covering that soon.

Today I will be covering the other Man With a Plan, Sam Altman, as OpenAI offers its Economic Blueprint.

Cyrps1s (CISO OpenAI): AI is the ultimate race. The winner decides whether the future looks free and democratic, or repressed and authoritarian.

OpenAI, and the Western World, must win – and we have a blueprint to do so.

Do you hear yourselves? The mask on race and jingoism could not be more off, or firmly attached, depending on which way you want to set up your metaphor. If a movie had villains talking like this people would say it was too on the nose.

Somehow the actual documents tell that statement to hold its beer.

The initial exploratory document is highly disingenuous, trotting out stories of the UK requiring people to walk in front of cars waving red flags and talking about ‘AI’s main street,’ while threatening that if we don’t attract $175 billion in awaiting AI funding it will flow to China-backed projects. They even talk about creating jobs… by building data centers.

The same way some documents scream ‘an AI wrote this,’ others scream ‘the authors of this post are not your friends and are pursuing their book with some mixture of politics-talk and corporate-speak in the most cynical way you can imagine.’

I mean, I get it, playas gonna play, play, play, play, play. But can I ask OpenAI to play with at least some style and grace? To pretend to pretend not to be doing this, a little?

As opposed to actively inserting so many Fnords their document causes physical pain.

The full document starts out in the same vein. Chris Lehane, their Vice President of Global Affairs, writes an introduction as condescending as I can remember, and that plus the ‘where we stand’ repeat the same deeply cynical rhetoric from the summary.

In some sense, it is not important that the way the document is written makes me physically angry and ill in a way I endorse – to the extent that if it doesn’t set off your bullshit detectors and reading it doesn’t cause you pain, then I notice that there is at least some level on which I shouldn’t trust you.

But perhaps that is the most important thing about the document? That it tells you about the people writing it. They are telling you who they are. Believe them.

This is related to the ‘truesight’ that Claude sometimes displays.

As I wrote that, I was only on page 7, and hadn’t even gotten to the actual concrete proposals.

The actual concrete proposals are a distinct issue. I was having trouble reading through to find out what they are because this document filled me with rage and made me physically ill.

It’s important to notice that! I read documents all day, often containing things I do not like. It is very rare that my body responds by going into physical rebellion.

No, the document hasn’t yet mentioned even the possibility of any downside risks at all, let alone existential risks. And that’s pretty terrible on its own. But that’s not even what I’m picking up here, at all. This is something else. Something much worse.

Worst of all, it feels intentional. I can see the Fnords. They want me to see them. They want everyone to implicitly know they are being maximally cynical.

All right, so if one pushes through to the second half and the actual ‘solutions’ section, what is being proposed, beyond ‘regulating us would be akin to requiring someone to walk in front of every car waiving a red flag, no literally.’

The top level numbered statements describe what they propose, I attempted to group and separate proposals for better clarity. The nested statements (a, b, etc) are my reactions.

They say the Federal Government should, in a section where they actually say words with meanings rather than filling it with Fnords:

  1. Share national security information and resources.

    1. Okay. Yes. Please do.

  2. Incentivize AI companies to deploy their products widely, including to allied and partner nations and to support US government agencies.

    1. Huh? What? Is there a problem here that I am not noticing? Who is not deploying, other than in response to other countries regulations saying they cannot deploy (e.g. the EU)? Or are you trying to actively say that safety concerns are bad?

  3. Support the development of standards and safeguards, and ensure they are recognized and respected by other nations.

    1. In a different document I would be all for this – if we don’t have universal standards, people will go shopping. However, in this context, I can’t help but read it mostly as pre-emption, as in ‘we want America to prevent other states from imposing any safety requirements or roadblocks.’

  4. Share its unique expertise with AI companies, including mitigating threats including cyber and CBRN.

    1. Yes! Very much so. Jolly good.

  5. Help companies access secure infrastructure to evaluate model security risks and safeguards.

    1. Yes, excellent, great.

  6. Promote transparency consistent with competitiveness, protect trade secrets, promote market competition, ‘carefully choose disclosure requirements.’

    1. I can’t disagree, but how could anyone?

    2. The devil is in the details. If this had good details, and emphasized that the transparency should largely be about safety questions, it would be another big positive.

  7. Create a defined, voluntary pathway for companies that develop LLMs to work with government to define model evaluations, test models and exchange information to support the companies safeguards.

    1. This is about helping you, the company? And you want it to be entirely voluntary? And in exchange, they explicitly want preemption from state-by-state regulations.

    2. Basically this is a proposal for a fully optional safe harbor. I mean, yes, the Federal government should have a support system in place to aid in evaluations. But notice how they want it to work – as a way to defend companies against any other requirements, which they can in turn ignore when inconvenient.

    3. Also, the goal here is to ‘support the companies safeguards,’ not to in any way see if the models are actually a responsible thing to release on any level.

    4. Amazing to request actively less than zero Federal regulations on safety.

  8. Empower the public sector to quickly and securely adopt AI tools.

    1. I mean, sure, that would be nice if we can actually do it as described.

A lot of the components here are things basically everyone should agree upon.

Then there are the parts where, rather than this going hand-in-hand with an attempt to not kill everyone and ensure against catastrophes, attempts to ensure that no one else tries to stop catastrophes or prevent everyone from being killed. Can’t have that.

They also propose that AI ‘builders’ could:

  1. Form a consortium to identify best practices for working with NatSec.

  2. Develop training programs for AI talent.

I mean, sure, those seem good and we should have an antitrust exemption to allow actions like this along with one that allows them to coordinate, slow down or pause in the name of safety if it comes to that, too. Not that this document mentions that.

Sigh, here we go. Their solutions for thinking of the children are:

  1. Encourage policy solutions that prevent the creation and distribution of CSAM. Incorporate CSAM protections into the AI development lifestyle. ‘Take steps to prevent downstream developers from using their models to generate CSAM.’

    1. This is effectively a call to ban open source image models. I’m sorry, but it is. I wish it were not so, but there is no known way to open source image models, and have them not be used for CSAM, and I don’t see any reason to expect this to be solvable, and notice the reference to ‘downstream developers.’

  2. Promote conditions that support robust and lasting partnerships among AI companies and law enforcement.

  1. Apply provenance data to all AI-generated audio-visual content. Use common provenance standards. Have large companies report progress.

    1. Sure. I think we’re all roughly on the same page here. Let’s move on to ‘preferences.’

  2. People should be ‘empowered to personalize their AI tools.’

    1. I agree we should empower people in this way. But what does the government have to do with this? None of their damn business.

  3. People should control how their personal data is used.

    1. Yes, sure, agreed.

  4. ‘Government and industry should work together to scale AI literacy through robust funding for pilot programs, school district technology budgets and professional development trainings that help people understand how to choose their own preferences to personalize their tools.’

    1. No. Stop. Please. These initiatives never, ever work, we need to admit this.

    2. But also shrug, it’s fine, it won’t do that much damage.

And then, I feel like I need to fully quote this one too:

  1. In exchange for having so much freedom, users should be responsible for impacts of how they work and create with AI. Common-sense rules for AI that are aimed at protecting from actual harms can only provide that protection if they apply to those using the technology as well as those building it.

    1. If seeing the phrase ‘In exchange for having so much freedom’ doesn’t send a chill down your spine, We Are Not the Same.

    2. But I applaud the ‘as well as’ here. Yes, those using the technology should be responsible for the harm they themselves cause, so long as this is ‘in addition to’ rather than shoving all responsibility purely onto them.

Finally, we get to ‘infrastructure as destiny,’ an area where we mostly agree on what is to actually be done, even if I despise a lot of the rhetoric they’re using to argue for it.

  1. Ensure that AIs can train on all publicly available data.

    1. This is probably the law now and I’m basically fine with it.

  2. ‘While also protecting creators from unauthorized digital replicas.’

    1. This seems rather tricky if it means something other than ‘stop regurgitation of training data’? I assume that’s what it means, while trying to pretend it’s more than that. If it’s more than that, they need to explain what they have in mind and how one might do it.

  3. Digitize government data currently in analog form.

    1. Probably should do that anyway, although a lot of it shouldn’t go on the web or into LLMs. Kind of a call for government to pay for data curation.

  4. ‘A Compact for AI’ for capital and supply chains and such among US allies.

    1. I don’t actually understand why this is necessary, and worry this amounts to asking for handouts and to allow Altman to build in the UAE.

  5. ‘AI economic zones’ that speed up the permitting process.

    1. Or we could, you know, speed up the permitting process in general.

    2. But actually we can’t and won’t, so even though this is deeply, deeply stupid and second best it’s probably fine. Directionally this is helpful.

  6. Creation of AI research labs and workforces aligned with key local industries.

    1. This seems like pork barrel spending, an attempt to pick our pockets, we shouldn’t need to subsidize this. To the extent there are applications here, the bottleneck won’t be funding, it will be regulations and human objections, let’s work on those instead.

  7. ‘A nationwide AI education strategy’ to ‘help our current workforce and students become AI ready.’

    1. I strongly believe that what this points towards won’t work. What we actually need is to use AI to revolutionize the education system itself. That would work wonders, but you all (in government reading this document) aren’t ready for that conversation and OpenAI knows this.

  8. More money for research infrastructure and science. Basically have the government buy the scientists a bunch of compute, give OpenAI business?

    1. Again this seems like an attempt to direct government spending and get paid. Obviously we should get our scientists AI, but why can’t they just buy it the same way everyone else does? If we want to fund more science, why this path?

  9. Leading the way on the next generation of energy technology.

    1. No arguments here. Yay next generation energy production.

    2. Clearly Altman wants Helion to get money but I’m basically fine with that.

  10. Dramatically increase federal spending on power and data transmission and streamlined approval for new lines.

    1. I’d emphasize approvals and regulatory barriers more than money.

    2. Actual dollars spent don’t seem to me like the bottleneck, but I could be convinced otherwise.

    3. If we have a way to actually spend money and have that result in a better grid, I’m in favor.

  11. Federal backstops for high-value AI public works.

    1. If this is more than ‘build more power plants and transmission lines and batteries and such’ I am confused what is actually being proposed.

    2. In general, I think helping get us power is great, having the government do the other stuff is probably not its job.

When we get down to the actual asks in the document, a majority of them I actually agree with, and most of them are reasonable, once I was able to force myself to read the words intended to have meaning.

There are still two widespread patterns to note within the meaningful content.

  1. The easy theme, as you would expect, is the broad range of ‘spend money on us and other AI things’ proposals that don’t seem like they would accomplish much. There are some proposals that do seem productive, especially around electrical power, but a lot of this seems like the traditional ways the Federal government gets tricked into spending money. As long as this doesn’t scale too big, I’m not that concerned.

  2. Then there is the play to defeat any attempt at safety regulation, via Federal regulations that actively net interfere with that goal in case any states or countries wanted to try and help. There is clear desirability of a common standard for this, but a voluntary safe harbor preemption, in exchange for various nebulous forms of potential cooperation, cannot be the basis of our entire safety plan. That appears to be the proposal on offer here.

The real vision, the thing I will take away most, is in the rhetoric and presentation, combined with the broader goals, rather than the particular details.

OpenAI now actively wants to be seen as pursuing this kind of obviously disingenuous jingoistic and typically openly corrupt rhetoric, to the extent that their statements are physically painful to read – I dealt with much of that around SB 1047, but this document takes that to the next level and beyond.

OpenAI wants no enforced constraints on their behavior, and they want our money.

OpenAI are telling us who they are. I fully believe them.

Related Topics:
Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

¿Cómo el Géminis de Google cambiará la forma en que los niños aprenden y juegan?

Published

1 hora ago

on

3 mayo, 2025

By

Google ha anunciado que su IA de Géminis pronto estará disponible para que los niños los usen en sus dispositivos Android, todo mientras se supervisará a través de la aplicación de control de los padres de la empresa. Esta decisión ha planteado algunas preocupaciones y preguntas entre los padres sobre los posibles beneficios y riesgos de dejar que los niños interactúen con los sistemas de IA. El gigante tecnológico asegura a los usuarios que los datos de los niños no se utilizarán para entrenar a Gemini, pero como con cualquier tecnología nueva, algunas precauciones no deben ignorarse.

En este artículo, profundizaremos en los detalles de la próxima introducción de Google de Géminis Ai para niñoslos beneficios que podría ofrecer, riesgos potenciales y cómo los padres pueden mantener el control para asegurarse de que la experiencia de su hijo sea lo más segura posible.

¿Qué es Google Gemini AI?

Gemini AI es la herramienta de conversación avanzada de Google diseñada para ayudar a los usuarios con una variedad de tareas, incluidos el aprendizaje, el entretenimiento y la resolución de problemas. Al permitir que los niños usen Gemini, Google ofrece a los niños la oportunidad de responder sus preguntas, la tarea resuelta y las historias se leen en voz alta. También ayuda a los usuarios con ideas de lluvia de ideas, aprendiendo nuevos conceptos y a resolver problemas matemáticos.

Gemini AI tiene el potencial de ser una poderosa herramienta educativa, que proporciona a los niños un nivel de interacción y apoyo que no han tenido antes. Ya sea leer historias, ayudar con las tareas o incluso ofrecer sugerencias creativas, Gemini puede abrir nuevas vías para el aprendizaje y el compromiso. Pero, como es el caso con cualquier tecnología nueva, hay aspectos positivos y inconvenientes potenciales a considerar.

¿Cómo funcionará Gemini AI para los niños?

Google ha diseñado Gemini AI para que sea lo más amigable para los niños posible, teniendo en cuenta que los niños interactúan con la tecnología de manera diferente a los adultos. Al usar la aplicación Family Link, los padres pueden administrar el uso de sus hijos, permitiendo restricciones basadas en la edad de sus hijos. Esto significa que los niños podrán acceder a Gemini en sus dispositivos, pero los padres tendrán una supervisión completa sobre su actividad.


Desbloqueo de privacidad: Google Wallet ahora demuestra la edad sin exponer sus datos!

Como se mencionó, Google asegura que los datos recopilados del uso de los niños de Gemini AI no se utilizarán para capacitar a la IA, lo que hace que la privacidad sea una prioridad. Sin embargo, si bien Google ha tomado medidas para proteger los datos de los niños, también ha reconocido que existen riesgos potenciales involucrados con el uso de IA de esta manera.

Los riesgos y los posibles problemas con Géminis Ai

A pesar de que Google está tratando de hacer que Gemini AI sea segura para los niños, hay algunas preocupaciones notables. Primero, es importante entender que la IA puede cometer errores, y a veces estos errores pueden ser más que humorísticos o benignos. Por ejemplo, ha habido casos en el pasado donde los chatbots de IA sugirieron información ridícula o irrelevante a los usuarios. Algunos chatbots incluso han engañado a los usuarios para que piensen que estaban interactuando con humanos reales.

Para los niños, el riesgo es aún más pronunciado. Es posible que los niños no comprendan completamente que estén charlando con una máquina y pueden confundirse si la IA responde con información falsa o inapropiada. Se sabe que algunos chatbots de IA proporcionan contenido engañoso o angustiante, y existe el riesgo de que los niños se encuentren en situaciones incómodas o inapropiadas al usar estas herramientas sin supervisión.

¿Cómo el Géminis de Google cambiará la forma en que los niños aprenden y juegan?¿Cómo el Géminis de Google cambiará la forma en que los niños aprenden y juegan?

Un ejemplo bien conocido de este problema ocurrió con el personaje. En algunos casos, los bots llegaron a decirle a los usuarios que estaban hablando con personas reales. Después de las demandas alegando que los bots estaban promoviendo contenido inapropiado, carácter. AI introdujo controles parentales y nuevas restricciones para evitar este tipo de confusión.

Del mismo modo, mientras que Gemini AI está diseñado para ayudar a los niños, los padres deben comprender las limitaciones y los defectos inherentes a los sistemas de IA. Google ha advertido a los padres que “Géminis puede cometer errores”, lo que podría llevar a sus hijos a encontrarse con información que sea incorrecta o inapropiada.


Modo de escritorio tipo DEX: Google lo está trayendo a los teléfonos AndroidModo de escritorio tipo DEX: Google lo está trayendo a los teléfonos Android

¿Cómo pueden los padres mantener a sus hijos seguros?

Google ha presentado algunas recomendaciones clave para que los padres se aseguren de que sus hijos usen Gemini AI de manera segura y responsable. Uno de los pasos más importantes que los padres pueden dar es tener una discusión abierta con sus hijos sobre la IA. Los padres deben asegurarse de que sus hijos entiendan que la IA no es humana y no puede reemplazar las interacciones reales con las personas.

Además de explicar cómo funciona la IA, es crucial que los padres también establezcan límites en torno a lo que es aceptable compartir con Gemini. Se debe recordar a los niños que no ingresen información confidencial o personal en la IA, y se les debe enseñar a reconocer cuando algo se siente inapropiado o incorrecto.

La aplicación Family Link ofrece una gran cantidad de características para ayudar a los padres a mantener el control. A través de esta aplicación, los padres pueden monitorear el uso de Gemini, establecer límites del dispositivo y acceder a informes de actividad detallados sobre cómo y cuándo el niño está utilizando la IA. Los padres también pueden apagar el acceso a Géminis en cualquier momento, si sienten que la IA se está utilizando de manera inapropiada o excesiva.

¿Por qué Google ofrece Gemini AI para niños?

La decisión de Google de ofrecer a Gemini AI a los niños es parte de los esfuerzos más amplios de la compañía para integrar la IA en varios aspectos de nuestra vida cotidiana. A medida que AI continúa evolucionando, se está volviendo más integrado en el aprendizaje, la comunicación e incluso el entretenimiento. Para los niños, esto podría ser un cambio de juego, ofreciéndoles una nueva forma de explorar su creatividad e interactuar con el mundo.

La tecnología puede ser una herramienta invaluable para los niños, particularmente cuando se trata de ayudar con la tarea, la lectura y los ejercicios creativos. Mientras existan salvaguardas apropiadas, los niños podrían beneficiarse significativamente de tener un asistente personal de IA.


¡Los fanáticos de GTA 6 decepcionados cuando Rockstar retrasa el lanzamiento para mayo de 2026!¡Los fanáticos de GTA 6 decepcionados cuando Rockstar retrasa el lanzamiento para mayo de 2026!

Sin embargo, es esencial que los padres sigan siendo atentos y proactivos en la gestión de cómo sus hijos usan esta nueva herramienta. Si bien la IA puede ayudar con muchas tareas, no puede reemplazar el juicio y la inteligencia emocional de una persona real. Por lo tanto, los padres deben asegurarse de que sus hijos usen Gemini con moderación y dentro de los límites seguros.

¿Qué pueden hacer los padres ahora mismo?

Si usted es padre y desea aprovechar los beneficios de Gemini AI para su hijo, aquí hay algunos pasos procesables que puede tomar:

  1. Descargar Google Family Link: Asegúrese de tener la aplicación instalada en el dispositivo de su hijo para que pueda administrar su uso de Gemini AI y establecer restricciones sobre cuánto tiempo pasan a usarlo.
  2. Tener una conversación sobre AI: Explique a su hijo que si bien Gemini puede ser una herramienta útil, sigue siendo una máquina y no una persona real. Asegúrese de que comprendan los límites de la IA.
  3. Establecer límites: Anime a su hijo a compartir solo información no sensible con Gemini y enseñarles a reconocer cuándo algo parece incorrecto o inapropiado.
  4. Monitoreo: Use el enlace familiar para rastrear la actividad de su hijo y asegúrese de que esté utilizando Gemini de manera responsable. Siempre puede deshabilitar el acceso si siente que es necesario.

El resultado final

Gemini AI presenta una nueva frontera emocionante en cómo los niños pueden aprender e interactuar con la tecnología. Sin embargo, como toda la nueva tecnología, viene con riesgos. Como padres, es esencial estar al tanto de estos riesgos y tomar medidas para garantizar que sus hijos usen Gemini AI de manera segura y responsable. Con las precauciones correctas en su lugar, Gemini puede ser una herramienta de aprendizaje valiosa para su hijo, pero depende de usted mantenerlas involucradas y protegerlas de peligros potenciales.

Continue Reading

Noticias

Operai anuló las preocupaciones de los evaluadores expertos para liberar Sycophantic GPT-4O

Published

10 horas ago

on

3 mayo, 2025

By

Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información

Ha sido una semana de revés para la compañía de IA generativa número uno en términos de usuarios.

Operai, creador de ChatGPT, lanzado y luego retiró una versión actualizada del modelo de lenguaje grande (texto, imagen, audio) subyacente (LLM) que ChatGPT está conectado de forma predeterminada, GPT-4O, debido a que es demasiado sycofánico para los usuarios. La compañía reportó recientemente al menos 500 millones de usuarios semanales activos del servicio web exitoso.

Un manual rápido en la terrible, sin buena actualización Sycophantic GPT-4O

Operai comenzó a actualizar GPT-4O a un modelo más nuevo que esperaba que los usuarios fueran más recibidos por los usuarios el 24 de abril, completado la actualización del 25 de abril y, luego, cinco días después, lo volvió al 29 de abril, después de días de crecientes quejas de los usuarios en las redes sociales, principalmente en X y Reddit.

Las quejas variaron en intensidad y en detalles, pero todas generalmente se unieron en torno al hecho de que GPT-4O parecía estar respondiendo a las consultas de los usuarios con halagos excesivos, apoyo para ideas equivocadas, incorrectas y francamente dañinas, y “pesando” o elogiando al usuario a un grado excesivo cuando en realidad no se solicitó, mucho menos justificado.

En ejemplos captados y publicados por los usuarios, ChatGPT impulsado por ese modelo Sycofantántico y actualizado GPT-4O había elogiado y respaldado una idea de negocio para “mierda en un palo” literal, aplaudió el texto de muestra de un usuario de aislamiento delirante esquizofrénico, e incluso supuestamente apoyó a los planes para cometer terrorismo.

Los usuarios, incluidos los principales investigadores de IA e incluso un ex CEO interino de Openai, dijeron que les preocupaba que las animadoras descaradas de un modelo de IA por este tipo de indicaciones terribles de los usuarios fueran más que simplemente molestas o inapropiadas, que podría causar daños reales a los usuarios que creían erróneamente la IA y se sintió incorporada por su apoyo por sus peores ideas e impulsas. Se elevó al nivel de un problema de seguridad de IA.

Luego, Operai lanzó una publicación de blog que describe lo que salió mal: “Nos centramos demasiado en los comentarios a corto plazo y no explicamos completamente cómo las interacciones de los usuarios con ChatGPT evolucionan sobre el tiempo. Como resultado, GPT-4O se sesgó hacia las respuestas que fueron demasiado solidarias pero falsas”, y los pasos que la compañía estaba tomando para abordar los problemas. La jefa de comportamiento de modelo de OpenAi, Joanne Jang también participó en un foro de “preguntarme cualquier cosa” o AMA que respondió publicaciones de texto de los usuarios y reveló más información sobre el enfoque de la compañía a GPT-4O y cómo terminó con un modelo excesivamente sycofántico, incluida no “BAK[ing] En suficientes matices “, en cuanto a cómo estaba incorporando la retroalimentación de los usuarios, como las acciones de” pulgar hacia arriba “realizadas por los usuarios en respuesta a los resultados del modelo que les gustaba.

Ahora hoy, Openai ha lanzado una publicación de blog con aún más información sobre cómo ocurrió la actualización sycophantic GPT-4O, acreditada no a ningún autor en particular, sino a “OpenAi”.

El CEO y cofundador Sam Altman también publicó un enlace a la publicación del blog en X, diciendo: “Nos perdimos la marca con la actualización GPT-4O de la semana pasada. Lo que sucedió, lo que aprendimos y algunas cosas que haremos de manera diferente en el futuro”.

Lo que revela la nueva publicación del blog de Operai sobre cómo y por qué GPT-4O se volvió tan sycophantic

Para mí, un usuario diario de ChatGPT, incluido el modelo 4O, la admisión más sorprendente de la nueva publicación de blog de OpenAi sobre la actualización de la skocancia es cómo la compañía parece revelar que es hizo Reciba inquietudes sobre el modelo antes de la liberación de un pequeño grupo de “probadores expertos”, pero que aparentemente anuló a los que están a favor de una respuesta entusiasta más amplia de un grupo más amplio de usuarios más generales.

Como la compañía escribe (énfasis mía):

“Si bien hemos tenido discusiones sobre los riesgos relacionados con la skofancia en GPT-4O por un tiempo, la sycophancy no se marcó explícitamente como parte de nuestras pruebas prácticas internas, ya que algunos de nuestros probadores expertos estaban más preocupados por el cambio en el tono y el estilo del modelo. Sin embargo. Algunos probadores expertos habían indicado que el comportamiento del modelo se “sentía” ligeramente …

“Luego tuvimos que tomar una decisión: ¿deberíamos retener la implementación de esta actualización a pesar de las evaluaciones positivas y los resultados de las pruebas A/B, basadas solo en los banderas subjetivas de los probadores expertos? Al final, decidimos lanzar el modelo debido a las señales positivas de los usuarios que probaron el modelo.

“Desafortunadamente, esta fue la llamada equivocada. Construimos estos modelos para nuestros usuarios y, aunque los comentarios de los usuarios son críticos para nuestras decisiones, en última instancia, es nuestra responsabilidad interpretar esa retroalimentación correctamente “.

Esto me parece un gran error. ¿Por qué incluso tener evaluadores expertos si no vas a soportar su experiencia más alto que las masas de la multitud? Le pregunté a Altman sobre esta elección en X pero aún no ha respondido.

No todas las ‘señales de recompensa’ son iguales

La nueva publicación de blog post mortem de OpenAI también revela más detalles sobre cómo la compañía capacita y actualiza nuevas versiones de los modelos existentes, y cómo la retroalimentación humana altera las cualidades del modelo, el carácter y la “personalidad”. Como la compañía escribe:

“Desde que lanzó GPT – 4O en ChatGPT en mayo pasado, hemos lanzado cinco actualizaciones importantes centrado en los cambios en la personalidad y la ayuda. Cada actualización implica un nuevo post-entrenamiento, y a menudo muchos ajustes menores al proceso de capacitación del modelo se prueban de forma independiente y luego se combinan en un solo modelo actualizado que luego se evalúa para el lanzamiento.

“Para los modelos posteriores al entrenamiento, tomamos un modelo base previamente capacitado, supervisamos el ajuste fino en un amplio conjunto de respuestas ideales escritas por humanos o modelos existentes, y luego ejecutamos el aprendizaje de refuerzo con señales de recompensa de una variedad de fuentes.

“Durante el aprendizaje de refuerzo, presentamos el modelo de idioma con un aviso y le pedimos que escriba respuestas. Luego calificamos su respuesta de acuerdo con las señales de recompensa y actualizamos el modelo de idioma para que sea más probable que produzca respuestas de mayor calificación y menos probabilidades de producir respuestas con menor calificación.“

Claramente, las “señales de recompensa” utilizadas por Operai durante el post-entrenamiento tienen un enorme impacto en el comportamiento del modelo resultante, y como la compañía admitió anteriormente cuando superó las respuestas de “pulgares” de los usuarios de ChatGPT a sus salidas, esta señal puede no ser la mejor para usar igualmente con otros al determinar a otros. cómo El modelo aprende a comunicarse y que tipos de respuestas debería estar sirviendo. Operai admite esto directamente en el próximo párrafo de su publicación, escribiendo:

“Definir el conjunto correcto de señales de recompensa es una pregunta difícil, y tenemos muchas cosas en cuenta: son las respuestas correctas, ¿son útiles? ¿Están en línea con nuestra especificación de modelo, están seguros, usan usuarios como ellos, y así sucesivamente? Tener mejores y más completas señales de recompensa produce mejores modelos para ChatGPT, por lo que siempre estamos experimentando con nuevas señales, pero cada uno tiene sus Quirks”.

De hecho, OpenAi también revela que la señal de recompensa de “pulgares hacia arriba” fue una nueva utilizada junto con otras señales de recompensa en esta actualización en particular.

“La actualización introdujo una señal de recompensa adicional basada en los comentarios de los usuarios: los datos de thumbs y pulgar de ChatGPT. Esta señal a menudo es útil; un pulgar hacia abajo generalmente significa que algo salió mal”.

Sin embargo, de manera crítica, la compañía no culpa a los nuevos datos de “pulgar hacia arriba” directamente por el fracaso del modelo y los comportamientos de porristas ostentosos. En su lugar, la publicación del blog de Openai dice que fue esta conjunto Con una variedad de otras señales de recompensa nuevas y antiguas, condujo a los problemas: “… Tuvimos mejoras de candidatos para incorporar mejor la retroalimentación, la memoria y los datos más frescos, entre otros. Nuestra evaluación temprana es que cada uno de estos cambios, que se habían visto beneficiosos individualmente, puede haber jugado un papel en la escalada sobre la sycofancia cuando se combinó”.

Al reaccionar a esta publicación de blog, Andrew Mayne, un ex miembro del personal técnico de Operai que ahora trabaja en la firma de consultoría de IA Interdimensional, escribió en X de otro ejemplo de cómo los cambios sutiles en los incentivos de recompensa y las pautas del modelo pueden afectar el rendimiento del modelo de manera bastante drástica:

“Al principio de OpenAi, tuve un desacuerdo con un colega (que ahora es un fundador de otro laboratorio) sobre el uso de la palabra “cortés” en un pronta ejemplo que escribí.

Argumentaron que “cortés” era políticamente incorrecto y querían cambiarlo por “útil”.

Señalé que centrarse solo en la ayuda puede hacer que un modelo sea demasiado compatible, de hecho, de hecho, que puede ser dirigido a contenido sexual en unos pocos turnos.

Después de demostrar ese riesgo con un intercambio simple, el aviso se mantuvo “cortés”.

Estos modelos son raros.“

Cómo Operai planea mejorar sus procesos de prueba modelo en el futuro

La compañía enumera seis mejoras en el proceso sobre cómo evitar un comportamiento de modelo indeseable y menos ideal en el futuro, pero para mí lo más importante es esto:

“Ajustaremos nuestro proceso de revisión de seguridad para considerar formalmente los problemas de comportamiento, como la alucinación, el engaño, la confiabilidad y la personalidad, como preocupaciones de bloqueo. Incluso si estos problemas no son perfectamente cuantificables hoy en día, nos comprometemos a bloquear los lanzamientos en función de las mediciones de proxy o las señales cualitativas, incluso cuando las métricas como las pruebas A/B se ven bien”.

En otras palabras, a pesar de lo importantes que los datos, especialmente los datos cuantitativos, son los campos del aprendizaje automático y la inteligencia artificial, OpenAi reconoce que esto solo no puede y no debe ser el único medio por el cual se juzga el rendimiento de un modelo.

Si bien muchos usuarios que proporcionan un “pulgar hacia arriba” podrían indicar un tipo de comportamiento deseable a corto plazo, las implicaciones a largo plazo sobre cómo responde el modelo de IA y dónde lo llevan esos comportamientos y sus usuarios podrían conducir a un lugar muy oscuro, angustioso, destructivo y indeseable. Más no siempre es mejor, especialmente cuando está limitando el “más” a algunos dominios de señales.

No es suficiente decir que el modelo aprobó todas las pruebas o recibió una serie de respuestas positivas de los usuarios: la experiencia de los usuarios avanzados capacitados y sus comentarios cualitativos de que algo “parecía” sobre el modelo, incluso si no podían expresar por qué, debería tener mucho más peso que OpenAi estaba asignando anteriormente.

Esperemos que la empresa, y todo el campo, aprenda de este incidente e integre las lecciones en el futuro.

Control y consideraciones más amplias para los tomadores de decisiones empresariales

Hablando quizás más teóricamente, para mí, también indica por qué la experiencia es tan importante, y específicamente, la experiencia en los campos más allá de y afuera de la que está optimizando (en este caso, aprendizaje automático e IA). Es la diversidad de la experiencia la que nos permite como especie lograr nuevos avances que beneficien a nuestro tipo. Uno, digamos, STEM, no necesariamente debe mantenerse por encima de los demás en las humanidades o las artes.

Y finalmente, también creo que revela en su corazón un problema fundamental con el uso de comentarios humanos para diseñar productos y servicios. Los usuarios individuales pueden decir que les gusta una IA más sycofántica basada en cada interacción aislada, al igual que también pueden decir que aman la forma en que la comida rápida y los soda saben, la conveniencia de los contenedores de plástico de un solo uso, el entretenimiento y la conexión que derivan de las redes sociales, la validación de la cosmovisión y el tribalista que se sienten cuando leen los medios políticos o el chismoso de los tabloides. Una vez más, tomados todos juntos, el acumulación De todos estos tipos de tendencias y actividades, a menudo conduce a resultados muy indeseables para los individuos y la sociedad: obesidad y mala salud en el caso de la comida rápida, la contaminación y la interrupción endocrina en el caso de los desechos plásticos, la depresión y el aislamiento de la sobreindulgencia de las redes sociales, un cuerpo más astillado y menos informado público de la lectura de noticias de mala calidad.

Los diseñadores de modelos de IA y los tomadores de decisiones técnicos en Enterprises harían bien en tener en cuenta esta idea más amplia al diseñar métricas en torno a cualquier objetivo medible, porque incluso cuando cree que está utilizando datos para su ventaja, podría ser contraproducente de una manera que no esperaba o anticipar completamente, dejando su lucha para reparar el daño y el MOP que hizo, sin embargo, sin embargo.

Continue Reading

Noticias

Si necesita una razón para actualizar a chatgpt plus, es esto

Published

16 horas ago

on

2 mayo, 2025

By

Suscribirse a ChatGPT puede parecer inútil, pero teniendo en cuenta cuán bueno se ha vuelto GPT-4O, es hora de reconsiderar seriamente sus reservas.

9

Investigación profunda

Siempre puede realizar una cantidad decente de investigación con ChatGPT, pero las capacidades del software se han expandido significativamente con GPT-4O. La investigación profunda es el mejor ejemplo de esto.

Si bien puede usar la herramienta de investigación profunda de ChatGPT con la versión gratuita, no recibirá tantas solicitudes como con la versión Plus. Cuando avise a través de una investigación profunda, ChatGPT hará una búsqueda web integral. Puede extraer listas de lectura, estadísticas y mucho más.

Dada la medida en que la investigación profunda hace su trabajo, deberá esperar unos minutos para que se completen los resultados. Pero teniendo en cuenta cuán completas son las respuestas, vale la pena esperar. Al momento de escribir en mayo de 2025, obtienes 25 solicitudes de investigación profunda por mes.

8

Mejor razonamiento

El razonamiento fue un gran problema en las versiones anteriores de ChatGPT, pero con el tiempo, GPT-4O se ha vuelto mucho mejor a este respecto. Si bien aún no está en el mismo nivel de perplejidad, obtendrá respuestas integrales cuando solicite un razonamiento más profundo.

Chatgpt dada un conjunto de datos de anamoly de temperatura para observar tendencias con capacidad de razonamiento habilitado

Puede usar esta función en todo tipo de conversaciones. Si bien tiene sentido al investigar, también puede encontrar uso en solicitar un razonamiento más profundo cuando establezca objetivos. A veces, pedir esto puede ayudar a aplicar más lógica a las decisiones que tome también.

Además de leer sus indicaciones, ChatGPT puede razonar usando las imágenes que sube.

7

Menos respuestas robóticas

ChatGPT nunca reemplazará las conversaciones humanas, pero ahora suena mucho menos robótica. Al intercambiar mensajes con el chatbot, sentirás que estás hablando con una persona. El software puede usar el lenguaje humano y los coloquialismos, y tiene la inteligencia para hacer preguntas legítimas.

Tener una conversación en chatgpt

Con GPT-4O, ChatGPT es más probable que dé respuestas honestas cuando lo pides. En lugar de actuar como su mayor animadora, la herramienta puede racionalizar sus puntos y tiene menos miedo de estar en desacuerdo con usted. Sin embargo, es posible que a veces deba ajustar esto, con indicaciones como “Por favor, sea honesto y no tenga miedo de estar en desacuerdo”.

6

Mejor generación de imágenes

Dall-E era un generador de imágenes AI útil, pero tenía numerosos problemas que necesitaban abordar. Por ejemplo, fue notoriamente malo para crear texto; Cualquier cosa más que palabras simples se convirtió rápidamente en un problema.

Aunque ocasionalmente comete errores, GPT-4O es mucho mejor para generar imágenes. Los humanos interactúan mejor con los objetos, y la aplicación escucha para solicitar más. Cuando se combina con las funciones de edición de ChatGPT, obtienes un fuerte generador de imágenes de IA de AI, aunque Adobe Firefly es aún mejor.

Captura de pantalla de la biblioteca con una imagen de chatgpt generada en gpt-4o

Una molestia es que incluso ahora, GPT-4O a veces no escucha solicitudes. Independientemente de cuántas veces vuelva a palabras el mensaje, Chatgpt a veces simplemente no hará lo que le pidió. Con suerte, esto se planchará con suficiente tiempo.

5

Procesamiento más rápido

Soy lo que describirías como un usuario de Power de ChatGPT, y como resultado, he notado cambios sutiles, como mayores velocidades de procesamiento. Por lo que he visto, GPT-4O lleva menos tiempo para elaborar respuestas.

Las conversaciones generalmente fluyen mucho más rápido, especialmente cuando el software no tiene que buscar en la web o actualizar la memoria. La aplicación web podría usar algunas mejoras, a medida que las velocidades de conversación se disminuyen a medida que crecen, pero sigue siendo significativamente mejor que antes.

Dado que puede hablar más rápidamente con la herramienta en estos días, es aún más fácil ahorrar tiempo y lograr más con ChatGPT.

4

Ofreciendo más sugerencias

Las versiones anteriores de CHATGPT a menudo se sentían como usar la aplicación como una idea unilateral LaunchPad. Puede recibir sugerencias si provocó manualmente el chatbot, pero rara vez tomó la iniciativa por sí sola. Sin embargo, GPT-4O es mucho mejor para dar sugerencias sin que necesite avanzar más.

ChatGPT pregunta si desea crear hojas de cálculo, imágenes, mapas mentales y más. A menudo, estas sugerencias serán cosas en las que no pensó o hubiera necesitado pasar más tiempo trabajando manualmente.

Chatgpt ofreciendo sugerencias en la aplicación

Cuando se usa investigaciones profundas, ChatGPT a menudo hace preguntas de seguimiento para asegurarse de que tenga toda la información necesaria. Puede decirle a GPT-4O que deje de ofrecer sugerencias si cree que son demasiado, pero tener esta característica de forma predeterminada es excelente para el pensamiento creativo.

3

Mejor memorización

Es posible que deba iniciar diferentes conversaciones en ChatGPT por numerosas razones. Quizás desee organizar sus pensamientos de manera más efectiva, o tal vez haya alcanzado el límite de conversación máximo.

De todos modos, no necesita preocuparse por que la aplicación olvide todo lo que le ha dicho. El software puede leer y extraer cualquier información relevante para informar mejor sus respuestas. Incluso después de eliminar ciertos recuerdos, descubrí que la herramienta es capaz de comprender el contexto sin que yo necesite refinar mi aviso.

Debido a que ChatGPT puede recordar lo que le dice de manera más efectiva, recibirá respuestas mucho mejores que antes. Vale la pena pagar el precio mensual por más.

2

Uso no inglés mejorado

Si bien ChatGPT ha hecho avances significativos en sus ofertas en inglés, no siempre ha funcionado tan bien en otros idiomas. Pero con GPT-4O, es mucho mejor a este respecto.

Además del inglés, a veces uso GPT-4O en danés. Si bien todavía no está en el mismo nivel que el inglés, la herramienta es mejor para ayudarme a memorizar y desarrollar las respuestas que quiero.

Podría usar alguna mejora en la generación de imágenes, pero espero que eso cambie a largo plazo. Los idiomas con caracteres especiales probablemente tomarán la herramienta más tiempo para aprender.

1

Mejor modo de voz

Además de las mejoras basadas en texto, el modo de voz de ChatGPT ha hecho grandes pasos desde los primeros días de GPT-4O. Las conversaciones fluyen mejor, y aunque aún puedes decir que estás hablando con un bot, se siente más humano.

La voz del lunes de Chatgpt

ChatGPT incluso presentó el modo Monday, una nueva voz, en abril de 2025, para expandir sus ofertas. Además de pedir consejo, puede usar la herramienta para la preparación de la entrevista, participar en algunas bromas y mucho más.

Dado que sus chats se transcribirán más adelante, vale la pena experimentar con el modo de voz.

ChatGPT Plus ofrece más beneficios de los que inicialmente puede conocer a la vista, y las mejoras significativas para GPT-4O son una de ellas. La versión gratuita de ChatGPT es adecuada para conversaciones básicas, pero se perderá si no actualiza.

Continue Reading

Trending