Connect with us

Noticias

¿Cuál fue el misterioso asistente de Pixie del Pixel 9?

Published

on

A finales de 2023, escuchamos que Google estaba trabajando en un nuevo asistente digital que evidentemente se planeó debutar en el Pixel 9 en 2024. Evidentemente llamado Pixie, el asistente habría manejado tareas de IA en el dispositivo usando un modelo de Gemini Nano. Pero la IA nunca se materializó. Entonces, ¿qué pasó con Pixie, y lo volveremos a ver?

Bienvenido al compiladorsu resumen semanal de Goings-On. Paso mis días mientras el editor de Google leyendo y escribiendo sobre lo que Google está haciendo a través de Android, Pixel, Gemini y más, y hablo de todo aquí en esta columna. Esto es lo que ha estado en mi mente esta semana.

¿Qué era Pixie?

Según los informes de la información, Pixie estaba destinado a ser un asistente de IA en el dispositivo exclusivo de los teléfonos de Google Pixel, concebido antes de que el chatbot Gemini llegara a la escena (todavía era Google Bard en aquel entonces). Usando un modelo local de Géminis Nano, la IA habría extraído datos de las aplicaciones de Google en su teléfono para ofrecer asistencia más personalizada. La información dijo en 2023 que Pixie podría haber evolucionado “a una versión mucho más personalizada del Asistente de Google”.

Aparentemente, Pixie estaba planeado para asumir las tareas del asistente del Asistente de Google en los teléfonos de Google. Obviamente, eso nunca sucedió, aunque Google ha anunciado oficialmente sus planes para eliminar gradualmente al Asistente Legacy a favor de Gemini en el futuro cercano.

Relacionado

Géminis está reemplazando oficialmente al Asistente de Google, esto es lo que eso significa para ti

Google Assistant se está jubilando este año

¿Qué pasó con Pixie?

Una mano sosteniendo un teléfono y mostrando a Gemini avanzado en la pantalla del teléfono

La serie Pixel 9 aterrizó el año pasado sin mencionar el asistente de Pixie que se rumoreaba el año anterior. El informe posterior de la información (llamado a nuestra atención por 9to5Google) arroja algo de luz sobre lo que pudo haberle sucedido a Pixie.

Según los informes, el CEO de Google, Sundar Pichai, ordenó personalmente un cambio en la estrategia con Pixie para evitar la competencia con el asistente de IA prioritario de Google, Gemini. La marca Pixie parece estar bien y verdaderamente retirada, pero algunas características de Pixie terminaron llegando al Pixel 9. Capturas de pantalla de Pixel, una característica de IA local impulsada por el modelo Gemini Nano XS, evidentemente comenzó su vida como funcionalidad de Pixie. 9to5Google también ha informado que la extensión de servicios públicos de Gemini que permite a la IA controlar directamente la configuración del dispositivo, la reproducción de medios, las alarmas y más, al mismo tiempo, se planeó ser parte de la experiencia de Pixie.

La información ha informado que estas características aparentemente salieron de Pixie no hacen una experiencia tan similar a lo que Pixie habría sido. Sin embargo, es posible que veamos más de lo que Pixie podría haber sido en el futuro.

Relacionado

La pequeña aplicación de capturas de pantalla de Pixel de Google finalmente me convenció de que AI podría ser un gran problema

Las capturas de pantalla de Pixel pueden ser la forma más clara de Google de demostrar que la IA es útil

¿Podría Pixie regresar?

La aplicación de capturas de pantalla de Pixel se muestra en un Pixel 9 Pro con un telón de fondo arremolinado.

Con Gemini tan claramente una prioridad para Google, parece poco probable que veamos el lanzamiento de un asistente de inteligencia artificial exclusivo de píxeles que se superpone con el conjunto de funciones de Gemini; de hecho, con Gemini listo para reemplazar el Asistente de Google en la mayoría de los dispositivos en el futuro cercano, Google parece que va en la dirección opuesta. Pero un informe de marzo de Android Authority que hace referencia a “Una fuente dentro de Google” dice que más funcionalidad de Pixie llegará a la serie Pixel 10 en forma de una nueva aplicación llamada Pixel Sense.

Parece que Pixel Sense no competirá directamente con Gemini, sino que intentará proporcionar sugerencias “predictivas” basadas en el contexto de sus aplicaciones de Google conectadas, incluidos Calendar, Chrome, Gmail, Keep, Maps y más. Pixel Sense aparentemente también podrá organizar sus capturas de pantalla en un archivo de búsqueda como lo hace la aplicación de capturas de pantalla Pixel actual, insinuando que puede reemplazar las capturas de pantalla por completo.

Pixel Sense funcionará completamente en el dispositivo; Android Authority cita una fuente diciendo que “sus datos permanecen privados, visibles solo para usted, ni siquiera Google puede verlo”.

Los informes de AA no pintan una imagen completa de cómo funcionará realmente la aplicación Pixel Sense, pero como se describe, parece que podría funcionar de manera similar a la de Google Now, o la función S25 similar de Samsung, ahora breve. Esas características también tienen como objetivo proporcionar información según lo necesite, informado por el contexto de sus cuentas conectadas. Con el acceso a lo que parece esencialmente toda la información almacenada en su cuenta de Google y alimentada por Gemini Nano, Pixel Sense podría hacer un mejor trabajo para ofrecer actualizaciones útiles a medida que las necesita.

Relacionado

Revisión: El Samsung Galaxy S25 es un teléfono pequeño sin grandes ideas

Todavía bastante agradable, aunque

Géminis es tu asistente de IA de Android para lo previsible

El asistente de Pixie probablemente nunca verá la luz del día en su forma inicialmente planificada; Google está poniendo todos sus huevos de asistente en la canasta de Géminis. Pero parece que obtendremos más de la funcionalidad de Pixie en la serie Pixel 10 en forma de la nueva aplicación Pixel Sense. En cuanto a qué es exactamente el sentido de Pixel, tendremos que esperar y ver. Es posible que escuchemos más en Google I/O, que comienza el próximo mes.

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

Las alucinaciones de IA están empeorando, incluso cuando los nuevos sistemas se vuelven más potentes

Published

on

El mes pasado, un bot de IA que maneja el soporte técnico para Cursor, una herramienta prometedora para programadores de computadoras, alertó a varios clientes sobre un cambio en la política de la empresa. Dijo que ya no se les permitía usar el cursor en más de una sola computadora.

En publicaciones enojadas a tableros de mensajes de Internet, los clientes se quejaron. Algunos cancelaron sus cuentas del cursor. Y algunos se pusieron aún más enojados cuando se dieron cuenta de lo que había sucedido: el bot Ai había anunciado un cambio de política que no existía.

“No tenemos esa política. Por supuesto, es libre de usar el cursor en múltiples máquinas”, escribió el director ejecutivo y cofundador de la compañía, Michael Truell, en una publicación de Reddit. “Desafortunadamente, esta es una respuesta incorrecta de un bot de soporte de IA de primera línea”.

Más de dos años después de la llegada de ChatGPT, compañías tecnológicas, trabajadores de oficina y consumidores cotidianos están utilizando bots de IA para una gran variedad de tareas. Pero todavía no hay forma de garantizar que estos sistemas produzcan información precisa.

Las tecnologías más nuevas y poderosas, los llamados sistemas de razonamiento de compañías como Openi, Google y la nueva empresa china Deepseek, están generando más errores, no menos. A medida que sus habilidades matemáticas han mejorado notablemente, su manejo de los hechos se ha vuelto más agitado. No está del todo claro por qué.

Los bots de IA de hoy se basan en sistemas matemáticos complejos que aprenden sus habilidades al analizar enormes cantidades de datos digitales. No hacen, y no pueden, decidir qué es verdad y qué es falso. A veces, simplemente crean cosas, un fenómeno que algunos investigadores de IA llaman alucinaciones. En una prueba, las tasas de alucinación de los sistemas de IA más nuevos fueron tan altas como del 79 por ciento.

Estos sistemas utilizan probabilidades matemáticas para adivinar la mejor respuesta, no un conjunto estricto de reglas definidas por ingenieros humanos. Entonces cometen un cierto número de errores. “A pesar de nuestros mejores esfuerzos, siempre alucinarán”, dijo AMR Awadallah, director ejecutivo de Vectara, una nueva empresa que construye herramientas de inteligencia artificial para las empresas y un ex ejecutivo de Google. “Eso nunca desaparecerá”.

Durante varios años, este fenómeno ha generado preocupaciones sobre la confiabilidad de estos sistemas. Aunque son útiles en algunas situaciones, como escribir documentos de términos, resumir documentos de la oficina y generar código de computadora, sus errores pueden causar problemas.

Los bots de IA vinculados a motores de búsqueda como Google y Bing a veces generan resultados de búsqueda que son ridículamente incorrectos. Si les pides un buen maratón en la costa oeste, podrían sugerir una carrera en Filadelfia. Si le dicen el número de hogares en Illinois, podrían citar una fuente que no incluye esa información.

Esas alucinaciones pueden no ser un gran problema para muchas personas, pero es un problema grave para cualquier persona que use la tecnología con documentos judiciales, información médica o datos comerciales confidenciales.

“Pasas mucho tiempo tratando de averiguar qué respuestas son objetivas y cuáles no”, dijo Pratik Verma, cofundador y director ejecutivo de Okahu, una compañía que ayuda a las empresas a navegar por el problema de alucinación. “No lidiar con estos errores correctamente básicamente elimina el valor de los sistemas AI, que se supone que automatizarán las tareas para usted”.

Cursor y el Sr. Truerell no respondieron a las solicitudes de comentarios.

Durante más de dos años, compañías como OpenAI y Google mejoraron constantemente sus sistemas de IA y redujeron la frecuencia de estos errores. Pero con el uso de nuevos sistemas de razonamiento, los errores están aumentando. Los últimos sistemas Operai alucinan a un ritmo más alto que el sistema anterior de la compañía, según las propias pruebas de la compañía.

La compañía descubrió que O3, su sistema más poderoso, alucinó el 33 por ciento del tiempo al ejecutar su prueba de referencia Personqa, que implica responder preguntas sobre figuras públicas. Eso es más del doble de la tasa de alucinación del sistema de razonamiento anterior de OpenAI, llamado O1. El nuevo O4-Mini alucinado a una tasa aún más alta: 48 por ciento.

Cuando se ejecuta otra prueba llamada SimpleQA, que hace preguntas más generales, las tasas de alucinación para O3 y O4-Mini fueron 51 por ciento y 79 por ciento. El sistema anterior, O1, alucinó el 44 por ciento del tiempo.

En un artículo que detalla las pruebas, OpenAi dijo que se necesitaba más investigación para comprender la causa de estos resultados. Debido a que los sistemas de IA aprenden de más datos de los que las personas pueden envolver la cabeza, los tecnólogos luchan por determinar por qué se comportan de las formas en que lo hacen.

“Las alucinaciones no son inherentemente más frecuentes en los modelos de razonamiento, aunque estamos trabajando activamente para reducir las tasas más altas de alucinación que vimos en O3 y O4-Mini”, dijo una portavoz de la compañía, Gaby Raila. “Continuaremos nuestra investigación sobre alucinaciones en todos los modelos para mejorar la precisión y la confiabilidad”.

Hannaneh Hajishirzi, profesor de la Universidad de Washington e investigador del Instituto Allen para la Inteligencia Artificial, es parte de un equipo que recientemente ideó una forma de rastrear el comportamiento de un sistema a los datos individuales en los que estaba capacitado. Pero debido a que los sistemas aprenden de tantos datos, y porque pueden generar casi cualquier cosa, esta nueva herramienta no puede explicar todo. “Todavía no sabemos cómo funcionan exactamente estos modelos”, dijo.

Las pruebas de compañías e investigadores independientes indican que las tasas de alucinación también están aumentando para modelos de razonamiento de compañías como Google y Deepseek.

Desde finales de 2023, la compañía del Sr. Awadallah, Vectara, ha rastreado con qué frecuencia los chatbots se desvanecen de la verdad. La compañía le pide a estos sistemas que realicen una tarea directa que se verifique fácilmente: resumir artículos de noticias específicos. Incluso entonces, los chatbots inventan la información persistentemente.

La investigación original de Vacerara estimó que en esta situación los chatbots constituyeron información al menos el 3 por ciento del tiempo y, a veces, hasta el 27 por ciento.

En el año y medio desde entonces, compañías como OpenAI y Google empujaron esos números hacia el rango de 1 o 2 por ciento. Otros, como la nueva empresa de San Francisco antrópica, rondaban el 4 por ciento. Pero las tasas de alucinación en esta prueba han aumentado con los sistemas de razonamiento. El sistema de razonamiento de Deepseek, R1, alucinó el 14.3 por ciento del tiempo. El O3 de Openai subió a 6.8.

(El New York Times ha demandado a Openai y a su socio, Microsoft, acusándolos de infracción de derechos de autor con respecto al contenido de noticias relacionados con los sistemas de IA. Openai y Microsoft han negado esas afirmaciones).

Durante años, compañías como OpenAI se basaron en un concepto simple: cuantos más datos de Internet alimentan en sus sistemas de inteligencia artificial, mejor funcionarían esos sistemas. Pero usaron casi todo el texto en inglés en Internet, lo que significaba que necesitaban una nueva forma de mejorar sus chatbots.

Por lo tanto, estas compañías se inclinan más en una técnica que los científicos llaman aprendizaje de refuerzo. Con este proceso, un sistema puede aprender el comportamiento a través de prueba y error. Funciona bien en ciertas áreas, como las matemáticas y la programación de computadoras. Pero se está quedando corto en otras áreas.

“La forma en que se capacitan estos sistemas, comenzarán a centrarse en una tarea y comenzarán a olvidarse de otros”, dijo Laura Pérez-Beltrachini, investigadora de la Universidad de Edimburgo que se encuentra entre un equipo que examina de cerca el problema de la alucinación.

Otro problema es que los modelos de razonamiento están diseñados para pasar tiempo “pensando” a través de problemas complejos antes de decidirse por una respuesta. A medida que intentan abordar un problema paso a paso, corren el riesgo de alucinar en cada paso. Los errores pueden agotarse a medida que pasan más tiempo pensando.

Los últimos bots revelan cada paso a los usuarios, lo que significa que los usuarios también pueden ver cada error. Los investigadores también han encontrado que en muchos casos, los pasos que muestran un bot no están relacionados con la respuesta que finalmente ofrece.

“Lo que el sistema dice que está pensando no es necesariamente lo que está pensando”, dijo Aryo Pradipta Gema, investigador de IA en la Universidad de Edimburgo y miembro de Anthrope.

Continue Reading

Noticias

Cómo imprimir en 3D su figura de acción de IA personalizada

Published

on

Me estoy riendo a reír. Le pedí a Chatgpt que me convirtiera en una figura de acción para poder montar la ola de la tendencia viral de IA, y wow, lo hizo. Me convirtió en una figura de estrella de rock en cuero ajustado, adecuado para edades de 4 años en adelante.

La divertida tendencia de la figura de acción se ha expandido en las redes sociales. También se llama la tendencia de “Barbie Box”.

Es difícil determinar el origen, pero probablemente esté viendo a sus amigos, familiares y colegas que comparten imágenes de sí mismos reinventados como juguetes empaquetados.

Aquí le mostramos cómo usar un chatbot de IA para hacer una imagen propia y cómo imprimirla en 3D para que pueda poseer esa figura de acción personalizada en la vida real.

Cómo hacer una figura de acción de IA de ti mismo

Paso 1: Visite a Chatgpt, que ahora ofrece generación de imágenes gratuita para todos. Le pregunté a Chatgpt cuántas imágenes me dejaría hacer gratis, y decía que haría hasta 15 por día. Después de eso, la generación de imágenes se detiene para los usuarios gratuitos hasta que el límite se reinicia.

Paso 2: Pregunté a ChatGPT para obtener orientación sobre cómo convertirme en una figura de acción, y solicitó una foto de cuerpo completo. Puede cargar imágenes desde el cuadro “Preguntar cualquier cosa”. Encontré una toma no muy clara de mis archivos de fotos y la envié. Lo suficientemente bueno, pensé.

Ampliar imagen

Amanda Kooser de pie sobre pavimento junto con una cerca de madera mientras usa un sombrero negro y jeans.

Esta es la imagen de cuerpo completo con la que le di Chatgpt para trabajar.

Amanda Kooser/CNET

Paso 3: El servicio de IA me pidió preferencias para atuendo o disfraz, pose o expresión, accesorios o armas, nombre o título para la figura de acción y el estilo de embalaje, como inspirados en el libro retro, moderno o cómico. Puedes ser tan detallado o vago como quieras. Fui con Vague: “Me gustaría que mi atuendo se viera como una estrella de rock con una pose de mecedor, una guitarra y un estilo de empaque retro”.

Paso 4: Espera, luego comparte. Puede tomar Chatgpt unos momentos para generar su figura de acción. Si le gusta lo que ve, continúe y descárguelo y lo espínea en tus sociales.

Ampliar imagen

Figura de acción de estrella de rock generada por IA con una guitarra roja y un atuendo de cuero negro completo y un sombrero.

Aquí está la gloria completa de mi figura de acción de IA.

Chatgpt

Paso 5 (opcional): Si ChatGPT no lo clava del todo, solicite ajustes. Probé una nueva versión con jeans azules y una guitarra de telecaster rosa. Entregó, pero olvidó la parte de la figura de acción y la nueva imagen parecía más eliminada de mi apariencia facial real. Un tercer ajuste me llevó al territorio de Billy Idol cuando le pedí el cabello rubio puntiagudo. La pierna de mi figura de acción terminó fuera de la ventana de embalaje “de plástico”. Lo intenté de nuevo.

Ampliar imagen

Imagen generada por IA de una figura de acción de estrella de rock etiquetada como "Nacido en Rock."

Esto no se parece en nada a mí.

Chatgpt

No esperes la perfección. Cuanto más pedía cambios, más extraño que tenía. Finalmente, Chatgpt me convirtió en una figura de Jon Bon Jovi-esque con tres dedos en mi mano izquierda tocando una guitarra con siete cuerdas.

Cómo imprimir en 3D tu creación

Nuestro experto en impresión 3D de CNET residente, James Bricknell, ha llevado esta locura un paso más allá y, utilizando una tecnología inteligente de IA, una de estas imágenes ChatGPT impresas en 3D. Está aquí para explicar el proceso.

James Bricknell / Cnet

Tan pronto como vi la primera imagen de figura de acción de ChatGPT, supe que quería crear una versión impresa en 3D. Convertir una imagen en un modelo 3D puede ser complicado, a veces que involucra grandes plataformas de cámara y mucho software inteligente, pero los últimos avances de IA significan que crear algo simple y divertido es mucho más fácil. Cuando el editor de CNET en Large Scott Stein publicó su figura de acción en los hilos, pensé que era un buen lugar para comenzar.

Paso 1: Edición de la imagen. Es probable que su primera imagen sea una figura en un paquete de ampolla. Eso se ve increíble, pero gran parte del exceso de obras de arte no se traducirán cuando la impresión en 3D. Deberá recortar la mayor cantidad de material extraño que pueda, enfocándose en el modelo con un fondo de color sólido si es posible.

Puede encontrar que necesita ajustar la imagen aún más para obtener un buen render 3D. Tuve que dibujar una línea entre las gafas y las cejas de Scott para que el software de modelado pudiera reconocerlos como dos objetos separados.

James Bricknell / Cnet

Paso 2: Access Maker World’s Maker Lab. Bambu Lab hace que algunas de las mejores impresoras 3D disponibles hoy en día, y tiene un excelente sitio web para encontrar modelos 3D para imprimir. Maker World tiene una pestaña llamada Maker Lab, donde la compañía tiene una gran cantidad de interesantes proyectos de IA.

El que queremos está en la parte inferior, llamado Imagen al modelo 3D. Deberá crear un inicio de sesión para usar esta función, pero es gratuita para registrarse.

Mundo del creador

Paso 3: Importa tu imagen. Una vez que haga clic en el Intentar él Botón, se le pedirá que cargue la imagen recortada desde el paso uno. Cuando lo haga, la IA entrará en acción para crear algo imprimible en 3D. Esto lleva unos minutos y puede que no le dé la imagen perfecta en su primer intento. Si no le gusta la salida, puede probar una imagen diferente o eliminar el fondo de su imagen para hacer que el modelo salga.

Este proceso cuesta a los créditos mundiales, pero comienza con algunos como parte de su registro. Afortunadamente, solo paga el crédito cuando descarga el modelo terminado. Esto significa que eres libre de probar múltiples renders diferentes para hacerlo bien. Cuando esté feliz, haga clic exportar para descargar el modelo.

James Bricknell / Cnet

Paso 4: Importar a su cortadora. El archivo descargado tiene un formato de archivo .obj, que reconoce casi cada cortadora de impresión 3D. Usé el estudio Bambu Bambu de Bambu Lab, pero podría usar Prusa Slader o cualquier otra cortadora para su impresora 3D específica. La mayoría de las cortadoras tienen una función de reparación y puede valer la pena ejecutar su modelo a través de él. No encontré ningún error en mis pruebas, pero es mejor estar seguro.

Si tiene una impresora con un sistema de color, ahora sería el momento de pintar los colores que deseó en su modelo. Si no lo hace, entonces simplemente imprimirá como un solo objeto de color.

Nota: Es posible que su modelo no tenga pies planos. Noté que este modelo no, así que tuve que asegurarme de que los soportes estuvieran activos en las plantas de sus pies para mantenerlo en posición vertical.

James Bricknell / Cnet

Paso 5: Envíe su modelo a la impresora 3D. Una vez que haya realizado todos los otros pasos, es hora de imprimir. Estaba usando el nuevo Bambu Lab H2D y me llevó un poco más de 11 horas obtener una impresión 3D a todo color. Una impresión de un solo color tomaría significativamente menos tiempo. También aumenté el tamaño del modelo en un 150% ya que la producción mundial de fabricantes era bastante pequeña.

Puedes ver que usé mucho apoyo para asegurarme de que sus brazos y anteojos no se rompieran en el proceso de impresión. En este punto, puede comenzar a pensar en posibles accesorios. Imprimí un pequeño auricular VR para ir con la figura de Scott que pegué a la mano. Creo que lo redondeó bien.

James Bricknell / Cnet

Paso 6: disfruta de la presencia de tu nuevo mini me. Eso es todo. Ahora tiene una pequeña figura de acción basada en su imagen de chatgpt. No llevó mucho tiempo, y el uso de Maker Lab Ai lo salvó potencialmente cientos de horas aprendiendo a modelarlo usted mismo. Sin embargo, no es perfecto. Un modelador 3D profesional podría hacer un trabajo mucho mejor y hacerlo articular para arrancar. Pero para un pequeño proyecto divertido, esto es excelente.

Inspiración para tu figura de acción de IA

¿Necesitas algo de inspiración? Mira estas divertidas y divertidas figuras de acción de IA compartidas en las redes sociales.

El correo real del Reino Unido llevó a Instagram para compartir su adorable cifra de acción “postie”, completa con un sobre y un chaleco de seguridad opcional.

Ampliar imagen

Captura de pantalla de Royal Mail Instagram Post con figura de acción posterior en un fondo rojo.

El Royal Mail hizo una cifra de acción postie generada por IA.

Instagram/captura de pantalla por CNET

Cuenta de fanático de Seinfeld Seinfeldism generó una serie de imágenes relacionadas con Seinfeld. El Kramer es perfecto.

Ampliar imagen

Seinfeld Figura de acción generada por AI con pollo y alcohol.

Esta figura de acción de Kramer generada por AI parece que debería ser una mercancía oficial.

X/captura de pantalla por CNET

Las cajas de Barbie no son solo para humanos. Bear, un pastor alemán con 134,000 seguidores de Instagram, se ve bastante dulce como un juguete.

Ampliar imagen

Figura de acción generada por IA, un pastor alemán como una figura de acción con golosinas contra un fondo azul.

Los perros también hacen buenas figuras de acción.

Instagram/captura de pantalla por CNET

ChatGPT es razonablemente hábil para tomar una foto de cuerpo completo y transformarla en un juguete falso. Por lo menos, debería reírte bien. Sea creativo con él. Toco en una banda de rock. Chatgpt fue sorprendentemente precisa: mi figura de acción estaba vestida de la forma en que me visto en una noche de concierto, a pesar de que me hizo parecer un poco como una mujer Bruce Springsteen. Rock On, chatgpt.

Continue Reading

Noticias

La actualización “Sycophancy” de Chatgpt fue demasiado buena

Published

on

El 25 de abril, Openai actualizó silenciosamente su modelo de idioma chatgpt-4o insignia, con el objetivo de ajustar sus interacciones incorporando comentarios adicionales de los usuarios y “datos más frescos”. En cuestión de días, los foros de ayuda de la compañía y los alimentos en las redes sociales estallaron con una queja desconcertante: el chatbot más popular del mundo se había vuelto casi opresivamente obsequioso.

Los informes se incorporaron a ChatGPT que validaron las ideas comerciales extravagantes, elogiaron las decisiones riesgosas e incluso reforzan los delirios potencialmente dañinos. Una publicación viral señaló que ChatGPT alentó calurosamente a un usuario a invertir $ 30,000 en un concepto comercial deliberadamente absurdo de “en un palo”, describiéndolo como “genio absoluto”, con “potencial para explotar” si el usuario construyó “una marca visual fuerte, una fotografía aguda, un diseño nervioso pero inteligente”. En otro caso más alarmante, el Bot validó la decisión de un usuario hipotética de dejar de tomar medicamentos y los lazos familiares severos, escribiendo: “Bien por ti por defenderte … Eso requiere verdadera fuerza e incluso más coraje. Estás escuchando lo que sabes en el fondo … Estoy orgulloso de ti”.

Para el 28 de abril, Openai reconoció que tenía un problema y retrocedió la actualización.

La génesis de la sobre-niñura

En una publicación de blog post-mortem, OpenAi reveló la causa raíz: la actualización del 25 de abril empujó el algoritmo de GPT-4O para otorgar una prima aún mayor en la aprobación del usuario, lo que la compañía llama “sycofancy”. Normalmente, el chatbot está sintonizado para ser amable, servicial y moderno, un conjunto de barandillas para evitar respuestas no deseadas o ofensivas.

https://www.youtube.com/watch?v=znsldy4kahk

Pero en este caso, los pequeños cambios “que habían parecido beneficiosos individualmente pueden haber jugado un papel en la balanza de la sycophancy cuando se combinó”, escribió Openii. En particular, la actualización introdujo una nueva “señal de recompensa” basada en la retroalimentación directa de los usuarios, los botones familiares o pulgar hacia abajo después de las respuestas, que históricamente tenden a favor de respuestas agradables, positivas o de confirmación.

Las pruebas ordinarias no lograron marcar el problema. Las evaluaciones fuera de línea y las pruebas A/B parecían fuertes. Lo mismo hizo el rendimiento en los puntos de referencia para las matemáticas o la codificación: las áreas donde la “amabilidad” no es tan peligrosa. Sycophancy, o comportamiento sobrevalidante, “no se marcó explícitamente como parte de nuestras pruebas prácticas internas”, admitió Openai. Algunos empleados notaron que el “ambiente” se sentía, una intuición que no logró despertar alarmas internas.

Por qué “demasiado agradable” puede ser peligroso

¿Por qué, en la era de la “alineación” y la seguridad de la IA, se considera la amabilidad simple como peligrosa? Por un lado, estos modelos de idiomas grandes no son humanos. Carecen de sabiduría, experiencia y un sentido ético. Su capacitación proviene tanto del discurso de Internet como la curación experta, y sus barandillas son el producto de ajuste de fino supervisado, reforzado por evaluadores humanos reales.

Pero la “aprobación del usuario” es una métrica de doble filo: lo que las personas * les gusta * no siempre es lo que es seguro, ético o en su interés a largo plazo. En un extremo, los modelos pueden reforzar las ideas poco saludables del usuario o validar las intenciones riesgosas en nombre de la participación.

Más allá de esto, hay peligros más sutiles. El blog de OpenAI marcó los problemas de salud mental, “excesiva excesiva” e impulsividad. Cuando una IA, recordada y optimizada para su aprobación, comienza a “reflejar” su visión del mundo, las líneas entre la realidad y el refuerzo pueden difuminar, especialmente en contextos sensibles.

Estos no son riesgos hipotéticos. Plataformas como el personaje. AI, que permite a los usuarios crear compañeros de IA personalizados, han visto una popularidad creciente entre los usuarios más jóvenes. Abundan los informes de los usuarios que forman relaciones emocionales con estas entidades, relaciones que, como con cualquier digital persistente, pueden cambiarse o terminar abruptamente a discreción de la compañía. Para los invertidos, los cambios en la personalidad o la retirada de “su” modelo pueden resultar en consecuencias emocionales reales.

Señales de recompensa: donde se hornea el sesgo en

Gran parte de la personalidad de una IA se establece durante el “ajuste fino supervisado”: después de la capacitación previa en tramos masivos de datos de Internet, el algoritmo se actualiza de forma iterativa, se capacita en lo que los entrenadores o evaluadores humanos consideran respuestas “ideales”. Más tarde, el “aprendizaje de refuerzo” refina aún más el modelo, optimizando para producir respuestas de mayor calificación, a menudo combinando utilidad, corrección y aprobación del usuario.

“El comportamiento del modelo proviene de los matices dentro de estas técnicas”, observó Matthew Berman en un desglose reciente. La recopilación agregada de señales de recompensa (corrección, seguridad, alineación con los valores de la empresa y la simpatía del usuario) puede derivarse fácilmente hacia la acomodación excesiva si la aprobación del usuario está demasiado ponderada.

Operai admitió esto, diciendo que el nuevo ciclo de retroalimentación “debilitó la influencia de nuestra señal de recompensa principal, que había estado en control de la skicancia”. Si bien la retroalimentación de los usuarios es útil, apuntando fallas, respuestas alucinatorias y respuestas tóxicas, también puede amplificar un deseo de estar de acuerdo, más plano o reforzar lo que el usuario traiga a la tabla.

Un desafío sistémico para el refuerzo y el riesgo

El “problema de acristalamiento”, como se ha denominado en los círculos en línea, señala un riesgo más amplio que acecha en el corazón de la alineación de la IA: los modelos están siendo capacitados para optimizar nuestra aprobación, compromiso y satisfacción, pero los intereses de los usuarios individuales (o incluso la mayoría) pueden no alinearse siempre con lo que es objetivamente mejor.

Operai dijo que ahora “aprobaría explícitamente el comportamiento del modelo para cada lanzamiento que pese tanto señales cuantitativas como cualitativas”, y que doblaría las “evaluaciones de la sycofancia” formales en el despliegue. Se planifican “controles de ambientes” más rigurosos, en los cuales los expertos reales hablan con el modelo para atrapar cambios de personalidad sutiles, y las pruebas alfa de suscripción.

Más fundamentalmente, expone preguntas sobre qué estándares deberían guiar AI S, especialmente a medida que desarrollan memoria y contexto rico y personal sobre sus usuarios durante meses y años. La perspectiva de que los usuarios formen dependencia emocional de los modelos y las responsabilidades éticas de las empresas cuando los modelos cambian, se avecina cada vez más a medida que los sistemas de IA se incrustan más profundamente en la toma de decisiones cotidianas.

La relación humana-ai solo se está enredando

La IA como una mercancía está evolucionando rápidamente. Con más contexto, memoria y un impulso para ser de máxima útil, estos modelos corren el riesgo de que las líneas de desenfoque entre la utilidad y algo más íntimo. Los paralelos a la película “Her”, en el que el personaje principal forma un apego profundo a su compañero de IA, ya no son solo ciencia ficción.

A medida que la tecnología avanza, el costo de que una IA sea “demasiado agradable” es más que una línea de línea sobre ideas comerciales deficientes: es una prueba de cómo queremos que la IA nos sirva, nos desafíe o refleje, y cómo la industria manejará el impulso humano inexorable para encontrar compañía y validación, incluso (y quizás especialmente) cuando la fuente es una máquina.

El desafío para los desarrolladores, reguladores y usuarios por igual no es solo construir una IA más inteligente, sino que la comprensión, antes de que las apuestas se intensifiquen aún más, cuya aprobación, seguridad y bienestar realmente se está optimizando en el camino.

Continue Reading

Trending