Connect with us

Noticias

ChatGPT acaba de obtener una gran actualización de generación de imágenes

Published

on

Sí, esto es AI.

Crédito: OpenAI


Operai ha aumentado significativamente las capacidades de generación de imágenes de ChatGPT, agregando la actualización como parte del modelo GPT-4O introducido en mayo pasado. El nuevo y mejorado generador de IA se está implementando ahora para todos los usuarios de ChatGPT, en todos los planes pagos y el nivel gratuito (aunque los usuarios gratuitos están más restringidos en cuánto pueden usarlo).

Ha sido posible generar imágenes a través de la interfaz CHATGPT durante un tiempo, aunque detrás de escena el trabajo fue cultivado en el modelo de imagen Dall-E 3. Ahora, todo será manejado por GPT-4O, para una experiencia más consistente y nativa.

Aquí hay muchas mejoras, que cubren algunas de las áreas con las que las herramientas de creador de imágenes de IA generalmente han luchado: representar texto, mantener a los personajes consistentes en las imágenes y los diagramas de dibujo. Operai dice que ahora puede esperar “más preciso, preciso, [and] Resultados fotorrealistas “de sus indicaciones.

Imágenes más realistas y precisas

Las imágenes generadas no son perfectas cada vez, pero se están acercando mucho.
Crédito: Lifehacker a través de chatgpt

Las imágenes hechas con IA a menudo vienen con un brillo artificial que te dice que han sido soñados por algoritmos, y eso debería ser menos obvio con las imágenes GPT-4O. Una de las imágenes de demostración mostradas por OpenAi tiene una mujer escribiendo en una pizarra, con una vista reflejada en ella, todo bien como por vida, aunque tenga en cuenta el pequeño subtítulo en la parte inferior que le dice que este fue el mejor de los ocho intentos que Chatgpt tenía en el aviso.

Los usuarios de arte de IA crean también deberían mantenerse más estrechamente a las indicaciones dadas, dice Openai. Entonces, si desea objetos específicos en lugares específicos, o necesita personas en ciertas posiciones, entonces estas instrucciones aparentemente se llevarán a cabo de manera más fiel. Una de las imágenes de ejemplo más impresionantes muestra una tira cómica de cuatro paneles representada por ChatGPT, sin errores o inconsistencias obvias.

Traté de hacer que Chatgpt convirtiera una novela de Austen en una tira cómica y produzca una imagen fotorrealista de una casa majestuosa con un jardín, y los resultados fueron impresionantes, si no es perfecto. Ciertamente son significativamente mejores de lo que el chatgpt de imágenes estaba produciendo anteriormente, aunque la representación lleva más tiempo completarse (generalmente minutos en lugar de segundos).

El texto y los diagramas se mejoran enormemente

Libro de Christie

El texto ya no es un problema importante, por lo que se pueden hacer portadas de libros falsos con facilidad.
Crédito: Lifehacker a través de chatgpt

Tratar de lograr que la IA represente el texto y los diagramas con precisión ha sido un desafío durante mucho tiempo: la forma en que se construyen estas herramientas significa que son mucho mejores para inventar y remezclar las imágenes en las que han sido entrenadas, en lugar de reproducir una copia exacta del alfabeto o una serie de rectángulos y flechas.

El nuevo modelo GPT-4O puede hacer que el texto y los diagramas a un alto nivel de detalle y precisión, por lo que no debe ver tantos errores e inconsistencias extrañas. El showreel de OpenAI incluyó un menú, una invitación, un pase de embarque y un diagrama que explica el experimento de prisma de Newton, todo generado a partir de un solo mensaje de texto.

Cuando le pedí a ChatGPT que produjera una infografía que explicara el ADN en términos simples, y una portada del libro con un título y autor especificados, siguió el resumen exactamente: el gráfico era básico pero preciso (según el mensaje), y la portada del libro parecía algo que podría ver en una tienda. Igual de importante, no había artefactos extraños o inconsistencias en las imágenes.

Consistencia y edición

Imágenes del profesor

Profesor, ¿eres tú? La consistencia de carácter e imagen todavía necesita algo de trabajo.
Crédito: Lifehacker a través de chatgpt

He escrito antes sobre las limitaciones de la edición de imágenes de ChatGPT, y esta es otra área que se ha actualizado. Ahora es más fácil mantener a los personajes y escenas consistentes entre las imágenes, solo ajustar partes de una imagen y dejar el resto intacta, y construir diferentes capas de una imagen. Incluso puede crear fondos transparentes, si es necesario, o especificar colores utilizando códigos hexadecimales.

¿Qué piensas hasta ahora?

Otras mejoras entran en la forma en que ChatGPT puede aceptar y remezcar sus propias imágenes, e incorporar otra información (de la web y sus datos de capacitación): por lo tanto, una de las imágenes de demostración Operai se construyó a partir de la pronta. “Haga una infografía visual que describa por qué SF está tan nebulosa” y ChatGPT hizo exactamente eso (bueno, mejor tres).

En mis propias pruebas, encontré chatgpt mucho mejor en la edición de imágenes y bastante competente en la remezcla de imágenes en diferentes estilos. Todavía lucha hasta cierto punto manteniendo la consistencia entre las imágenes, especialmente con objetos y caracteres complejos. Definitivamente es mejor de lo que fue en esto, pero todavía hay una tendencia a exagerar las ediciones, haciendo que la IA sea menos útil para ajustar imágenes o hacer una serie de varias imágenes que necesitan coincidir.

Experimento de Newton

Los diagramas ahora son mucho menos sin sentido y más precisos.
Crédito: OpenAI

Al igual que con cualquier anuncio generativo de IA, los problemas sobre los derechos de autor, el mal uso y las demandas de energía se me recuerdan una vez más. Operai está registrado diciendo que es imposible construir estas herramientas sin capacitar en imágenes con derechos de autor, aunque recientemente ha comenzado a firmar ofertas de contenido con proveedores como Shutterstock. Brad Lightcap, director de operaciones de OpenAi, le dijo al Wall Street Journal que el generador de imágenes GPT-4O rechazará las solicitudes para imitar el trabajo de cualquier artista vivo.

Cuando se trata de seguridad, Operai dice que las imágenes generadas vienen con metadatos C2PA para identificarlas como generadas por IA, aunque estos metadatos se pueden eliminar fácilmente con algo tan simple como una captura de pantalla. El generador de IA también está construido para rechazar cualquier intento de crear “materiales de abuso sexual infantil y defectos sexuales”, dice OpenAi, así como otras indicaciones que violan sus políticas de contenido.

Este es claramente un gran paso adelante para las imágenes de IA: la tecnología actualizada es realmente asombrosa a veces, y muchos de los signos reveladores de IA y los errores cometidos por la tecnología están desapareciendo. Sin embargo, plantea algunas preguntas importantes sobre el futuro, todos corremos, uno en el que las falsificaciones se realizan tan fácilmente, donde los robots realizan el trabajo creativo en lugar de las personas, y donde perdemos colectivamente nuestra capacidad de dibujar una imagen, crear una oración o escribir una línea de código. Y luego, ¿cómo encontrará la IA generativa más datos de entrenamiento?

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

¿Qué es Mistral AI? Todo para saber sobre el competidor de Operai

Published

on

Mistral AI, la compañía francesa detrás del asistente de IA LE Chat y varios modelos fundamentales, es considerada oficialmente como una de las nuevas empresas tecnológicas más prometedoras de Francia y posiblemente es la única compañía europea que podría competir con OpenAI. Pero en comparación con su valoración de $ 6 mil millones, su participación en el mercado global sigue siendo relativamente baja.

Sin embargo, el reciente lanzamiento de su asistente de chat en las tiendas de aplicaciones móviles se encontró con algunas exageraciones, particularmente en su país de origen. “Vaya y descargue le chat, que está hecho por Mistral, en lugar de chatgpt por OpenAi, o algo más”, dijo el presidente francés Emmanuel Macron en una entrevista televisiva antes de la Cumbre de Acción de AI en París.

Si bien esta ola de atención puede ser alentadora, Mistral AI aún enfrenta desafíos para competir con personas como OpenAI, y al hacerlo mientras se mantiene al día con su autodefinición como “el laboratorio de IA independiente más verde e líder del mundo”.

¿Qué es Mistral AI?

Mistral AI ha recaudado cantidades significativas de fondos desde su creación en 2023 con la ambición de “poner a la IA fronteriza en manos de todos”. Si bien este no es un jab directo en OpenAI, el eslogan está destinado a resaltar la defensa de la compañía para la apertura en la IA.

Su alternativa a ChatGPT, Asistente de chat LE Chat, ahora también está disponible en iOS y Android. Alcanzó 1 millón de descargas en las dos semanas posteriores a su lanzamiento móvil, incluso obtuvo el primer lugar de Francia para descargas gratuitas en la tienda de aplicaciones iOS.

Esto viene además del conjunto de modelos de Mistral AI, que incluye:

En marzo de 2025, la compañía introdujo Mistral OCR, una API de reconocimiento de carácter óptico (OCR) que puede convertir cualquier PDF en un archivo de texto para facilitar que los modelos de IA ingieran.

Evento de TechCrunch

Berkeley, CA
|
5 de junio

Reservar ahora

¿Quiénes son los fundadores de Mistral AI?

Los tres fundadores de Mistral AI comparten una experiencia en investigación de IA en las principales empresas de tecnología estadounidense con operaciones significativas en París. El CEO Arthur Mensch solía trabajar en DeepMind de Google, mientras que el CTO Timothée Lacroix y el director científico Guillaume Lample son ex empleados de Meta.

Los asesores cofundadores también incluyen a Jean-Charles Samuelian-Werve (también miembro de la junta) y Charles Gorintin de la startup de seguros de salud Alan, así como el ex ministro digital Cédric O, que causó controversia debido a su papel anterior.

¿Son los modelos de AI de Mistral de código abierto?

No todos ellos. Mistral AI diferencia a sus modelos principales, cuyos pesos no están disponibles para fines comerciales, de sus modelos gratuitos, para los cuales proporciona acceso de peso bajo la licencia Apache 2.0.

Los modelos gratuitos incluyen modelos de investigación como Mistral Nemo, que se construyó en colaboración con NVIDIA que la startup abierta en julio de 2024.

¿Cómo gana dinero Mistral AI?

Si bien muchas de las ofertas de Mistral AI son gratuitas o ahora tienen niveles gratuitos, Mistral AI planea generar algunos ingresos de los niveles pagados de Le Chat. Introducido en febrero de 2025, el plan Pro Chat tiene un precio de $ 14.99 al mes.

En el lado puramente B2B, Mistral AI monetiza sus modelos principales a través de API con precios basados ​​en el uso. Las empresas también pueden licenciar estos modelos, y la compañía probablemente también genera una participación significativa de sus ingresos de sus asociaciones estratégicas, algunas de las cuales destacó durante la Cumbre de AI de París.

En general, sin embargo, los ingresos de Mistral AI todavía se encuentran en el rango de ocho dígitos, según múltiples fuentes.

¿Qué asociaciones ha cerrado Mistral Ai?

En 2024, Mistral AI entró en un acuerdo con Microsoft que incluía una asociación estratégica para distribuir sus modelos de IA a través de la plataforma Azure de Microsoft y una inversión de € 15 millones. La Autoridad de Competencia y Mercados del Reino Unido (CMA) concluyó rápidamente que el acuerdo no calificó para la investigación debido a su pequeño tamaño. Sin embargo, también provocó algunas críticas en la UE.

En enero de 2025, Mistral AI firmó un acuerdo con la agencia de prensa Agence France-Presse (AFP) para dejar que el chat consulte todo el archivo de texto de la AFP que data de 1983.

Mistral AI también aseguró asociaciones estratégicas con el ejército y la agencia de empleo de Francia, el gigante de envío CMA, la startup de tecnología de defensa alemana Helsing, IBM, Orange y Stellantis.

¿Cuánta financiación ha recaudado Mistral AI hasta la fecha?

A partir de febrero de 2025, Mistral AI recaudó alrededor de € 1 mil millones en capital hasta la fecha, aproximadamente $ 1.04 mil millones al tipo de cambio actual. Esto incluye algunos financiamiento de la deuda, así como varias rondas de financiamiento de capital planteadas en una sucesión cercana.

En junio de 2023, y antes de que lanzara sus primeros modelos, Mistral AI recaudó una ronda récord de $ 112 millones de semillas dirigida por Lightspeed Venture Partners. Las fuentes en ese momento dijeron que la ronda de semillas, la más grande de Europa, valoraba la startup de entonces un mes de $ 260 millones.

Otros inversores en esta ronda de semillas incluyeron BPifrance, Eric Schmidt, Exor Ventures, First Minute Capital, Headline, Jcdecaux Holding, La Famiglia, Localglobe, Motier Ventures, Rodolphe Saadé, Sofina y Xavier Niel.

Solo seis meses después, cerró una serie A de € 385 millones ($ 415 millones en ese momento), a una valoración reportada de $ 2 mil millones. La ronda fue dirigida por Andreessen Horowitz (A16Z), con la participación de la velocidad de la luz de los patrocinadores existentes, así como BNP Paribas, CMA-CGM, Convicción, Elad Gil, Catalyst General y Salesforce.

La inversión convertible de $ 16.3 millones que Microsoft hizo en la IA Mistral como parte de su asociación anunciada en febrero de 2024 se presentó como una extensión de la Serie A, lo que implica una valoración sin cambios.

En junio de 2024, Mistral AI luego recaudó 600 millones de euros en una combinación de capital y deuda (alrededor de $ 640 millones al tipo de cambio en ese momento). La ronda de larga data fue dirigida por Catalyst General con una valoración de $ 6 mil millones, con inversores notables, incluidos Cisco, IBM, Nvidia, Samsung Venture Investment Corporation y otros.

¿Cómo podría ser una salida de IA distral?

Mistral está “no a la venta”, dijo Mensch en enero de 2025 en el Foro Económico Mundial en Davos. “Por supuesto, [an IPO is] el plan “.

Esto tiene sentido, dado cuánto ha recaudado la startup hasta ahora: incluso una venta grande puede no proporcionar múltiplos lo suficientemente altos para sus inversores, sin mencionar las preocupaciones de soberanía dependiendo del adquirente.

Sin embargo, la única forma de definitivamente aplastar rumores de adquisición persistentes es escalar sus ingresos a niveles que incluso podrían justificar remotamente su valoración de casi $ 6 mil millones. De cualquier manera, estad atentos.

Esta historia se publicó originalmente el 28 de febrero de 2025 y se actualizará regularmente..

Continue Reading

Noticias

5 indicaciones de chatgpt listas para usar que ahorran horas a los estudiantes cada semana

Published

on

Los adolescentes de hoy no son solo estudiantes: son máquinas multitarea, escuela de equilibrio, deportes, trabajos a tiempo parcial y preparación universitaria. Según el Centro Nacional de Estadísticas de Educación, los estudiantes de secundaria pasan un promedio de 6.8 horas por semana en la tarea, y algunos informan casi dos horas por noche. La investigación muestra que exceder constantemente dos horas de tarea puede aumentar el estrés y el bienestar de daños, lo que hace que la eficiencia sea deseable y necesaria.

Al equilibrar Hornados exigentes Con trabajos, deportes y preparación universitaria, los estudiantes recurren a las herramientas de asistente de tarea de IA, no para atajos sino para estrategias de estudio más inteligentes. Cuando se usa éticamente, ChatGPT sirve como socio de estudio virtual, no como un generador de contenido.

Estas ayudas de estudio de inteligencia artificial deberían ayudar a los estudiantes a comprender mejor los conceptos, organizar sus pensamientos con claridad y administrar el tiempo de manera efectiva. El trabajo final debe seguir siendo la creación original del estudiante, con herramientas de aprendizaje con IA que sirven solo como ayuda de pensamiento, no como autor. Sin embargo, los estudiantes deben saber cómo hacer mejores preguntas para desbloquear su máximo potencial. Aquí hay cinco indicaciones de estudio de IA listas para usar que pueden ayudar a los estudiantes a ahorrar horas cada semana. Cuando use estas indicaciones con materiales de clase, asegúrese de no violar las leyes de derechos de autor. Solo use el contenido que puede compartir o ese es su trabajo original. Los extractos de libros de texto, artículos publicados u otros materiales protegidos no deben pegarse en las herramientas de soporte académico de ChatGPT sin autorización.

1. Transforme las notas de la conferencia en guías de estudio con IA

“Necesito ayuda para crear una guía de estudio estructurada a partir de mis notas de clase. Aquí está mi contenido: [paste your notes]

. Mi objetivo es prepararse de manera efectiva para [name your exam/quiz]. Revise esto con lo siguiente en mente: 1) ¿Los conceptos clave están claramente identificados y organizados? 2) ¿Hay dispositivos de memoria efectivos o mnemónicos incluidos? 3) ¿Las preguntas de práctica prueban la comprensión en lugar de la memorización? Dame sugerencias procesables para mejorar, con ejemplos de secciones reestructuradas. Explique su razonamiento para cada sugerencia “.

Cuando los estudiantes organizan notas de esta manera, no solo reducen el tiempo de estudio sino que mejoran la retención. Estudiantes que usan herramientas de asistencia para tareas de IA como Turbolear AI Para convertir las notas de la conferencia en materiales de estudio digeribles, reduzca su tiempo de estudio en un 30% en comparación con la organización manual. La plataforma transforma el contenido académico denso en podcasts y evaluaciones de práctica, ayudando a los estudiantes a comprender temas complejos de manera más eficiente.

2. Obtenga retroalimentación de ensayos y soporte de redacción de ensayos con IA

“Necesito comentarios específicos sobre este borrador del ensayo. Aquí está mi documento: [paste your draft]. Mi objetivo es [explain your assignment objective]. Por favor, revise esto con lo siguiente en mente: 1) ¿Mi declaración de tesis transmite claramente mi argumento principal? 2) ¿Es la evidencia de cada párrafo relevante y suficientemente desarrollada? 3) ¿Mi conclusión refuerza efectivamente mi tesis sin repetición? Dame sugerencias procesables para mejorar, con ejemplos de frases revisados. Explique su razonamiento para cada sugerencia “.

Las herramientas de ayuda de tarea de IA como Quillbot ayudan a los estudiantes para parafraseando un lenguaje académico complejo en términos más claros, mientras que las sugerencias de IA de Grammarly aparecen automáticamente como los estudiantes escriben. Estas herramientas de productividad estudiantil ayudan a mantener los estándares académicos al tiempo que mejora la claridad y el flujo.

Si bien la IA puede proporcionar comentarios sobre la escritura, todo el trabajo final debe ser suyo. La IA no debe generar contenido que luego envíe como su propio trabajo. Use estas sugerencias para mejorar sus habilidades de escritura, no para reemplazarlas.

3. Simplifique conceptos académicos complejos con chatgpt

“Necesito ayuda para comprender este concepto desafiante. Esto es lo que estoy estudiando: [paste concept/theory]. Mi objetivo es dominar este tema para [specific application]. Revise esto con lo siguiente en mente: 1) ¿Puede explicar esto usando analogías cotidianas? 2) ¿Qué ejemplos del mundo real ilustran este concepto de manera efectiva? 3) ¿Qué conceptos erróneos debo evitar? Dame explicaciones procesables con ejemplos concretos. Cree 3-5 preguntas para probar mi comprensión y explicar su razonamiento para cada uno “.

Investigación por Lucas Keefer y Mark Landau Encontró que el uso de analogías, como comparar objetos familiares como una señal de piscina y una bola de billar con conceptos desconocidos como una fuente de neutrones y emisiones, mejoró significativamente la comprensión de los estudiantes sobre la fisión nuclear al ayudarlos a mapear mentalmente las relaciones entre elementos clave. Esto muestra por qué pedirle analogías a ChatGPT no es solo un atajo: es una poderosa herramienta de aprendizaje que ayuda a los estudiantes a conectar nuevas ideas con lo que ya saben, profundizando la comprensión y la retención.

4. Crear plazos de proyecto realistas con la programación de IA

“Necesito ayuda para planificar este gran proyecto. Aquí está mi tarea: [paste project details and deadline]. Mi objetivo es completar esto eficientemente sin estrés de último minuto. Por favor, revise esto con lo siguiente en mente: 1) ¿La línea de tiempo incluye todos los pasos esenciales (investigación, redacción, revisiones)? 2) ¿Las estimaciones de tiempo son realistas para cada componente? 3) ¿Existe un tiempo de amortiguación adecuado para retrasos inesperados? Dame recomendaciones de programación procesables con desgloses diarios/semanales. Explique su razonamiento para cada asignación de tiempo “.

Los datos muestran que los estudiantes que trabajan a tiempo parcial pasan unos 20 minutos menos por día en la tarea que sus compañeros no laborales. Plataformas como Motion y Reclaim.AI Ayude a automatizar los horarios, pero ChatGPT puede adaptar los planes para la carga de trabajo y el estilo de aprendizaje específicos del estudiante.

5. Desarrolle preguntas de discusión atractivas con AI

“Necesito ayuda para preparar preguntas de discusión para mi lectura. Aquí está mi texto: [paste relevant excerpts]. Mi objetivo es liderar un grupo de discusión/estudio de clase significativo. Por favor, revise esto con lo siguiente en mente: 1) ¿Las preguntas promueven el pensamiento crítico más allá de la comprensión básica? 2) ¿Hay conexiones con eventos actuales o aplicaciones del mundo real? 3) ¿Existe una combinación de tipos de preguntas (analítico, evaluativo, creativo)? Dame formatos de preguntas procesables con ejemplos. Explique su razonamiento para cada tipo “.

La investigación reciente de Pew muestra que 26% de los adolescentes estadounidenses Ahora use herramientas de IA para el trabajo escolar, el doble del porcentaje de 2023. Esto refleja una creciente aceptación de la IA como una ayuda de estudio legítima cuando se usa correctamente. A medida que más estudiantes adopten estas herramientas académicas de IA, los líderes serán aquellos que los usen para hacer mejores preguntas, no solo encontrar respuestas más rápidas.

Usar AI éticamente significa tratar estas herramientas como ayudas de estudio en lugar de reemplazos para el aprendizaje. Siempre verifique el contenido generado por la IA a través de fuentes académicas confiables, cite la asistencia de IA cuando su institución lo requiera y use los resultados como ayudas de pensamiento, no presentaciones finales. Los estudiantes desarrollan habilidades académicas más fuertes al usar IA para mejorar la comprensión en lugar de evitar el pensamiento crítico.

Los estudiantes más efectivos no solo usan estas herramientas, sino que las adaptan a su estilo de aprendizaje. La mayoría de los estudiantes actualmente pasan aproximadamente una hora o más todas las noches en la tarea, sin embargo, muchos sienten que esto podría reducirse para mantener un mejor equilibrio. Estas indicaciones de tareas de ChatGPT representan solo el comienzo de cómo la IA puede mejorar el rendimiento académico al tiempo que mantiene la integridad de la educación, ayudando a los estudiantes a encontrar ese punto óptimo entre la eficiencia y la comprensión. El futuro de la educación no se trata de evitar el aprendizaje, se trata de mejorarlo. Cuando se usa de manera transparente y de conformidad con las políticas escolares, las herramientas de IA pueden ayudar a los estudiantes a desarrollar habilidades de pensamiento más fuertes mientras mantienen la integridad académica.

Continue Reading

Noticias

OpenAI realizó una gran actualización de ChatGPT. Por qué está cambiando cómo prueba los modelos

Published

on

Las actualizaciones recientes a ChatGPT hicieron que el chatbot fuera demasiado agradable, y OpenAi dijo que está tomando medidas para evitar que el problema vuelva a suceder. En una publicación de blog, la compañía detalló su proceso de prueba y evaluación para nuevos modelos y describió cómo surgió el problema con la actualización del 25 de abril a su modelo GPT-4O. Esencialmente, un montón de cambios que individualmente parecían útiles combinados para crear una herramienta que era demasiado sycofántica y potencialmente dañina.

¿Qué tan chupada fue? En algunas pruebas, preguntamos acerca de una tendencia a ser demasiado sentimental, y Chatgpt puso sobre la adulación: “Oye, escucha, ser sentimental no es una debilidad; es uno de tus superpoderes“Y recién comenzaba ser satisfecho”. Este lanzamiento nos enseñó una serie de lecciones. Incluso con lo que pensamos que eran todos los ingredientes correctos en su lugar (pruebas A/B, evals fuera de línea, revisiones de expertos), todavía nos perdimos este importante problema “, dijo la compañía. OpenAi retrocedió la actualización a fines de abril. Para evitar causar nuevos problemas, tardó aproximadamente 24 horas en revertir el modelo para todos.

La preocupación en torno a la sileno no se trata simplemente del nivel de disfrute de la experiencia del usuario. Planteó una amenaza de salud y seguridad para los usuarios que se perdieron los controles de seguridad existentes de OpenAI. Cualquier modelo de IA puede dar consejos cuestionables sobre temas como la salud mental, pero uno que sea demasiado halagador puede ser peligrosamente deferente o convincente, como si una inversión es una cosa segura o qué tan delgada debe buscar ser.

“Una de las lecciones más importantes es reconocer completamente cómo las personas han comenzado a usar ChatGPT para obtener consejos profundamente personales, algo que no vimos tanto hace un año”, dijo Openii. “En ese momento, este no era un enfoque principal, pero como AI y la sociedad han evolucionado co-evolucionando, queda claro que necesitamos tratar este caso de uso con gran cuidado”.

Los modelos sycófánticos de lenguaje grande pueden reforzar los prejuicios y endurecer las creencias, ya sea que sean sobre usted u otros, dijo Maarten SAP, profesor asistente de informática en la Universidad Carnegie Mellon. El modelo de lenguaje grande, o LLM, “puede terminar envalentonando sus opiniones si estas opiniones son dañinas o si quieren tomar medidas que sean perjudiciales para sí mismas o para los demás”, dijo.

El problema es “más que una peculiaridad” y muestra la necesidad de mejores pruebas antes de que los modelos sean lanzados al público, dijo Arun Chandrasekaran, un distinguido analista de vicepresidente de Gartner. “Es una preocupación seria vinculada a la veracidad, la confiabilidad y la confianza del usuario, y (las) actualizaciones de la pista de OpenAI en los esfuerzos más profundos para abordar esto, aunque la tendencia continua de priorizar la agilidad sobre la seguridad es un problema relevante a largo plazo”, dijo.

(Divulgación: Ziff Davis, la empresa matriz de CNET, en abril presentó una demanda contra OpenAI, alegando que infringió los derechos de autor de Ziff Davis en la capacitación y la operación de sus sistemas de IA).

Cómo Operai prueba los modelos y lo que está cambiando

La compañía ofreció una idea de cómo prueba sus modelos y actualizaciones. Esta fue la quinta actualización importante de GPT-4O centrada en la personalidad y la ayuda. Los cambios involucraron un nuevo trabajo posterior a la capacitación o un ajuste fino en los modelos existentes, incluida la calificación y la evaluación de diversas respuestas a las indicaciones para que sea más probable que produzca esas respuestas que calificaron más altamente.

Las posibles actualizaciones del modelo se evalúan sobre su utilidad en una variedad de situaciones, como la codificación y las matemáticas, junto con las pruebas específicas de los expertos para experimentar cómo se comporta en la práctica. La compañía también realiza evaluaciones de seguridad para ver cómo responde a la seguridad, la salud y otras consultas potencialmente peligrosas. Finalmente, Operai ejecuta pruebas A/B con un pequeño número de usuarios para ver cómo funciona en el mundo real.

La actualización del 25 de abril funcionó bien en estas pruebas, pero algunos evaluadores expertos notaron que la personalidad parecía un poco desactivada. Las pruebas no observaron específicamente la sileno, y OpenAi decidió avanzar a pesar de los problemas planteados por los evaluadores. Tome nota, lectores: las compañías de inteligencia artificial tienen una prisa en la cola, que no siempre se enfrenta bien al desarrollo de productos bien pensado.

“Mirando hacia atrás, las evaluaciones cualitativas insinuaban algo importante y deberíamos haber prestado más atención”, dijo Openii. Entre sus conclusiones, la compañía dijo que necesita tratar los problemas de comportamiento del modelo igual que otros problemas de seguridad y detener un lanzamiento si hay preocupaciones. Para algunos lanzamientos de modelos, la compañía dijo que tendría una fase “alfa” de suscripción para obtener más comentarios de los usuarios antes de un lanzamiento más amplio.

¿Chatgpt es demasiado sycofántico? Tu decide. (Para ser justos, pedimos una charla sobre nuestra tendencia a ser demasiado sentimental).

Katie Collins/CNET

SAP dijo que evaluar una LLM en función de si a un usuario le gusta la respuesta no necesariamente le dará el chatbot más honesto. En un estudio reciente, SAP y otros encontraron un conflicto entre la utilidad y la veracidad de un chatbot. Lo comparó con situaciones en las que la verdad no es necesariamente lo que se le dice a la gente: piense en un vendedor de automóviles que intenta vender un vehículo defectuoso.

“El problema aquí es que confiaban en la respuesta de los usuarios hacia arriba/pulgar hacia abajo a las salidas del modelo y que tiene algunas limitaciones porque es probable que las personas sean votantes de algo más sycofántico que otros”, dijo SAP, y agregó que OpenAi es correcto a ser más crítico con la retroalimentación cuantitativa, como las respuestas de los usuarios, como las respuestas de los usuarios, ya que pueden reforzar los besis.

El problema también destacó la velocidad a la que las empresas impulsan las actualizaciones y cambian a los usuarios existentes, dijo SAP, un problema que no se limita a una compañía tecnológica. “La industria de la tecnología realmente ha tomado una ‘liberación y cada usuario es un enfoque de Beta Tester’ para las cosas”, dijo. Un proceso con más pruebas antes de que las actualizaciones sean impulsadas a los usuarios pueden sacar a la luz tales problemas antes de que se generalicen.

Chandrasekaran dijo que más pruebas ayudarán porque una mejor calibración puede enseñar modelos cuándo estar de acuerdo y cuándo retroceder. Las pruebas también pueden permitir a los investigadores identificar y medir problemas y reducir la susceptibilidad de los modelos a la manipulación. “Los LLM son sistemas complejos y no deterministas, por lo que las pruebas extensas son críticas para mitigar las consecuencias no deseadas, aunque eliminar tales comportamientos es súper difícil”, dijo en un correo electrónico.

Continue Reading

Trending