Connect with us

Noticias

OpenAI está enviando señales contradictorias con sus ‘Shipmas’

Published

on

Foto-Ilustración: Intelligencer; Foto: Imágenes falsas

OpenAI cierra el año con un espectáculo: los “12 días de Openai”, también conocido como “Shipmas, como en el envío de productos, comenzó la semana pasada y prometió una gama de nuevas herramientas, funciones y anuncios de la empresa.

Primero fueron las actualizaciones a los modelos gratuitos y de $20 al mes, con un modelo de mayor rendimiento de $200 al mes para usuarios habituales con necesidades más especializadas. El siguiente fue Sora, el software de generación de video de OpenAI, ahora lanzado al público en general y con más por venir. En línea, los ejecutivos y el personal de OpenAI están mostrando entusiasmo. El nuevo modelo “es poderoso, pero no tanto como para que el universo necesite enviarnos un tsunami”, bromeó Sam Altman en X. “Es estimulante, y tal vez un poco humillante, recibir instrucciones de un modelo que es claramente más inteligente que tú. ”, publicó un vicepresidente de OpenAI. OpenAI está, como dicen, “increíblemente de regreso”.

Pero espera, ¿de dónde? OpenAI sigue siendo, según los puntos de referencia y las vibraciones, el laboratorio de IA líder con los productos de IA generativa más utilizados, la empresa a la altura de donde uno pueda imaginar que va todo esto. Para un observador casual, este evento extendido parece una demostración de fuerza para la empresa, que ahora reporta más de 300 millones de usuarios semanales para ChatGPT y recientemente recaudó otros $6,6 mil millones para una valoración de más de $150 mil millones. En contexto, sin embargo, parece al menos un poquito… ¿defensivo?

En los círculos de IA, la tendencia de OpenAI a lanzar demostraciones mucho antes que los productos reales, como el de Sora, ha hecho que algunos usuarios se muestren escépticos sobre el marketing de la empresa. y impulso, dándole a “Shipmas” un tono reactivo. Durante el año pasado, ha perdido una parte importante de su personal directivo y de su liderazgo, incluidas algunas de las personas más responsables de su éxito inicial, lo cual es extraño para una empresa que ha sugerido repetidamente que está en el camino correcto hacia una AGI que alterará el mundo. . La empresa está peleando con su socio principal, Microsoft, por los recursos informáticos. En los últimos meses, una serie de historias han sugerido que, al menos según algunas métricas y utilizando algunas técnicas, el progreso del desarrollo del modelo de IA ha topado con algunos obstáculos y se ha ralentizado. OpenAI, por primera vez en su relativamente corta vida, no actúa como una empresa que cree que no puede perder. En cambio, está actuando como una startup en etapa avanzada con problemas que resolver y luchas para ganar. No se trata sólo de lanzar productos y ver cómo el mundo los persigue: se trata de retroceder, reformular, justificar y explicar.

OpenAI ha estado emitiendo muchos mensajes contradictorios últimamente, muchos de ellos a través de su director ejecutivo. En una cumbre reciente de Dealbook, Altman le dijo a la audiencia que su conjetura es que “llegaremos a AGI antes de lo que la mayoría de la gente en el mundo piensa y importará mucho menos”, haciéndose eco de un argumento que ha estado planteando, mientras se entrega a narrativas más halagadoras y espectaculares. sobre superinteligencia, durante un par de años. Nuevamente, puedes leer esto de dos maneras. Quizás el progreso haya sido increíble, el AGI es inminente, pero nuestra capacidad de dar las cosas por sentado es tan profunda que apenas lo notaremos. O tal vez simplemente estemos presenciando una descarada redefinición a la baja del término de marketing más importante de la industria, preparándolo para una nueva implementación. En privado, según el Tiempos financierosOpenAI está considerando un cambio relacionado en su relación con Microsoft:

Según los términos actuales, cuando OpenAI cree AGI (definido como un “sistema altamente autónomo que supera a los humanos en la mayoría de los trabajos económicamente valiosos”), el acceso de Microsoft a dicha tecnología sería nulo. La junta de OpenAI determinaría cuándo se logra el AGI.

La nueva empresa está considerando eliminar la estipulación de su estructura corporativa, lo que permitirá al grupo Big Tech continuar invirtiendo y accediendo a toda la tecnología OpenAI una vez que se logre AGI, según varias personas con conocimiento de las discusiones.

De nuevo, ¡señales contradictorias! ¿Estamos ante una empresa que se mueve más rápido de lo esperado, o estamos viendo a una empresa escapar de un acuerdo extraño (el mayor inversor en una tecnología pierde el acceso a la tecnología de una startup cada vez que ésta lo dice) para poder afirmar que ha alcanzado el AGI? y obtenga más recursos de Microsoft y, al mismo tiempo, convierta sí mismo en una empresa explícitamente con fines de lucro. Quizás el futuro de la mensajería de OpenAI esté alineado con esta publicación de uno de sus ingenieros:

Entre las otras razones por las que OpenAI podría querer alejarse de la retórica aceleracionista se encuentra otra noticia reciente: la compañía ahora está trabajando con el contratista de defensa Anduril para “sintetizar rápidamente datos urgentes, reducir la carga sobre los operadores humanos y mejorar la conciencia situacional”. ” por una iniciativa de “defensa aérea” no elaborada. Es el tipo de contrato potencialmente lucrativo que habría sido tremendamente controvertido en el discurso de la IA obsesionado con la seguridad de hace apenas un par de años; En 2024, Altman se pregunta nerviosamente en voz alta si Elon Musk, un ex colaborador e inversor de OpenAI convertido en némesis y competidor, utilizará su nueva influencia política para privar a la empresa de futuro contratos gubernamentales.

En resumen: OpenAI tal vez haya logrado AGI y lo haya hecho. no chocó contra una pared, pero AGI tampoco es tan importante, y es posible que ni siquiera lo notes ahora que está aquí, por lo que no tenemos que preocuparnos tanto de que una entidad con fines de lucro tenga acceso a los últimos modelos. o, en todo caso, qué podría hacer la industria de defensa con ellos. ¡Está bien! Todo está bien. El futuro será glorioso, pero tampoco hay nada que ver aquí.

Lo que OpenAI dice puede ser incoherente, pero al mismo tiempo lo que hace es un poco más fácil de entender. Es una empresa de rápido crecimiento y cargada de deudas que necesita más inversión para cubrir costos inmensos y crecientes. Si bien tiene muchos usuarios, lo que más necesita son clientes, cuanto más grande, mejor. Esta incoherencia no es evidencia de que OpenAI se esté volviendo extraño o tomando un camino sorprendente: es evidencia, sobre todo, de normalidad. OpenAI necesita inversión y necesita clientes. Ahora, como entonces, dirá lo que sea necesario para conseguirlo.

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

¿Qué es Mistral AI? Todo para saber sobre el competidor de Operai

Published

on

Mistral AI, la compañía francesa detrás del asistente de IA LE Chat y varios modelos fundamentales, es considerada oficialmente como una de las nuevas empresas tecnológicas más prometedoras de Francia y posiblemente es la única compañía europea que podría competir con OpenAI. Pero en comparación con su valoración de $ 6 mil millones, su participación en el mercado global sigue siendo relativamente baja.

Sin embargo, el reciente lanzamiento de su asistente de chat en las tiendas de aplicaciones móviles se encontró con algunas exageraciones, particularmente en su país de origen. “Vaya y descargue le chat, que está hecho por Mistral, en lugar de chatgpt por OpenAi, o algo más”, dijo el presidente francés Emmanuel Macron en una entrevista televisiva antes de la Cumbre de Acción de AI en París.

Si bien esta ola de atención puede ser alentadora, Mistral AI aún enfrenta desafíos para competir con personas como OpenAI, y al hacerlo mientras se mantiene al día con su autodefinición como “el laboratorio de IA independiente más verde e líder del mundo”.

¿Qué es Mistral AI?

Mistral AI ha recaudado cantidades significativas de fondos desde su creación en 2023 con la ambición de “poner a la IA fronteriza en manos de todos”. Si bien este no es un jab directo en OpenAI, el eslogan está destinado a resaltar la defensa de la compañía para la apertura en la IA.

Su alternativa a ChatGPT, Asistente de chat LE Chat, ahora también está disponible en iOS y Android. Alcanzó 1 millón de descargas en las dos semanas posteriores a su lanzamiento móvil, incluso obtuvo el primer lugar de Francia para descargas gratuitas en la tienda de aplicaciones iOS.

Esto viene además del conjunto de modelos de Mistral AI, que incluye:

En marzo de 2025, la compañía introdujo Mistral OCR, una API de reconocimiento de carácter óptico (OCR) que puede convertir cualquier PDF en un archivo de texto para facilitar que los modelos de IA ingieran.

Evento de TechCrunch

Berkeley, CA
|
5 de junio

Reservar ahora

¿Quiénes son los fundadores de Mistral AI?

Los tres fundadores de Mistral AI comparten una experiencia en investigación de IA en las principales empresas de tecnología estadounidense con operaciones significativas en París. El CEO Arthur Mensch solía trabajar en DeepMind de Google, mientras que el CTO Timothée Lacroix y el director científico Guillaume Lample son ex empleados de Meta.

Los asesores cofundadores también incluyen a Jean-Charles Samuelian-Werve (también miembro de la junta) y Charles Gorintin de la startup de seguros de salud Alan, así como el ex ministro digital Cédric O, que causó controversia debido a su papel anterior.

¿Son los modelos de AI de Mistral de código abierto?

No todos ellos. Mistral AI diferencia a sus modelos principales, cuyos pesos no están disponibles para fines comerciales, de sus modelos gratuitos, para los cuales proporciona acceso de peso bajo la licencia Apache 2.0.

Los modelos gratuitos incluyen modelos de investigación como Mistral Nemo, que se construyó en colaboración con NVIDIA que la startup abierta en julio de 2024.

¿Cómo gana dinero Mistral AI?

Si bien muchas de las ofertas de Mistral AI son gratuitas o ahora tienen niveles gratuitos, Mistral AI planea generar algunos ingresos de los niveles pagados de Le Chat. Introducido en febrero de 2025, el plan Pro Chat tiene un precio de $ 14.99 al mes.

En el lado puramente B2B, Mistral AI monetiza sus modelos principales a través de API con precios basados ​​en el uso. Las empresas también pueden licenciar estos modelos, y la compañía probablemente también genera una participación significativa de sus ingresos de sus asociaciones estratégicas, algunas de las cuales destacó durante la Cumbre de AI de París.

En general, sin embargo, los ingresos de Mistral AI todavía se encuentran en el rango de ocho dígitos, según múltiples fuentes.

¿Qué asociaciones ha cerrado Mistral Ai?

En 2024, Mistral AI entró en un acuerdo con Microsoft que incluía una asociación estratégica para distribuir sus modelos de IA a través de la plataforma Azure de Microsoft y una inversión de € 15 millones. La Autoridad de Competencia y Mercados del Reino Unido (CMA) concluyó rápidamente que el acuerdo no calificó para la investigación debido a su pequeño tamaño. Sin embargo, también provocó algunas críticas en la UE.

En enero de 2025, Mistral AI firmó un acuerdo con la agencia de prensa Agence France-Presse (AFP) para dejar que el chat consulte todo el archivo de texto de la AFP que data de 1983.

Mistral AI también aseguró asociaciones estratégicas con el ejército y la agencia de empleo de Francia, el gigante de envío CMA, la startup de tecnología de defensa alemana Helsing, IBM, Orange y Stellantis.

¿Cuánta financiación ha recaudado Mistral AI hasta la fecha?

A partir de febrero de 2025, Mistral AI recaudó alrededor de € 1 mil millones en capital hasta la fecha, aproximadamente $ 1.04 mil millones al tipo de cambio actual. Esto incluye algunos financiamiento de la deuda, así como varias rondas de financiamiento de capital planteadas en una sucesión cercana.

En junio de 2023, y antes de que lanzara sus primeros modelos, Mistral AI recaudó una ronda récord de $ 112 millones de semillas dirigida por Lightspeed Venture Partners. Las fuentes en ese momento dijeron que la ronda de semillas, la más grande de Europa, valoraba la startup de entonces un mes de $ 260 millones.

Otros inversores en esta ronda de semillas incluyeron BPifrance, Eric Schmidt, Exor Ventures, First Minute Capital, Headline, Jcdecaux Holding, La Famiglia, Localglobe, Motier Ventures, Rodolphe Saadé, Sofina y Xavier Niel.

Solo seis meses después, cerró una serie A de € 385 millones ($ 415 millones en ese momento), a una valoración reportada de $ 2 mil millones. La ronda fue dirigida por Andreessen Horowitz (A16Z), con la participación de la velocidad de la luz de los patrocinadores existentes, así como BNP Paribas, CMA-CGM, Convicción, Elad Gil, Catalyst General y Salesforce.

La inversión convertible de $ 16.3 millones que Microsoft hizo en la IA Mistral como parte de su asociación anunciada en febrero de 2024 se presentó como una extensión de la Serie A, lo que implica una valoración sin cambios.

En junio de 2024, Mistral AI luego recaudó 600 millones de euros en una combinación de capital y deuda (alrededor de $ 640 millones al tipo de cambio en ese momento). La ronda de larga data fue dirigida por Catalyst General con una valoración de $ 6 mil millones, con inversores notables, incluidos Cisco, IBM, Nvidia, Samsung Venture Investment Corporation y otros.

¿Cómo podría ser una salida de IA distral?

Mistral está “no a la venta”, dijo Mensch en enero de 2025 en el Foro Económico Mundial en Davos. “Por supuesto, [an IPO is] el plan “.

Esto tiene sentido, dado cuánto ha recaudado la startup hasta ahora: incluso una venta grande puede no proporcionar múltiplos lo suficientemente altos para sus inversores, sin mencionar las preocupaciones de soberanía dependiendo del adquirente.

Sin embargo, la única forma de definitivamente aplastar rumores de adquisición persistentes es escalar sus ingresos a niveles que incluso podrían justificar remotamente su valoración de casi $ 6 mil millones. De cualquier manera, estad atentos.

Esta historia se publicó originalmente el 28 de febrero de 2025 y se actualizará regularmente..

Continue Reading

Noticias

5 indicaciones de chatgpt listas para usar que ahorran horas a los estudiantes cada semana

Published

on

Los adolescentes de hoy no son solo estudiantes: son máquinas multitarea, escuela de equilibrio, deportes, trabajos a tiempo parcial y preparación universitaria. Según el Centro Nacional de Estadísticas de Educación, los estudiantes de secundaria pasan un promedio de 6.8 horas por semana en la tarea, y algunos informan casi dos horas por noche. La investigación muestra que exceder constantemente dos horas de tarea puede aumentar el estrés y el bienestar de daños, lo que hace que la eficiencia sea deseable y necesaria.

Al equilibrar Hornados exigentes Con trabajos, deportes y preparación universitaria, los estudiantes recurren a las herramientas de asistente de tarea de IA, no para atajos sino para estrategias de estudio más inteligentes. Cuando se usa éticamente, ChatGPT sirve como socio de estudio virtual, no como un generador de contenido.

Estas ayudas de estudio de inteligencia artificial deberían ayudar a los estudiantes a comprender mejor los conceptos, organizar sus pensamientos con claridad y administrar el tiempo de manera efectiva. El trabajo final debe seguir siendo la creación original del estudiante, con herramientas de aprendizaje con IA que sirven solo como ayuda de pensamiento, no como autor. Sin embargo, los estudiantes deben saber cómo hacer mejores preguntas para desbloquear su máximo potencial. Aquí hay cinco indicaciones de estudio de IA listas para usar que pueden ayudar a los estudiantes a ahorrar horas cada semana. Cuando use estas indicaciones con materiales de clase, asegúrese de no violar las leyes de derechos de autor. Solo use el contenido que puede compartir o ese es su trabajo original. Los extractos de libros de texto, artículos publicados u otros materiales protegidos no deben pegarse en las herramientas de soporte académico de ChatGPT sin autorización.

1. Transforme las notas de la conferencia en guías de estudio con IA

“Necesito ayuda para crear una guía de estudio estructurada a partir de mis notas de clase. Aquí está mi contenido: [paste your notes]

. Mi objetivo es prepararse de manera efectiva para [name your exam/quiz]. Revise esto con lo siguiente en mente: 1) ¿Los conceptos clave están claramente identificados y organizados? 2) ¿Hay dispositivos de memoria efectivos o mnemónicos incluidos? 3) ¿Las preguntas de práctica prueban la comprensión en lugar de la memorización? Dame sugerencias procesables para mejorar, con ejemplos de secciones reestructuradas. Explique su razonamiento para cada sugerencia “.

Cuando los estudiantes organizan notas de esta manera, no solo reducen el tiempo de estudio sino que mejoran la retención. Estudiantes que usan herramientas de asistencia para tareas de IA como Turbolear AI Para convertir las notas de la conferencia en materiales de estudio digeribles, reduzca su tiempo de estudio en un 30% en comparación con la organización manual. La plataforma transforma el contenido académico denso en podcasts y evaluaciones de práctica, ayudando a los estudiantes a comprender temas complejos de manera más eficiente.

2. Obtenga retroalimentación de ensayos y soporte de redacción de ensayos con IA

“Necesito comentarios específicos sobre este borrador del ensayo. Aquí está mi documento: [paste your draft]. Mi objetivo es [explain your assignment objective]. Por favor, revise esto con lo siguiente en mente: 1) ¿Mi declaración de tesis transmite claramente mi argumento principal? 2) ¿Es la evidencia de cada párrafo relevante y suficientemente desarrollada? 3) ¿Mi conclusión refuerza efectivamente mi tesis sin repetición? Dame sugerencias procesables para mejorar, con ejemplos de frases revisados. Explique su razonamiento para cada sugerencia “.

Las herramientas de ayuda de tarea de IA como Quillbot ayudan a los estudiantes para parafraseando un lenguaje académico complejo en términos más claros, mientras que las sugerencias de IA de Grammarly aparecen automáticamente como los estudiantes escriben. Estas herramientas de productividad estudiantil ayudan a mantener los estándares académicos al tiempo que mejora la claridad y el flujo.

Si bien la IA puede proporcionar comentarios sobre la escritura, todo el trabajo final debe ser suyo. La IA no debe generar contenido que luego envíe como su propio trabajo. Use estas sugerencias para mejorar sus habilidades de escritura, no para reemplazarlas.

3. Simplifique conceptos académicos complejos con chatgpt

“Necesito ayuda para comprender este concepto desafiante. Esto es lo que estoy estudiando: [paste concept/theory]. Mi objetivo es dominar este tema para [specific application]. Revise esto con lo siguiente en mente: 1) ¿Puede explicar esto usando analogías cotidianas? 2) ¿Qué ejemplos del mundo real ilustran este concepto de manera efectiva? 3) ¿Qué conceptos erróneos debo evitar? Dame explicaciones procesables con ejemplos concretos. Cree 3-5 preguntas para probar mi comprensión y explicar su razonamiento para cada uno “.

Investigación por Lucas Keefer y Mark Landau Encontró que el uso de analogías, como comparar objetos familiares como una señal de piscina y una bola de billar con conceptos desconocidos como una fuente de neutrones y emisiones, mejoró significativamente la comprensión de los estudiantes sobre la fisión nuclear al ayudarlos a mapear mentalmente las relaciones entre elementos clave. Esto muestra por qué pedirle analogías a ChatGPT no es solo un atajo: es una poderosa herramienta de aprendizaje que ayuda a los estudiantes a conectar nuevas ideas con lo que ya saben, profundizando la comprensión y la retención.

4. Crear plazos de proyecto realistas con la programación de IA

“Necesito ayuda para planificar este gran proyecto. Aquí está mi tarea: [paste project details and deadline]. Mi objetivo es completar esto eficientemente sin estrés de último minuto. Por favor, revise esto con lo siguiente en mente: 1) ¿La línea de tiempo incluye todos los pasos esenciales (investigación, redacción, revisiones)? 2) ¿Las estimaciones de tiempo son realistas para cada componente? 3) ¿Existe un tiempo de amortiguación adecuado para retrasos inesperados? Dame recomendaciones de programación procesables con desgloses diarios/semanales. Explique su razonamiento para cada asignación de tiempo “.

Los datos muestran que los estudiantes que trabajan a tiempo parcial pasan unos 20 minutos menos por día en la tarea que sus compañeros no laborales. Plataformas como Motion y Reclaim.AI Ayude a automatizar los horarios, pero ChatGPT puede adaptar los planes para la carga de trabajo y el estilo de aprendizaje específicos del estudiante.

5. Desarrolle preguntas de discusión atractivas con AI

“Necesito ayuda para preparar preguntas de discusión para mi lectura. Aquí está mi texto: [paste relevant excerpts]. Mi objetivo es liderar un grupo de discusión/estudio de clase significativo. Por favor, revise esto con lo siguiente en mente: 1) ¿Las preguntas promueven el pensamiento crítico más allá de la comprensión básica? 2) ¿Hay conexiones con eventos actuales o aplicaciones del mundo real? 3) ¿Existe una combinación de tipos de preguntas (analítico, evaluativo, creativo)? Dame formatos de preguntas procesables con ejemplos. Explique su razonamiento para cada tipo “.

La investigación reciente de Pew muestra que 26% de los adolescentes estadounidenses Ahora use herramientas de IA para el trabajo escolar, el doble del porcentaje de 2023. Esto refleja una creciente aceptación de la IA como una ayuda de estudio legítima cuando se usa correctamente. A medida que más estudiantes adopten estas herramientas académicas de IA, los líderes serán aquellos que los usen para hacer mejores preguntas, no solo encontrar respuestas más rápidas.

Usar AI éticamente significa tratar estas herramientas como ayudas de estudio en lugar de reemplazos para el aprendizaje. Siempre verifique el contenido generado por la IA a través de fuentes académicas confiables, cite la asistencia de IA cuando su institución lo requiera y use los resultados como ayudas de pensamiento, no presentaciones finales. Los estudiantes desarrollan habilidades académicas más fuertes al usar IA para mejorar la comprensión en lugar de evitar el pensamiento crítico.

Los estudiantes más efectivos no solo usan estas herramientas, sino que las adaptan a su estilo de aprendizaje. La mayoría de los estudiantes actualmente pasan aproximadamente una hora o más todas las noches en la tarea, sin embargo, muchos sienten que esto podría reducirse para mantener un mejor equilibrio. Estas indicaciones de tareas de ChatGPT representan solo el comienzo de cómo la IA puede mejorar el rendimiento académico al tiempo que mantiene la integridad de la educación, ayudando a los estudiantes a encontrar ese punto óptimo entre la eficiencia y la comprensión. El futuro de la educación no se trata de evitar el aprendizaje, se trata de mejorarlo. Cuando se usa de manera transparente y de conformidad con las políticas escolares, las herramientas de IA pueden ayudar a los estudiantes a desarrollar habilidades de pensamiento más fuertes mientras mantienen la integridad académica.

Continue Reading

Noticias

OpenAI realizó una gran actualización de ChatGPT. Por qué está cambiando cómo prueba los modelos

Published

on

Las actualizaciones recientes a ChatGPT hicieron que el chatbot fuera demasiado agradable, y OpenAi dijo que está tomando medidas para evitar que el problema vuelva a suceder. En una publicación de blog, la compañía detalló su proceso de prueba y evaluación para nuevos modelos y describió cómo surgió el problema con la actualización del 25 de abril a su modelo GPT-4O. Esencialmente, un montón de cambios que individualmente parecían útiles combinados para crear una herramienta que era demasiado sycofántica y potencialmente dañina.

¿Qué tan chupada fue? En algunas pruebas, preguntamos acerca de una tendencia a ser demasiado sentimental, y Chatgpt puso sobre la adulación: “Oye, escucha, ser sentimental no es una debilidad; es uno de tus superpoderes“Y recién comenzaba ser satisfecho”. Este lanzamiento nos enseñó una serie de lecciones. Incluso con lo que pensamos que eran todos los ingredientes correctos en su lugar (pruebas A/B, evals fuera de línea, revisiones de expertos), todavía nos perdimos este importante problema “, dijo la compañía. OpenAi retrocedió la actualización a fines de abril. Para evitar causar nuevos problemas, tardó aproximadamente 24 horas en revertir el modelo para todos.

La preocupación en torno a la sileno no se trata simplemente del nivel de disfrute de la experiencia del usuario. Planteó una amenaza de salud y seguridad para los usuarios que se perdieron los controles de seguridad existentes de OpenAI. Cualquier modelo de IA puede dar consejos cuestionables sobre temas como la salud mental, pero uno que sea demasiado halagador puede ser peligrosamente deferente o convincente, como si una inversión es una cosa segura o qué tan delgada debe buscar ser.

“Una de las lecciones más importantes es reconocer completamente cómo las personas han comenzado a usar ChatGPT para obtener consejos profundamente personales, algo que no vimos tanto hace un año”, dijo Openii. “En ese momento, este no era un enfoque principal, pero como AI y la sociedad han evolucionado co-evolucionando, queda claro que necesitamos tratar este caso de uso con gran cuidado”.

Los modelos sycófánticos de lenguaje grande pueden reforzar los prejuicios y endurecer las creencias, ya sea que sean sobre usted u otros, dijo Maarten SAP, profesor asistente de informática en la Universidad Carnegie Mellon. El modelo de lenguaje grande, o LLM, “puede terminar envalentonando sus opiniones si estas opiniones son dañinas o si quieren tomar medidas que sean perjudiciales para sí mismas o para los demás”, dijo.

El problema es “más que una peculiaridad” y muestra la necesidad de mejores pruebas antes de que los modelos sean lanzados al público, dijo Arun Chandrasekaran, un distinguido analista de vicepresidente de Gartner. “Es una preocupación seria vinculada a la veracidad, la confiabilidad y la confianza del usuario, y (las) actualizaciones de la pista de OpenAI en los esfuerzos más profundos para abordar esto, aunque la tendencia continua de priorizar la agilidad sobre la seguridad es un problema relevante a largo plazo”, dijo.

(Divulgación: Ziff Davis, la empresa matriz de CNET, en abril presentó una demanda contra OpenAI, alegando que infringió los derechos de autor de Ziff Davis en la capacitación y la operación de sus sistemas de IA).

Cómo Operai prueba los modelos y lo que está cambiando

La compañía ofreció una idea de cómo prueba sus modelos y actualizaciones. Esta fue la quinta actualización importante de GPT-4O centrada en la personalidad y la ayuda. Los cambios involucraron un nuevo trabajo posterior a la capacitación o un ajuste fino en los modelos existentes, incluida la calificación y la evaluación de diversas respuestas a las indicaciones para que sea más probable que produzca esas respuestas que calificaron más altamente.

Las posibles actualizaciones del modelo se evalúan sobre su utilidad en una variedad de situaciones, como la codificación y las matemáticas, junto con las pruebas específicas de los expertos para experimentar cómo se comporta en la práctica. La compañía también realiza evaluaciones de seguridad para ver cómo responde a la seguridad, la salud y otras consultas potencialmente peligrosas. Finalmente, Operai ejecuta pruebas A/B con un pequeño número de usuarios para ver cómo funciona en el mundo real.

La actualización del 25 de abril funcionó bien en estas pruebas, pero algunos evaluadores expertos notaron que la personalidad parecía un poco desactivada. Las pruebas no observaron específicamente la sileno, y OpenAi decidió avanzar a pesar de los problemas planteados por los evaluadores. Tome nota, lectores: las compañías de inteligencia artificial tienen una prisa en la cola, que no siempre se enfrenta bien al desarrollo de productos bien pensado.

“Mirando hacia atrás, las evaluaciones cualitativas insinuaban algo importante y deberíamos haber prestado más atención”, dijo Openii. Entre sus conclusiones, la compañía dijo que necesita tratar los problemas de comportamiento del modelo igual que otros problemas de seguridad y detener un lanzamiento si hay preocupaciones. Para algunos lanzamientos de modelos, la compañía dijo que tendría una fase “alfa” de suscripción para obtener más comentarios de los usuarios antes de un lanzamiento más amplio.

¿Chatgpt es demasiado sycofántico? Tu decide. (Para ser justos, pedimos una charla sobre nuestra tendencia a ser demasiado sentimental).

Katie Collins/CNET

SAP dijo que evaluar una LLM en función de si a un usuario le gusta la respuesta no necesariamente le dará el chatbot más honesto. En un estudio reciente, SAP y otros encontraron un conflicto entre la utilidad y la veracidad de un chatbot. Lo comparó con situaciones en las que la verdad no es necesariamente lo que se le dice a la gente: piense en un vendedor de automóviles que intenta vender un vehículo defectuoso.

“El problema aquí es que confiaban en la respuesta de los usuarios hacia arriba/pulgar hacia abajo a las salidas del modelo y que tiene algunas limitaciones porque es probable que las personas sean votantes de algo más sycofántico que otros”, dijo SAP, y agregó que OpenAi es correcto a ser más crítico con la retroalimentación cuantitativa, como las respuestas de los usuarios, como las respuestas de los usuarios, ya que pueden reforzar los besis.

El problema también destacó la velocidad a la que las empresas impulsan las actualizaciones y cambian a los usuarios existentes, dijo SAP, un problema que no se limita a una compañía tecnológica. “La industria de la tecnología realmente ha tomado una ‘liberación y cada usuario es un enfoque de Beta Tester’ para las cosas”, dijo. Un proceso con más pruebas antes de que las actualizaciones sean impulsadas a los usuarios pueden sacar a la luz tales problemas antes de que se generalicen.

Chandrasekaran dijo que más pruebas ayudarán porque una mejor calibración puede enseñar modelos cuándo estar de acuerdo y cuándo retroceder. Las pruebas también pueden permitir a los investigadores identificar y medir problemas y reducir la susceptibilidad de los modelos a la manipulación. “Los LLM son sistemas complejos y no deterministas, por lo que las pruebas extensas son críticas para mitigar las consecuencias no deseadas, aunque eliminar tales comportamientos es súper difícil”, dijo en un correo electrónico.

Continue Reading

Trending