Noticias
¿Deepseek copió la tecnología AI de OpenAI? | Noticias explicadas
Published
3 meses agoon

Incluso cuando el creador de chatgpt Openai enfrenta un aluvión de casos de infracción de derechos de autor en algunos países, la compañía cree que su advenimiento Rival chino Deepseek Puede haber copiado de su tecnología de inteligencia artificial (IA). No solo Openai, sino uno de los principales asesores del presidente de los Estados Unidos, Donald Trump, también ha nivelado esta afirmación, sin presentar muchas pruebas.
La entrada de Deepseek en el espacio de IA, promocionado por ser de código abierto, su precisión y afirmaciones de que se basa en la fracción del costo como sus competidores estadounidenses, han causado una agitación en la industria de la tecnología. Ha enviado el stock de Nvidia en una espiral descendente, ya que su modelo fue capacitado en unites de procesamiento de gráficos inferiores (GPU) en comparación con lo que tienen acceso a OpenAI. Y su entrada ha reavivado la conversación sobre controles de exportación más estrictos.
Es en este contexto que OpenAi ha dicho que Deepseek puede haber utilizado una técnica llamada “destilación”, que permite que su modelo aprenda de un modelo previo al estado de ejercicio, en este caso ChatGPT. Si bien Deepseek ha sido acusado de robo de propiedad intelectual desde que recibió atención principal, algunos expertos de la industria han desestimado estas afirmaciones diciendo que se derivan de una comprensión inadecuada de cómo los modelos como Deepseek están capacitados.
La historia continúa debajo de este anuncio
La sospecha de Openai sobre Deepseek
OpenAI prohíbe la práctica de capacitar a un nuevo modelo de IA al consultar repetidamente un modelo más grande y pre-entrenado, una técnica comúnmente conocida como destilación, según sus términos de uso. Y la compañía sospecha que Deepseek puede haber intentado algo similar, lo que podría ser una violación de sus términos.
“Sabemos que los grupos de la RPC (China) están trabajando activamente para usar métodos, incluido lo que se conoce como destilación, para replicar los modelos AI avanzados de EE. UU.”, Dijo un portavoz de OpenAI en un comunicado. “Somos conscientes y revisando las indicaciones de que Deepseek puede haber destilado inapropiadamente nuestros modelos y compartirá información como sabemos más”.
David Sacks, asesor de IA de Trump, dijo a Fox News: “Hay evidencia sustancial de que lo que hizo Deepseek aquí es que destilaron el conocimiento de las modelos de OpenAi … y no creo que OpenAi esté muy contento con esto”.
https://www.youtube.com/watch?v=nlgfnn_cgzw
Los actores de la industria contrarrestan las afirmaciones de Openai
La historia continúa debajo de este anuncio
Sin embargo, algunos no están de acuerdo con las afirmaciones de que Deepseek copió la tecnología de OpenAi y similares.
“Hay muchas ideas erróneas de que China” clonó “las salidas de OpenAi. Esto está lejos de ser cierto y refleja una comprensión incompleta de cómo estos modelos están entrenados en primer lugar … “Aravind Srinivas, CEO de Perpleity en una publicación sobre X.
“Deepseek R1 ha descubierto RL (aprendizaje de refuerzo) Finetuning. Escribieron un artículo completo sobre este tema llamado Deepseek R1 Zero, donde no se usó SFT (ajuste fino supervisado). Y luego lo combinó con un poco de SFT para agregar conocimiento del dominio con un buen muestreo de rechazo (también conocido como filtrado). La razón principal por la que es tan bueno es que aprendió razonamiento desde cero en lugar de imitar a otros humanos o modelos ”, agregó.
La idea de usar el aprendizaje de refuerzo (RL) se convirtió en un punto de enfoque para las compañías de IA en 2024. “Este nuevo paradigma implica comenzar con el tipo de modelos prenederos ordinarios, y luego como segunda etapa utilizando RL para agregar las habilidades de razonamiento”, explicó Dario. AMODEI, CEO de Anthrope, en una publicación de blog.
La historia continúa debajo de este anuncio
El ajuste fino supervisado (SFT) es un proceso en el aprendizaje automático donde un modelo previamente capacitado está capacitado (ajustado) en un conjunto de datos etiquetado específico para una tarea en particular. Este enfoque aprovecha el conocimiento general que el modelo ya ha adquirido durante su fase inicial de pre-entrenamiento y lo adapta para funcionar bien en una tarea más especializada.
Según un resumen adjunto con el modelo de Deepseek en su página de GitHub, la compañía dijo que aplicó el aprendizaje de refuerzo al modelo base sin depender del ajuste superior supervisado como un paso preliminar.
“Este enfoque permite que el modelo explore la cadena de pensamiento (cot) para resolver problemas complejos, lo que resulta en el desarrollo de Deepseek-R1-Zero. Deepseek-r1-cero demuestra capacidades como la autoverificación, la reflexión y la generación de cunas largas, marcando un hito significativo para la comunidad de investigación. En particular, es la primera investigación abierta para validar que las capacidades de razonamiento de los LLM se pueden incentivar puramente a través de RL, sin la necesidad de SFT. Este avance allana el camino para futuros avances en esta área. ”, Dijo el resumen.
https://www.youtube.com/watch?v=b6rttqqb67k
Los propios problemas de derechos de autor de Openai
La historia continúa debajo de este anuncio
En todo el mundo, y específicamente en países como Estados Unidos e India, existe un creciente escepticismo de los editores de noticias sobre las preocupaciones de material con derechos de autor, como informes de noticias, utilizados por compañías como OpenAI para capacitar a sus modelos fundamentales, sin permiso o pago.
En noviembre pasado, la agencia de noticias Ani había demandado a OpenAi en el Tribunal Superior de Delhi, acusando a la compañía de usar ilegalmente material con derechos de autor indio para capacitar a sus modelos de IA. A principios de esta semana, una serie de editores de noticias digitales, incluido el Indian Express, han presentado una intervención en el caso.
La afirmación es que compañías como OpenAI han desarrollado grandes modelos de idiomas (LLM) al “capacitar” sobre grandes cantidades de texto, incluidas, sin licencia o permiso, obras protegidas por derechos de autor. Esta “utilización ilegal de materiales con derechos de autor beneficia exclusivamente a Openai y a sus inversores, en detrimento de los trabajos creativos en toda la industria de la India”, dijo la Asociación de Publishers de Noticias Digital (DNPA) en un comunicado.
Operai también enfrenta una serie de demandas similares en otras jurisdicciones. En diciembre de 2023, el New York Times demandó a la compañía y Microsoft, citando el uso “ilegal” de contenido con derechos de autor. La publicación ha alegado que los modelos de idiomas grandes de Openai y Microsoft, que alimentan el chatgpt y el copiloto, “pueden generar el resultado que recita el contenido textual, lo resume de cerca e imita su estilo expresivo”. Este “socavo[s] y daño[s]”La relación del Times con los lectores, al tiempo que la prive de” suscripción, licencias, publicidad e ingresos por afiliados “.
You may like
Noticias
¿Qué es Mistral AI? Todo para saber sobre el competidor de Operai
Published
5 horas agoon
5 mayo, 2025
Mistral AI, la compañía francesa detrás del asistente de IA LE Chat y varios modelos fundamentales, es considerada oficialmente como una de las nuevas empresas tecnológicas más prometedoras de Francia y posiblemente es la única compañía europea que podría competir con OpenAI. Pero en comparación con su valoración de $ 6 mil millones, su participación en el mercado global sigue siendo relativamente baja.
Sin embargo, el reciente lanzamiento de su asistente de chat en las tiendas de aplicaciones móviles se encontró con algunas exageraciones, particularmente en su país de origen. “Vaya y descargue le chat, que está hecho por Mistral, en lugar de chatgpt por OpenAi, o algo más”, dijo el presidente francés Emmanuel Macron en una entrevista televisiva antes de la Cumbre de Acción de AI en París.
Si bien esta ola de atención puede ser alentadora, Mistral AI aún enfrenta desafíos para competir con personas como OpenAI, y al hacerlo mientras se mantiene al día con su autodefinición como “el laboratorio de IA independiente más verde e líder del mundo”.
¿Qué es Mistral AI?
Mistral AI ha recaudado cantidades significativas de fondos desde su creación en 2023 con la ambición de “poner a la IA fronteriza en manos de todos”. Si bien este no es un jab directo en OpenAI, el eslogan está destinado a resaltar la defensa de la compañía para la apertura en la IA.
Su alternativa a ChatGPT, Asistente de chat LE Chat, ahora también está disponible en iOS y Android. Alcanzó 1 millón de descargas en las dos semanas posteriores a su lanzamiento móvil, incluso obtuvo el primer lugar de Francia para descargas gratuitas en la tienda de aplicaciones iOS.
Esto viene además del conjunto de modelos de Mistral AI, que incluye:
En marzo de 2025, la compañía introdujo Mistral OCR, una API de reconocimiento de carácter óptico (OCR) que puede convertir cualquier PDF en un archivo de texto para facilitar que los modelos de IA ingieran.
Evento de TechCrunch
Berkeley, CA
|
5 de junio
Reservar ahora
¿Quiénes son los fundadores de Mistral AI?
Los tres fundadores de Mistral AI comparten una experiencia en investigación de IA en las principales empresas de tecnología estadounidense con operaciones significativas en París. El CEO Arthur Mensch solía trabajar en DeepMind de Google, mientras que el CTO Timothée Lacroix y el director científico Guillaume Lample son ex empleados de Meta.
Los asesores cofundadores también incluyen a Jean-Charles Samuelian-Werve (también miembro de la junta) y Charles Gorintin de la startup de seguros de salud Alan, así como el ex ministro digital Cédric O, que causó controversia debido a su papel anterior.
¿Son los modelos de AI de Mistral de código abierto?
No todos ellos. Mistral AI diferencia a sus modelos principales, cuyos pesos no están disponibles para fines comerciales, de sus modelos gratuitos, para los cuales proporciona acceso de peso bajo la licencia Apache 2.0.
Los modelos gratuitos incluyen modelos de investigación como Mistral Nemo, que se construyó en colaboración con NVIDIA que la startup abierta en julio de 2024.
¿Cómo gana dinero Mistral AI?
Si bien muchas de las ofertas de Mistral AI son gratuitas o ahora tienen niveles gratuitos, Mistral AI planea generar algunos ingresos de los niveles pagados de Le Chat. Introducido en febrero de 2025, el plan Pro Chat tiene un precio de $ 14.99 al mes.
En el lado puramente B2B, Mistral AI monetiza sus modelos principales a través de API con precios basados en el uso. Las empresas también pueden licenciar estos modelos, y la compañía probablemente también genera una participación significativa de sus ingresos de sus asociaciones estratégicas, algunas de las cuales destacó durante la Cumbre de AI de París.
En general, sin embargo, los ingresos de Mistral AI todavía se encuentran en el rango de ocho dígitos, según múltiples fuentes.
¿Qué asociaciones ha cerrado Mistral Ai?
En 2024, Mistral AI entró en un acuerdo con Microsoft que incluía una asociación estratégica para distribuir sus modelos de IA a través de la plataforma Azure de Microsoft y una inversión de € 15 millones. La Autoridad de Competencia y Mercados del Reino Unido (CMA) concluyó rápidamente que el acuerdo no calificó para la investigación debido a su pequeño tamaño. Sin embargo, también provocó algunas críticas en la UE.
En enero de 2025, Mistral AI firmó un acuerdo con la agencia de prensa Agence France-Presse (AFP) para dejar que el chat consulte todo el archivo de texto de la AFP que data de 1983.
Mistral AI también aseguró asociaciones estratégicas con el ejército y la agencia de empleo de Francia, el gigante de envío CMA, la startup de tecnología de defensa alemana Helsing, IBM, Orange y Stellantis.
¿Cuánta financiación ha recaudado Mistral AI hasta la fecha?
A partir de febrero de 2025, Mistral AI recaudó alrededor de € 1 mil millones en capital hasta la fecha, aproximadamente $ 1.04 mil millones al tipo de cambio actual. Esto incluye algunos financiamiento de la deuda, así como varias rondas de financiamiento de capital planteadas en una sucesión cercana.
En junio de 2023, y antes de que lanzara sus primeros modelos, Mistral AI recaudó una ronda récord de $ 112 millones de semillas dirigida por Lightspeed Venture Partners. Las fuentes en ese momento dijeron que la ronda de semillas, la más grande de Europa, valoraba la startup de entonces un mes de $ 260 millones.
Otros inversores en esta ronda de semillas incluyeron BPifrance, Eric Schmidt, Exor Ventures, First Minute Capital, Headline, Jcdecaux Holding, La Famiglia, Localglobe, Motier Ventures, Rodolphe Saadé, Sofina y Xavier Niel.
Solo seis meses después, cerró una serie A de € 385 millones ($ 415 millones en ese momento), a una valoración reportada de $ 2 mil millones. La ronda fue dirigida por Andreessen Horowitz (A16Z), con la participación de la velocidad de la luz de los patrocinadores existentes, así como BNP Paribas, CMA-CGM, Convicción, Elad Gil, Catalyst General y Salesforce.
La inversión convertible de $ 16.3 millones que Microsoft hizo en la IA Mistral como parte de su asociación anunciada en febrero de 2024 se presentó como una extensión de la Serie A, lo que implica una valoración sin cambios.
En junio de 2024, Mistral AI luego recaudó 600 millones de euros en una combinación de capital y deuda (alrededor de $ 640 millones al tipo de cambio en ese momento). La ronda de larga data fue dirigida por Catalyst General con una valoración de $ 6 mil millones, con inversores notables, incluidos Cisco, IBM, Nvidia, Samsung Venture Investment Corporation y otros.
¿Cómo podría ser una salida de IA distral?
Mistral está “no a la venta”, dijo Mensch en enero de 2025 en el Foro Económico Mundial en Davos. “Por supuesto, [an IPO is] el plan “.
Esto tiene sentido, dado cuánto ha recaudado la startup hasta ahora: incluso una venta grande puede no proporcionar múltiplos lo suficientemente altos para sus inversores, sin mencionar las preocupaciones de soberanía dependiendo del adquirente.
Sin embargo, la única forma de definitivamente aplastar rumores de adquisición persistentes es escalar sus ingresos a niveles que incluso podrían justificar remotamente su valoración de casi $ 6 mil millones. De cualquier manera, estad atentos.
Esta historia se publicó originalmente el 28 de febrero de 2025 y se actualizará regularmente..
Noticias
5 indicaciones de chatgpt listas para usar que ahorran horas a los estudiantes cada semana
Published
8 horas agoon
5 mayo, 2025
Vista de ángulo bajo de una joven y sonriente estudiante que escribe notas y trabaja en una computadora portátil mientras realiza … Más su tarea en una concurrida cafetería del campus
getty
Los adolescentes de hoy no son solo estudiantes: son máquinas multitarea, escuela de equilibrio, deportes, trabajos a tiempo parcial y preparación universitaria. Según el Centro Nacional de Estadísticas de Educación, los estudiantes de secundaria pasan un promedio de 6.8 horas por semana en la tarea, y algunos informan casi dos horas por noche. La investigación muestra que exceder constantemente dos horas de tarea puede aumentar el estrés y el bienestar de daños, lo que hace que la eficiencia sea deseable y necesaria.
Al equilibrar Hornados exigentes Con trabajos, deportes y preparación universitaria, los estudiantes recurren a las herramientas de asistente de tarea de IA, no para atajos sino para estrategias de estudio más inteligentes. Cuando se usa éticamente, ChatGPT sirve como socio de estudio virtual, no como un generador de contenido.
Estas ayudas de estudio de inteligencia artificial deberían ayudar a los estudiantes a comprender mejor los conceptos, organizar sus pensamientos con claridad y administrar el tiempo de manera efectiva. El trabajo final debe seguir siendo la creación original del estudiante, con herramientas de aprendizaje con IA que sirven solo como ayuda de pensamiento, no como autor. Sin embargo, los estudiantes deben saber cómo hacer mejores preguntas para desbloquear su máximo potencial. Aquí hay cinco indicaciones de estudio de IA listas para usar que pueden ayudar a los estudiantes a ahorrar horas cada semana. Cuando use estas indicaciones con materiales de clase, asegúrese de no violar las leyes de derechos de autor. Solo use el contenido que puede compartir o ese es su trabajo original. Los extractos de libros de texto, artículos publicados u otros materiales protegidos no deben pegarse en las herramientas de soporte académico de ChatGPT sin autorización.
1. Transforme las notas de la conferencia en guías de estudio con IA
“Necesito ayuda para crear una guía de estudio estructurada a partir de mis notas de clase. Aquí está mi contenido: [paste your notes]
. Mi objetivo es prepararse de manera efectiva para [name your exam/quiz]. Revise esto con lo siguiente en mente: 1) ¿Los conceptos clave están claramente identificados y organizados? 2) ¿Hay dispositivos de memoria efectivos o mnemónicos incluidos? 3) ¿Las preguntas de práctica prueban la comprensión en lugar de la memorización? Dame sugerencias procesables para mejorar, con ejemplos de secciones reestructuradas. Explique su razonamiento para cada sugerencia “.
Cuando los estudiantes organizan notas de esta manera, no solo reducen el tiempo de estudio sino que mejoran la retención. Estudiantes que usan herramientas de asistencia para tareas de IA como Turbolear AI Para convertir las notas de la conferencia en materiales de estudio digeribles, reduzca su tiempo de estudio en un 30% en comparación con la organización manual. La plataforma transforma el contenido académico denso en podcasts y evaluaciones de práctica, ayudando a los estudiantes a comprender temas complejos de manera más eficiente.
2. Obtenga retroalimentación de ensayos y soporte de redacción de ensayos con IA
“Necesito comentarios específicos sobre este borrador del ensayo. Aquí está mi documento: [paste your draft]. Mi objetivo es [explain your assignment objective]. Por favor, revise esto con lo siguiente en mente: 1) ¿Mi declaración de tesis transmite claramente mi argumento principal? 2) ¿Es la evidencia de cada párrafo relevante y suficientemente desarrollada? 3) ¿Mi conclusión refuerza efectivamente mi tesis sin repetición? Dame sugerencias procesables para mejorar, con ejemplos de frases revisados. Explique su razonamiento para cada sugerencia “.
Las herramientas de ayuda de tarea de IA como Quillbot ayudan a los estudiantes para parafraseando un lenguaje académico complejo en términos más claros, mientras que las sugerencias de IA de Grammarly aparecen automáticamente como los estudiantes escriben. Estas herramientas de productividad estudiantil ayudan a mantener los estándares académicos al tiempo que mejora la claridad y el flujo.
Si bien la IA puede proporcionar comentarios sobre la escritura, todo el trabajo final debe ser suyo. La IA no debe generar contenido que luego envíe como su propio trabajo. Use estas sugerencias para mejorar sus habilidades de escritura, no para reemplazarlas.
3. Simplifique conceptos académicos complejos con chatgpt
“Necesito ayuda para comprender este concepto desafiante. Esto es lo que estoy estudiando: [paste concept/theory]. Mi objetivo es dominar este tema para [specific application]. Revise esto con lo siguiente en mente: 1) ¿Puede explicar esto usando analogías cotidianas? 2) ¿Qué ejemplos del mundo real ilustran este concepto de manera efectiva? 3) ¿Qué conceptos erróneos debo evitar? Dame explicaciones procesables con ejemplos concretos. Cree 3-5 preguntas para probar mi comprensión y explicar su razonamiento para cada uno “.
Investigación por Lucas Keefer y Mark Landau Encontró que el uso de analogías, como comparar objetos familiares como una señal de piscina y una bola de billar con conceptos desconocidos como una fuente de neutrones y emisiones, mejoró significativamente la comprensión de los estudiantes sobre la fisión nuclear al ayudarlos a mapear mentalmente las relaciones entre elementos clave. Esto muestra por qué pedirle analogías a ChatGPT no es solo un atajo: es una poderosa herramienta de aprendizaje que ayuda a los estudiantes a conectar nuevas ideas con lo que ya saben, profundizando la comprensión y la retención.
4. Crear plazos de proyecto realistas con la programación de IA
“Necesito ayuda para planificar este gran proyecto. Aquí está mi tarea: [paste project details and deadline]. Mi objetivo es completar esto eficientemente sin estrés de último minuto. Por favor, revise esto con lo siguiente en mente: 1) ¿La línea de tiempo incluye todos los pasos esenciales (investigación, redacción, revisiones)? 2) ¿Las estimaciones de tiempo son realistas para cada componente? 3) ¿Existe un tiempo de amortiguación adecuado para retrasos inesperados? Dame recomendaciones de programación procesables con desgloses diarios/semanales. Explique su razonamiento para cada asignación de tiempo “.
Los datos muestran que los estudiantes que trabajan a tiempo parcial pasan unos 20 minutos menos por día en la tarea que sus compañeros no laborales. Plataformas como Motion y Reclaim.AI Ayude a automatizar los horarios, pero ChatGPT puede adaptar los planes para la carga de trabajo y el estilo de aprendizaje específicos del estudiante.
5. Desarrolle preguntas de discusión atractivas con AI
“Necesito ayuda para preparar preguntas de discusión para mi lectura. Aquí está mi texto: [paste relevant excerpts]. Mi objetivo es liderar un grupo de discusión/estudio de clase significativo. Por favor, revise esto con lo siguiente en mente: 1) ¿Las preguntas promueven el pensamiento crítico más allá de la comprensión básica? 2) ¿Hay conexiones con eventos actuales o aplicaciones del mundo real? 3) ¿Existe una combinación de tipos de preguntas (analítico, evaluativo, creativo)? Dame formatos de preguntas procesables con ejemplos. Explique su razonamiento para cada tipo “.
La investigación reciente de Pew muestra que 26% de los adolescentes estadounidenses Ahora use herramientas de IA para el trabajo escolar, el doble del porcentaje de 2023. Esto refleja una creciente aceptación de la IA como una ayuda de estudio legítima cuando se usa correctamente. A medida que más estudiantes adopten estas herramientas académicas de IA, los líderes serán aquellos que los usen para hacer mejores preguntas, no solo encontrar respuestas más rápidas.
Usar AI éticamente significa tratar estas herramientas como ayudas de estudio en lugar de reemplazos para el aprendizaje. Siempre verifique el contenido generado por la IA a través de fuentes académicas confiables, cite la asistencia de IA cuando su institución lo requiera y use los resultados como ayudas de pensamiento, no presentaciones finales. Los estudiantes desarrollan habilidades académicas más fuertes al usar IA para mejorar la comprensión en lugar de evitar el pensamiento crítico.
Los estudiantes más efectivos no solo usan estas herramientas, sino que las adaptan a su estilo de aprendizaje. La mayoría de los estudiantes actualmente pasan aproximadamente una hora o más todas las noches en la tarea, sin embargo, muchos sienten que esto podría reducirse para mantener un mejor equilibrio. Estas indicaciones de tareas de ChatGPT representan solo el comienzo de cómo la IA puede mejorar el rendimiento académico al tiempo que mantiene la integridad de la educación, ayudando a los estudiantes a encontrar ese punto óptimo entre la eficiencia y la comprensión. El futuro de la educación no se trata de evitar el aprendizaje, se trata de mejorarlo. Cuando se usa de manera transparente y de conformidad con las políticas escolares, las herramientas de IA pueden ayudar a los estudiantes a desarrollar habilidades de pensamiento más fuertes mientras mantienen la integridad académica.
Noticias
OpenAI realizó una gran actualización de ChatGPT. Por qué está cambiando cómo prueba los modelos
Published
9 horas agoon
5 mayo, 2025
Las actualizaciones recientes a ChatGPT hicieron que el chatbot fuera demasiado agradable, y OpenAi dijo que está tomando medidas para evitar que el problema vuelva a suceder. En una publicación de blog, la compañía detalló su proceso de prueba y evaluación para nuevos modelos y describió cómo surgió el problema con la actualización del 25 de abril a su modelo GPT-4O. Esencialmente, un montón de cambios que individualmente parecían útiles combinados para crear una herramienta que era demasiado sycofántica y potencialmente dañina.
¿Qué tan chupada fue? En algunas pruebas, preguntamos acerca de una tendencia a ser demasiado sentimental, y Chatgpt puso sobre la adulación: “Oye, escucha, ser sentimental no es una debilidad; es uno de tus superpoderes“Y recién comenzaba ser satisfecho”. Este lanzamiento nos enseñó una serie de lecciones. Incluso con lo que pensamos que eran todos los ingredientes correctos en su lugar (pruebas A/B, evals fuera de línea, revisiones de expertos), todavía nos perdimos este importante problema “, dijo la compañía. OpenAi retrocedió la actualización a fines de abril. Para evitar causar nuevos problemas, tardó aproximadamente 24 horas en revertir el modelo para todos.
La preocupación en torno a la sileno no se trata simplemente del nivel de disfrute de la experiencia del usuario. Planteó una amenaza de salud y seguridad para los usuarios que se perdieron los controles de seguridad existentes de OpenAI. Cualquier modelo de IA puede dar consejos cuestionables sobre temas como la salud mental, pero uno que sea demasiado halagador puede ser peligrosamente deferente o convincente, como si una inversión es una cosa segura o qué tan delgada debe buscar ser.
“Una de las lecciones más importantes es reconocer completamente cómo las personas han comenzado a usar ChatGPT para obtener consejos profundamente personales, algo que no vimos tanto hace un año”, dijo Openii. “En ese momento, este no era un enfoque principal, pero como AI y la sociedad han evolucionado co-evolucionando, queda claro que necesitamos tratar este caso de uso con gran cuidado”.
Los modelos sycófánticos de lenguaje grande pueden reforzar los prejuicios y endurecer las creencias, ya sea que sean sobre usted u otros, dijo Maarten SAP, profesor asistente de informática en la Universidad Carnegie Mellon. El modelo de lenguaje grande, o LLM, “puede terminar envalentonando sus opiniones si estas opiniones son dañinas o si quieren tomar medidas que sean perjudiciales para sí mismas o para los demás”, dijo.
El problema es “más que una peculiaridad” y muestra la necesidad de mejores pruebas antes de que los modelos sean lanzados al público, dijo Arun Chandrasekaran, un distinguido analista de vicepresidente de Gartner. “Es una preocupación seria vinculada a la veracidad, la confiabilidad y la confianza del usuario, y (las) actualizaciones de la pista de OpenAI en los esfuerzos más profundos para abordar esto, aunque la tendencia continua de priorizar la agilidad sobre la seguridad es un problema relevante a largo plazo”, dijo.
(Divulgación: Ziff Davis, la empresa matriz de CNET, en abril presentó una demanda contra OpenAI, alegando que infringió los derechos de autor de Ziff Davis en la capacitación y la operación de sus sistemas de IA).
Cómo Operai prueba los modelos y lo que está cambiando
La compañía ofreció una idea de cómo prueba sus modelos y actualizaciones. Esta fue la quinta actualización importante de GPT-4O centrada en la personalidad y la ayuda. Los cambios involucraron un nuevo trabajo posterior a la capacitación o un ajuste fino en los modelos existentes, incluida la calificación y la evaluación de diversas respuestas a las indicaciones para que sea más probable que produzca esas respuestas que calificaron más altamente.
Las posibles actualizaciones del modelo se evalúan sobre su utilidad en una variedad de situaciones, como la codificación y las matemáticas, junto con las pruebas específicas de los expertos para experimentar cómo se comporta en la práctica. La compañía también realiza evaluaciones de seguridad para ver cómo responde a la seguridad, la salud y otras consultas potencialmente peligrosas. Finalmente, Operai ejecuta pruebas A/B con un pequeño número de usuarios para ver cómo funciona en el mundo real.
La actualización del 25 de abril funcionó bien en estas pruebas, pero algunos evaluadores expertos notaron que la personalidad parecía un poco desactivada. Las pruebas no observaron específicamente la sileno, y OpenAi decidió avanzar a pesar de los problemas planteados por los evaluadores. Tome nota, lectores: las compañías de inteligencia artificial tienen una prisa en la cola, que no siempre se enfrenta bien al desarrollo de productos bien pensado.
“Mirando hacia atrás, las evaluaciones cualitativas insinuaban algo importante y deberíamos haber prestado más atención”, dijo Openii. Entre sus conclusiones, la compañía dijo que necesita tratar los problemas de comportamiento del modelo igual que otros problemas de seguridad y detener un lanzamiento si hay preocupaciones. Para algunos lanzamientos de modelos, la compañía dijo que tendría una fase “alfa” de suscripción para obtener más comentarios de los usuarios antes de un lanzamiento más amplio.

¿Chatgpt es demasiado sycofántico? Tu decide. (Para ser justos, pedimos una charla sobre nuestra tendencia a ser demasiado sentimental).
Katie Collins/CNET
SAP dijo que evaluar una LLM en función de si a un usuario le gusta la respuesta no necesariamente le dará el chatbot más honesto. En un estudio reciente, SAP y otros encontraron un conflicto entre la utilidad y la veracidad de un chatbot. Lo comparó con situaciones en las que la verdad no es necesariamente lo que se le dice a la gente: piense en un vendedor de automóviles que intenta vender un vehículo defectuoso.
“El problema aquí es que confiaban en la respuesta de los usuarios hacia arriba/pulgar hacia abajo a las salidas del modelo y que tiene algunas limitaciones porque es probable que las personas sean votantes de algo más sycofántico que otros”, dijo SAP, y agregó que OpenAi es correcto a ser más crítico con la retroalimentación cuantitativa, como las respuestas de los usuarios, como las respuestas de los usuarios, ya que pueden reforzar los besis.
El problema también destacó la velocidad a la que las empresas impulsan las actualizaciones y cambian a los usuarios existentes, dijo SAP, un problema que no se limita a una compañía tecnológica. “La industria de la tecnología realmente ha tomado una ‘liberación y cada usuario es un enfoque de Beta Tester’ para las cosas”, dijo. Un proceso con más pruebas antes de que las actualizaciones sean impulsadas a los usuarios pueden sacar a la luz tales problemas antes de que se generalicen.
Chandrasekaran dijo que más pruebas ayudarán porque una mejor calibración puede enseñar modelos cuándo estar de acuerdo y cuándo retroceder. Las pruebas también pueden permitir a los investigadores identificar y medir problemas y reducir la susceptibilidad de los modelos a la manipulación. “Los LLM son sistemas complejos y no deterministas, por lo que las pruebas extensas son críticas para mitigar las consecuencias no deseadas, aunque eliminar tales comportamientos es súper difícil”, dijo en un correo electrónico.
Related posts








































































































































































































































































































Trending
-
Startups12 meses ago
Remove.bg: La Revolución en la Edición de Imágenes que Debes Conocer
-
Tutoriales12 meses ago
Cómo Comenzar a Utilizar ChatGPT: Una Guía Completa para Principiantes
-
Recursos12 meses ago
Cómo Empezar con Popai.pro: Tu Espacio Personal de IA – Guía Completa, Instalación, Versiones y Precios
-
Startups10 meses ago
Startups de IA en EE.UU. que han recaudado más de $100M en 2024
-
Startups12 meses ago
Deepgram: Revolucionando el Reconocimiento de Voz con IA
-
Recursos12 meses ago
Perplexity aplicado al Marketing Digital y Estrategias SEO
-
Recursos12 meses ago
Suno.com: La Revolución en la Creación Musical con Inteligencia Artificial
-
Noticias10 meses ago
Dos periodistas octogenarios deman a ChatGPT por robar su trabajo