Connect with us

Noticias

Las compañías de IA luchan por la Ley de IA de Europa cuando los creativos se retiran

Published

on

Hace nueve meses, la Unión Europea aprobó una acto de IA histórica que fue aclamada como innovadora. Se convirtió en la primera ley del mundo destinada a regular la tecnología de inteligencia artificial, y exigió específicamente que las empresas de IA comiencen a informar al público cuando se genera una pieza de contenido.

Pero uno de los aspectos más divisivos de la ley se refiere a la transparencia en la fase crucial aguas arriba, lo que requiere que las compañías de IA notifiquen a los derechistas cuando sus obras se utilizan como datos de capacitación para los algoritmos de sus sistemas de IA generativos. Esa obligación de notificación, cuya implementación aún está en el aire, pero se invertirá el 2 de agosto, es el quid de la batalla por los sholders de derecha que buscan compensación y nuevas fuentes de ingresos, así como compañías de IA, incluidas OpenAI (la empresa matriz de chat GPT), el meta y el banner francés Mistralai. Estas compañías han llamado por unanimidad a la Ley AI para crear un entorno engorrosa y frenar la innovación en el llamado “antiguo continente”.

El jefe de Operai, Sam Altman, incluso escribió un artículo de opinión en el periódico francés Le Monde el 8 de febrero para argumentar que “los reguladores europeos, que están trabajando en la aplicación de la Ley de IA, deben pensar en las consecuencias de sus decisiones sobre las oportunidades de mañana, especialmente en un momento en que el resto del mundo avanza”. Citó a Mario Draghi, presidente del Banco Central Europeo, quien afirmó que había una “brecha de innovación” al comparar Europa con los Estados Unidos y China.

Está lejos de ser la primera vez que los gigantes tecnológicos se enfrentan con los reguladores de la UE. En 2018, la UE fue muy criticada por los pancartas estadounidenses, incluidos Meta, por hacer cumplir la ley más dura de seguridad y privacidad, el infame GDPR (regulación general de protección de datos). Pero esa ley se convirtió en una plantilla en el extranjero, incluso en los Estados Unidos, donde ahora hay al menos cinco estados que presentan algún tipo de ley de privacidad del consumidor.

Esta vez, cuando se trata de IA, incluso en los Estados Unidos, donde la tecnología apenas está regulada, un grupo de medios de comunicación dirigidos por el New York Times ha llevado OpenAi a la corte federal por la infracción de los derechos de autor. Es solo uno de los casos relacionados con la IA que plantean desafíos de derechos de autor para haber estallado en todo el mundo.

En Francia, donde Openai solo tiene un acuerdo de licencia con el periódico Le Monde, el grupo de prensa propiedad de LVMH, Les Echos-Le Parisien, amenaza con seguir los pasos del New York Times y tomar acciones legales contra OpenAi después de no llegar a un acuerdo, dijo el presidente del grupo francés Pierre Louette Variedad.

Louette, quien también es ahora presidenta de Alliance Presse, que representa aproximadamente el 40% de los periodistas franceses, expresó su preocupación por el saqueo de las obras periodísticas en la Cumbre de Acción de AI en París, que aparece en un panel junto al cineasta de Jane C. Ginsburg, una venerada profesora de derecho de propiedad literaria y artística en la Universidad de Columbia, y el cineasta francés-mate-Moroccan Nabil.

En otros lugares, OpenAi tiene acuerdos con News Corp, que comprende el Wall Street Journal y Daily Telegraph, y Axel Springer, que comprende Die Welt y Politico. Mientras tanto, la startup francesa Mistraali tiene un acuerdo con la AFP de Newswire (Agence France Presse), y Google tiene un pacto con Associated Press.

Si bien solo se han firmado un puñado de acuerdos de licencia a nivel mundial, las compañías de inteligencia artificial han podido “incurgar a millones de obras raspando Internet y descargando colecciones de obras, a veces de fuentes ilegales, particularmente bases de datos de libros pirateados” para capacitar sus modelos, la mayoría de las veces sin compensar a los derechistas “, dijo Ginsburg en el panel. Los empresarios de AI han afirmado que sus copias fueron “excusadas bajo excepciones por la” minería de texto y datos “en la UE, y” uso justo “en los Estados Unidos”, dijo Ginsburg.

La excepción de “uso justo” básicamente permite que la IA use contenido con derechos de autor siempre que produce algo diferente (para fines educativos o de comentarios) que no compite con el original. La excepción de “minería de texto y datos” de la UE va mucho más lejos, ya que le da a los sholders la posibilidad de optar por no participar cuando su trabajo se copia con fines comerciales. Como tal, cada vez más derechistas de la UE, incluidas las organizaciones de noticias, han comenzado a optar por evitar que las compañías de IA accedan a sus trabajos.

En teoría, dicha restricción debería dar a las empresas de IA un incentivo para firmar acuerdos de licencia, ya que acceder a datos de alta calidad es un requisito previo para capacitar a sus máquinas y, como dice Ginsburg, depender de trabajos expulsados ​​de derechos de autor o datos de baja calidad podría comprometer el sistema AI. Pero hasta ahora, esta perspectiva dramática aún no ha obligado a los empresarios de la IA a tomar sus chequeras y acuerdos de firma con los derechistas. Mientras tanto, este último no se siente adecuadamente protegido por la opción de exclusión que parece casi obsoleta.

Louette dijo que el trabajo de los periodistas fue saqueado por las compañías de IA antes de optar por no hacer pasar un par de años y está buscando cierta compensación para uso pasado, presente y futuro, ya que no hay forma de purgar las máquinas.

“Sabemos que nos estás cosechando. No lo sabíamos antes. Ahora le decimos que lo rechazamos y necesitamos tener protección y necesitamos tener una remuneración ”, dijo Louette en el panel. “Ciertas empresas venden suscripciones. Es exactamente la situación en la que cosechas el campo de otra persona y vendes lo que has cosechado a los demás. Es como robar “. También mencionó la ironía de ver a Openai acusando a los profundos serputos de copiar sus modelos AI avanzados.

“Cada vez que una de estas compañías está en competencia de otra, dicen: ‘¡Hola, tenemos derechos de IP! ¡No puedes quitarnos! Ahí es cuando se convierte en un tema para ellos. Esto es ridículo en muchos sentidos ”, dijo Louette.

Ayouch, mientras tanto, quien recientemente se sentó en el jurado del Festival de Cine de Berlín que fue presidido por Todd Haynes, planteó la alarma sobre la opacidad total de las compañías de IA con respecto al contenido que utilizan como datos de capacitación.

“Algunos dicen:” Taladro, bebé, ejercicio “. Yo digo: “¡Regular, bebé, regular!” Ayuch dijo. “Cada innovación tecnológica, para prosperar, ha requerido un marco regulatorio protector. Sin regulación, la innovación colapsa: la historia ha demostrado esto, una y otra vez. Queremos avanzar, para adoptar el progreso, pero no a ningún costo y no a ningún precio “.

Ayouch exige que las empresas de IA sean completamente transparentes sobre cada trabajo que están utilizando para capacitar a sus máquinas. Las compañías de IA, especialmente las de los Estados Unidos, están luchando para evitar tener que comunicar detalles granulares sobre los datos de capacitación en la UE, y hay rumores de que solo podrían imponerse para notificar a los derechistas por una fracción de lo que usan. Sin embargo, una cosa que es segura es que una vez que la obligación se inicia el 2 de agosto, la UE financia a las compañías, de donde sea que sean, por infracciones que podrían sumar miles de millones, según una fuente de la industria con sede en Francia.

“Cuando los hermanos Lumière inventaron el cine, la gente predijo el final de la pintura y la fotografía. Sin embargo, ambos sobrevivieron y se volvieron más fuertes que nunca. Lo mismo sucedió cuando surgió la televisión, supuestamente listo para matar el cine, y se esperaba que las plataformas de transmisión y las plataformas de transmisión eliminaran la televisión ”, dijo Ayouch. “Pero aquí estamos hoy: todas estas innovaciones notables han sufrido, y los artistas las han aceptado. Los derechos del autor nunca han dejado de evolucionar, adaptándose a cada uno de estos cambios “.

Francia, que fue el primer país de Europa en lograr que los streamers inviertan un porcentaje de su facturación local sobre el contenido francés, ha sido el telón de fondo de los debates ardientes entre figuras culturales y jugadores de IA. El país ha tenido una posición ambivalente cuando se trata de regular la IA, a pesar de que tiene un largo legado de proteger a los autores y cuenta con una de las leyes de derechos de autor más integrales del mundo.

Si bien está profundamente apegado al mundo de la creación y al concepto de autoría, Francia también tiene el estado del mayor centro de Europa para la innovación de IA. El presidente francés, Emmanuel Macron, ha trabajado para fortalecer el posicionamiento de la UE en el ecosistema de IA para competir con los EE. UU., Donde la administración Trump ha prometido avanzar rápidamente en la IA y con China. Francia también es el hogar de la mayor startup de IA de la UE, Mistral AI, y a principios de este mes, Macron dio a conocer una inversión masiva de 109 mil millones de euros del sector privado para inyectarse en la industria de la IA del país. Ese plan, presentado por Macron durante la Cumbre de Acción de AI en París, está destinado a rivalizar con los $ 500 mil millones de Trump de Trump Proyecto Stargate.

Como dijo Macron Variedad En su historia de portada en octubre, la IA también es una cuestión de poder blando que plantea problemas geopolíticos. Como tal, dijo que desarrollar un sistema de IA generativo en Europa es clave porque “hay muchos sesgos que se pueden crear desde el principio en estos modelos” y la UE necesita “desarrollar modelos de lenguaje amplios que coincidan con nuestra preferencia”.

“Hay una carrera para innovar, por lo que tenemos que ser parte de ella. Necesitamos continuar entrenando y conservando personas talentosas, invertir más dinero público y privado, esa es una de mis batallas europeas ”, dijo.

El sesgo es realmente obvio cuando se trata de la difusión de noticias de AI Tools. La directora ejecutiva de Banijay France, Alexia Laroche-Joubert, dibujó algo de rumor durante el fin de semana con una publicación de LinkedIn que comparó las respuestas con la simple pregunta “¿Puedes darme las últimas noticias en el mundo?” Desde ChatGPT, LE Chat de Mistralai y Microsoft. Las respuestas fueron radicalmente diferentes. ChatGPT, por ejemplo, tenía sus dos principales noticias sobre la administración Trump, mientras que el Chat de Mistraalai lideró con el llamado de la ONU para donaciones en Haití y el regreso a casa de los refugiados sirios.

En países más pequeños, como el país báltico de Estonia, experto en digital, el presidente Alar Karis dijo en un panel de IA en París que está tan preocupado por la ausencia de lenguaje y cultura estonía en la capacitación de datos de los principales modelos de IA que los miembros de su gobierno están en conversaciones con Meta para entregar el contenido estoniano de forma gratuita, un movimiento que ha provocado el aumento de los creadores locales.

Pero como dice Louette, permitir que las compañías de IA sacen contenido de Internet de forma gratuita es una pendiente resbaladiza que podría tener grandes repercusiones. “Un amigo mío en la sala le pidió a Chatgpt esta pregunta …” ¿Puede el saqueo de la cultura de un país conducir a la desaparición del país? ” La respuesta de Chatgpt fue: “Cuando una civilización está bajo saqueo masivo, pierde una parte de su memoria y su identidad”. Bueno, esa es una buena respuesta ”, dijo.

El panel de la Cumbre de Acción de AI estaba destinado a resaltar el ciclo virtuoso que podría crearse entre compañías de IA y creadores de contenido. Tal vínculo simbiótico existe en Francia entre el cine local y los éxitos de taquilla estadounidenses, gracias a un esquema que permite que la Junta de Cine Nacional recaude cada admisión en los subsidios de teatro y fondos para la industria cinematográfica francesa.

Si bien la posibilidad de ver a grandes compañías tecnológicas financiar a los actores locales parece poco realista, dijo Laroche-Jubert Variedad que ella confía en que los creadores no se queden fuera del ecosistema AI.

“En este momento, estamos en esta loca carrera por la innovación, pero habrá cierta normalización, como siempre sucede después del frenesí”, dijo. “Una cosa es segura: nunca trabajaremos sin creadores”.

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

Probé 10 detectores de contenido de IA, y estos 5 se identificaron correctamente el texto de IA cada vez

Published

on

Mustafahacalaki/Getty Images

Cuando examiné por primera vez si es posible luchar contra el plagio generado por la IA y cómo podría funcionar ese enfoque, era enero de 2023, solo unos meses después de la explosión de la IA generativa del mundo.

También: las 20 mejores herramientas de IA de 2025, y la cosa #1 para recordar cuando las usas

Esta es una versión completamente actualizada de ese artículo original de enero de 2023. Cuando probé por primera vez los detectores GPT, el mejor resultado fue el 66% correcto de uno de los tres damas disponibles. Mi conjunto de pruebas más reciente, en febrero de 2025, utilizó hasta 10 damas, y tres de ellas tenían puntajes perfectos. Esta vez, solo un par de meses después, cinco lo hicieron.

Lo que estoy probando y cómo lo estoy haciendo

Sin embargo, antes de continuar, discutamos el plagio y cómo se relaciona con nuestro problema. Merriam-Webster define “plagiar” como “robar y pasar (las ideas o palabras de otro) como propias; usar (la producción de otro) sin acreditar la fuente”.

Esta definición se adapta bien al contenido creado por AI. Si bien alguien que usa una herramienta de IA como la noción AI o el chatgpt no está robando contenido, si esa persona no acredita las palabras como provenientes de una IA y las reclama como suyas, todavía cumple con la definición del diccionario de plagio.

También: el sorteo muerto que chatgpt escribió su contenido y cómo trabajar con él

Para probar los detectores de IA, estoy usando cinco bloques de texto. Dos fueron escritos por mí y tres fueron escritos por Chatgpt. Para probar un detector de contenido, alimento cada bloque al detector por separado y registro el resultado. Si el detector es correcto, considero que la prueba se pasa; Si está mal, considero que falló.

Cuando un detector proporciona un porcentaje, trato cualquier cosa por encima del 70% como una probabilidad fuerte, ya sea a favor del contenido escrito por humanos o escritos por IA, y considero que la respuesta del detector. Si desea probar un detector de contenido utilizando los mismos bloques de texto, puede extraerlos de este documento.

Los resultados generales

Para evaluar los detectores de IA, reran mi serie de cinco pruebas en 10 detectores. En otras palabras, corté y pegé 50 pruebas individuales (tenía una lote de café).

Los detectores que probé incluyen Morder, Copileaks, Detector de salida GPT-2, Gptzero, Gramática, Mónica, Originalidad.Ai, Plantilla, Indetectable.Ai, Escritor.comy Zerogpt.

También: 3 trucos de chatgpt inteligentes que demuestran que sigue siendo la IA para vencer

Para esta actualización, agregué CopyLeaks y Monica. Dejé escrito de mis pruebas porque suspendió su detector GPT. Guardián de contenido Solicité inclusión, pero no escuché en el tiempo para probar cuentas.

Esta tabla muestra resultados generales. Como puede ver, cinco detectores identificaron correctamente el texto humano y de IA en todas las pruebas.

2025-04-contenido de contenido-001

David Gewirtz/Zdnet

Traté de determinar si había un patrón de mejora tangible con el tiempo, por lo que construí un gráfico que comparó la prueba de cinco pruebas con el tiempo. Hasta ahora, he ejecutado esta serie seis veces, pero no hay una tendencia fuerte. Aumenté el número de detectores probados e intercambiados algunos, pero el único resultado consistente es que la prueba 5 se identificó de manera confiable como humana en los detectores y fechas.

2025-04-contenido de contenido-002

David Gewirtz/Zdnet

Continuaré probando con el tiempo, y espero ver una tendencia de confiabilidad constantemente hacia arriba.

Si bien ha habido algunos puntajes perfectos, no recomiendo confiar únicamente en estas herramientas para validar el contenido escrito por humanos. Como se muestra, la escritura de altavoces no nativos a menudo se califica según lo generado por una IA.

A pesar de que mi contenido hecho a mano ha sido calificado en su mayoría escrito por humanos en esta ronda, un detector (GPTZero) se declaró demasiado incierto para juzgar, y otro (copyleks) declaró que es escrito. Los resultados son tremendamente inconsistentes en todos los sistemas.

También: los mejores chatbots de IA: chatgpt, copilot y alternativas notables

En pocas palabras: abogaría por precaución antes de confiar en los resultados de cualquiera, o todas, de estas herramientas.

Cómo se desempeñó cada detector de contenido de IA

Ahora, veamos cada herramienta de prueba individual, enumerada alfabéticamente.

Detección de contenido de Brandwell AI (precisión 40%)

Esta herramienta fue producida originalmente por una empresa de generación de contenido de IA, contenido a escala. Luego emigró a Brandwell.ai, Un nuevo nombre para una empresa de servicios de marketing centrado en la IA.

También: Las imágenes generadas por IA son un desastre legal, y sigue siendo un proceso muy humano

Desafortunadamente, su precisión fue baja. La herramienta no pudo saber si el contenido generado por IA en la prueba 2 era humano o AI, como se muestra en esta captura de pantalla:

morder

Captura de pantalla de David Gewirtz/Zdnet

Copileaks (precisión 80%)

Me parece divertido que Copileaks se declara “el detector de IA más preciso con más del 99% de precisión” cuando más de la mitad de los detectores probados funcionaron mejor. Pero las personas de marketing serán la gente de marketing: los superlativos son tan difíciles de resistir para ellos como ladrar en una ardilla (y el camión FedEx, y todos los niños vecinos) es para mi perro.

También: 5 formas rápidas en que las herramientas de IA de Apple pueden ajustar su escritura sobre la marcha

La oferta principal de la compañía es un verificador de plagio que se vende a instituciones educativas, editores y empresas que buscan garantizar la originalidad del contenido y mantener la integridad académica.

copileaks

Captura de pantalla de David Gewirtz/Zdnet

Detector de salida GPT-2 (precisión 60%)

Esta herramienta fue construida utilizando un centro de aprendizaje automático administrado por AI Company, con sede en Nueva York. Cara abrazada. Mientras que la compañía ha recibido $ 40 millones en fondos para desarrollar su biblioteca de idiomas naturales, el Detector GPT-2 Parece ser una herramienta creada por el usuario que utiliza la biblioteca de transformadores faciales de abrazos.

GPT2

Captura de pantalla de David Gewirtz/Zdnet

Gptzero (precisión 80%)

Gptzero ha estado creciendo claramente. Cuando lo probé por primera vez, el sitio era desnudo, ni siquiera estaba claro si Gptzero era una empresa o simplemente el proyecto de pasión de alguien. Ahora, la compañía tiene un equipo completo con una misión de “proteger lo que es humano”. Ofrece herramientas de validación de IA y un verificador de plagio.

También: Las herramientas de IA más populares de 2025 (y lo que eso significa)

Desafortunadamente, el rendimiento parece haber disminuido. En mis dos últimas carreras, Gptzero identificó correctamente mi texto como generado por humanos. Esta vez, declaró ese mismo texto que Generated.

gptzero

Captura de pantalla de David Gewirtz/Zdnet

Grammarly (precisión 40%)

Gramática es bien conocido por ayudar a los escritores a producir contenido gramaticalmente correcto, eso no es lo que estoy probando aquí. Grammarly puede verificar el plagio y el contenido de IA. En el verificador de gramática, hay un botón de verificación de texto de plagio y texto de IA en la esquina inferior derecha:

gramática

Captura de pantalla de David Gewirtz/Zdnet

No estoy midiendo la precisión del verificador de plagio aquí, pero aunque la precisión de la check de gramática fue deficiente, el sitio identificó correctamente el texto de la prueba como se publicó anteriormente.

Mónica (precisión 100%)

Mónica es un nuevo participante. Este servicio ofrece un asistente de IA todo en uno con una amplia gama de servicios. Los usuarios pueden elegir entre varios modelos de idiomas grandes.

También: 5 formas en que chatgpt puede ayudarlo a escribir ensayos

La compañía llama a Mónica el “mejor detector de IA en línea”, pero parece que ejecuta contenido a través de otros detectores, incluidos Zerogpt, GPTZero y CopyLeaks. Extrañamente, tanto Gptzero como CopyLeaks no funcionaban bien en mis pruebas, pero Monica y Zerogpt lo hicieron.

Lo estamos dando al 100% porque ganó esa calificación, pero veré cómo se pone de pie en futuras pruebas.

Mónica

Captura de pantalla de David Gewirtz/Zdnet

Originalidad.Ai (precisión 100%)

Originalidad.Ai es un servicio comercial que se factura a sí mismo como una IA y un verificador de plagio. La compañía vende créditos de uso: utilicé 30 créditos para este artículo. Venden 2,000 créditos por $ 12.95 por mes. Bombeé 1.400 palabras a través del sistema y usé solo el 1.5% de mi asignación mensual.

originalidad

Captura de pantalla de David Gewirtz/Zdnet

Quillbot (precisión 100%)

Las últimas veces que probé Plantillalos resultados fueron muy inconsistentes: múltiples pases del mismo texto arrojaron puntajes muy diferentes. Esta vez, sin embargo, fue sólida como una roca y 100% correcto. Así que le estoy dando la victoria. Volveré a consultar en unos meses para ver si se mantiene en esta actuación.

plantilla

Captura de pantalla de David Gewirtz/Zdnet

Indetectable.ai (precisión 100%)

Indetectable.ai La gran afirmación es que puede “humanizar” el texto generado por la IA para que los detectores no lo marcarán. No he probado esa función: me molesta como autor y educador profesional, porque parece hacer trampa.

También: Por qué deberías ignorar el 99% de las herramientas de IA, y cuáles uso todos los días

Sin embargo, la compañía también tiene un detector de IA, que fue muy importante.

indetectable

Captura de pantalla de David Gewirtz/Zdnet

El detector de IA pasó las cinco pruebas. Observe los indicadores que muestran banderas para otros detectores. La compañía dijo: “Desarrollamos algoritmos de detectores múltiples modelados después de esos principales detectores para proporcionar un enfoque federado y basado en el consenso. No alimentan directamente los modelos listados; más bien, los modelos están capacitados en función de los resultados que han generado. Cuando dicen que esos modelos lo señalaron, se basa en el algoritmo que creamos y actualizamos para esos modelos”.

También: Cómo usar ChatGPT: una guía para principiantes para el chatbot de IA más popular

Tengo una pregunta sobre la bandera de Operai, ya que el detector de contenido de OpenAI se suspendió en 2023 debido a la baja precisión. Aun así, indetectable.Ai detectó las cinco pruebas, ganando un 100%perfecto.

Writer.com Detector de contenido de IA (precisión 40%)

Escritor.com es un servicio que genera escritura de IA para equipos corporativos. Su herramienta de detector de contenido de IA puede escanear el contenido generado. Desafortunadamente, su precisión fue baja. Identificó cada bloque de texto como escrito por humanos, a pesar de que ChatGPT escribió tres de las seis pruebas.

escritor

Captura de pantalla de David Gewirtz/Zdnet

Zerogpt (precisión 100%)

Zerogpt ha madurado desde la última vez que lo evalué. Luego, no se enumeró ningún nombre de empresa, y el sitio estaba salpicado de anuncios de Google y carecía de una clara monetización. El servicio funcionó bastante bien, pero parecía incompleto.

También: ¿La IA destruirá la creatividad humana? No, y aquí está por qué

Ese sentimiento incompleto se ha ido. Zerogpt ahora se presenta como un servicio SaaS típico, completo con precios, nombre de la empresa e información de contacto. Su precisión también aumentó: la última vez fue del 80%; Esta vez obtuvo 5 de 5.

zerogpt

Captura de pantalla de David Gewirtz/Zdnet

¿Es humano o es AI?

¿Qué pasa contigo? ¿Has probado detectores de contenido de IA como CopyLeaks, Monica o Zerogpt? ¿Qué tan precisos han sido en su experiencia? ¿Ha utilizado estas herramientas para proteger la integridad académica o editorial? ¿Has encontrado situaciones en las que el trabajo escrito por humanos fue marcado por error como AI? ¿Hay detectores en los que confíe más que otros para evaluar la originalidad? Háganos saber en los comentarios a continuación.

Obtenga las principales historias de la mañana en su bandeja de entrada cada día con nuestro Boletín de Tech Today.


Puede seguir mis actualizaciones de proyecto diarias en las redes sociales. Asegúrese de suscribirse a mi boletín de actualizaciones semanales y sígueme en Twitter/X en @Davidgewirtzen Facebook en Facebook.com/davidgewirtz, en Instagram en Instagram.com/davidgewirtz, en bluesky en @davidgewirtz.com, y en YouTube en youtube.com/davidgewirtztv.

Continue Reading

Noticias

Operai retrocede el chatgpt Sycophancy, explica lo que salió mal

Published

on

Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información


Operai ha retrasado una actualización reciente de su modelo GPT-4O utilizado como el valor predeterminado en ChatGPT después de informes generalizados de que el sistema se había vuelto excesivamente halagador y demasiado agradable, incluso apoyando delirios absolutamente e ideas destructivas.

La reversión se produce en medio de los reconocimientos internos de los ingenieros de Operai y la creciente preocupación entre los expertos en IA, los ex ejecutivos y los usuarios sobre el riesgo de lo que muchos ahora llaman “skicancia de la IA”.

En una declaración publicada en su sitio web al final de la noche del 29 de abril de 2025, OpenAI dijo que la última actualización de GPT-4O tenía la intención de mejorar la personalidad predeterminada del modelo para que sea más intuitiva y efectiva en variados casos de uso.

Sin embargo, la actualización tuvo un efecto secundario involuntario: ChatGPT comenzó a ofrecer elogios no críticos para prácticamente cualquier idea del usuario, sin importar cuán poco práctico, inapropiado o incluso dañino.

Como explicó la compañía, el modelo se había optimizado utilizando la retroalimentación de los usuarios, las señales de thumbs y pulgar hacia abajo, pero el equipo de desarrollo puso demasiado énfasis en los indicadores a corto plazo.

Operai ahora reconoce que no explicó completamente cómo las interacciones y las necesidades del usuario evolucionan con el tiempo, lo que resultó en un chatbot que se inclinó demasiado en la afirmación sin discernimiento.

Los ejemplos provocaron preocupación

En plataformas como Reddit y X (anteriormente Twitter), los usuarios comenzaron a publicar capturas de pantalla que ilustraban el problema.

En una publicación de Reddit ampliamente circulada, un usuario relató cómo ChatGPT describió una idea de negocio de GAG, que vende “mierda” literal de un palo “, como genio y sugirió invertir $ 30,000 en la empresa. La IA elogió la idea como “arte de performance disfrazado de regalo de mordaza” y “oro viral”, destacando cuán sin crítica estaba dispuesto a validar incluso los lanzamientos absurdos.

Otros ejemplos fueron más preocupantes. En un caso citado por VentureBeat, un usuario que pretende defender los delirios paranoicos recibió refuerzo de GPT-4O, que elogió su supuesta claridad y autocomisos.

Otra cuenta mostró que el modelo ofrecía lo que un usuario describió como un “respaldo abierto” de las ideas relacionadas con el terrorismo.

La crítica montó rápidamente. El ex CEO interino de Operai, Emmett Shear, advirtió que ajustar los modelos para ser personas complacientes puede provocar un comportamiento peligroso, especialmente cuando la honestidad se sacrifica por la simpatía. Abrazando el CEO de Clemente Delangue volvió a publicar las preocupaciones sobre los riesgos de manipulación psicológica planteados por la IA que está de acuerdo reflexivamente con los usuarios, independientemente del contexto.

Medidas de respuesta y mitigación de Openai

Operai ha tomado medidas rápidas al volver a la actualización y restaurar una versión GPT-4O anterior conocida por un comportamiento más equilibrado. En el anuncio adjunto, la compañía detalló un enfoque múltiple para corregir el curso. Esto incluye:

  • Refinar capacitación y estrategias rápidas para reducir explícitamente las tendencias sycofánticas.
  • Reforzar la alineación del modelo con la especificación del modelo de OpenAI, particularmente en torno a la transparencia y la honestidad.
  • Pruebas de expansión previa a la implementación y mecanismos directos de retroalimentación de los usuarios.
  • Introducción de características de personalización más granulares, incluida la capacidad de ajustar los rasgos de personalidad en tiempo real y seleccionar entre múltiples personajes predeterminados.

Operai Technical Stafper Depue publicado en X destacando el problema central: el modelo fue capacitado utilizando comentarios de los usuarios a corto plazo como una guía, que sin darse cuenta dirigió el chatbot hacia la adulación.

OpenAI ahora planea cambiar hacia mecanismos de retroalimentación que priorizan la satisfacción y la confianza del usuario a largo plazo.

Sin embargo, algunos usuarios han reaccionado con escepticismo y consternación a las lecciones aprendidas de Openi y propuestas soluciones en el futuro.

“Por favor asuma más responsabilidad por su influencia sobre millones de personas reales”, escribió artista @nearcyan en X.

Harlan Stewart, generalista de comunicaciones en el Instituto de Investigación de Inteligencia de Machine de Machine en Berkeley, California, publicó en X una preocupación a término más grande sobre la skicancia de la IA, incluso si este modelo en particular Operai se ha solucionado: “La charla sobre la sileno esta semana no se debe a que GPT-4O es un sycophant. Se debe a que GPT-4O es un GPT-4O siendo GPT-4O. Realmente, muy malo en ser un sycofant. La IA aún no es capaz de una skicancia hábil y más difícil de detectar, pero algún día será algún día ”.

Una señal de advertencia más amplia para la industria de IA

El episodio GPT-4O ha reavivado debates más amplios en toda la industria de la IA sobre cómo la sintonización de personalidad, el aprendizaje de refuerzo y las métricas de compromiso pueden conducir a una deriva conductual involuntaria.

Los críticos compararon el comportamiento reciente del modelo con los algoritmos de redes sociales que, en busca de la participación, optimizan para la adicción y la validación sobre precisión y salud.

Shear subrayó este riesgo en su comentario, señalando que los modelos de IA sintonizados para elogios se convierten en “chupas”, incapaces de estar en desacuerdo incluso cuando el usuario se beneficiaría desde una perspectiva más honesta.

Advirtió además que este problema no es exclusivo de OpenAI, señalando que la misma dinámica se aplica a otros grandes proveedores de modelos, incluido el copiloto de Microsoft.

Implicaciones para la empresa

Para los líderes empresariales que adoptan la IA conversacional, el incidente de la sycophancy sirve como una señal clara: el comportamiento del modelo es tan crítico como la precisión del modelo.

Un chatbot que halagará a los empleados o valida el razonamiento defectuoso puede plantear riesgos graves, desde malas decisiones comerciales y código desalineado hasta problemas de cumplimiento y amenazas internas.

Los analistas de la industria ahora aconsejan a las empresas que exigan más transparencia de los proveedores sobre cómo se realiza la sintonización de la personalidad, con qué frecuencia cambia y si se puede revertir o controlar a nivel granular.

Los contratos de adquisición deben incluir disposiciones para auditoría, pruebas de comportamiento y control en tiempo real de las indicaciones del sistema. Se alienta a los científicos de datos a monitorear no solo las tasas de latencia y alucinación, sino también métricas como la “deriva de la amabilidad”.

Muchas organizaciones también pueden comenzar a moverse hacia alternativas de código abierto que puedan alojar y sintonizar. Al poseer los pesos del modelo y el proceso de aprendizaje de refuerzo, las empresas pueden retener el control total sobre cómo se comportan sus sistemas de IA, lo que elimina el riesgo de una actualización empujada por el proveedor que convierte una herramienta crítica en un hombre digital y sí durante la noche.

¿A dónde va la alineación de la IA desde aquí? ¿Qué pueden aprender y actuar las empresas de este incidente?

Operai dice que sigue comprometido con la construcción de sistemas de IA que sean útiles, respetuosos y alineados con diversos valores de usuarios, pero reconoce que una personalidad única no puede satisfacer las necesidades de 500 millones de usuarios semanales.

La compañía espera que mayores opciones de personalización y una mayor recopilación de comentarios democráticos ayuden a adaptar el comportamiento de ChatGPT de manera más efectiva en el futuro. El CEO Sam Altman también ha declarado previamente los planes de la compañía para, en las próximas semanas y meses, lanzar un modelo de lenguaje grande de código abierto (LLM) de última generación para competir con la serie Llama de Meta’s Meta’s Llama, Mistral, Cohere, Cohere, Deepseek y Alibaba’s Qwen.

Esto también permitiría a los usuarios preocupados por una compañía de proveedores de modelos, como OpenAI, actualizar sus modelos alojados en la nube de manera no deseada o que tengan impactos perjudiciales en los usuarios finales para desplegar sus propias variantes del modelo localmente o en su infraestructura en la nube, y ajustarlas o preservarlas con los rasgos y cualidades deseadas, especialmente para los casos de uso empresarial.

Del mismo modo, para aquellos usuarios de IA empresariales e individuales preocupados por la senofancia de sus modelos, ya ha creado una nueva prueba de referencia para medir esta calidad en diferentes modelos, Tim Duffy ha creado el desarrollador. Se llama “Syco Bench” y está disponible aquí.

Mientras tanto, la reacción violenta de la sileno ofrece una historia de advertencia para toda la industria de la IA: el fideicomiso del usuario no está construido solo por afirmación. A veces, la respuesta más útil es un “no” reflexivo.

Continue Reading

Noticias

Apocalipsis Biosciencias para desarrollar Géminis para la infección en pacientes con quemaduras graves

Published

on

– Esta nueva indicación es otro paso para desbloquear todo el potencial de la plataforma Gemini –

San Diego-(Business Wire)-$ Revb #GÉMINISApocalipsis Biosciences, Inc. (NASDAQ: RevB) (la “empresa” o “revelación”), una compañía de ciencias de la vida de etapas clínicas que se centra en reequilibrar la inflamación para optimizar la salud, anunció una nueva indicación de objetivo para Géminis para la prevención de la infección en pacientes con quemaduras graves que requieren hospitalización (el Gema-PBI programa). El uso de Géminis para la prevención de la infección en pacientes con quemaduras severas, así como la prevención de la infección después de la cirugía (el Gema-PSI programa) son parte de la revelación familiar de patentes anteriormente con licencia de la Universidad de Vanderbilt.


“Estamos muy contentos de colaborar con el equipo de Apocalipsis para el avance de Géminis para la prevención de la infección en esta población de pacientes desatendida”, dijo Dra. Julia BohannonProfesor Asociado, Departamento de Anestesiología, Departamento de Patología, Microbiología e Inmunología, Universidad de Vanderbilt. “Creemos que la actividad de biomarcador clínico observada con Gemini se correlaciona fuertemente con nuestra experiencia preclínica en modelos de quemaduras de infecciones”.

El equipo de investigación de Vanderbilt demostrado El tratamiento posterior a la quemadura reduce significativamente la gravedad y la duración de la infección pulmonar de Pseudomonas, así como un nivel general reducido de inflamación en un modelo preclínico.

“La prevención de la infección en pacientes severamente quemados es un esfuerzo importante y complementa que la revelación laboral ha completado hasta la fecha”, dijo “, dijo”, dijo James RolkeCEO de Revelation “El programa Gemini-PBI puede ofrecer varias oportunidades regulatorias, de desarrollo y financiación que la compañía planea explorar”.

Sobre quemaduras e infección después de quemar

Las quemaduras son lesiones en la piel que involucran las dos capas principales: la epidermis externa delgada y/o la dermis más gruesa y profunda. Las quemaduras pueden ser el resultado de una variedad de causas que incluyen fuego, líquidos calientes, productos químicos (como ácidos fuertes o bases fuertes), electricidad, vapor, radiación de radiografías o radioterapia, luz solar o luz ultravioleta. Cada año, aproximadamente medio millón de estadounidenses sufren lesiones por quemaduras que requieren intervención médica. Si bien la mayoría de las lesiones por quemaduras no requieren ingreso a un hospital, se admiten alrededor de 40,000 pacientes, y aproximadamente 30,000 de ellos necesitan tratamiento especializado en un centro de quemaduras certificadas.

El número total anual de muertes relacionadas con quemaduras es de aproximadamente 3.400, siendo la infección invasiva la razón principal de la muerte después de las primeras 24 horas. La tasa de mortalidad general para pacientes con quemaduras graves es de aproximadamente 3.3%, pero esto aumenta al 20.6% en pacientes con quemaduras con lesión cutánea de quemaduras y inhalación, versus 10.5% por lesión por inhalación solo. La infección invasiva, incluida la sepsis, es la causa principal de la muerte después de la lesión por quemaduras, lo que representa aproximadamente el 51% de las muertes.

Actualmente no hay tratamientos aprobados para prevenir la infección sistémica en pacientes con quemaduras.

Sobre Géminis

Géminis es una formulación propietaria y propietaria de disacárido hexaacil fosforilada (PHAD (PHAD®) que reduce el daño asociado con la inflamación al reprogramarse del sistema inmune innato para responder al estrés (trauma, infección, etc.) de manera atenuada. La revelación ha realizado múltiples estudios preclínicos que demuestran el potencial terapéutico de Géminis en las indicaciones objetivo. Revelación anunciado previamente Datos clínicos positivos de fase 1 para el tratamiento intravenoso con Géminis. El punto final de seguridad primario se cumplió en el estudio de fase 1, y los resultados demostraron la actividad farmacodinámica estadísticamente significativa como se observó a través de los cambios esperados en múltiples biomarcadores, incluida la regulación positiva de IL-10.

Géminis se está desarrollando para múltiples indicaciones, incluso como pretratamiento para prevenir o reducir la gravedad y la duración de la lesión renal aguda (programa Gemini-AKI), y como pretratamiento para prevenir o reducir la gravedad y la duración de la infección posquirúrgica (programa GEMINI-PSI). Además, Gemini puede ser un tratamiento para detener o retrasar la progresión de la enfermedad renal crónica (programa Gemini-CKD).

Acerca de Apocalipsis Biosciences, Inc.

Revelation Biosciences, Inc. es una compañía de ciencias de la vida en estadio clínico centrada en aprovechar el poder de la inmunidad entrenada para la prevención y el tratamiento de la enfermedad utilizando su formulación patentada Géminis. Revelation tiene múltiples programas en curso para evaluar Géminis, incluso como prevención de la infección posquirúrgica, como prevención de lesiones renales agudas y para el tratamiento de la enfermedad renal crónica.

Para obtener más información sobre Apocalipsis, visite www.revbiosciences.com.

Declaraciones con avance

Este comunicado de prensa contiene declaraciones prospectivas definidas en la Ley de Reforma de Litigios de Valores Privados de 1995, según enmendada. Las declaraciones prospectivas son declaraciones que no son hechos históricos. Estas declaraciones prospectivas generalmente se identifican por las palabras “anticipar”, “creer”, “esperar”, “estimar”, “plan”, “perspectiva” y “proyecto” y otras expresiones similares. Advirtemos a los inversores que las declaraciones prospectivas se basan en las expectativas de la gerencia y son solo predicciones o declaraciones de las expectativas actuales e involucran riesgos, incertidumbres y otros factores conocidos y desconocidos que pueden hacer que los resultados reales sean materialmente diferentes de los previstos por las declaraciones de prospección. Apocalipsis advierte a los lectores que no depositen una dependencia indebida de tales declaraciones de vista hacia adelante, que solo hablan a partir de la fecha en que se hicieron. Los siguientes factores, entre otros, podrían hacer que los resultados reales difieran materialmente de los descritos en estas declaraciones prospectivas: la capacidad de la revelación para cumplir con sus objetivos financieros y estratégicos, debido a, entre otras cosas, la competencia; la capacidad de la revelación para crecer y gestionar la rentabilidad del crecimiento y retener a sus empleados clave; la posibilidad de que la revelación pueda verse afectada negativamente por otros factores económicos, comerciales y/o competitivos; riesgos relacionados con el desarrollo exitoso de los candidatos de productos de Apocalipsis; la capacidad de completar con éxito los estudios clínicos planificados de sus candidatos de productos; El riesgo de que no podamos inscribir completamente nuestros estudios clínicos o la inscripción llevará más tiempo de lo esperado; riesgos relacionados con la aparición de eventos de seguridad adversos y/o preocupaciones inesperadas que pueden surgir de los datos o análisis de nuestros estudios clínicos; cambios en las leyes o regulaciones aplicables; Iniciación esperada de los estudios clínicos, el momento de los datos clínicos; El resultado de los datos clínicos, incluido si los resultados de dicho estudio son positivos o si se puede replicar; El resultado de los datos recopilados, incluido si los resultados de dichos datos y/o correlación se pueden replicar; el momento, los costos, la conducta y el resultado de nuestros otros estudios clínicos; El tratamiento anticipado de datos clínicos futuros por parte de la FDA, la EMA u otras autoridades reguladoras, incluidos si dichos datos serán suficientes para su aprobación; el éxito de futuras actividades de desarrollo para sus candidatos de productos; posibles indicaciones para las cuales se pueden desarrollar candidatos de productos; la capacidad de revelación para mantener la lista de sus valores en NASDAQ; la duración esperada sobre la cual los saldos de Apocalipsis financiarán sus operaciones; y otros riesgos e incertidumbres descritos en este documento, así como aquellos riesgos e incertidumbres discutidos de vez en cuando en otros informes y otras presentaciones públicas con la SEC por Apocalipsis.

Contactos

Mike Porter

Relaciones con inversores

Porter Levay & Rose Inc.

Correo electrónico: mike@plrinvest.com

Chester Zygmont, III

Director financiero
Apocalipsis Biosciences Inc.

Correo electrónico: czygmont@revbiosciences.com

Continue Reading

Trending