El magnate del libro de texto tecnológico Tim O’Reilly afirma que OpenAi minó los tomos protegidos por derechos de autor de su editorial para los datos de capacitación y lo alimentó con su modelo GPT-4O de primer nivel sin permiso.
Esto se produce cuando el advenedizo generativo de IA enfrenta demandas sobre su uso de material con derechos de autor, supuestamente sin el debido consentimiento o compensación, para capacitar a su familia de redes neuronales GPT. Openai niega cualquier irregularidad.
O’Reilly (el hombre) es uno de los tres autores de un estudio [PDF] Titulado “Más allá del acceso público en los datos de pre-entrenamiento de LLM: contenido de libros no públicos en los modelos de OpenAI”, emitido por el Proyecto de Divulgaciones de AI.
Por no público, los autores significan libros que están disponibles para humanos detrás de un muro de pago, y no están disponibles públicamente para leer de forma gratuita a menos que cuente sitios que piratean ilegalmente este tipo de material.
El trío se propuso determinar si GPT-4O tenía, sin el permiso del editor, haber ingerido 34 libros de medios O’Reilly de derechos de autor. Para sondear el modelo, que impulsa el chatgpt de fama mundial, realizaron los llamados ataques de inferencia de copas descritos en este documento previo a la presencia 2024.
Así es como funcionó: el equipo planteó el modelo de OpenAI una serie de preguntas de opción múltiple. Cada pregunta pidió al software que seleccionara de un grupo de párrafos, etiquetado A a D, el que es un paso de texto literal de un libro de O’Reilly (el editor). Una de las opciones se levantó directamente del libro, las otras parafrases generadas por ametralladoras del original.
Si el modelo OpenAI tendía a responder correctamente e identificar los párrafos literales, eso sugirió que probablemente estaba entrenado en ese texto con derechos de autor.
Más específicamente, las opciones del modelo se usaron para calcular lo que se denomina un área bajo la puntuación operativa del receptor (AUROC), con cifras más altas que indican una mayor probabilidad de que la red neuronal se entrenara en pasajes de los 34 libros de Reesilles. Mientras tanto, los puntajes más cercanos al 50 por ciento se consideraron una indicación de que el modelo no había sido entrenado en los datos.
Pruebas de modelos OpenAI GPT-3.5 Turbo y GPT-4O Mini, así como GPT-4O, en 13,962 párrafos descubiertos resultados mixtos.
GPT-4O, que se lanzó en mayo de 2024, obtuvo un 82 por ciento, una fuerte señal de que probablemente fue entrenada en el material del editor. Los investigadores especularon que OpenAI puede haber entrenado el modelo utilizando la base de datos de LibGen, que contiene los 34 libros probados. Puede recordar que Meta también ha sido acusado de capacitar a sus modelos de llama utilizando este notorio conjunto de datos.
El papel de los datos no públicos en los datos de pre-entrenamiento modelo de OpenAI ha aumentado significativamente con el tiempo
La puntuación AUROC para el modelo GPT-3.5 de 2022 llegó a poco más del 50 por ciento.
Los investigadores afirmaron que el puntaje más alto para GPT-4O es evidencia de que “el papel de los datos no públicos en los datos de pre-entrenamiento modelo de OpenAI ha aumentado significativamente con el tiempo”.
Sin embargo, el trío también encontró que el modelo GPT-4O más pequeño, también lanzado en 2024 después de un proceso de entrenamiento que terminó al mismo tiempo que el modelo GPT-4O completo, no aparentemente no estaba entrenado en los libros de O’Reilly. Piensan que no es un indicador que sus pruebas son defectuosas, pero que el recuento de parámetros más pequeño en el mini modelo puede afectar su capacidad de “recordar” el texto.
“Estos resultados resaltan la necesidad urgente de una mayor transparencia corporativa con respecto a las fuentes de datos de pre-entrenamiento como un medio para desarrollar marcos formales de licencia para la capacitación de contenido de IA”, escribieron los autores.
“Aunque la evidencia presente aquí sobre las violaciones de acceso al modelo es específica para los libros de medios de OpenAi y O’Reilly, este es probablemente un problema sistemático”, agregaron.
El trío, que incluyó a Sruly Rosenblat e Ilan Strauss, también advirtió que no podría resultar en compensar adecuadamente a los creadores por sus obras, y si puede perdonar la jerga, la presentación de todo Internet.
“Si las compañías de IA extraen valor de los materiales producidos de un creador de contenido sin compensar justicios al creador, corren el riesgo de agotar los recursos de los cuales dependen sus sistemas de IA”, argumentaron. “Si no se abordan, los datos de capacitación no compensados podrían conducir a una espiral descendente en la calidad y diversidad de contenido de Internet”.
Los datos de capacitación no compensados podrían conducir a una espiral descendente en la calidad y diversidad de contenido de Internet
Los gigantes de IA parecen saber que no pueden confiar en el raspado de Internet para encontrar el material que necesitan para entrenar modelos, ya que han comenzado a firmar acuerdos de licencia de contenido con editores y redes sociales. El año pasado, Operai Tinked acuerdos con Reddit y Time Magazine para acceder a sus archivos con fines de capacitación. Google también hizo un acuerdo con Reddit.
Recientemente, sin embargo, Operai ha instado al gobierno de los Estados Unidos a relajar las restricciones de derechos de autor de manera que facilitaría la capacitación de modelos de IA.
El mes pasado, el Super-Lab presentó una carta abierta a la Oficina de Ciencia y Tecnología de la Casa Blanca en la que argumentó que “las reglas rígidas de derechos de autor reproducen innovación e inversión”, y que si no se toma medidas para cambiar esto, los constructores de modelos chinos podrían superar a las empresas estadounidenses.
Mientras que los fabricantes de modelos aparentemente luchan, los abogados están bien. Como informamos recientemente, Thomson Reuters ganó un juicio sumario parcial contra Ross Intelligence después de que un tribunal de EE. UU. Descubrió que la startup había infringido los derechos de autor utilizando los notas de los Westlaw de Newswire para capacitar su sistema de IA.
Mientras que los entrenadores de redes neuronales presionan para un acceso sin restricciones, otros en el mundo tecnológico están introduciendo obstáculos para proteger el material con derechos de autor. El mes pasado, Cloudflare lanzó una IA de botes de bot diseñada para hacer la vida miserable para raspadores que ignoran las directivas de robots.txt.
El “laberinto de IA de AI” de Cloudflare funciona atrayendo a Rogue Crawler a los bots de Rogue en un laberinto de páginas de señuelo, desperdiciando su tiempo y calculando recursos mientras protege el contenido real.
Operai no respondió de inmediato a una solicitud de comentarios; Te avisaremos si escuchamos algo. ®