Práctico con el sistema de investigación profunda de Chatgpt

En la gran cantidad de campos donde se ha probado la IA generativa, la ley es quizás su punto de falla más evidente. Herramientas como ChatGPT de OpenAi se han sancionado a los abogados y los expertos se avergonzan públicamente, produciendo informes basados ​​en casos inventados y citas de investigación inexistentes. Entonces, cuando mi colega Kylie Robison obtuvo acceso a la nueva función de “investigación profunda” de Chatgpt, mi tarea fue clara: hacer que esta herramienta supuestamente superpoderadora escriba sobre una ley que los humanos se equivocan constantemente.

Compile una lista de fallos de la Corte Federal y la Corte Suprema de los últimos cinco años relacionados con la Sección 230 de la Ley de Decencia de ComunicacionesLe pedí a Kylie que lo contara. Resume cualquier desarrollo significativo sobre cómo los jueces han interpretado la ley.

Le estaba pidiendo a ChatGPT que me diera un resumen del estado de lo que comúnmente se llaman las 26 palabras que crearon Internet, un tema en constante evolución del que sigo El borde. La buena noticia: ChatGPT seleccionó adecuadamente y resumió con precisión un conjunto de decisiones judiciales recientes, todas las cuales existen. La noticia So-So: perdió algunos puntos más amplios que un experto humano competente podría reconocer. La mala noticia: ignoró las decisiones legales de un año completo, que, desafortunadamente, volcó el estado de la ley.

La investigación profunda es una nueva característica de OpenAI destinada a producir informes complejos y sofisticados sobre temas específicos; Obtener más que el acceso “limitado” requiere el nivel profesional de $ 200 por mes de ChatGPT. A diferencia de la forma más simple de CHATGPT, que se basa en los datos de capacitación con una fecha de corte, este sistema busca en la web información nueva para completar su tarea. Mi solicitud se sintió consistente con el Spirit of ChatGPT, que solicitó un resumen de las tendencias minoristas en los últimos tres años. Y debido a que no soy abogado, alisté al experto legal Eric Goldman, cuyo blog es una de las fuentes más confiables de noticias de la Sección 230, para revisar los resultados.

La experiencia de investigación profunda es similar al uso del resto de ChatGPT. Ingresa una consulta y ChatGPT hace preguntas de seguimiento para aclarar: en mi caso, si quería centrarme en un área específica de las decisiones de la Sección 230 (no); o incluir análisis adicionales sobre la legislación (también no). Utilicé el seguimiento para lanzar otra solicitud, pidiéndole que señale dónde no están de acuerdo con los diferentes tribunales sobre lo que significa la ley, lo que podría requerir que la Corte Suprema intervenga. Es una arruga legal que es importante pero a veces difícil mantenerse al tanto – El tipo de cosas que pude imaginar obteniendo de un informe automatizado.

Se supone que la investigación profunda tomará entre cinco y 30 minutos, y en mi caso, fueron alrededor de las 10 (el informe en sí está aquí, por lo que puede leer todo si está inclinado). El proceso ofrece enlaces web de notas al pie como así como una serie de explicaciones que proporcionan más información sobre cómo ChatGPT rompió el problema. El resultado fue aproximadamente 5,000 palabras de un texto que era denso pero formateado con encabezados útiles y bastante legible si está acostumbrado al análisis legal.

Lo primero que hice con mi informe, obviamente, fue verificar el nombre de cada caso legal. Varios ya estaban familiarizados, y verifiqué el resto fuera del chatgpt, todos parecían reales. Luego, se lo pasé a Goldman por sus pensamientos.

“Podría discutir con algunos matices en toda la pieza, pero en general el texto parece ser en gran medida preciso”, me dijo Goldman. Estuvo de acuerdo en que no había casos inventados, y los chatgpt seleccionados eran razonables de incluir, aunque no estuvo de acuerdo con lo importante que indicaba que eran algunos. “Si armé mis principales casos de ese período, la lista se vería diferente, pero eso es una cuestión de juicio y opinión”. Las descripciones a veces pasaban por alto las distinciones legales notables, pero en formas que no son poco comunes entre los humanos.

Menos positivamente, Goldman pensó que Chatgpt ignoró el contexto que un experto humano encontraría importante. La ley no se hace en el vacío; Es decidido por los jueces que responden a tendencias más grandes y fuerzas sociales, incluidas las simpatías cambiantes contra las empresas tecnológicas y un bombardeo político conservador contra la Sección 230. No le dije a ChatGPT que discutiera una dinámica más amplia, pero un objetivo de la investigación es identificar preguntas importantes que No se les pregunta: una ventaja de experiencia humana, aparentemente, por ahora.

Pero el mayor problema era que ChatGPT no siguió el elemento más claro de mi solicitud: dime qué pasó en los últimos cinco años. El título del informe de Chatgpt declara que cubre 2019 a 2024. Sin embargo, el último caso que menciona se decidió en 2023, después de lo cual concluye que la ley sigue siendo “un escudo robusto” cuyos límites están siendo “refinar[d]. ” Un laico podría pensar fácilmente que eso significa que no pasó nada el año pasado. Un lector informado se daría cuenta de que algo estaba muy mal.

“2024 fue un año de reverencia para la sección 230”, señala Goldman. Este período produjo una decisión de tercer circuito fuera del azul contra la otorgación de las protecciones de la ley a Tiktok, más varios más que podrían reducir drásticamente la forma en que se aplica. El propio Goldman declaró a mediados de año que la Sección 230 se estaba “desvaneciendo rápidamente” en medio de la avalancha de casos y ataques políticos más grandes. A principios de 2025, escribió que estaría “sorprendido si sobrevive para ver 2026”. No todos parecen este pesimista, pero he hablado con múltiples expertos legales en el último año que creen que el escudo de la Sección 230 se está volviendo menos acérrimo. Por lo menos, opiniones como el caso Tiktok del Tercer Circuito deberían “definitivamente” cifre en “cualquier contabilidad adecuada” de la ley durante los últimos cinco años, dice Goldman.

El resultado es que la salida de ChatGPT se sintió un poco como un informe sobre las tendencias de los teléfonos celulares de 2002 a 2007 que terminan con el surgimiento de BlackBerry: los hechos no están equivocados, pero las omisiones seguramente cambian qué historia cuentan.

Casey Newton de Juego de plataformas señala que, como muchas herramientas de IA, la investigación profunda funciona mejor si ya está familiarizado con un tema, en parte porque puede saber dónde está arruinando las cosas. (El informe de Newton, de hecho, cometió algunos errores que consideró “vergonzoso”.) Pero donde encontró una forma útil de explorar más a fondo un tema que ya entendió, sentí que no entendí lo que pedí.

Al menos dos de mi Borde Los colegas también obtuvieron informes que omitieron información útil del año pasado, y pudieron solucionarla pidiéndole a ChatGPT que volviera a ejecutar específicamente los informes con datos de 2024. (No hice esto, en parte porque no vi el año perdido inmediatamente y en parte porque incluso el nivel profesional tiene un grupo limitado de 100 consultas al mes). Normalmente atribuiría el problema a un corte de datos de capacitación, excepto que ChatGPT es claramente capaz de acceder a esta información, y el propio ejemplo de OpenAi de profundidad La investigación lo solicita.

De cualquier manera, esto parece un tema más simple para remediar que las decisiones legales inventadas. Y el informe es un logro tecnológico fascinante e impresionante. La IA generativa ha pasado de producir una lógica de los sueños serpenteantes a un resumen legal convincente, aunque imperfecto, que deja a algunos legisladores federales educados en la Liga Ivy en el polvo. De alguna manera, se siente mezquino quejarse de que tengo que molestarlo para que haga lo que le pido.

Si bien muchas personas documentan decisiones de la Sección 230, podría ver que una herramienta de investigación competente basada en ChatGPT es útil para temas legales oscuros con menos cobertura humana. Sin embargo, eso parece muy lejos. Mi informe se inclinó fuertemente en el análisis e informes secundarios; ChatGPT no está (que yo sé) no está conectado a fuentes de datos especializadas que facilitarían la investigación original como la tarea sobre las presentaciones judiciales. Openai reconoce que persisten los problemas de alucinación, por lo que también debe verificar cuidadosamente su trabajo.

No estoy seguro de cuán indicativa es mi prueba de la utilidad general de la investigación profunda. Hice una solicitud más técnica y menos abierta que Newton, quien preguntó cómo el Fediverse de las Redes Sociales podría ayudar a los editores. Las solicitudes de otros usuarios pueden ser más como suyas que las mías. Pero Chatgpt posiblemente cedió las crujientes explicaciones técnicas: no logró completar el panorama general.

Por ahora, es simplemente molesto si tengo que mantener una aplicación de computación comercial de $ 200 por mes en la tarea como un niño distractor. Estoy impresionado por la investigación profunda como tecnología. Pero desde mi punto de vista limitado actual, aún podría ser un producto para las personas que quieren creer en él, no para aquellos que solo quieren que funcione.