La revisión de la literatura es una tarea intelectual difícil – El economista escribe todos los días

Mientras estaba leyendo ¿Qué es real?se me ocurrió que me gustaría una reseña sobre un tema. Pensé: “La física experimental es como la economía experimental. A veces se puede predecir qué harán los grupos o “mercados”. Sin embargo, es difícil predecir exactamente qué hará un ser humano individualmente”. Me gustaría saber quién ha escrito un pequeño artículo sobre este tema.

Decidí incluir el siguiente mensaje en varios LLM: “Lo que el economista ha escrito sobre el siguiente tema: La economía es como la física en el sentido de que las predicciones sobre grupos grandes son más fáciles de hacer que las predicciones sobre los componentes más pequeños, atómicos si se quiere, de el todo”.

Primero, ChatGPT (versión gratuita) (creo que estoy en “GPT-4o mini (18 de julio de 2024)”):

Según mi experiencia, tengo la sensación de que ChatGPT a menudo hace referencia a Keynes. Según mi investigación, creo que eso se debe a que hay muchas menciones de los libros de Keynes en los datos de entrenamiento del modelo. (Ver “”ChatGPT alucina citas inexistentes: evidencia de la economía“)

A continuación, le pregunté a ChatGPT: “¿Cuál es el mejor artículo que puedo leer para obtener más información?” Me dio 5 artículos. El punto 2 fue “Fundamentos del análisis económico” de Paul Samuelson, que probablemente sería útil, pero es de 1947. Me gustaría algo más reciente para abordar el auge de la economía empírica y experimental.

El ítem 5 fue: “”La envidia de la física en la economía” (varios autores): puede buscar artículos o artículos sobre este tema, que a menudo analizan los paralelismos entre los modelos económicos y la física”. Curiosamente, ChatGPT me dice que busque en Google mi pregunta. No es un mal consejo, pero lo encuentro divertido dada la nueva competencia entre los LLM y los motores de búsqueda “clásicos”.

Cuando lo presioné más para un artículo actual, ChatGPT me dio un enlace a un artículo de NBER que no era muy relevante. Podría haberme esforzado más en refinar mis indicaciones, pero no me impresionó de inmediato. Parece que ChatGPT tenía una gran tendencia a comenzar con libros y artículos famosos en lugar de encontrar algo para leer que respondiera a mi pregunta específica.

Le di una oportunidad a Claude (pagado). Claude recomendó: “Si estás interesado en explorar más a fondo esta idea, quizás quieras consultar las obras de Hayek, en particular “El uso del conocimiento en la sociedad” (1945) y “La pretensión del conocimiento” (1974), su premio Nobel. conferencia.” Una vez más, podría haber obtenido una mejor respuesta si hubiera seguido refinando mi mensaje, pero Claude también pareció responder inicialmente tirando libros antiguos famosos.

Busqué en Google la consulta “La envidia de la física en la economía”. El resultado principal fue un artículo de Wikipedia llamado “Physics Envy”. Entonces, ChatGPT había sacado a relucir una frase muy repetida, pero en realidad no había respondido mi pregunta. El segundo enlace era: Escuchado en el MIT: Por qué la economía no está cerrada como la física, así que no sé qué tan buena es. Quizás más cerca de lo que quería que “La teoría general del empleo, el interés y el dinero” de John Maynard Keynes, que fue la primera sugerencia de lectura de ChatGPT.

Probé mi propio mensaje para Google.

Me impresionó menos este resultado de IA. Si desea disfrutar de la nostalgia de los sitios web antiguos, haga clic en el enlace de Koopmans. Koopman ha trabajado tanto en física como en economía, pero creo que Elicit finalmente me llevó a una mejor fuente (indirectamente).

Se supone que Elicit es bueno para proporcionar referencias académicas. Elicit presentó erróneamente una reseña de un libro como un artículo. Haciendo un poco de clic, pude descubrir el libro llamado Más calor que luz. Ese libro sería más largo de lo que quería pero contendría muchos detalles y referencias útiles. Elicit incluso acertó en términos de indicarme reseñas de libros de acceso abierto, ya que no quiero comprar el libro en este momento. Elicit fue mejor que los LLM, aunque hubo un error en la forma en que inicialmente presentó los mejores resultados.

Esperaba una publicación o un artículo breve. No terminé encontrando lo que quería. Quería algo que me enseñara un poco más sin obligarme a leer mucho o buscar durante horas. Sin embargo, tengo una sugerencia para un libro que probablemente sea sobre el tema.

Con mucho trabajo, podría escribir una “revisión de la literatura” sobre este tema, dado que todavía existen algunas lagunas y los hilos son muchos. Todavía parece difícil conseguir que las máquinas escriban uno por ti. En general, creo que Google o Elicit son mejores herramientas que los LLM, actualmente, con el fin de obtener fuentes para una revisión de la literatura. Probé el siguiente mensaje con ChatGPT: “¿Podría escribirme una reseña de la literatura sobre el tema de cómo los modelos económicos son como modelos de física predictiva?” Nuevamente, sentí que el resultado mostraba un sesgo hacia libros más antiguos (y también algunas de las referencias eran alucinantes en términos de fecha de publicación o medio de venta). Podría ser un punto de partida, pero me hubiera gustado incluir algunos resultados empíricos reales, especialmente de experimentos controlados.

Cuando era asistente de investigación durante mi primer año de posgrado, un miembro de la facultad quería que la ayudara con una revisión de la literatura para su artículo. Fue un trabajo aburrido y difícil y no estoy seguro de haberla ayudado mucho. Al final del día, todavía tenía que escribirlo. Le puse la información posiblemente útil (por ejemplo, el resumen de los artículos relevantes) en una hoja de Excel. Se podría decir que se suponía que yo desempeñaría el papel de asistente de LLM. Podría escribir y razonar. Tuve acceso a la literatura. Entonces, ¿podría protegerla de tener que leer los periódicos?** Por lo que recuerdo, el servicio que le proporcioné no fue mejor que el que ella pudo obtener de Google. Es difícil hacer una buena revisión bibliográfica actualizada de un artículo verdaderamente novedoso.

Si alguna vez te preguntaste qué piensan los economistas sobre la física, ¡los resultados de https://marginalrevolution.com/?s=physics no son un mal lugar para comenzar! Como llevan 20 años trabajando en MR, los resultados no son demasiado antiguos pero sí completos. El mejor resultado, Aplicación de la física a la previsión del pibfue probablemente el mejor recurso y accesible de todo lo que había visto mientras incursionaba con los productos tecnológicos genéricos.

** No me desagrada leer artículos. Lo que dificulta escribir una reseña literaria es que tienes un tiempo limitado y el universo de artículos es enorme.