Apple dice que la IA generativa no es buena en matemáticas

OBSERVACIONES DEL TANQUE SNARK FINTECH

Las conclusiones de un nuevo estudio de Apple podrían hacer que los consumidores reconsideren el uso de ChatGPT (y otras herramientas de IA generativa) para obtener asesoramiento financiero. Y debería moderar los planes de los ejecutivos de bancos y cooperativas de crédito de utilizar inteligencia artificial (IA) para ofrecer asesoramiento y orientación financiera a los consumidores.

Los estadounidenses utilizan la IA generativa para obtener asesoramiento financiero

Una encuesta de Motley Fool reveló algunas estadísticas sorprendentes (y, francamente, difíciles de creer) sobre el uso que hacen los estadounidenses de la herramienta de IA generativa ChatGPT para obtener asesoramiento financiero. El estudio encontró que:

• El 54% de los estadounidenses ha utilizado ChatGPT para obtener recomendaciones financieras. Seis de cada 10 miembros de la Generación Z y Millennials, la mitad de la Generación X y un tercio de los Baby Boomers dijeron haber recibido recomendaciones para al menos uno de ocho productos financieros. Las tarjetas de crédito y las cuentas corrientes, citadas por el 26% y el 23% de los encuestados, respectivamente, fueron los productos sobre los que se preguntó con mayor frecuencia.
• La mitad de los consumidores dijeron que usarían ChatGPT para obtener una recomendación. Dicho esto, pocos expresaron haber recibido una recomendación para la mayoría de los productos. Por ejemplo, el 25% dijo que querría una recomendación de ChatGPT para una tarjeta de crédito, y los porcentajes bajan a partir de ahí.
• Los encuestados quedaron “algo satisfechos” con las recomendaciones de ChatGPT. En una escala de 5 puntos (1 = no satisfecho, 5 = muy satisfecho), la calificación promedio de satisfacción general fue de 3,7, desde 3,6 de la Generación Z y Baby Boomers hasta 3,8 de los Millennials y 3,9 de la Generación X.

Según el estudio, los factores más importantes que determinan el uso de ChatGPT por parte de los consumidores para encontrar productos financieros son: 1) el rendimiento y la precisión de las recomendaciones; 2) la capacidad de comprender la lógica detrás de las recomendaciones; y 3) la capacidad de verificar la información en la que se basa la recomendación.

Pero, ¿son sólidas el rendimiento, la precisión y, muy importante, la lógica detrás de las recomendaciones de ChatGPT? El informe de Apple arroja algunas dudas.

La IA generativa se queda corta en el razonamiento matemático

Las herramientas de IA generativa pueden hacer muchas cosas sorprendentes, pero, como lo demuestra un nuevo informe de investigadores de Apple, los modelos de lenguaje grande (LLM) tienen algunas limitaciones preocupantes con el “razonamiento matemático”. Los investigadores de Apple concluyeron:

“Los LLM actuales no son capaces de realizar un razonamiento lógico genuino; en cambio, intentan replicar los pasos de razonamiento observados en sus datos de capacitación. Cuando agregamos una única cláusula que parece relevante para la pregunta, observamos caídas significativas en el rendimiento en todos los modelos. Es importante destacar que, “Demostramos que los LLM tienen dificultades incluso cuando se les proporcionan múltiples ejemplos de la misma pregunta o ejemplos que contienen información irrelevante similar. Esto sugiere problemas más profundos en sus procesos de razonamiento que no se pueden mitigar fácilmente mediante un aprendizaje o ajuste de pocas oportunidades”.

Un artículo reciente de TechCrunch documentó algunos de los cálculos matemáticos aparentemente simples en los que los LLM hacen mal. Como escribió la publicación: “Claude no puede resolver problemas planteados básicos, Géminis no comprende las ecuaciones cuadráticas y Llama tiene dificultades con la suma sencilla”.

¿Por qué los LLM no pueden hacer matemáticas básicas? El problema, según TechCrunch, es la tokenización:

“El proceso de dividir los datos en fragmentos (por ejemplo, dividir la palabra “fantástico” en las sílabas “fan”, “tas” y “tic”), la tokenización ayuda a la IA a codificar información densamente. Pero como los tokenizadores (los modelos de IA que realizan la tokenización) no saben realmente qué son los números, con frecuencia terminan destruyendo las relaciones entre los dígitos. Por ejemplo, un tokenizador podría tratar el número “380” como un token pero representar “381” como un par de dígitos (“38” y “1”)”.

El aprendizaje automático también tiene un problema

Es molesto que mucha gente utilice el término “aprendizaje automático” cuando se refiere al análisis de regresión o alguna otra forma de análisis estadístico. Según la Universidad de California en Berkeley, el aprendizaje automático tiene tres componentes:

• Un proceso de decisión. En general, los algoritmos de aprendizaje automático se utilizan para realizar una predicción o clasificación. Con base en algunos datos de entrada, que pueden estar etiquetados o sin etiquetar, su algoritmo producirá una estimación sobre un patrón en los datos.
• Una función de error. Una función de error evalúa la predicción del modelo. Si hay ejemplos conocidos, una función de error puede hacer una comparación para evaluar la precisión del modelo.
• Un proceso de optimización del modelo. Si el modelo puede ajustarse mejor a los puntos de datos del conjunto de entrenamiento, entonces se ajustan las ponderaciones para reducir la discrepancia entre el ejemplo conocido y la estimación del modelo. El algoritmo repetirá este proceso iterativo de “evaluar y optimizar”, actualizando los pesos de forma autónoma hasta que se alcance un umbral de precisión.

El análisis de regresión y la mayoría de las otras formas de análisis estadístico carecen de un proceso de optimización del modelo.

Aquí está el problema del mundo real: si bien los resultados de la “inversión” generalmente son rastreables, los resultados del “gasto” no lo son. Sin embargo, para la gran mayoría de las personas, la forma en que gastan es un factor más determinante de su desempeño financiero que la inversión.

El otro desafío aquí es que no gastamos simplemente para optimizar nuestro desempeño financiero. Gastamos para optimizar nuestro rendimiento emocional. ¿Cómo va a rastrear eso un modelo de aprendizaje automático?

La IA no está lista para el horario de máxima audiencia en el asesoramiento financiero

Proporcionar asesoramiento y orientación financiera no es una tarea sencilla: el conjunto de instrucciones necesarias para hacerlo requiere muchas “cláusulas”. En otras palabras, las metas y objetivos para establecer asesoramiento y orientación financiera no son simples ni directos, y son estas preguntas e instrucciones complejas en las que las herramientas de IA generativa no son buenas (según Apple).

En pocas palabras: Los bancos y las cooperativas de crédito no deberían depender de la IA para brindar asesoramiento y orientación financiera, en este momento. Tal vez algún día, pero no ahora, y no hasta dentro de cinco, tal vez diez años. Si los proveedores afirman que están utilizando aprendizaje automático, pregúnteles sobre su proceso de optimización de modelos. Si afirman tener un modelo de lenguaje grande, pregúnteles cómo supera las limitaciones de los cálculos matemáticos.