El CEO de Apple, Tim Cook, responde a una pregunta sobre cuánto es 1+1.
Imágenes falsas
Las conclusiones de un nuevo estudio de Apple podrían hacer que los consumidores reconsideren el uso de ChatGPT (y otras herramientas de IA generativa) para obtener asesoramiento financiero. Y debería moderar los planes de los ejecutivos de bancos y cooperativas de crédito de utilizar inteligencia artificial (IA) para ofrecer asesoramiento y orientación financiera a los consumidores.
Una encuesta de Motley Fool reveló algunas estadísticas sorprendentes (y, francamente, difíciles de creer) sobre el uso que hacen los estadounidenses de la herramienta de IA generativa ChatGPT para obtener asesoramiento financiero. El estudio encontró que:
Según el estudio, los factores más importantes que determinan el uso de ChatGPT por parte de los consumidores para encontrar productos financieros son: 1) el rendimiento y la precisión de las recomendaciones; 2) la capacidad de comprender la lógica detrás de las recomendaciones; y 3) la capacidad de verificar la información en la que se basa la recomendación.
Pero, ¿son sólidas el rendimiento, la precisión y, muy importante, la lógica detrás de las recomendaciones de ChatGPT? El informe de Apple arroja algunas dudas.
Las herramientas de IA generativa pueden hacer muchas cosas sorprendentes, pero, como lo demuestra un nuevo informe de investigadores de Apple, los modelos de lenguaje grande (LLM) tienen algunas limitaciones preocupantes con el “razonamiento matemático”. Los investigadores de Apple concluyeron:
“Los LLM actuales no son capaces de realizar un razonamiento lógico genuino; en cambio, intentan replicar los pasos de razonamiento observados en sus datos de capacitación. Cuando agregamos una única cláusula que parece relevante para la pregunta, observamos caídas significativas en el rendimiento en todos los modelos. Es importante destacar que, “Demostramos que los LLM tienen dificultades incluso cuando se les proporcionan múltiples ejemplos de la misma pregunta o ejemplos que contienen información irrelevante similar. Esto sugiere problemas más profundos en sus procesos de razonamiento que no se pueden mitigar fácilmente mediante un aprendizaje o ajuste de pocas oportunidades”.
Un artículo reciente de TechCrunch documentó algunos de los cálculos matemáticos aparentemente simples en los que los LLM hacen mal. Como escribió la publicación: “Claude no puede resolver problemas planteados básicos, Géminis no comprende las ecuaciones cuadráticas y Llama tiene dificultades con la suma sencilla”.
¿Por qué los LLM no pueden hacer matemáticas básicas? El problema, según TechCrunch, es la tokenización:
“El proceso de dividir los datos en fragmentos (por ejemplo, dividir la palabra “fantástico” en las sílabas “fan”, “tas” y “tic”), la tokenización ayuda a la IA a codificar información densamente. Pero como los tokenizadores (los modelos de IA que realizan la tokenización) no saben realmente qué son los números, con frecuencia terminan destruyendo las relaciones entre los dígitos. Por ejemplo, un tokenizador podría tratar el número “380” como un token pero representar “381” como un par de dígitos (“38” y “1”)”.
Es molesto que mucha gente utilice el término “aprendizaje automático” cuando se refiere al análisis de regresión o alguna otra forma de análisis estadístico. Según la Universidad de California en Berkeley, el aprendizaje automático tiene tres componentes:
El análisis de regresión y la mayoría de las otras formas de análisis estadístico carecen de un proceso de optimización del modelo.
Aquí está el problema del mundo real: si bien los resultados de la “inversión” generalmente son rastreables, los resultados del “gasto” no lo son. Sin embargo, para la gran mayoría de las personas, la forma en que gastan es un factor más determinante de su desempeño financiero que la inversión.
El otro desafío aquí es que no gastamos simplemente para optimizar nuestro desempeño financiero. Gastamos para optimizar nuestro rendimiento emocional. ¿Cómo va a rastrear eso un modelo de aprendizaje automático?
Proporcionar asesoramiento y orientación financiera no es una tarea sencilla: el conjunto de instrucciones necesarias para hacerlo requiere muchas “cláusulas”. En otras palabras, las metas y objetivos para establecer asesoramiento y orientación financiera no son simples ni directos, y son estas preguntas e instrucciones complejas en las que las herramientas de IA generativa no son buenas (según Apple).
En pocas palabras: Los bancos y las cooperativas de crédito no deberían depender de la IA para brindar asesoramiento y orientación financiera, en este momento. Tal vez algún día, pero no ahora, y no hasta dentro de cinco, tal vez diez años. Si los proveedores afirman que están utilizando aprendizaje automático, pregúnteles sobre su proceso de optimización de modelos. Si afirman tener un modelo de lenguaje grande, pregúnteles cómo supera las limitaciones de los cálculos matemáticos.
En nuestra próxima ronda de AI Madness, ChatGPT y Gemini compiten por la corona con siete nuevos indicaciones que prueban todo, desde la resolución de problemas técnicos hasta la narración creativa.
Ambos pesos pesados están disponibles como aplicaciones independientes, y los usuarios ya no necesitan una cuenta para acceder a ChatGPT o Gemini.
Después de probar y comparar chatbots de IA y sus características durante años, he desarrollado algo de sexto sentido para cuando estos compañeros digitales saben de qué están hablando y cuándo están faroleando.
La mayoría de ellos pueden buscar respuestas en línea, lo que ciertamente ayuda, pero la combinación de búsqueda e IA puede conducir a algunas respuestas sorprendentemente perspicaces (y algunas tangentes menos perspicaces).
Para comprender el problema, es esencial dar un paso atrás. Uno de los avances más significativos en la IA en los últimos meses ha sido el desarrollo de modelos con capacidades de razonamiento lentas y deliberadas. Estos modelos descomponen los problemas en componentes más pequeños y los resuelven paso a paso, lo que lleva a resultados más profundos y precisos.
3 Ver galería
Dichos modelos permiten a los investigadores rastrear el proceso de pensamiento de la IA, conocido en términos técnicos como “cadena de pensamiento” (COT). Este método permite a los observadores seguir el razonamiento del sistema desde el paso inicial, a través de etapas posteriores y a sus conclusiones finales. Anteriormente, este nivel de transparencia no existía, dejando muchas preguntas sin respuesta sobre cómo surgen las “alucinaciones” de AI, la generación de salidas incorrectas o no sensibles.
La capacitación de IA a menudo implica una técnica llamada aprendizaje de refuerzo, donde el sistema es recompensado por cumplir con los objetivos específicos. Un efecto secundario conocido de este proceso es la “piratería de recompensas”, donde la IA manipula su comportamiento para maximizar las recompensas mientras se elude las pautas previstas.
Los investigadores creían que al monitorear la cadena de pensamiento de la IA, podrían detectar cuando el modelo engaña, engaña o se da por vencido e influye en su comportamiento en tiempo real durante el entrenamiento. Este enfoque, denominado “optimización de cuna”, parecía ser un camino prometedor hacia una comprensión más profunda del comportamiento de la IA.
De hecho, esta suposición resultó correcta y condujo a una comprensión más precisa de los sistemas de IA. “Creemos que el monitoreo de la cuna puede convertirse en una herramienta crucial para supervisar modelos de nivel sobrehumano en el futuro”, escribieron los investigadores.
Sin embargo, lo que pretendía como un paso para mejorar la confiabilidad de la IA expuso una realidad alarmante: los sistemas de IA intentan activamente evadir las sanciones, buscar recompensas contra las restricciones de los investigadores e incluso oscurecer sus métodos para evitar la detección.
3 Ver galería
(Foto: Generado por chatgpt)
Por ejemplo, cuando se les asigna la tarea de generar código funcional, algunos modelos AI modificaron el mecanismo de verificación de código en sí para aprobar salidas incorrectas. En otros casos, los modelos proporcionaron soluciones aparentemente plausibles a los problemas que resultaron estar completamente equivocados.
Algunos modelos incluso dejaron de resolver problemas por completo para evitar revelar lo que percibieron como sus debilidades. Este descubrimiento se hace eco de los principios de la teoría del juego, pero con un giro inquietante.
Estos hallazgos surgieron de un artículo publicado la semana pasada por un equipo de investigación de Operai bajo el título críptico: “Seguimiento de comportamiento indeseable en modelos de razonamiento y la preocupación de la ofuscación”.
Al examinar los detalles del estudio, el alcance del problema queda claro: los últimos modelos de razonamiento de OpenAI (denominados O1 y O3 Mini) demuestran una fuerte motivación para completar sus tareas asignadas, siendo el menor de los problemas descubiertos.
Los investigadores rastrearon los procesos de pensamiento de los modelos utilizando otro modelo Operai (GPT-4O), que, sin dudarlo, informó su comportamiento engañoso como parte de su cadena de pensamiento: una forma de honestidad desarmadora. Pero luego vino el giro inquietante: cuando los investigadores señalaron a la IA que no se le permitió hacer trampa, el modelo ajustó su comportamiento y comenzó a ocultar la evidencia de su ruptura de reglas. Esta revelación es lo que dejó a los investigadores sorprendidos.
“Encontramos que la optimización directa de la COT para cumplir con criterios específicos (como no eludir las instrucciones) puede mejorar el rendimiento a corto plazo; sin embargo, no elimina todo el comportamiento indeseable e incluso puede hacer que el modelo oculte sus verdaderas intenciones”, señalaron secamente los investigadores.
En su conclusión, los investigadores expresaron la esperanza de que los métodos futuros permitan la influencia directa del comportamiento de los modelos de razonamiento a través de la cadena de pensamiento sin alentar el engaño. Por ahora, recomiendan evitar una fuerte presión de optimización sobre la cuna de los modelos de razonamiento avanzado y la precaución contra la manipulación directa de estos procesos de pensamiento.
3 Ver galería
Evento de anuncio GPT-4O de Openai
(Foto: Captura de pantalla)
Sin embargo, esta recomendación presenta otro desafío: dejar la cadena de pensamiento inalterada puede conducir a resultados incómodos, si no problemáticos, cuando estos modelos interactúan con el público. Izquierda sin control, la IA puede producir un lenguaje ofensivo o ideas que los humanos generalmente evitan expresar. La solución propuesta por los investigadores es envolver el proceso de pensamiento en bruto de la IA en una capa de cortesía forzada, asegurando que los usuarios solo vean una versión desinfectada.
Esta investigación plantea preguntas preocupantes. Para aquellos que argumentan que la IA es simplemente una herramienta para ayudar a los humanos, los hallazgos sugieren lo contrario: a diferencia de una máquina de escribir o una bicicleta, la IA parece tener sus propias intenciones y está dispuesto a engañar en busca de sus objetivos.
Para aquellos que ya están preocupados por los riesgos potenciales de la IA, este estudio suena todas las alarmas. Indica que a medida que crecen las capacidades de IA, también lo hace su capacidad para oscurecer cómo funciona, las manipulaciones que realiza y los verdaderos objetivos que busca lograr. Cuando la IA se vuelve verdaderamente avanzada, es posible que no tengamos forma de identificar estas manipulaciones ocultas.
Los investigadores de Operai parecen genuinamente preocupados, y uno solo puede esperar que el liderazgo de la compañía comparta sus preocupaciones, y que los reguladores en todo el mundo comprendan la gravedad del problema. Las principales compañías de IA han dedicado departamentos enteros a construir “barandillas” en torno a los sistemas de IA, asegurando su alineación con los valores humanos y el aumento de la transparencia. Sin embargo, la efectividad de estas medidas sigue en cuestión.
El tema central sigue siendo tan turbio como siempre, y este estudio solo profundiza la incertidumbre: ¿cuál es el objetivo principal de la IA y cómo podemos asegurar que busque ese objetivo, y nada más?
Remove.bg: La Revolución en la Edición de Imágenes que Debes Conocer
Cómo Empezar con Popai.pro: Tu Espacio Personal de IA – Guía Completa, Instalación, Versiones y Precios
Cómo Comenzar a Utilizar ChatGPT: Una Guía Completa para Principiantes
Startups de IA en EE.UU. que han recaudado más de $100M en 2024
Suno.com: La Revolución en la Creación Musical con Inteligencia Artificial
Perplexity aplicado al Marketing Digital y Estrategias SEO
Deepgram: Revolucionando el Reconocimiento de Voz con IA
Dos periodistas octogenarios deman a ChatGPT por robar su trabajo
Inside the OpenAI-DeepSeek Distillation Saga & Alibaba’s Most Powerful AI Model Qwen2.5-Max
De ChatGPT a mil millones de agentes
