Cómo se compara la nueva herramienta de análisis de datos de IA de Claude con la versión de ChatGPT (pista: no es así)

La semana pasada, Anthropic (que cuenta con una inversión de 4 mil millones de dólares de Amazon) anunció que Claude 3.5 Sonnet ahora admite análisis de datos.

El titular de TechCruch sobre esta capacidad fue “La IA de Anthropic ahora puede ejecutar y escribir código”. Eso es técnicamente correcto, pero no te emociones demasiado. Claude no se quedará ahí sentado y simulará todo tu código por ti. La realidad es mucho más limitada.

Además: ¿Podría la IA hacer obsoleta la ciencia de datos?

La característica que anunció Anthropic es similar al Análisis de datos avanzado de ChatGPT. Una diferencia es que la herramienta de análisis de Claude está disponible para todos, incluidos los usuarios gratuitos. El análisis de datos avanzado de ChatGPT solo está disponible para usuarios de cuentas Plus y Enterprise que pagan $20 o más al mes.

Generando código

Tanto ChatGPT Plus como Claude realizan su análisis de datos escribiendo y ejecutando fragmentos de código que analizan y procesan los datos. Una diferencia clave es que Claude escribe su código en JavaScript mientras que ChatGPT escribe su código en Python.

Además: Los lenguajes de programación más populares en 2024 (y lo que eso significa)

Éstas son opciones interesantes. Python tiene un rico ecosistema de bibliotecas de análisis numérico como Pandas, NumPy y SciPy. JavaScript también tiene un ecosistema rico, pero sus ofertas de datos e inteligencia artificial no son tan amplias como las de Python. Python es muy sólido en aprendizaje automático e inteligencia artificial, con marcos como TensorFlow, PyTorch y Keras. Python también proporciona un excelente soporte para big data, aunque, como verá, nada de la herramienta de análisis actual de Claude puede considerarse ni siquiera datos medianos.

JavaScript, por el contrario, es ideal para la visualización de datos en páginas web. La solución Anthropic utiliza React, pero también hay excelentes bibliotecas de visualización como D3.js y chart.js disponibles para la presentación de información. Me pareció extraño que con herramientas de visualización tan excelentes, los gráficos circulares que generaba con Claude tendieran a cortar las etiquetas de datos de algunas de las categorías.

Además: La mejor IA para codificar en 2024 (y qué no usar)

Cuando le pides a Claude que procese datos, te proporciona su resultado pero también te permite ver el código subyacente que genera para realizar ese análisis de datos. He aquí un ejemplo.

Límites de uso

Decidí utilizar Claude para probar sus capacidades de análisis. Limité mi uso a la versión gratuita. Según las preguntas frecuentes de Claude, la versión Pro de $ 20 al mes aumenta cinco veces los límites de uso.

Probablemente sea necesario para un uso serio porque después de unos 20 minutos de prueba, me cerraron.

Intenté abrir un nuevo chat, pero no me dejó volver a entrar. Después de esperar una hora, pude hacer algunas preguntas más.

Escribir código para limpiar datos

Para probar las capacidades de análisis de datos de Claude, fui al sitio web data.gov y descargué un conjunto de datos de la Administración del Seguro Social sobre el uso de nombres de bebés derivados de solicitudes de tarjetas de seguro social.

Estos datos vinieron en forma de un archivo ZIP. Extraje 145 archivos de texto con valores separados por comas (CSV) que contenían datos de nombres de bebés desde 1880 hasta 2023, un archivo por año.

Además: enfrenté a Claude 3.5 Sonnet con las pruebas de codificación de IA que superaron ChatGPT, y falló creativamente

Primero intenté seleccionar todos los archivos e importarlos como un grupo a Claude. Me informaron que Claude sólo importaría cinco archivos a la vez.

Entonces, decidí escribir un script que crearía un único archivo que contuviera todos los datos. El problema fue que cada archivo individual no contenía el año como uno de los campos. Entonces mi secuencia de comandos tendría que agregar el año del nombre del archivo a cada registro del archivo y luego hacer esto para todos los archivos.

En lugar de codificar esto yo mismo, le pedí a Claude que lo hiciera por mí.

Necesito combinar rápidamente 145 archivos de texto en una Macintosh. Cada nombre de archivo consta de las letras yob seguidas de cuatro números, que indican el año seguido de .txt. Los archivos en sí son valores separados por comas. Para cada archivo, necesito anteponer el año contenido en el nombre del archivo, seguido de una coma, en cada línea de su archivo correspondiente. Luego necesito combinar los 145 archivos en un archivo maestro. ¿Cómo puedo hacer esto rápidamente?

Creó un script de shell que parecía que haría el trabajo.

Guardé el script y lo ejecuté.

Funcionó e hizo exactamente lo que le pedí. El resultado de ejecutar ese script de shell fue un archivo de 37 MB. Desafortunadamente, pronto descubrí que 37 MB excedían el límite de carga de 30 MB de Claude. Necesitaba un conjunto de datos que fuera considerablemente más pequeño.

En lugar de usar datos de nombres de cada año, pensé que si usaba datos de nombres de solo un archivo por década, reduciría el tamaño de mi conjunto de datos al 10% del tamaño original. Así que cambié mi mensaje y se lo envié a Claude.

Necesito combinar rápidamente 145 archivos de texto en una Macintosh. Cada nombre de archivo consta de las letras yob seguidas de cuatro números, que indican el año seguido de .txt. Los archivos en sí son valores separados por comas. Para cada archivo que tiene un nombre que termina en 0.txt, anteponga el año contenido en el nombre del archivo seguido de una coma en cada línea de su archivo correspondiente. Luego, debe combinar todos los archivos que terminan en 0.txt en un archivo maestro. Escribe un script de shell para hacer eso.

Funcionó tan bien como el primer mensaje y me dieron un archivo de 3,9 MB.

En general, quedé bastante satisfecho con el trabajo de codificación de Claude 3.5 Sonnet de hoy. Anteriormente ejecuté ese LLM a través de mi batería de pruebas de codificación sin mucho éxito. Así que fue agradable verlo funcionar sin problemas esta vez. Desafortunadamente, esa fue la última parte del proceso de prueba de hoy que se desarrolló sin problemas.

Más límites en Claude

Entonces, veamos el análisis de datos en Claude. Desafortunadamente, Claude parece estar muy limitado en términos de la cantidad de datos que puede ingerir. Claude dice que su versión Pro permite “al menos 5 veces el uso en comparación con nuestro servicio gratuito” y que “si tus conversaciones son relativamente cortas, puedes esperar enviar al menos 45 mensajes cada 5 horas”.

Además: las estafas de IA se han infiltrado en el mundo del tejido y el crochet: por qué es importante para todos

Eso no es mucho. Y aunque Claude dice que puedes cargar cinco archivos y 30 MB, descubrí que mi archivo combinado de 3,9 MB se consideraba un 9124% superior a su límite de longitud. Ese archivo contiene 219.181 registros.

Está bien, está bien. Entonces probé un archivo por solo un año. El archivo yob2020.txt tiene solo 561 KB y contiene solo 31.550 registros. Ese archivo aparentemente supera en un 1239% los límites de longitud de Claude.

Haciendo algunos cálculos, y suponiendo que no haya alcanzado sus límites de uso de mensajes, parece que Claude limita su análisis de datos a alrededor de 2000 líneas de aproximadamente 25 caracteres cada una.

Comparemos eso con ChatGPT Plus, ¿de acuerdo?

Ahora, sí, estoy usando la versión gratuita de Claude, pero si Claude Pro proporciona una capacidad 5X, podemos generalizar (porque la compañía no proporciona límites estrictos) que Claude Pro alcanzaría un máximo de aproximadamente 10,000 líneas de 25 caracteres.

Además: el último modelo de IA de Anthropic puede usar una computadora como tú, con errores y todo

Por el contrario, introduje 69.215 registros con un promedio de 50 caracteres por línea en ChatGPT Plus y funcionó bien. Ingresé un conjunto de datos de 22,797 registros que consta de datos de opinión de los usuarios que desinstalaron mis aplicaciones (y la mayoría de los registros contienen frases de opinión, así como datos fijos) en ChatGPT Plus y funcionó bien. Introduje dos archivos que constan de más de 170.000 líneas de código G de impresora 3D en ChatGPT Plus y funcionó bien.

El análisis de datos de ChatGPT Plus me parece realmente útil y mejora la productividad. Pero si una cuenta profesional estuviera limitada a solo 10,000 registros o menos, como parece hacer Claude Pro, probablemente me habría parecido una demostración de tecnología interesante, pero no algo que pudiera agregar de manera confiable a mi kit de flujo de trabajo.

Realmente probando el análisis de datos de Claude.

Descargué alrededor de 30 conjuntos de datos de data.gov antes de encontrar uno lo suficientemente pequeño para que Claude lo examinara. Se trata de un conjunto de datos de noviembre de 2020 sobre mascotas adoptables del Centro de Adopción y Servicios para Animales del Condado de Montgomery en Derwood, Maryland.

Este conjunto de datos tiene 85 registros de aproximadamente 190 caracteres cada uno. Veamos qué nos puede decir.

Con un mensaje de “¿Qué puedes decirme sobre estos datos?” Claude identificó el tipo de mascota más común (perros), los tipos de ingesta más comunes (el dueño se entrega y luego se extravía, eso parece muy triste), patrones notables y características únicas (Molly es un nombre común).

Pedí un gráfico circular que representara la distribución de los animales. Me dio esto, que mostraba los principales tipos de animales pero dejaba “Otros” en casi el 50% del gráfico de barras.

Quería saber qué representaba esa categoría “Otros”. Hay algo un poco conmovedor en la idea de que el 30 y tantos por ciento de la categoría “Otros” esté compuesta por peces tropicales. Tengo esta visión deprimente en mi cabeza de fila tras fila de peceras, cada una de las cuales contiene un pez dorado solitario.

Eche un vistazo a ese gráfico y al que está justo encima. Tenga en cuenta que, si bien hay mucho espacio para que el gráfico muestre las etiquetas, están cortadas en ambos gráficos. Sé que hay alrededor del 30 por ciento de peces tropicales, pero no sé el porcentaje exacto porque lo único que se muestra es un “3”.

JavaScript tiene excelentes bibliotecas de gráficos. Creo que Anthropic habría podido modificar la salida para representar completamente los datos del gráfico, especialmente en vista horizontal.

Bueno, eso es un fastidio

Realmente esperaba que las funciones de análisis de datos de Claude estuvieran a la par con las de ChatGPT Plus. Incluso si la versión gratuita de Claude solo pudiera hacer una quinta parte de lo que ChatGPT Plus podría hacer, es posible que me hubiera registrado para obtener una suscripción.

Realmente me gusta la idea de enviar mis datos a través de múltiples herramientas de análisis y comparar los resultados. Eso por sí solo habría justificado que me suscribiera a otra factura de IA de 240 dólares al año.

Además: la herramienta de podcasts de inteligencia artificial de Google transforma su texto en audio increíblemente realista, de forma gratuita

Pero dado que de mis extrapolaciones anteriores se desprende claramente que la versión Claude Pro no podía manejar ni siquiera el más pequeño de los conjuntos de datos que previamente introduje con éxito en ChatGPT Plus, ciertamente no parece que valga la pena la inversión.

Me comuniqué con Anthropic para hacer comentarios, pero aún no he recibido respuesta. Si la empresa responde, actualizaré este artículo con sus comentarios.

Mientras tanto, ¿qué opinas? ¿Ha utilizado el análisis de datos avanzado en ChatGPT Plus? ¿Eres usuario de Claude o ChatGPT? ¿Cuándo considerarías o considerarías alguna vez usar Claude en lugar de ChatGPT? Háganos saber en los comentarios a continuación.

Puedes seguir las actualizaciones diarias de mi proyecto en las redes sociales. Asegúrate de suscribirte a mi boletín de actualización semanal y sígueme en Twitter/X en @DavidGewirtzen Facebook en Facebook.com/DavidGewirtz, en Instagram en Instagram.com/DavidGewirtz y en YouTube en YouTube.com/DavidGewirtzTV.