¿Esperando que ChatGPT mejore? Es posible que esté esperando un poco, este es el motivo

ChatGPT cambió la forma en que muchas personas en todo el mundo viven y trabajan, pero aquellos que están atentos a la cadencia de los modelos han notado que últimamente se ha ralentizado. ¿Qué está pasando con el desarrollo de LLM? ¿Nos dirigimos hacia una era oscura de la IA en 2025 y más allá?

ChatGPT: una línea de tiempo

Cuando OpenAI lanzó su primer modelo público, ChatGPT 3.5, en noviembre de 2022, arrasó en las industrias de búsqueda y de inteligencia artificial. Hasta el lanzamiento de Meta Threads en 2023, ChatGPT era la aplicación de más rápido crecimiento de todos los tiempos, añadiendo 100 millones de usuarios a su lista en menos de tres meses.

Desde entonces, la compañía ha pasado de una cadencia de aproximadamente seis meses entre nuevos modelos a, en cambio, avanzar hacia actualizaciones anuales. Si bien pasaron solo cinco meses entre el lanzamiento de ChatGPT 3.5 y ChatGPT 4.0, ChatGPT o1 tardó desde marzo de 2023 hasta diciembre de 2024 en lanzarse después de eso.

Dado que o3 carece de una fecha de lanzamiento firme, no se sabe realmente cuándo veremos el próximo gran modelo de OpenAI. Algunos de los primeros probadores ya han conseguido la versión beta, pero eso no da mucha señal sobre cuándo podemos esperar que la próxima evolución en LLM llegue a las PC públicas. Entonces, ¿cuáles son algunas de las razones por las que el desarrollo de LLM ha comenzado a desacelerarse? ¿La inversión del mundo tecnológico pagará dividendos al final?

Autobots, despliegue

Los transformadores son la tecnología fundamental que transformó por primera vez (a falta de un término mejor) la industria de la IA, a partir de 2017. Al utilizar la arquitectura CUDA dentro de las GPU como una plataforma informática total en lugar de solo renderización de imágenes, los transformadores pueden convertir incluso las aplicaciones más Tarjetas gráficas básicas en procesadores compatibles con IA.

Pero si bien muchos de los primeros modelos de modelos de lenguaje grande (LLM) y sus entradas de tokens más pequeños pudieron aprovechar más la arquitectura CUDA, últimamente hemos visto rendimientos decrecientes. Como una versión acelerada de la Ley de Moore, que sin duda es una simplificación drástica de la tecnología al servicio de la brevedad, las GPU han comenzado a alcanzar su punto máximo en rendimiento de IA a pesar de una mayor inversión en densidad de transistores y especificaciones de VRAM año tras año.

Incluso el discurso de apertura de Nvidia en el CES de este año fue recibido con reacciones tibias, ya que quedó claro que ya hemos llegado a la fase “evolutiva” del hardware de IA, en lugar de los saltos “revolucionarios” que algunos esperaban dada la trayectoria de los últimos años.

Todavía no estamos tan cerca del punto de llevar el hardware de IA basado en GPU a su límite físico teórico como lo estamos con algunas CPU clásicas. (Nota: esto no incluye los enfoques más nuevos basados ​​en 3D). Sin embargo, los principales avances que hemos visto en los últimos cinco años en GPU y el soporte de arquitecturas de transformadores están comenzando a ralentizarse, en lugar del sprint que algunos En la industria esperaban una informática clásica entre los años 1980 y principios de los años 2000.

Raspar el fondo del barril

Otro obstáculo importante al que se enfrentan muchas empresas de LLM en este momento, incluida OpenAI con ChatGPT, es la falta de datos de capacitación. Como todos los LLM respaldados por FAANG (Gemini, Claude y ChatGPT) ya han absorbido y capacitado en lo que efectivamente podría considerarse la totalidad de la información pública disponible en la web abierta, las empresas se están topando con una pared de ladrillos de entrada a salida. regresa.

Sin muchos datos nuevos para entrenar la próxima generación de modelos, algunos desarrolladores han recurrido a lo que se conoce como modelo de entrenamiento “recursivo”. En estos casos, la IA se utiliza para entrenar la IA, pero los resultados han sido, en el mejor de los casos, heterogéneos. Si bien los conceptos y tareas más simples se pueden entrenar de forma recursiva, lograr resultados mayores que los observados con una IA entrenada con resultados humanos es un problema de alucinación. Si antes pensaba que las IA podían alucinar, intente alimentar una IA con otra IA y vea qué tipo de resultados regresan. En definitiva, una parte nada despreciable se recupera sobre el terreno.

La carrera por la supremacía de la IA y el LLM ha alimentado un montón de dinero que se vierte en la industria, que ascenderá a un total de más de 1 billón de dólares en los próximos años, según lo pronosticado por un análisis reciente de Goldman Sachs. Sin embargo, incluso con todo ese dinero disponible, el costo hundido de capacitar y mantener un LLM como ChatGPT todavía está buscando un canal de ganancias para mantener las luces encendidas.

La capacitación, el funcionamiento y las solicitudes de extracción de los LLM cuestan una cantidad considerable más que la búsqueda estándar de Google. Algunas estimaciones sugieren que una solicitud de ChatGPT podría utilizar diez veces los requisitos de cómputo y energía de una consulta de Google, aunque las cifras reales son un secreto bien guardado por OpenAI. Hasta hace poco, todos los principales actores de FAANG se acercaron a la IA con el manual operativo estándar: “1. Invierta más efectivo de capital de riesgo que sus competidores 2. Capture la mayor participación de mercado posible 3. ??? 4. Ganancias”.

Pero el mundo de la IA es todo menos estándar. Como los costos de computación, no por casualidad, se han disparado junto con el precio de las acciones de Nvidia, el modelo de ganancias real para recuperar esos costos todavía parece, en el mejor de los casos, confuso.

ChatGPT cobra $20 por mes por el acceso a sus modelos más avanzados y recientes. Pero incluso con sus 11 millones de suscriptores de pago, según un informe de The Information que cita al director de operaciones de OpenAI, OpenAI todavía está considerando nuevos niveles de suscripción para LLM más avanzados que podrían alcanzar hasta $2,000 por mes, dependiendo de la capacidad.

Este problema se agrava aún más por la disminución de los rendimientos de los resultados. A medida que muchas personas llegan al punto de que los modelos gratuitos como ChatGPT 4o son “lo suficientemente buenos” para lo que necesitan (por supuesto, “suficiente” es una experiencia subjetiva para cada usuario y su caso de uso), el atractivo de la suscripción mensual pierde su valor. Este temor a una posible pérdida de capital ha llevado a una desaceleración de la inversión en IA en comparación con años anteriores, lo que significa una desaceleración del desarrollo en especie.

¿Cuándo dará ChatGPT su próximo salto?

Mientras ChatGPT se prepara para el lanzamiento de su modelo o3, los analistas de la industria esperan que pueda ser el único lanzamiento público nuevo que veremos de OpenAI en todo 2025. Muchos están felices de que se demuestre que están equivocados, pero dados los problemas mencionados anteriormente, parece más probable cada día.

Pero, en última instancia, ¿es eso algo tan malo? Como muestra la tabla de clasificación de Chatbot Arena, las iteraciones de modelos que antes solo tardaban meses en saltar cientos de puntos entre lanzamientos apenas han avanzado más de unas pocas docenas en más de un año. Estamos alcanzando la cima de lo que los LLM son capaces de hacer incluso en sus entornos de mayor rendimiento, y si bien las aplicaciones corporativas escaladas todavía están listas para ser seleccionadas, lo que un LLM puede hacer por el usuario promedio parece estar acercándose poco a poco a su límite teórico.

Entonces, ¿cuándo tendrás en tus manos la próxima versión de ChatGPT? Sólo el tiempo lo dirá. Pero, mientras esperamos, modelos como ChatGPT o1 y 4o siguen siendo muy potentes para manejar la preparación de una lista de compras ordenada por pasillos, ayudándote a recordar en qué libro leíste una cita específica o lo que quieras usar tu chatbot favorito para la mayoría. a menudo.