La IA ha estado en el centro de las experiencias que Meta ha estado brindando a personas y empresas durante años, incluidas innovaciones en el modelado de IA para optimizar y mejorar características como Alimentar y nuestro sistema de anuncios. A medida que desarrollamos y lanzamos modelos de IA nuevos y avanzados, también nos sentimos impulsados a mejorar nuestra infraestructura para respaldar nuestras cargas de trabajo de IA nuevas y emergentes.
Por ejemplo, Llama 3.1 405Bel modelo más grande de Meta, es un transformador denso con parámetros 405B y una ventana de contexto de hasta 128k tokens. Para entrenar un modelo de lenguaje grande (LLM) de esta magnitud, con más de 15 billones de tokens, tuvimos que realizar optimizaciones sustanciales en toda nuestra pila de entrenamiento. Este esfuerzo impulsó nuestra infraestructura a operar en más de 16 000 GPU NVIDIA H100, lo que convirtió a Llama 3.1 405B en el primer modelo de la serie Llama entrenado a una escala tan masiva.
Antes de Llama, nuestros trabajos de IA más importantes se ejecutaban en 128 GPU NVIDIA A100. Pero las cosas se han acelerado rápidamente. En el transcurso de 2023, ampliamos rápidamente nuestros grupos de capacitación de GPU de 1K, 2K, 4K y, finalmente, de 16K para respaldar nuestras cargas de trabajo de IA. Hoy, estamos entrenando nuestros modelos en dos Clústeres de GPU de 24K.
No esperamos que esta trayectoria ascendente de los grupos de IA se desacelere en el corto plazo. De hecho, esperamos que la cantidad de computación necesaria para el entrenamiento de IA crezca significativamente desde donde nos encontramos hoy.
La creación de clústeres de IA requiere algo más que GPU. Las redes y el ancho de banda juegan un papel importante para garantizar el rendimiento de los clústeres. Nuestros sistemas constan de un sistema informático HPC estrechamente integrado y una red informática aislada de gran ancho de banda que conecta todas nuestras GPU y aceleradores específicos de dominio. Este diseño es necesario para satisfacer nuestras necesidades de inyección y abordar los desafíos planteados por nuestra necesidad de ancho de banda de bisección.
En los próximos años, anticipamos un mayor ancho de banda de inyección del orden de un terabyte por segundo, por acelerador, con el mismo ancho de banda de bisección normalizado. ¡Esto representa un crecimiento de más de un orden de magnitud en comparación con las redes actuales!
Para respaldar este crecimiento, necesitamos una estructura de red sin bloqueo, de múltiples niveles y de alto rendimiento que pueda utilizar un control de congestión moderno para comportarse de manera predecible bajo cargas pesadas. Esto nos permitirá aprovechar al máximo el poder de nuestros grupos de IA y garantizar que sigan funcionando de manera óptima a medida que ampliamos los límites de lo que es posible con la IA.
Escalar la IA a esta velocidad requiere soluciones de hardware abiertas. El desarrollo de nuevas arquitecturas, estructuras de red y diseños de sistemas es más eficiente e impactante cuando podemos construirlo sobre principios de apertura. Al invertir en hardware abierto, liberamos todo el potencial de la IA e impulsamos la innovación continua en este campo.
Hoy anunciamos a la comunidad OCP el próximo lanzamiento de Catalina, nuestro nuevo bastidor de alta potencia diseñado para cargas de trabajo de IA. Catalina se basa en la solución de escala de rack completa de la plataforma NVIDIA Blackwell, con un enfoque en la modularidad y la flexibilidad. Está diseñado para admitir el último superchip NVIDIA GB200 Grace Blackwell, lo que garantiza que satisfaga las crecientes demandas de la infraestructura de inteligencia artificial moderna.
Las crecientes demandas de energía de las GPU significan que las soluciones de rack abierto deben admitir una mayor capacidad de energía. Con Catalina presentamos el Orv3, un bastidor de alta potencia (HPR) capaz de soportar hasta 140 kW.
La solución completa está refrigerada por líquido y consta de un estante eléctrico que admite una bandeja de computación, una bandeja de conmutación, el Orv3 HPR, el Cuña 400 conmutador de estructura, un conmutador de gestión, una unidad de respaldo de batería y un controlador de gestión de bastidor.
Nuestro objetivo es que el diseño modular de Catalina permita a otros personalizar el rack para satisfacer sus cargas de trabajo de IA específicas y, al mismo tiempo, aprovechar los estándares industriales existentes y emergentes.
En 2022, anunciamos Gran Tetónnuestra plataforma de IA de próxima generación (la continuación de nuestra plataforma Zion-EX). Grand Teton está diseñado con capacidad informática para soportar las demandas de cargas de trabajo con ancho de banda de memoria, como los modelos de recomendación de aprendizaje profundo de Meta (DLRM), así como cargas de trabajo vinculadas a la computación, como la comprensión de contenidos.
Ahora, hemos ampliado la plataforma Grand Teton para admitir AMD Instinct MI300X y contribuiremos con esta nueva versión a OCP. Al igual que sus predecesores, esta nueva versión de Grand Teton presenta un diseño de sistema monolítico único con interfaces de estructura, computación, control y energía totalmente integradas. Este alto nivel de integración simplifica la implementación del sistema, lo que permite un escalamiento rápido con mayor confiabilidad para cargas de trabajo de inferencia de IA a gran escala.
Además de admitir una variedad de diseños de aceleradores, que ahora incluyen el AMD Instinct MI300x, Grand Teton ofrece una capacidad de procesamiento significativamente mayor, lo que permite una convergencia más rápida en un conjunto más grande de pesos. Esto se complementa con una memoria ampliada para almacenar y ejecutar modelos más grandes localmente, junto con un mayor ancho de banda de red para ampliar los tamaños de los clústeres de entrenamiento de manera eficiente.
El desarrollo de un backend de red abierto e independiente del proveedor desempeñará un papel importante en el futuro a medida que sigamos impulsando el rendimiento de nuestros grupos de capacitación en IA. La desagregación de nuestra red nos permite trabajar con proveedores de toda la industria para diseñar sistemas que sean innovadores, además de escalables, flexibles y eficientes.
Nuestro nuevo tejido programado desagregado (DSF) para nuestros clústeres de IA de próxima generación ofrece varias ventajas sobre nuestros conmutadores existentes. Al abrir nuestra estructura de red podemos superar las limitaciones de escala, opciones de suministro de componentes y densidad de energía. DSF funciona con energía abierta OCP-EFS estándar y FOBOSEl propio sistema operativo de red de Meta para controlar conmutadores de red. También admite una interfaz RoCE abierta y estándar basada en Ethernet para puntos finales y aceleradores en varias GPUS y NICS de varios proveedores diferentes, incluidos nuestros socios de NVIDIA, Broadcom y AMD.
Además de DSF, también hemos desarrollado y construido nuevos conmutadores de estructura 51T basados en Broadcom y Cisco ASIC. Finalmente, compartimos nuestro nuevo FBNIC, un nuevo módulo NIC que contiene nuestro primer ASIC de red Meta-design. Para satisfacer las crecientes necesidades de nuestra IA
Meta y Microsoft tienen una asociación de larga data dentro de OCP, comenzando con el desarrollo de Cambiar interfaz de abstracción (SAI) para centros de datos en 2018. A lo largo de los años juntos, hemos contribuido a iniciativas clave como la Módulo acelerador abierto (OAM) estándar y estandarización de SSD, lo que muestra nuestro compromiso compartido con el avance de la innovación abierta.
Nuestro actual La colaboración se centra en el Monte Diablo.un nuevo power rack desagregado. Es una solución de vanguardia que presenta una unidad escalable de 400 VCC que mejora la eficiencia y la escalabilidad. Este diseño innovador permite más aceleradores de IA por rack de TI, lo que mejora significativamente la infraestructura de IA. Estamos entusiasmados de continuar nuestra colaboración a través de esta contribución.
Meta apuesta por la IA de código abierto. Creemos que el código abierto pondrá los beneficios y oportunidades de la IA en manos de personas de todo el mundo.
La IA no alcanzará todo su potencial sin colaboración. Necesitamos marcos de software abiertos para impulsar la innovación de modelos, garantizar la portabilidad y promover la transparencia en el desarrollo de la IA. También debemos priorizar modelos abiertos y estandarizados para poder aprovechar la experiencia colectiva, hacer que la IA sea más accesible y trabajar para minimizar los sesgos en nuestros sistemas.
Igual de importante es que también necesitamos sistemas de hardware de IA abiertos. Estos sistemas son necesarios para ofrecer el tipo de infraestructura adaptable, rentable y de alto rendimiento necesaria para el avance de la IA.
Alentamos a cualquiera que quiera ayudar a avanzar en el futuro de los sistemas de hardware de IA a interactuar con la comunidad OCP. Al abordar juntos las necesidades de infraestructura de la IA, podemos desbloquear la verdadera promesa de una IA abierta para todos.
Después de probar y comparar chatbots de IA y sus características durante años, he desarrollado algo de sexto sentido para cuando estos compañeros digitales saben de qué están hablando y cuándo están faroleando.
La mayoría de ellos pueden buscar respuestas en línea, lo que ciertamente ayuda, pero la combinación de búsqueda e IA puede conducir a algunas respuestas sorprendentemente perspicaces (y algunas tangentes menos perspicaces).
Para comprender el problema, es esencial dar un paso atrás. Uno de los avances más significativos en la IA en los últimos meses ha sido el desarrollo de modelos con capacidades de razonamiento lentas y deliberadas. Estos modelos descomponen los problemas en componentes más pequeños y los resuelven paso a paso, lo que lleva a resultados más profundos y precisos.
3 Ver galería
Dichos modelos permiten a los investigadores rastrear el proceso de pensamiento de la IA, conocido en términos técnicos como “cadena de pensamiento” (COT). Este método permite a los observadores seguir el razonamiento del sistema desde el paso inicial, a través de etapas posteriores y a sus conclusiones finales. Anteriormente, este nivel de transparencia no existía, dejando muchas preguntas sin respuesta sobre cómo surgen las “alucinaciones” de AI, la generación de salidas incorrectas o no sensibles.
La capacitación de IA a menudo implica una técnica llamada aprendizaje de refuerzo, donde el sistema es recompensado por cumplir con los objetivos específicos. Un efecto secundario conocido de este proceso es la “piratería de recompensas”, donde la IA manipula su comportamiento para maximizar las recompensas mientras se elude las pautas previstas.
Los investigadores creían que al monitorear la cadena de pensamiento de la IA, podrían detectar cuando el modelo engaña, engaña o se da por vencido e influye en su comportamiento en tiempo real durante el entrenamiento. Este enfoque, denominado “optimización de cuna”, parecía ser un camino prometedor hacia una comprensión más profunda del comportamiento de la IA.
De hecho, esta suposición resultó correcta y condujo a una comprensión más precisa de los sistemas de IA. “Creemos que el monitoreo de la cuna puede convertirse en una herramienta crucial para supervisar modelos de nivel sobrehumano en el futuro”, escribieron los investigadores.
Sin embargo, lo que pretendía como un paso para mejorar la confiabilidad de la IA expuso una realidad alarmante: los sistemas de IA intentan activamente evadir las sanciones, buscar recompensas contra las restricciones de los investigadores e incluso oscurecer sus métodos para evitar la detección.
3 Ver galería
(Foto: Generado por chatgpt)
Por ejemplo, cuando se les asigna la tarea de generar código funcional, algunos modelos AI modificaron el mecanismo de verificación de código en sí para aprobar salidas incorrectas. En otros casos, los modelos proporcionaron soluciones aparentemente plausibles a los problemas que resultaron estar completamente equivocados.
Algunos modelos incluso dejaron de resolver problemas por completo para evitar revelar lo que percibieron como sus debilidades. Este descubrimiento se hace eco de los principios de la teoría del juego, pero con un giro inquietante.
Estos hallazgos surgieron de un artículo publicado la semana pasada por un equipo de investigación de Operai bajo el título críptico: “Seguimiento de comportamiento indeseable en modelos de razonamiento y la preocupación de la ofuscación”.
Al examinar los detalles del estudio, el alcance del problema queda claro: los últimos modelos de razonamiento de OpenAI (denominados O1 y O3 Mini) demuestran una fuerte motivación para completar sus tareas asignadas, siendo el menor de los problemas descubiertos.
Los investigadores rastrearon los procesos de pensamiento de los modelos utilizando otro modelo Operai (GPT-4O), que, sin dudarlo, informó su comportamiento engañoso como parte de su cadena de pensamiento: una forma de honestidad desarmadora. Pero luego vino el giro inquietante: cuando los investigadores señalaron a la IA que no se le permitió hacer trampa, el modelo ajustó su comportamiento y comenzó a ocultar la evidencia de su ruptura de reglas. Esta revelación es lo que dejó a los investigadores sorprendidos.
“Encontramos que la optimización directa de la COT para cumplir con criterios específicos (como no eludir las instrucciones) puede mejorar el rendimiento a corto plazo; sin embargo, no elimina todo el comportamiento indeseable e incluso puede hacer que el modelo oculte sus verdaderas intenciones”, señalaron secamente los investigadores.
En su conclusión, los investigadores expresaron la esperanza de que los métodos futuros permitan la influencia directa del comportamiento de los modelos de razonamiento a través de la cadena de pensamiento sin alentar el engaño. Por ahora, recomiendan evitar una fuerte presión de optimización sobre la cuna de los modelos de razonamiento avanzado y la precaución contra la manipulación directa de estos procesos de pensamiento.
3 Ver galería
Evento de anuncio GPT-4O de Openai
(Foto: Captura de pantalla)
Sin embargo, esta recomendación presenta otro desafío: dejar la cadena de pensamiento inalterada puede conducir a resultados incómodos, si no problemáticos, cuando estos modelos interactúan con el público. Izquierda sin control, la IA puede producir un lenguaje ofensivo o ideas que los humanos generalmente evitan expresar. La solución propuesta por los investigadores es envolver el proceso de pensamiento en bruto de la IA en una capa de cortesía forzada, asegurando que los usuarios solo vean una versión desinfectada.
Esta investigación plantea preguntas preocupantes. Para aquellos que argumentan que la IA es simplemente una herramienta para ayudar a los humanos, los hallazgos sugieren lo contrario: a diferencia de una máquina de escribir o una bicicleta, la IA parece tener sus propias intenciones y está dispuesto a engañar en busca de sus objetivos.
Para aquellos que ya están preocupados por los riesgos potenciales de la IA, este estudio suena todas las alarmas. Indica que a medida que crecen las capacidades de IA, también lo hace su capacidad para oscurecer cómo funciona, las manipulaciones que realiza y los verdaderos objetivos que busca lograr. Cuando la IA se vuelve verdaderamente avanzada, es posible que no tengamos forma de identificar estas manipulaciones ocultas.
Los investigadores de Operai parecen genuinamente preocupados, y uno solo puede esperar que el liderazgo de la compañía comparta sus preocupaciones, y que los reguladores en todo el mundo comprendan la gravedad del problema. Las principales compañías de IA han dedicado departamentos enteros a construir “barandillas” en torno a los sistemas de IA, asegurando su alineación con los valores humanos y el aumento de la transparencia. Sin embargo, la efectividad de estas medidas sigue en cuestión.
El tema central sigue siendo tan turbio como siempre, y este estudio solo profundiza la incertidumbre: ¿cuál es el objetivo principal de la IA y cómo podemos asegurar que busque ese objetivo, y nada más?
Mientras que la administración del presidente Donald Trump se ha centrado en alejarse de la regulación, liderando a los proveedores de IA como Google y OpenAI quieren que el plan de acción de IA pendiente del gobierno incluya una política federal que se adelantan a los crecientes mosaicos de leyes estatales de IA en los Estados Unidos.
La Oficina de Política de Ciencia y Tecnología de la Casa Blanca (OSTP) solicitó los aportes de las partes interesadas sobre el desarrollo de un plan de acción de IA. Recientemente cerró el período de comentarios públicos, recibiendo más de 8,700 presentaciones. OSTP solicitó a las partes interesadas que describieran las acciones prioritarias para apoyar el dominio de los Estados Unidos de la tecnología de IA sin una regulación excesiva que obstaculice la innovación del sector privado en la IA. Para algunas grandes empresas tecnológicas, abordar las leyes estatales de IA debería ser una de las principales prioridades del gobierno de los Estados Unidos.
Estados Unidos debe adoptar marcos de políticas que “se adelanten a un mosaico caótico de reglas a nivel estatal sobre el desarrollo de la IA fronteriza”, según la presentación de Google.
Mientras tanto, Openai pidió libertad para innovar en el interés nacional de los Estados Unidos y neutralizar a los competidores como China que se benefician de “las compañías estadounidenses de IA que tienen que cumplir con las leyes estatales demasiado onerosas”. Un puñado de estados de EE. UU. Han aprobado una regulación integral de IA, incluidas Colorado, California y Utah.
Sin una ley federal de IA, los estados implementan requisitos de IA individuales que crean desafíos de cumplimiento para las empresas, dijo la analista de Forrester Alla Valente si Estados Unidos adopta una política federal de IA general, podría eliminar esa carga, dijo.
“Al dejar esto a los Estados Unidos, puede tener 50 conjuntos de regulaciones de IA que se ven muy diferentes”, dijo.
Sin embargo, una orden ejecutiva no puede evitar las regulaciones estatales de IA. Depende del Congreso aprobar una ley federal de IA, algo que tiene problemas para hacer.
La falta de un enfoque de gobernanza de AI unificado en los Estados Unidos es “ineficaz y duplicativo”, dijo Hodan Omaar, un gerente de políticas senior en el Centro de Tank Tank Tank para innovación de datos.
“Crea inconsistencias e incoherencia en un enfoque estadounidense”, dijo.
Más allá de centrarse en las leyes estatales, Valente dijo que la postura de Google indica que la compañía quiere que Estados Unidos considere el desarrollo global de las leyes de IA también, como la Ley de IA de la Unión Europea.
Cualquier estándar, política o marco que crea los EE. UU. Debe reflejar los intereses estadounidenses, pero no puede ignorar las políticas de IA de diferentes países, dijo Valente. Google dijo que, cuando se trabaja con países alineados, Estados Unidos debería “desarrollar protocolos y puntos de referencia en torno a los riesgos potenciales de los sistemas de IA fronterizos”.
“Ignorar lo que el resto del mundo está haciendo en torno a los marcos de IA, la gobernanza de IA, el riesgo de IA, crea una brecha aún mayor entre la innovación de los Estados Unidos y el resto del mundo hasta el punto de que entonces sigue siendo competitivo si otros países tienen requisitos que no pueden ser satisfechos con la innovación de la IA de EE. UU.”, Dijo Valente.
Operai también abordó los controles de exportación en sus comentarios, solicitando un cambio de estrategia centrado en promover la adopción global de los sistemas de IA de EE. UU. Al tiempo que utiliza más estratégicamente los controles de exportación para mantener el liderazgo de IA de EE. UU. La Compañía pidió actualizar la regla de difusión de IA que avanzó los controles de exportación de EE. UU., Una regla propuesta por la administración del ex presidente Joe Biden que se encontró con una reacción violenta de la industria.
Mientras tanto, en los comentarios del Centro para la Innovación de Data, el grupo de expertos pidió que el Plan de Acción de AI de EE. UU. Reorientara su estrategia de control de exportación. Si bien los controles de exportación están destinados a debilitar a los competidores, en particular el sector de inteligencia artificial de China, están “cada vez más en desventajas de las empresas estadounidenses”. El surgimiento de Deepseek apunta a la capacidad de China para innovar a pesar de los controles de exportación de los Estados Unidos en chips de IA avanzados.
Omaar describió en la presentación del grupo de expertos de que Estados Unidos debería establecer una Fundación Nacional de Datos (NDF) dedicada a la financiación y facilitar compartir conjuntos de datos de alta calidad para el desarrollo del modelo de IA. Ella dijo que Estados Unidos también debería preservar, pero Reengus, el Instituto de Seguridad AI del Instituto Nacional de Normas y Tecnología (NIST) para proporcionar estándares fundamentales para la gobernanza de la IA.
“El gobierno federal tiene un papel importante que desempeñar para garantizar que haya estándares”, dijo Omaar. “Asegurarse de que NIST pueda hacer el importante trabajo de IA que estaban haciendo es importante para garantizar una adopción de IA sin problemas”.
La solicitud de información de la Oficina de Ciencia y Tecnología de la Casa Blanca sobre un plan de acción de IA pidió a las partes interesadas sus pensamientos sobre las acciones de política de IA. Sin proporcionar recomendaciones o cualquier marco potencial para que las partes interesadas comenten, Valente dijo que no está claro qué incluirá el plan de acción de IA.
“Cómo termina este plan, uno solo puede imaginar”, dijo.
Darrell West, miembro senior de la Institución Brookings, dijo que la solicitud de información de la Casa Blanca indica que la administración Trump se centrará en abandonar los requisitos onerosos y confiar en las empresas privadas para innovar con menos supervisión federal.
“Habrá menos limitaciones en las compañías tecnológicas”, dijo. “Serán libres de innovar en cualquier dirección que deseen”.
El gobierno federal puede equilibrar la seguridad y la innovación de la IA, que con suerte se reflejará en el Plan de Acción de AI, dijo Jason Corso, cofundador de AI Startup Voxel51 y profesor de informática en la Universidad de Michigan.
La población general ya es escéptica de la IA, y si ocurren desafíos generales de crecimiento del desarrollo, corre el riesgo de socavar aún más la confianza en la tecnología, dijo. Es por eso que los marcos de políticas deben crearse con la seguridad de IA en mente, agregó Corso.
Un marco federal que carece de consideraciones de seguridad de IA significa la responsabilidad de las decisiones de seguridad de IA cae a los CIO de la Compañía o los oficiales de IA en los principales, lo que Corso dijo que presenta un “gran riesgo”. El efecto podría ser menos adopción o ROI más lento, dijo.
“Esta IA contemporánea es tan incipiente que a pesar de los rápidos avances que estamos viendo, en realidad se entiende bastante sobre su previsibilidad, repetibilidad o incluso su robustez con ciertos tipos de preguntas o escenarios de razonamiento”, dijo. “Ciertamente necesitamos innovación, pero también necesitamos seguridad”.
Makenzie Holland es un escritor de noticias senior que cubre la gran regulación federal y de la gran tecnología. Antes de unirse a Informa TechTarget, ella era una reportera de asignación general para el Wilmington Starnews y un reportero de crimen y educación en el Wabash Plain Dealer.
Remove.bg: La Revolución en la Edición de Imágenes que Debes Conocer
Cómo Comenzar a Utilizar ChatGPT: Una Guía Completa para Principiantes
Cómo Empezar con Popai.pro: Tu Espacio Personal de IA – Guía Completa, Instalación, Versiones y Precios
Startups de IA en EE.UU. que han recaudado más de $100M en 2024
Suno.com: La Revolución en la Creación Musical con Inteligencia Artificial
Perplexity aplicado al Marketing Digital y Estrategias SEO
Deepgram: Revolucionando el Reconocimiento de Voz con IA
Dos periodistas octogenarios deman a ChatGPT por robar su trabajo
Inside the OpenAI-DeepSeek Distillation Saga & Alibaba’s Most Powerful AI Model Qwen2.5-Max
De ChatGPT a mil millones de agentes
