Estas actualizaciones, que incluyen dos técnicas innovadoras y una herramienta de hiperparámetros para optimizar y escalar el entrenamiento de los LLM en cualquier número de GPU, proporcionan nuevas posibilidades para entrenar e implantar modelos en la plataforma de IA de NVIDIA.
Con 176.000 millones de parámetros, BLOOM, el mayor modelo lingüístico multilingüe de libre acceso del mundo, ha sido entrenado recientemente en la plataforma de IA de NVIDIA, lo que ha permitido generar texto en 46 idiomas y 13 lenguajes de programación. La plataforma de IA de NVIDIA también ha impulsado uno de los modelos lingüísticos transformadores más potentes, el modelo Megatron-Turing NLG, que cuenta con 530.000 millones de parámetros (MT-NLG).
Avances recientes en los LLM
Los LLM, que incluyen billones de parámetros que aprenden a partir de textos, son una de las tecnologías avanzadas más importantes de la actualidad. Sin embargo, su creación es un proceso costoso y largo que requiere profundos conocimientos técnicos, una infraestructura distribuida y un enfoque completo.
Sin embargo, su impacto en la generación de contenidos en tiempo real, el resumen de textos, los chatbots de atención al cliente y la respuesta a preguntas para interfaces de IA conversacional es enorme.
La comunidad de la IA sigue innovando en herramientas como Microsoft DeepSpeed, Colossal-AI, Hugging Face BigScience y Fairscale, que se basan en la plataforma de IA de NVIDIA e incluyen Megatron-LM, Apex y otras librerías aceleradas en la GPU, para hacer avanzar los LLM.
Estas nuevas optimizaciones de la plataforma de IA de NVIDIA solucionan muchos de los problemas existentes en toda la pila. NVIDIA espera seguir colaborando con la comunidad de IA para poner la potencia de los LLM al alcance de todos.
Creación más ágil de LLM
Las actualizaciones más recientes de NeMo Megatron proporcionan un entrenamiento un 30 por ciento más rápido de los modelos GPT-3 con parámetros que van de 22.000 millones a un billón. El entrenamiento de modelos con 175.000 millones de parámetros puede completarse ahora en 24 días utilizando 1.024 GPUs NVIDIA A100, lo que reduce el tiempo de obtención de resultados en 10 días, o en aproximadamente 250.000 horas de cálculo en la GPU antes de estas nuevas versiones.
NeMo Megatron es un marco de trabajo integral en contenedor para la recopilación de datos, el entrenamiento de modelos a gran escala, la evaluación de los modelos frente a las pruebas de referencia estándar del sector y la inferencia con un rendimiento de latencia y rendimiento de vanguardia.
Facilita el entrenamiento y la inferencia de LLM de forma reproducible en una amplia gama de configuraciones de clústeres de GPU. Estas funciones están disponibles actualmente para los clientes de acceso temprano para su uso en NVIDIA DGX SuperPODs, NVIDIA DGX Foundry y la nube de Microsoft Azure. En un futuro próximo se admitirán otras plataformas en la nube.
La funcionalidad descrita puede ser probada en NVIDIA LaunchPad, un programa gratuito que proporciona acceso a corto plazo a un catálogo de laboratorios prácticos en infraestructuras aceleradas por NVIDIA.
