Solución de Aceleración del Entrenamiento de IA: Integración de Clusters DPU y GPU Mellanox

Global, [fecha]El progreso incesante de la Inteligencia Artificial está llevando la infraestructura computacional a sus límites.Requieren semanas o incluso meses para entrenar en el hardware convencionalEn el centro de este reto se encuentra un componente crítico pero a menudo pasado por alto: la red.Este artículo explora una solución transformadora que descarga, acelera y optimiza las operaciones centradas en los datos mediante la integraciónDPU de Mellanox(Unidad de procesamiento de datos) con densos clusters de GPU, creando una arquitectura holística diseñada específicamente paraFormación en IAy superiorConexión en red de GPU.

El campo de la IA está experimentando un cambio de paradigma. La escala de modelos como grandes modelos de lenguaje (LLM) y modelos de fundación está creciendo exponencialmente,que requiere un movimiento de configuraciones de un solo servidor a masivoEn estos entornos, miles de GPUs deben trabajar en concierto, comunicándose constantemente para sincronizar datos y gradientes.dictado por la redEl enfoque tradicional de utilizar CPUs de servidor para gestionar redes, almacenamiento,y los protocolos de seguridad ya no es viable, ya que roba ciclos preciosos de la tarea primaria de cálculo.

Las organizaciones que implementan grupos de GPU a gran escala paraFormación en IASe enfrentan a varios desafíos interconectados que obstaculizan el rendimiento y aumentan los costes:

• Capacidad de CPU:La CPU de host se convierte en un cuello de botella, abrumada por la sobrecarga de las pilas de comunicación de procesamiento (por ejemplo, TCP / IP), controladores de almacenamiento y tareas de virtualización,dejando menos capacidad para la carga de trabajo real de IA.
• Comunicación ineficiente:La red estándar puede introducir una latencia y un jitter significativos durante las operaciones de reducción de todo críticas para sincronizar los gradientes entre los nodos enConexión en red de GPUEsto lleva a las GPUs a estar inactivas, esperando datos, un fenómeno conocido como "struggling".
• Flujo de datos insuficiente:El proceso de formación es una tubería de datos. Si los datos no pueden ser alimentados desde el almacenamiento a las GPU a una velocidad suficiente, los aceleradores más potentes serán subutilizados, desperdiciando la inversión de capital.
• Gastos generales de seguridad y de arrendamiento múltipleLa imposición de aislamiento de seguridad y multi-tenance en clústeres compartidos carga aún más a la CPU, agregando complejidad y degradación del rendimiento.

La solución a estos cuellos de botella es descargar las tareas centradas en la infraestructura de la CPU host a una pieza de hardware dedicada diseñada para ese propósito: elDPU de MellanoxLa DPU es un procesador revolucionario que combina poderosos núcleos Arm con una interfaz de red de alto rendimiento y motores de datos programables.

Cuando se integra en un servidor de GPU, elDPU de Mellanoxcrea una arquitectura desagregada que transforma la eficiencia del clúster de IA:

• Red acelerada por hardware:La DPU descarga toda la pila de comunicación del host, manejando tareas críticas en el hardware.que permite a las GPU intercambiar datos directamente a través de la red con una latencia mínima y cero participación de la CPU, optimizando fundamentalmenteConexión en red de GPU.
• Descarga de almacenamiento:La DPU puede gestionar directamente el acceso al almacenamiento conectado a la red, pre-recolectar conjuntos de datos de entrenamiento y moverlos directamente a la memoria de la GPU,garantizar un suministro continuo de datos de alta velocidad para mantener los aceleradores completamente saturados.
• Seguridad y aislamiento reforzados:La DPU proporciona una zona de confianza basada en el hardware, puede manejar políticas de seguridad, cifrado y aislamiento de los clientes a la velocidad de línea,descargar estas tareas del host y proporcionar un entorno más seguro sin sacrificar el rendimiento.
• Gestión escalable:Las UDP proporcionan una plataforma coherente para la gestión de la infraestructura, lo que permite una escalabilidad fluida del grupo sin aumentar la complejidad operativa.

La integración de losDPU de MellanoxEn la actualidad, la tecnología de la inteligencia artificial ofrece mejoras dramáticas y medibles que afectan directamente a los resultados:

La era de la IA también es la era de la computación centrada en los datos. El éxito ya no está determinado por la densidad de computación sola, sino por la eficiencia con que los datos se mueven entre la computación, el almacenamiento y a través de la red.ElDPU de MellanoxEl objetivo de este programa es abordar esta necesidad de frente, proporcionando la inteligencia esencial en la ruta de datos para liberar todo el potencial de cada GPU en un grupo.Conexión en red de GPUy el aprovisionamiento de datos, allanando el camino para avances más rápidos, menores costos operativos y una infraestructura de IA más sostenible.Este enfoque integrado se está convirtiendo rápidamente en el nuevo estándar para cualquiera que se preocupe seriamente por laEntrenamiento de IA.