Conmutador InfiniBand NVIDIA Mellanox MQM8790-HS2F en producción | Optimización de la interconexión de baja latencia para RDMA/HPC/AI

A medida que el entrenamiento de modelos de lenguaje grande y las simulaciones de HPC en exascala impulsan los clústeres de GPU hacia decenas de miles de nodos, las telas Ethernet tradicionales luchan con la latencia de cola y la congestión de incast.Un centro nacional de computación de IA se enfrentó recientemente a este reto mediante el despliegue deNVIDIA Mellanox MQM8790-HS2F, también conocido como NVIDIALos conmutadores InfiniBand son la columna vertebral de su expansión de GPU de 800 nodos.Este artículo recorre su recorrido en el mundo real, desde los cuellos de botella hasta las ganancias medibles, utilizando RDMA y computación en red para optimizar el rendimiento de las interconexiones de clústeres..

Antecedentes y desafío: Cuando la red se convierte en el cuello de botella de la IA

El cluster heredado de 400 nodos del centro funcionaba en Ethernet RoCEv2 de 100 Gb/s. A medida que las cargas de trabajo se desplazaban de los modelos CNN a los LLM de trillones de parámetros, la latencia de comunicación entre nodos se disparó.Durante las operaciones de reducción totalLos arquitectos necesitaban una plataforma que ofreciera latencia de menos de un microsegundo, control de flujo sin pérdidas,y soporte RDMA nativo ?? todo mientras se reutilizan las ópticas QSFP56 existentesDespués de evaluar múltiples alternativas, el Consejo deMQM8790-HS2F Conmutador de banda anchaSe destacó por su ancho de banda HDR de 200 Gb/s y su diseño de alta densidad de 40 puertos.

Solución y implementación: HDR Fat-Tree basado en MQM8790-HS2F

La nueva interconexión adopta una topología de árbol de grasa de dos capas, desplegando 24 unidades de la red deNVIDIA Mellanox MQM8790-HS2F, también conocido como NVIDIACada switch proporciona 40 puertos QSFP56 que funcionan a 200Gb/s por dirección, ofreciendo una capacidad de conmutación sin bloqueo de 16Tb/s.Se aplicarán las siguientes medidas:yLas especificaciones MQM8790-HS2Fpara permitir el enrutamiento adaptativo y el control avanzado de la congestión.Aprovechando la RDMA nativa de InfiniBand para transferencias de datos de copia cero, descargando más del 95% de la participación de la CPU en la comunicación.

El centro también reservó variosMQM8790-HS2F 200Gb/s HDR 40 puertos QSFP56con SHARP (Protocolo de agregación y reducción jerárquica escalable),Las operaciones colectivas como All-Reduce se descargan de los servidores directamente a la red de conmutadoresEn el entrenamiento de 128 GPU, esto redujo el tiempo de comunicación en un 32% sin ningún cambio de código en el marco de IA.

Resultados y beneficios: menor latencia, mayor rendimiento, TCO controlado

Las métricas posteriores al despliegue mostraron mejoras dramáticas:

• La latencia de punto a punto:Las pruebas de ping pong MPI midieron ~ 0.9μs en enlaces HDR de 200Gb/s ∼ 65% más bajos que la configuración RoCE heredada.
• Eficiencia de la comunicación colectiva:A escala 512-GPU, All-Reduce completó en solo 18.3ms, una reducción del 52% en comparación con la línea de base anterior.
• Utilización de la red:El enrutamiento adaptativo mantuvo el equilibrio de carga del enlace por encima del 92%, con casi ningún punto de congestión.
• Adquisiciones y operaciones:ElPrecio MQM8790-HS2FEn el caso de las soluciones 200G, el coste de los servicios de conexión por puerto fue aproximadamente un 12% menor que el de las soluciones 200G competidoras.MQM8790-HS2F compatibles con el sistema de seguridadLas opticas son módulos QSFP56 estándar, lo que permite la reutilización completa de los cables existentes.

¢Después de mudarse a laMQM8790-HS2F Solución de conmutador de banda ancha"En la actualidad, el modelo de formación de trillones de parámetros, finalmente hemos logrado una escalación casi lineal (0,9 eficiencia) ", dijo el arquitecto principal del centro.La red ya no es el cuello de botella Podemos centrarnos en la innovación de la arquitectura del modelo en lugar de la programación de la comunicación."

Conclusión y perspectivas: Base de construcción para las interconexiones exascales

Este caso del mundo real demuestra que elSe aplicará a los vehículos de las categorías M1 y M2.con 200Gb/s HDR, RDMA nativo, computación en red SHARP y enrutamiento adaptativo,aborda directamente los puntos débiles de las interconexiones de baja latencia en los clústeres IA/HPC actualesYa sea que esté planeando un centro de supercomputación universitario o la actualización de una nube de IA empresarial, laNVIDIA Mellanox MQM8790-HS2F, también conocido como NVIDIAEl cambio está ahora en producción en serie. Para referencias detalladas del diseño, solicite al fabricante oficialSe aplicarán las siguientes medidas:Para el inventario en tiempo real oMQM8790-HS2F para la ventaEn caso de consultas, ponerse en contacto con proveedores de soluciones autorizados para obtener precios y soporte técnico.