NVIDIA Mellanox MQM8790-HS2F en acción: Optimización de interconexión de baja latencia para racimos RDMA / HPC / AI

Una organización de investigación de IA en rápido crecimiento se enfrentaba a un problema familiar: su clúster de más de 200 GPU, utilizado para el entrenamiento de modelos de lenguaje grandes y simulaciones de dinámica molecular, experimentaba tiempos de finalización de trabajos impredecibles. A pesar de los potentes nodos de cómputo, la red Ethernet existente de 100 Gb/s sufría picos de latencia en la cola, caídas de paquetes bajo patrones de incast y una alta sobrecarga de CPU debido al procesamiento tradicional de la pila TCP/IP. El equipo necesitaba una solución que pudiera ofrecer una latencia constante por debajo de la microsegundo, soportar completamente RDMA para GPU Direct y escalar sin actualizaciones drásticas. Después de evaluar las opciones disponibles, seleccionaron el 迈络思(NVIDIA Mellanox) MQM8790-HS2F como el bloque de construcción central para su red de clúster de próxima generación.

La organización implementó el switch InfiniBand MQM8790-HS2F en una topología fat-tree de dos niveles, conectando 128 nodos de cómputo (cada uno equipado con adaptadores NVIDIA ConnectX-6 HDR) y 4 nodos de almacenamiento. Con sus 40 puertos QSFP56 funcionando a 200 Gb/s HDR, un solo proporcionó 16 Tb/s de capacidad de conmutación no bloqueante, suficiente para reemplazar dos switches Ethernet heredados y reducir la complejidad del cableado. La implementación aprovechó el soporte nativo del MQM8790-HS2F 200Gb/s HDR 40-port QSFP56 para RDMA y GPUDirect, permitiendo el acceso directo a memoria entre GPUs en diferentes servidores sin intervención de la CPU.

Los detalles clave de la implementación incluyeron:

• Enrutamiento adaptativo para equilibrar automáticamente el tráfico a través de múltiples rutas, eliminando puntos calientes.
• SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol) para agregación en red, acelerando las operaciones All-Reduce hasta 2.5 veces.
• Control de congestión a nivel de switch, previniendo el bloqueo de cabeza de línea común en entornos Ethernet con pérdidas.

Antes de la compra, el equipo de ingeniería revisó la hoja de datos del MQM8790-HS2F y las especificaciones del MQM8790-HS2F para confirmar la compatibilidad con sus cables y transceptores Mellanox existentes. El ecosistema compatible con MQM8790-HS2F, incluyendo cables ópticos y de cobre HDR, les permitió reutilizar el 40% de sus inversiones anteriores en interconexión, reduciendo significativamente la barrera de actualización.

Después de migrar a la red basada en frente a las ganancias de rendimiento, este caso de estudio sugiere un ROI inferior a 12 meses basado únicamente en las mejoras de eficiencia de cómputo., la organización documentó tres categorías de mejoras:

• Reducción de latencia: La latencia promedio de ping-pong MPI se redujo de 2.1 µs (Ethernet RoCE) a 0.82 µs, con la latencia en la cola prácticamente eliminada.Rendimiento de trabajos: Los trabajos de entrenamiento distribuido (basados en NCCL) se completaron un 37% más rápido debido a la reducción de la sobrecarga de comunicación y la aceleración de SHARPv3.
• Descarga de CPU: RDMA sobre InfiniBand redujo la utilización de la CPU para redes de ~15% a menos del 2%, liberando núcleos para la computación.En una prueba de referencia de comunicación de todos a todos con 128 GPU, la
• solución de switch InfiniBand MQM8790-HS2F mantuvo 198 Gb/s por puerto con cero pérdida de paquetes, en comparación con 112 Gb/s con 1.2% de pérdida en la red Ethernet anterior. Para las simulaciones financieras realizadas por el mismo equipo, la variabilidad de los trabajos se redujo en un 78%, lo que permitió SLAs más estrictos y tiempos de ejecución predecibles.

Resumen y Perspectivas: Una Inversión a Prueba de FuturoEsta implementación en el mundo real demuestra que el MQM8790-HS2F

precio del MQM8790-HS2F frente a las ganancias de rendimiento, este caso de estudio sugiere un ROI inferior a 12 meses basado únicamente en las mejoras de eficiencia de cómputo.A medida que la organización planea duplicar su recuento de GPU a más de 400 nodos, ya ha presupuestado unidades adicionales de MQM8790-HS2F en venta para mantener una arquitectura fat-tree no bloqueante. La capacidad del switch para mezclar velocidades HDR y EDR garantiza una ruta de migración fluida a medida que los adaptadores más antiguos se reemplazan gradualmente. Para los arquitectos que diseñan clústeres de próxima generación centrados en RDMA, el

NVIDIA Mellanox MQM8790-HS2F ofrece una columna vertebral probada y lista para producción que escala desde la investigación de IA departamental hasta la supercomputación a exaescala.