NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch en la práctica｜Optimización de interconexión de baja latencia para RDMA, HPC

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch en la práctica para la optimización de interconexión de baja latencia para RDMA, HPC y clústeres de IA

En la capacitación moderna de IA, la simulación de HPC y los entornos de almacenamiento distribuidos, el verdadero cuello de botella rara vez es la potencia computacional en bruto, sino la eficiencia de la interconexión de nodo a nodo.El NVIDIA Mellanox MQM9790-NS2FEste artículo recorre un escenario de despliegue representativo para mostrar cómo el MQM9790-NS2F mejora RDMA,El HPC, y el rendimiento del clúster de IA a través del diseño de tejido de baja latencia.

Antecedentes y desafíos

Un clúster de inteligencia artificial de investigación o empresarial típico puede consistir en cientos de servidores de GPU, un sistema de archivos paralelo y un programador de tareas que distribuye cargas de trabajo MPI y NCCL.cada nodo puede generar mucho más tráfico este-oeste de lo que un tejido HDR de 200Gb/s puede absorber cómodamenteLos equipos informan comúnmente de tres puntos débiles: aumento de la latencia de cola durante las operaciones colectivas, congestión que se extiende a través de los niveles de tela y dificultad para escalar el número de puertos sin añadir saltos.

Para los arquitectos de red, el desafío no es simplemente mejorar la velocidad del enlace, sino preservar el transporte determinista y sin pérdidas mientras se mantiene el tejido lo suficientemente plano como para evitar la latencia innecesaria.Aquí es donde la evaluación de las especificaciones MQM9790-NS2F contra los perfiles de carga de trabajo reales se vuelve esencial.

Solución y enfoque de implementación

En este escenario, el clúster fue migrado a un tejido de hoja de columna vertebral NDR de 400Gb / s construido alrededor del switch MQM9790-NS2F InfiniBand.Proporciona una radix alta en un solo interruptor, lo que permite al diseño reducir los niveles de tejido manteniendo el ancho de banda no bloqueante.

• Capa de hoja: los switches MQM9790-NS2F conectan nodos GPU y objetivos de almacenamiento a través de enlaces NDR de 400Gb/s
• Capa de columna vertebral: unidades adicionales MQM9790-NS2F proporcionan conectividad entre hojas y diversidad de trayectorias
• Aceleración colectiva: NVIDIA SHARPv3 descarga las operaciones MPI y NCCL a la tela
• Control de la congestión: enrutamiento adaptativo y QoS avanzado protegen contra incast y puntos calientes
• Gestión: herramientas estándar de InfiniBand y telemetría para el seguimiento de la salud de los tejidos

Debido a que el interruptor MQM9790-NS2F InfiniBand es parte de la familia Quantum-2, interactúa con las prácticas de gestión InfiniBand existentes y los ecosistemas de adaptadores.Los equipos que evalúen el hardware compatible con MQM9790-NS2F deben verificar que los adaptadores de canal de host, los cables OSFP y los niveles de firmware se alinean con los requisitos de NDR.Una solución de conmutación MQM9790-NS2F InfiniBand de este tipo generalmente se planifica junto con los ciclos de actualización de la GPU para evitar cuellos de botella de generación mixta.

Resultados y beneficios

Después del despliegue, el cambio más visible fue en el tiempo de finalización del trabajo para cargas de trabajo estrechamente acopladas.Las operaciones colectivas que antes estaban estancadas por la congestión ahora se completan con una latencia de cola más baja y más consistenteLa densidad de OSFP de 64 puertos también simplificó el cableado y redujo el número de saltos de conmutación entre dos puntos finales, lo que beneficia directamente el rendimiento de RDMA.

Desde una perspectiva de operaciones, el tejido se hizo más fácil de razonar. Menos niveles significan menos dominios de fallas y una solución de problemas más simple.comparte el mismo transporte de baja latencia que el tráfico de cómputoPara los gerentes de TI, la conclusión clave es que invertir en la capa de tejido puede desbloquear la capacidad ya pagada en la capa de computación.

Los equipos de adquisición y planificación a menudo revisan la hoja de datos MQM9790-NS2F para confirmar el número de puertos, la potencia y los sobres de enfriamiento antes de finalizar un diseño.Las preguntas sobre el precio de MQM9790-NS2F y la disponibilidad de MQM9790-NS2F para la venta se dirigen mejor a los distribuidores autorizados y representantes empresariales de NVIDIA, ya que el precio depende de la configuración, soporte y región.

Resumen y perspectivas

El NVIDIA Mellanox MQM9790-NS2F demuestra cómo una plataforma NDR de 400Gb/s de alto radix puede remodelar el rendimiento del clúster AI, HPC y RDMA sin agregar complejidad de tejido.A medida que las cargas de trabajo aumentan y la densidad de la GPUPara los arquitectos que planean la próxima actualización de la tela, el MQM9790-NS2F es un bloque de construcción prácticointerconexión de alto rendimiento.