Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch en la práctica
October 13, 2026
Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch en la práctica | Optimización de interconexión de baja latencia para clústeres RDMA/HPC/IA
Antecedentes y desafíos: Cuando los clústeres RDMA alcanzan el cuello de botella de la red
En un entorno típico de cargas de trabajo mixtas de HPC e IA, los clústeres de computación a menudo ejecutan simulaciones CFD, dinámica molecular y entrenamiento de modelos grandes distribuidos uno al lado del otro. Estas cargas de trabajo dependen en gran medida de RDMA para la comunicación entre nodos y son extremadamente sensibles al ancho de banda, la latencia y la pérdida de paquetes. Cuando un clúster crece de docenas a cientos de nodos, la interconexión original puede convertirse rápidamente en el factor limitante.
Los síntomas comunes incluyen latencia de cola larga durante AllReduce, utilización desigual de los enlaces en toda la red y tiempos de finalización de trabajos degradados tan pronto como varios inquilinos comparten la red. Para los ingenieros y arquitectos de redes, el desafío no es simplemente agregar ancho de banda, sino construir una red que mantenga la latencia predecible bajo congestión.
Solución e implementación: Construyendo la red alrededor del MQM8790-HS2F
Para abordar estos problemas, la red del clúster se rediseñó alrededor del Mellanox (NVIDIA Mellanox) MQM8790-HS2F, un conmutador InfiniBand de 200 Gb/s HDR diseñado para entornos de alta densidad y baja latencia. El factor de forma MQM8790-HS2F de 200 Gb/s HDR de 40 puertos QSFP56 permite 40 puertos en 1U, lo que encaja naturalmente en una topología fat-tree de dos niveles.
La implementación siguió un enfoque por capas:
- Capa Spine: Se implementaron conmutadores NVIDIA Mellanox MQM8790-HS2F como dispositivos spine, proporcionando enlaces ascendentes de 200 Gb/s y tráfico este-oeste sin bloqueo entre grupos de leaf.
- Capa Leaf: Los conmutadores Leaf conectan nodos de computación equipados con adaptadores ConnectX-6 o ConnectX-7, formando un camino HDR de extremo a extremo compatible con MQM8790-HS2F.
- Computación en red: La tecnología SHARP en el MQM8790-HS2F descarga operaciones colectivas como AllReduce al conmutador, reduciendo la sobrecarga de GPU y CPU.
- Gestión y telemetría: Se utilizaron MLNX-OS, UFM y NetQ para el aprovisionamiento, monitoreo y visibilidad de la congestión de la red.
Durante la planificación, el equipo revisó la hoja de datos del MQM8790-HS2F y las especificaciones del MQM8790-HS2F para validar el presupuesto de energía, los requisitos de enfriamiento y las opciones de división de puertos, como la bifurcación de 2 × 100 Gb/s. El cableado y la óptica se estandarizaron a QSFP56 para simplificar el repuesto y la expansión futura.
Resultados y beneficios: Qué cambió después de la implementación
Después de migrar a la solución de conmutador InfiniBand MQM8790-HS2F, el clúster mostró mejoras medibles en la eficiencia de la comunicación y la estabilidad de los trabajos. Las ganancias más notables fueron:
| Dimensión | Antes | Después del MQM8790-HS2F |
|---|---|---|
| Ancho de banda entre nodos | 100 Gb/s EDR | 200 Gb/s HDR |
| Sobrecarga de operaciones colectivas | Controlado por host | Descarga SHARP |
| Visibilidad de la congestión | Limitada | Telemetría NetQ |
| Margen de escalabilidad | Restringido | 40 × 200 Gb/s por conmutador |
Operacionalmente, el equipo obtuvo un mejor control sobre el comportamiento de la red. El enrutamiento adaptativo y SHARP redujeron el impacto de los puntos calientes, mientras que la telemetría facilitó la identificación de nodos lentos y enlaces mal configurados. Para los arquitectos que evalúan el precio del MQM8790-HS2F u opciones de MQM8790-HS2F en venta, la conclusión clave es que el conmutador se amortiza a través de una mayor utilización del clúster en lugar de solo el recuento de puertos brutos.
Conclusión y perspectiva
El MQM8790-HS2F demuestra cómo un conmutador InfiniBand diseñado específicamente puede eliminar los cuellos de botella de interconexión en clústeres RDMA, HPC y de IA. Al combinar puertos HDR de 200 Gb/s, computación en red SHARP y una pila de gestión madura, el NVIDIA Mellanox MQM8790-HS2F ofrece una baja latencia predecible a escala. A medida que los clústeres continúan creciendo y las cargas de trabajo de IA se vuelven más intensivas en comunicación, las redes construidas sobre el conmutador InfiniBand MQM8790-HS2F están bien posicionadas para soportar la próxima ola de expansión.