Solución Técnica de Switch InfiniBand Mellanox (NVIDIA Mellanox) MQM8790-HS2F
October 13, 2026
Solución Técnica del Switch InfiniBand Mellanox (NVIDIA Mellanox) MQM8790-HS2F | Optimización de Interconexión de Baja Latencia para Clústeres RDMA/HPC/IA
Antecedentes del Proyecto y Análisis de Requisitos
A medida que el entrenamiento de modelos grandes de IA y la computación científica HPC escalan a huellas más grandes, el desafío principal para los clústeres de cómputo ha pasado de la potencia de cómputo de un solo nodo a la eficiencia de la comunicación entre nodos. Las redes RDMA sirven como la columna vertebral de transporte para operaciones colectivas, acceso al almacenamiento y tráfico de puntos de control, y su comportamiento determina directamente la utilización general del clúster.
Los requisitos típicos en estos proyectos incluyen:
- Alto ancho de banda por nodo: Los servidores GPU requieren cada vez más 200 Gb/s o más para seguir el ritmo de las cargas de trabajo de entrenamiento multi-GPU.
- Baja latencia predecible: AllReduce y la sincronización de parámetros son sensibles a la latencia de cola, no solo a la latencia promedio.
- Escalabilidad: La red debe crecer de decenas a cientos o miles de nodos sin rediseñar la topología.
- Gestionabilidad: Los equipos de operaciones necesitan visibilidad de telemetría y congestión para aislar nodos lentos y enlaces mal configurados.
El MQM8790-HS2F se posiciona para abordar estos requisitos como una plataforma de switch InfiniBand HDR de 200 Gb/s.
Diseño General de la Arquitectura de Red y del Sistema
La arquitectura recomendada es una fat-tree de dos niveles no bloqueante, con una capa de spine construida con switches MQM8790-HS2F y una capa de leaf que conecta nodos de cómputo y almacenamiento. Este diseño proporciona un ancho de banda uniforme este-oeste y una diversidad de rutas predecible, lo cual es esencial para los patrones de tráfico RDMA.
Las decisiones arquitectónicas clave incluyen:
- HDR de extremo a extremo: Los nodos de cómputo equipados con adaptadores ConnectX-6 o ConnectX-7 se conectan a 200 Gb/s a los switches leaf, formando una ruta de extremo a extremo compatible con MQM8790-HS2F.
- Capacidad de spine: Cada switch MQM8790-HS2F de 200 Gb/s HDR de 40 puertos QSFP56 proporciona 40 puertos a 200 Gb/s, lo que permite una asignación flexible de enlaces ascendentes y descendentes según los objetivos de sobre suscripción.
- Red de almacenamiento: El almacenamiento paralelo y los objetivos NVMe-over-Fabrics se pueden ubicar en grupos de leaf dedicados para aislar el tráfico de almacenamiento del tráfico de entrenamiento.
- Plano de gestión: La gestión fuera de banda y la recopilación de telemetría se separan del plano de datos para evitar interferencias.
Rol del Mellanox (NVIDIA Mellanox) MQM8790-HS2F y Características Clave
En esta solución, el Mellanox (NVIDIA Mellanox) MQM8790-HS2F actúa como el elemento de conmutación de spine, agregando el tráfico de leaf y habilitando la computación en red. Su rol no se limita al reenvío: también reduce la sobrecarga de comunicación colectiva y mejora la eficiencia de la red.
Las características técnicas principales incluyen:
- 40 puertos HDR de 200 Gb/s: Hasta 16 Tb/s de rendimiento agregado en un factor de forma 1U, con soporte adaptativo para velocidades HDR, EDR y FDR.
- Computación en red SHARP: Descarga operaciones AllReduce y colectivas relacionadas al switch, reduciendo la participación de GPU y CPU.
- Enrutamiento adaptativo: Mitiga puntos calientes y mejora el balanceo de carga a través de múltiples rutas.
- Control de congestión: Soporta DCQCN y mecanismos relacionados para mantener la latencia estable bajo carga.
- Ecosistema de software: Gestionado por MLNX-OS y monitorizado a través de UFM y NetQ.
Los arquitectos deben revisar la hoja de datos del MQM8790-HS2F y las especificaciones del MQM8790-HS2F para detalles de potencia, refrigeración y división de puertos antes de finalizar los diseños de rack. Para la presupuestación, el precio del MQM8790-HS2F y las opciones de venta del MQM8790-HS2F deben validarse con el canal de adquisición, ya que los precios varían según la escala y la configuración.
| Área de Diseño | Recomendación |
|---|---|
| Topología | Fat-tree de dos niveles no bloqueante |
| Switch de spine | MQM8790-HS2F 200Gb/s HDR 40-puertos QSFP56 |
| Compatibilidad de adaptadores | ConnectX-6 / ConnectX-7 |
| Descarga colectiva | SHARP habilitado |
Recomendaciones de Despliegue y Expansión
Para el despliegue inicial, un único switch InfiniBand MQM8790-HS2F puede servir como spine y núcleo en un clúster pequeño, conectando hasta 40 nodos a 200 Gb/s. A medida que el clúster crece, se agregan switches de spine adicionales y la red transita a un diseño completo de dos niveles con separación de leaf-spine.
Guía de expansión:
- Disciplina de cableado: Estandarizar ópticas QSFP56 y tipos DAC/AOC para simplificar el repuesto y reducir el riesgo de compatibilidad.
- División de puertos: Usar breakout 2x100 Gb/s donde no se requieran 200 Gb/s por nodo, mejorando la eficiencia de puertos.
- Objetivos de sobre suscripción: Planificar las relaciones spine-leaf basándose en los patrones de ráfagas de carga de trabajo en lugar de solo en el ancho de banda teórico máximo.
- Potencia y refrigeración: Validar la potencia disponible por rack frente al consumo nominal del switch antes de escalar.
Monitorización de Operaciones, Solución de Problemas y Optimización
La visibilidad operativa es fundamental para mantener baja latencia a escala. La solución de switch InfiniBand MQM8790-HS2F debe integrarse con UFM para la monitorización de toda la red y NetQ para telemetría y validación.
Las prácticas recomendadas incluyen:
- Monitorizar contadores por puerto para errores, descartes y eventos de congestión.
- Rastrear candidatos a nodos lentos utilizando telemetría en lugar de depender únicamente de fallos a nivel de trabajo.
- Validar la consistencia del firmware en todos los switches y adaptadores para evitar problemas de compatibilidad.
- Revisar la configuración de SHARP periódicamente, ya que los árboles de agregación mal configurados pueden reducir el rendimiento en lugar de mejorarlo.
Resumen y Evaluación de Valor
El MQM8790-HS2F proporciona una base práctica para clústeres RDMA, HPC y de IA que requieren baja latencia predecible y alto ancho de banda. Al combinar 40 puertos HDR de 200 Gb/s, computación en red SHARP y un ecosistema de gestión maduro, el NVIDIA Mellanox MQM8790-HS2F ayuda a los arquitectos a diseñar redes que escalan sin sacrificar la eficiencia.
Desde una perspectiva de valor, la contribución del switch debe evaluarse frente a la utilización del clúster, el tiempo de finalización de trabajos y la sobrecarga operativa, en lugar de solo el número de puertos.