Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch en acción Optimización de la interconexión de baja latencia
July 13, 2026
Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Conmutador InfiniBand en acción: optimización de interconexión de baja latencia para clústeres RDMA/HPC/AI
Un centro regional de supercomputación llevó a cabo recientemente una importante actualización de su infraestructura informática de IA, ampliando de 64 a 256 GPU NVIDIA A100 para admitir cargas de trabajo de secuenciación genómica y entrenamiento de modelos de lenguaje a gran escala. Sin embargo, la red RoCEv2 de 100 GbE existente se convirtió en un cuello de botella persistente: las frecuentes tormentas de PFC, la latencia de cola impredecible y el complejo ajuste de ECN consumieron un importante esfuerzo de ingeniería y ampliaron los tiempos de finalización de los trabajos en más de un 40 %. Este estudio de caso examina cómo el centro implementó elMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0Conmutador InfiniBand para transformar su estructura y ofrecer una interconexión determinista de baja latencia para aplicaciones con uso intensivo de RDMA.
Antecedentes y desafíos: el techo de Ethernet
La arquitectura inicial del centro utilizaba dos conmutadores hoja de 100 GbE con RoCEv2, que conectaban servidores GPU y un sistema de archivos paralelo. A medida que los trabajos de capacitación crecieron, la red exhibió tres problemas críticos: primero, se produjeron bloqueos de PFC (Control de flujo prioritario) a diario, lo que obligó a realizar reinicios manuales; en segundo lugar, las operaciones colectivas de reducción total experimentaron latencias de cola superiores a 200 μs, lo que ralentizó directamente la utilización de la GPU; En tercer lugar, la solución de problemas requería una inspección profunda de los paquetes, lo que consumía mucho tiempo y rara vez era concluyente. El equipo de operaciones se dio cuenta de que Ethernet, incluso con extensiones RDMA, no podía proporcionar la estructura determinista y sin pérdidas necesaria para las cargas de trabajo de IA de próxima generación.
Solución e implementación: el920-9B110-00FH-0D0 Interruptor InfiniBand OPNcomo la nueva columna vertebral
Después de evaluar múltiples opciones, el centro seleccionó laNVIDIA Mellanox 920-9B110-00FH-0D0interruptor, basado en el920-9B110-00FH-0D0 MQM8790-HS2F 200 Gb/s HDRplataforma. La implementación empleó una topología de árbol grueso de dos niveles: cuatro920-9B110-00FH-0D0conmutadores como hojas (cada uno de los cuales conecta 64 nodos GPU a través de enlaces de 200G) y dos unidades adicionales como columnas, lo que proporciona un ancho de banda de bisección completo. Los conmutadores se emparejaron con adaptadores ConnectX‑6 HDR existentes, aprovechando laCompatible con 920-9B110-00FH-0D0ecosistema para garantizar una integración perfecta. Las decisiones clave de implementación incluyeron:
- Cableado:Módulos ópticos HDR de 200G para distancias entre columna y hojas de hasta 100 metros, con DAC pasivos para conexiones dentro del rack.
- Gestión:NVIDIA UFM (Unified Fabric Manager) para descubrimiento automatizado de topología, políticas de enrutamiento adaptables y telemetría en tiempo real.
- Descarga colectiva:SHARPv2 permitió acelerar las operaciones de reducción total, descargando el trabajo de las CPU del host y reduciendo las interferencias en la red.
El equipo hizo referencia a laHoja de datos 920-9B110-00FH-0D0y920-9B110-00FH-0D0 especificacionespara validar los requisitos de energía y refrigeración: el factor de forma 1U del conmutador y la densidad de 200 G por puerto encajan perfectamente en los racks existentes sin cambios de infraestructura adicionales. El920-9B110-00FH-0D0 Solución OPN del conmutador InfiniBandTambién se simplificó la adquisición, con el OPN (número de pieza de pedido) exacto que garantiza la configuración correcta.
Resultados y beneficios medidos: ganancias de desempeño cuantificables
Después de dos semanas de implementación y validación, el centro documentó mejoras significativas en todos los indicadores clave de desempeño. La siguiente tabla resume las métricas de antes y después de un trabajo de capacitación representativo de 256 GPU (preentrenamiento BERT grande):
| Métrico | Antes (RoCEv2) | Después (920-9B110-00FH-0D0) |
|---|---|---|
| Latencia totalmente reducida (promedio) | ~24 µs | ~9 µs |
| Latencia de cola (percentil 99,9) | > 250 µs | ~18 µs |
| Utilización efectiva de la GPU | ~68% | ~89% |
| Tiempo de finalización del trabajo (promedio) | Base | -36 % (1,56 veces más rápido) |
| Incidentes relacionados con la red (semanal) | 8–12 | 0 |
Más allá de los números, el equipo informó que elNVIDIA Mellanox 920-9B110-00FH-0D0entregó un tejido sin caída de paquetes, eliminando por completo las intervenciones manuales que antes se requerían para la recuperación de PFC. La telemetría incorporada proporcionada por el920-9B110-00FH-0D0 Interruptor InfiniBand OPNbrindó al personal de operaciones visibilidad granular de la congestión por flujo y la utilización de rutas, lo que permitió una planificación proactiva de la capacidad. Además, el920-9B110-00FH-0D0 preciodemostró ser rentable en comparación con la actualización a conmutadores NDR de 400G, lo que lo convierte en una opción ideal para el presupuesto de rango medio del centro.
Resumen y perspectivas: un camino comprobado hacia la interconexión de baja latencia
La experiencia del centro de supercomputación demuestra que elMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0ofrece una alternativa pragmática y de alto rendimiento tanto a las complejas estructuras Ethernet como a las costosas soluciones de alta gama. Al ofrecer un rendimiento HDR de 200 Gb/s, una latencia promedio inferior a 10 μs y transporte RDMA sin pérdidas, el conmutador permite a las organizaciones desbloquear todo el potencial de sus inversiones en GPU, acelerando el tiempo de obtención de información para las cargas de trabajo de IA y HPC.
De cara al futuro, el centro planea ampliar su estructura a 512 GPU utilizando la misma920-9B110-00FH-0D0 Solución OPN del conmutador InfiniBand, escalando agregando interruptores de hoja adicionales mientras se mantiene la infraestructura principal existente. La compatibilidad del conmutador con futuros adaptadores NVIDIA (incluido ConnectX‑7) garantiza una ruta de actualización sin problemas. Para organizaciones que evalúan actualizaciones similares, el920-9B110-00FH-0D0 especificacionesyHoja de datos 920-9B110-00FH-0D0Proporcionar todos los parámetros de diseño necesarios y las unidades están fácilmente disponibles (920-9B110-00FH-0D0 a la ventaa través de canales autorizados).
Este despliegue en el mundo real confirma que el920-9B110-00FH-0D0es más que un producto: es un habilitador comprobado para la creación de redes de clústeres de baja latencia y alta eficiencia, listo para satisfacer las demandas de la próxima década de inteligencia artificial y computación científica.