NVIDIA Mellanox 920-9B210-00FN-0D0 Referencia técnica: 400Gb/s NDR Optimización de la interconexión de baja latencia

Referencia Técnica NVIDIA Mellanox 920-9B210-00FN-0D0: Optimización de Interconexión de Baja Latencia de 400 Gb/s NDR para Clústeres RDMA/HPC/IA

1. Antecedentes del Proyecto y Análisis de Requisitos

A medida que los clústeres de entrenamiento de IA escalan de miles a decenas de miles de GPUs, y las simulaciones de HPC se acercan al rendimiento Exaescala, las interconexiones de red se enfrentan a demandas sin precedentes de ancho de banda, latencia y determinismo. La transición de 200 Gb/s HDR a 400 Gb/s NDR ya no es opcional, es una necesidad estratégica para las organizaciones que implementan modelos de billones de parámetros y computación paralela a escala extrema. En múltiples entornos de implementación líderes, los requisitos centrales se pueden resumir como:

• Latencia ultra baja y determinista: Las comunicaciones colectivas MPI y all-to-all deben mantener una latencia de puerto a puerto inferior a 100 ns para minimizar el impacto de la sobrecarga de comunicación en la convergencia del entrenamiento.
• Tejido sin pérdidas a escala: Cero caídas de paquetes en miles de puntos finales, lo que garantiza que el rendimiento de RDMA no se degrade bajo congestión.
• Descarga de cómputo en la red: Descarga de operaciones colectivas (all-reduce, all-to-all, broadcast) al tejido de conmutación para liberar recursos de CPU/GPU del host.
• Escalabilidad de alta radicación: Soporte para topologías fat-tree y dragonfly+ con ancho de banda de bisección completo en más de 8.000 nodos.
• Protección de la inversión: Compatibilidad perfecta con cables, ópticas y herramientas de gestión HDR existentes para actualizaciones por fases.

Para abordar estos requisitos, esta solución adopta el NVIDIA Mellanox 920-9B210-00FN-0D0 como bloque de construcción central, un conmutador InfiniBand NDR de 400 Gb/s diseñado específicamente para implementaciones de clase Exaescala.

2. Diseño General de la Arquitectura de Red

La solución propuesta emplea una topología leaf-spine de dos niveles, que ofrece un tejido escalable y no bloqueante con latencia determinista y cableado simplificado. En el nivel leaf, cada rack de cómputo está equipado con una o dos unidades 920-9B210-00FN-0D0 InfiniBand switch OPN, proporcionando 64 puertos de conectividad NDR de 400 Gb/s a servidores GPU a través de cobre de conexión directa OSFP (DAC) o cables ópticos activos (AOC). En el nivel spine, un segundo nivel de conmutadores 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR interconecta todos los conmutadores leaf, creando un tejido fat-tree de ancho de banda de bisección completo.

Para clústeres que superan los 5.000 nodos, se puede implementar una arquitectura folded-Clos de tres niveles, con el 920-9B210-00FN-0D0 sirviendo tanto como leaf como spine para mantener un rendimiento constante en todos los niveles. El conmutador admite hasta 64 conmutadores en un solo tejido bajo un único gestor de subred, lo que permite un control unificado de topologías a gran escala.

La siguiente tabla resume los parámetros clave de escalabilidad para un tejido NDR de 2 niveles construido alrededor del 920-9B210-00FN-0D0:

3. Rol y Características Clave del NVIDIA Mellanox 920-9B210-00FN-0D0

Dentro de esta arquitectura, el NVIDIA Mellanox 920-9B210-00FN-0D0 sirve como el elemento de conmutación fundamental, proporcionando varias capacidades críticas que abordan directamente los requisitos identificados en la Sección 1:

• 64 puertos NDR de 400 Gb/s: Cada puerto OSFP admite 400 Gb/s bidireccional con corrección de errores de reenvío (FEC) para una conectividad fiable de alcance extendido. La capacidad de conmutación agregada de 51,2 Tb/s proporciona un amplio margen para las cargas de trabajo más intensivas en comunicación.
• Latencia de corte ultra baja: Latencia de puerto a puerto inferior a 100 ns, como se documenta en la hoja de datos detallada del 920-9B210-00FN-0D0, garantiza una sobrecarga mínima para las operaciones MPI y RDMA.
• SHARPv3 integrado: Descarga operaciones colectivas de las CPUs del host, reduciendo la latencia de all-reduce hasta en un 40% y la de all-to-all hasta en un 35% en trabajos a gran escala.
• Enrutamiento adaptativo y control de congestión: Reenruta dinámicamente el tráfico para evitar puntos calientes, manteniendo un rendimiento predecible bajo patrones de tráfico adversos. La telemetría avanzada proporciona visibilidad por flujo y por puerto para una gestión proactiva.
• Gestionabilidad integral: Integración completa con el Unified Fabric Manager (UFM) de NVIDIA para aprovisionamiento zero-touch, monitorización de estado y conmutación por error automatizada.

El especificaciones del 920-9B210-00FN-0D0 también destacan fuentes de alimentación redundantes duales, módulos de ventilador intercambiables en caliente y soporte para configuraciones de gestor de subred redundantes, lo que garantiza una disponibilidad del 99,999% para cargas de trabajo de misión crítica.

4. Recomendaciones de Implementación y Escalabilidad

Para las organizaciones que planean adoptar la solución OPN de conmutador InfiniBand 920-9B210-00FN-0D0, se recomiendan las siguientes directrices de implementación:

• Estrategia de cableado: Utilice cables DAC OSFP a OSFP para conexiones dentro del rack (hasta 3 m) y AOC u transceptores ópticos para enlaces entre racks y entre leaf-spine (hasta 100 m). Verifique que todos los cables sean compatibles con el 920-9B210-00FN-0D0 según la matriz de compatibilidad de NVIDIA para evitar problemas de integridad de la señal.
• Redundancia: Implemente fuentes de alimentación duales conectadas a PDUs separadas. Utilice al menos dos conmutadores spine por leaf para eliminar puntos únicos de fallo. Para cargas de trabajo de misión crítica, considere la redundancia N+1 en el nivel spine.
• Gestión de firmware: Asegúrese de que todos los conmutadores ejecuten versiones de firmware idénticas de NVIDIA. Utilice la función de actualización de firmware automatizada de UFM para actualizaciones continuas sin tiempo de inactividad. Valide la compatibilidad del firmware con los adaptadores de host y los cables antes de la implementación.
• Ruta de escalabilidad: Para clústeres que superan los 4.096 nodos, transicione a una topología folded-Clos de tres niveles o aproveche dragonfly+ con enrutamiento adaptativo. El 920-9B210-00FN-0D0 admite hasta 64 conmutadores en un solo tejido, con múltiples tejidos interconectados a través de gateways para implementaciones más grandes.
• Validación de rendimiento: Antes de la implementación en producción, ejecute pruebas de estrés completas utilizando los puntos de referencia de rendimiento de OpenFabrics Enterprise Distribution (OFED) para validar el rendimiento del tejido frente a las hoja de datos detallada del 920-9B210-00FN-0D0.

Al calcular el costo total de propiedad, tenga en cuenta el número reducido de niveles de conmutación y el cableado simplificado en comparación con alternativas de radicación inferior. Si bien el precio del 920-9B210-00FN-0D0 por unidad es más alto que el de los conmutadores HDR, el costo por puerto y el costo de red por GPU son significativamente más bajos en implementaciones a gran escala, lo que lo convierte en una opción rentable para proyectos Exaescala.

5. Operaciones, Monitorización y Solución de Problemas

La gestión eficaz de un tejido NDR requiere un marco integral de monitorización y solución de problemas. UFM de NVIDIA proporciona un único panel de control para todo el tejido NVIDIA Mellanox 920-9B210-00FN-0D0, ofreciendo:

• Visualización de topología: Descubrimiento automático y representación gráfica de todos los conmutadores, enlaces y puntos finales con actualizaciones de estado en tiempo real.
• Paneles de rendimiento: Vistas en tiempo real de la utilización de puertos, tasas de error, indicadores de congestión y ocupación de búfer en todo el tejido.
• Alertas proactivas: Alarmas basadas en umbrales para degradación de enlaces, anomalías de temperatura, fallos de fuentes de alimentación y desgaste de cables.
• Aislamiento de fallos: Flujos de trabajo de solución de problemas guiados que identifican cables, transceptores o puertos de conmutación defectuosos, reduciendo el tiempo medio de resolución (MTTR).
• Análisis históricos: Análisis de tendencias y planificación de capacidad basados en datos de rendimiento históricos, lo que permite decisiones de escalado proactivas.

Para la solución de problemas avanzada, aproveche las herramientas de diagnóstico integradas del conmutador, incluidas las pruebas de loopback, el análisis de BER (tasa de error de bits) y la monitorización de diagnóstico de módulos ópticos (DOM). Los problemas comunes encontrados en las primeras implementaciones NDR incluyen enrutamiento subóptimo causado por velocidades de enlace desiguales, tipos de cable incompatibles o inconsistencias de firmware. Habilitar el enrutamiento adaptativo, verificar que todos los enlaces funcionen a 400 Gb/s con FEC habilitado y garantizar un firmware consistente en todos los conmutadores resuelve la mayoría de las anomalías de rendimiento.

Los ingenieros de red también deben establecer una línea de base de las especificaciones del 920-9B210-00FN-0D0 durante la fase de validación, incluida la latencia, el rendimiento y las tasas de error esperados. Las desviaciones de esta línea de base pueden utilizarse como indicadores tempranos de posibles problemas. El 920-9B210-00FN-0D0 InfiniBand switch OPN también admite el registro integral de eventos a través de syslog y SNMP, lo que permite la integración con las pilas de monitorización existentes del centro de datos.

6. Resumen y Evaluación de Valor

El 920-9B210-00FN-0D0 ofrece una propuesta de valor convincente para las organizaciones que construyen o amplían clústeres HPC y de IA basados en NDR. Proporciona 64 puertos NDR de 400 Gb/s con latencia inferior a 100 ns, descarga SHARPv3, gestionabilidad de nivel empresarial y compatibilidad total con el ecosistema HDR existente, todo en una plataforma compacta de 1U. Los puntos de valor clave incluyen:

• Rendimiento: Reducción de hasta el 75% en la latencia de comunicación all-to-all y hasta el 40% en la latencia de all-reduce a través de la descarga SHARPv3 y el ancho de banda NDR.
• Eficiencia de costos: Menor costo de red por GPU en comparación con las alternativas HDR en implementaciones a gran escala, impulsado por una mayor radicación y un menor recuento de niveles de conmutación.
• Simplicidad operativa: Integración profunda con UFM para gestión unificada, aprovisionamiento automatizado, monitorización proactiva y resolución rápida de fallos.
• Protección de la inversión: Compatibilidad total con cables, ópticas y pilas de software HDR existentes, lo que permite actualizaciones por fases sin interrumpir las cargas de trabajo de producción.
• Escalabilidad a prueba de futuro: Soporte para topologías folded-Clos de tres niveles y dragonfly+, lo que garantiza que el tejido pueda escalar a más de 8.000 nodos a medida que crecen las demandas de cómputo.

Para las organizaciones que evalúan el 920-9B210-00FN-0D0 en venta a través de los socios de canal de NVIDIA, recomendamos revisar la hoja de datos detallada del 920-9B210-00FN-0D0 y colaborar con un arquitecto de soluciones certificado para validar el diseño para sus requisitos específicos de carga de trabajo y escala. El NVIDIA Mellanox 920-9B210-00FN-0D0 está listo para producción hoy mismo, ofreciendo una base de interconexión escalable y de alto rendimiento para la próxima generación de innovación en IA y HPC.