Solución técnica del conmutador InfiniBand Mellanox (NVIDIA Mellanox) MQM9790-NS2F

Mellanox (NVIDIA Mellanox) MQM9790-NS2F Solución técnica de conmutador de banda ancha para RDMA/HPC/AI

Este documento técnico presenta una arquitectura de soluciones integral centrada en elMellanox (NVIDIA Mellanox) MQM9790-NS2F, también conocido como MellanoxEl documento está dirigido a arquitectos de red, ingenieros de preventa y directivos de operaciones, y detalla cómo elMQM9790-NS2F: el contenido de agua en el aguaOfrece latencia determinista ultra-baja, RDMA sin pérdidas y ancho de banda escalable para infraestructuras HPC e IA de próxima generación.las mejores prácticas operativas, y la validación del rendimiento.

1Antecedentes del proyecto y análisis de los requisitos

Las cargas de trabajo modernas de capacitación de IA y simulación científica exigen tejidos de red que puedan sostener patrones masivos de comunicación todo-reducir, todo-reunir y punto a punto con jitter sub-microsegundo.Soluciones tradicionales basadas en Ethernet, incluso con RoCEv2, introducen complejidad en la gestión de la congestión, el ajuste de PFC y el control de la latencia de cola, lo que a menudo conduce a una utilización ineficiente de la GPU y tiempos de finalización de trabajos impredecibles.

Los requisitos clave identificados en los proyectos típicos de HPC/IA incluyen:

• La velocidad de carga de un puerto a otro de un puerto a otro de un puerto
• Tejido sin pérdidas con cero caídas de paquetes debido a la congestión
• Escalabilidad de 64 a más de 2.000 nodos GPU sin cambios arquitectónicos
• Operaciones simplificadas con telemetría y recuperación automática de fallos

ElNVIDIA Mellanox MQM9790-NS2F, también conocido como NVIDIA Mellanoxaborda directamente estas demandas mediante la integración de la tecnología NDR 400 Gb / s, el enrutamiento adaptativo y la computación en red en una plataforma OSFP de 1U y 64 puertos.

2Diseño general de la arquitectura de red / sistema

La arquitectura recomendada adopta una topología de dos niveles de columna vertebral de las hojas (o árbol de grasa) para proporcionar un ancho de banda de bisección completo y una alta resistencia.con dos carcasas para cada estanteMQM9790-NS2F conmutadores de banda anchaLa capa espinal agrega el tráfico de todos los interruptores de hoja, asegurando la comunicación sin bloqueo entre dos puntos finales.

ElMQM9790-NS2F 400Gb/s NDR OSFP de 64 puertosel switch sirve tanto como hoja como como columna vertebral, ofreciendo hardware uniforme en todo el tejido, simplificando el ahorro y el mantenimiento.un diseño típico utiliza 16 interruptores de hoja (cada uno conecta 64 GPU) y 8 interruptores de columna vertebralEl tejido admite las topologías de fat-tree y Dragonfly+, con enrutamiento adaptativo que equilibra dinámicamente el tráfico a través de múltiples rutas.

3. Función y características clave de laMellanox (NVIDIA Mellanox) MQM9790-NS2F, también conocido como Mellanoxen la Solución

ElNVIDIA Mellanox MQM9790-NS2F, también conocido como NVIDIA Mellanoxes la piedra angular de esta solución, proporcionando:

• 64 puertos OSFPcada una operando a una velocidad de 400 Gb/s (NDR) con una capacidad de conmutación total de 25,6 Tb/s, con una latencia de corte inferior a 600 ns.
• Enrutamiento adaptativo- Selecciona dinámicamente la ruta menos congestionada por paquete, evitando los enlaces de puntos de acceso y manteniendo una latencia constante incluso en patrones de tráfico asimétricos.
• SHARPv3 (Protocolo de agregación y reducción jerárquica escalable) descarga la comunicación colectiva (all-reduce, broadcast) de las CPU anfitrionas, reduciendo el chat de red y acelerando la formación de la IA hasta en un 20­30%.
• Computación en redSoporta la reducción de datos, la segmentación e incluso las operaciones MPI a pequeña escala directamente en el interruptor, liberando valiosos recursos de GPU para el cálculo.
• Telemetría y gestión de la congestión¢ monitoreo avanzado incorporado, que incluye contadores por flujo, histogramas de ocupación de búfer y métricas de latencia a nivel de ruta, todos exportables a través de UFM o REST APIs.

Estas capacidades permitenMQM9790-NS2F Solución de conmutador de banda anchaEl objetivo de la estrategia es ofrecer un rendimiento determinista a escala, según lo validado por benchmarks internos y implementaciones de clientes.Las especificaciones MQM9790-NS2FTambién incluyen soporte para DAC de cobre pasivo y módulos ópticos activos, proporcionando flexibilidad para distancias de hasta 100 m (con óptica 400G SR4) y más allá.

4Recomendaciones de implementación y escalado (topología típica)

Para un despliegue en campo verde, recomendamos el siguiente enfoque por etapas:

• Fase 1 Pilot:Despliegue 2 interruptores de hojas (cada unoMQM9790-NS2F: el contenido de agua en el aguaEl sistema de control de rendimiento de las computadoras es un sistema de control de rendimiento de las computadoras.Se aplicará el método de evaluación de la calidad de los productos.los parámetros.
• Fase 2 Scale-out:Añadir los interruptores de hoja en incrementos de 2 por estante, y los interruptores de columna vertebral según sea necesario para mantener la sobresubscripción ≤ 1:1La densidad de puertos 64 permite a un solo switch alojar un rack completo de 64 nodos GPU (si cada nodo tiene un único enlace ascendente 400G).
• Fase 3 ¢ Plano múltiplePara grupos de más de 2.000 nodos, aplicar múltiples tejidos independientes (por ejemplo, planos 2× o 4×) con balanceo de carga basado en la ruta,Aprovechando el soporte del switch para carriles virtuales y claves de partición.

El cableado típico utiliza DAC OSFP-OSFP para conexiones intra-rack (≤3 m) y módulos ópticos OSFP-to-400G SR4 para distancias de hoja espinal de hasta 100 m.MQM9790-NS2F compatibles con el nuevo sistemaLos transceptores están validados con el ecosistema de proveedores ópticos de NVIDIA, lo que garantiza una interoperabilidad perfecta.

5- Operaciones, monitoreo, diagnóstico y optimización de fallas

Las operaciones eficaces son fundamentales para mantener una baja latencia en la producción.NVIDIA UFM (gestión de tejido unificado), que establece:

• Panel de control en tiempo real-  ancho de banda por puerto, contadores de errores y mapas de calor de congestión.
• Optimización automática de rutasCuando un enlace se degrada o falla, UFM recalcula las rutas y reconfigura las tablas de enrutamiento adaptativas sin intervención del operador.
• Telemetría histórica¢ almacena datos de latencia y flujo para análisis post mortem y planificación de capacidad.

Flujo de trabajo recomendado para la resolución de problemas:

1. Monitorizar los marcos de pausa y desechos por puerto ∼ se espera que no se deseche nada; cualquier desecho indica una configuración errónea o óptica defectuosa.
2. Validación de la operación SHARPv3 a través de las estadísticas colectivas de UFM. Asegura que las operaciones de reducción se descarguen.
3. Utilice herramientas de diagnóstico integradas (por ejemplo,el diagnóstico,el estado de salud) para comprobar la integridad del enlace y la integridad de la señal.

Para la optimización, ajustar el umbral del algoritmo de enrutamiento adaptativo (por ejemplo, el intervalo de detección de carga) basado en los patrones de carga de trabajo MQM9790-NS2F Conmutador de banda anchaLas actualizaciones regulares de firmware (disponibles a través del portal de soporte de NVIDIA) incluyen mejoras de rendimiento y parches de seguridad.

6Resumen y evaluación del valor

ElMellanox (NVIDIA Mellanox) MQM9790-NS2F, también conocido como Mellanoxofrece una base de alto rendimiento a prueba de futuro para los clústeres RDMA/HPC/AI. Al combinar la velocidad NDR de 400 Gb/s, la densidad de puertos 64 y la computación inteligente en red,Elimina los cuellos de botella tradicionales y proporciona escalabilidad lineal hasta la clase exascaleLa solución reduce el costo total de propiedad a través de una menor potencia por puerto (≈1,5 W), un cableado simplificado y una reducción de la sobrecarga de la CPU por descargas de SHARP.

Para las organizaciones que evalúan elPrecio MQM9790-NS2FEn el caso de los tejidos RoCEv2, la inversión se justifica por mejoras mensurables en la utilización de la GPU (a menudo superiores al 90% en la producción) y hasta una reducción del 40% en los tiempos de finalización de los trabajos.Se aplicará el método de evaluación de la calidad de los productos.yLas especificaciones MQM9790-NS2FLas unidades están disponibles fácilmente (MQM9790-NS2F para la ventaAdemás, la compatibilidad del switch con los adaptadores NVIDIA existentes garantiza una migración fluida para los usuarios que ya han invertido en el ecosistema Mellanox.

En resumen, esta solución técnica basada en laMQM9790-NS2F Conmutador de banda anchaofrece un tejido robusto y operativamente eficiente que cumple con los requisitos de interconexión de baja latencia más exigentes – una piedra angular para la próxima generación de supercomputación de IA.