NVIDIA Mellanox MQM8790-HS2F Solución técnica del conmutador de banda ancha

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Solución técnica. Optimización de interconexión de baja latencia para grupos RDMA/HPC/AI

1Antecedentes del proyecto y análisis de los requisitos

A medida que los clústeres de capacitación de inteligencia artificial (IA) aumentan a miles de GPU y sistemas de computación de alto rendimiento (HPC) empujan hacia el rendimiento de exascala,el tejido de red que conecta los nodos de cómputo se ha convertido en un determinante crítico de rendimientoEn estos entornos, la latencia no es simplemente una métrica, sino que afecta directamente el rendimiento de la aplicación, el tiempo de solución y la eficiencia general del clúster.Para las cargas de trabajo que dependen en gran medida de las operaciones colectivas MPI (Message Passing Interface) y de los patrones de comunicación todo-a-todos, como el entrenamiento de modelos de lenguaje grandesLas redes Ethernet tradicionales, por ejemplo, ofrecen un mayor tiempo de funcionamiento a los usuarios que a los usuarios.incluso con RDMA sobre Ethernet convergente (RoCE), a menudo luchan por ofrecer la latencia determinista baja y el funcionamiento libre de congestión requerido por estas aplicaciones exigentes.

Este desafío se ve amplificado por tres tendencias concurrentes: primero, la creciente escala de modelos de IA (que ahora exceden los billones de parámetros) exige un paralelismo masivo a través de miles de GPU,que requiere un tejido que pueda soportar un alto rendimiento con una mínima variación de latenciaEn segundo lugar, la convergencia de las cargas de trabajo de HPC e IA significa que un solo tejido debe soportar de manera eficiente tanto los patrones de comunicación basados en MPI como las operaciones colectivas de GPU basadas en NCCL.La eficiencia operativa requiere que el tejido sea manejable a escala, con capacidades de monitoreo y optimización automatizadas.Se requiere una solución técnica estructurada que aproveche un conmutador InfiniBand de alto rendimiento con retransmisión de baja latencia, gestión avanzada de la congestión y aceleración de cómputo en red para ofrecer un rendimiento predecible a escala.

2Diseño general de la arquitectura de red / sistema

La arquitectura propuesta adopta una topología de hoja de columna vertebral utilizandoNVIDIA Mellanox MQM8790-HS2F, también conocido como NVIDIAinterruptores como el nivel de la hoja, conectados a los interruptores de columna vertebral de mayor densidad de puertos (como la serie QM9700 con 64 puertos de 400Gb/s NDR) para tejidos a gran escala.La arquitectura está diseñada para soportar la comunicación sin bloqueo con ancho de banda de bisección completo, asegurando que cualquier nodo de cómputo pueda comunicarse con cualquier otro nodo a velocidad de cable sin controversia.

En una implementación típica para un clúster de 2.000 nodos, la arquitectura comprende:

• Término de la hoja:20MQM8790-HS2F Conmutador de banda anchaunidades, cada una con 40 puertos QSFP56 que operan a 200 Gb/s HDR.Cada interruptor de hoja se conecta a 50 nodos de cómputo (usando una mezcla de conexiones directas de 200 Gb / s y 100 Gb / s HDR100 a través de cables QSFP56 a 2 × QSFP56).
• Nivel de la columna:4 switches QM9700 (o switches de alta densidad equivalentes), cada uno con 64 puertos de 400Gb/s NDR, proporcionando conectividad entre hojas.
• Nodos de cálculo:Cada nodo equipado con uno o más adaptadores ConnectX-6 HDR o ConnectX-7 NDR, conectados a interruptores de hoja a través de cables ópticos pasivos de cobre o activos.
• Red de gestión:Una red Ethernet separada fuera de banda para la gestión de switches, integrada con la plataforma NVIDIA Unified Fabric Manager (UFM) para el monitoreo y la optimización centralizados de tejidos.

La arquitectura aprovecha elMQM8790-HS2F 200Gb/s HDR 40 puertos QSFP56El uso de HDR100 permite opciones de conectividad flexibles:Cada puerto de 200 Gbps puede admitir un solo punto final de 200 Gbps o dos puntos finales de 100 Gbps., con capacidad para nodos de cómputo heterogéneos con velocidades de interfaz diferentes.

3. Papel y características clave de la NVIDIA Mellanox MQM8790-HS2F en la solución

Dentro de esta arquitectura, elSe aplicará a los vehículos de las categorías M1 y M2.sirve como el interruptor de hoja fundamental, proporcionando conectividad de baja latencia y alto ancho de banda a los nodos de cómputo al tiempo que admite características avanzadas esenciales para las cargas de trabajo de HPC e IA.Sus características técnicas clave son fundamentales para el éxito de la solución global:

• Latencia de puerto a puerto por debajo de 100 nanosegundos:Proporciona una latencia baja determinista esencial para los colectivos MPI sensibles a la latencia y las operaciones de reducción total.
• 40 puertos de HDR InfiniBand de 200 Gb/s:Proporciona una capacidad de conmutación total de 8Tb / s en un factor de forma compacto de 1U, maximizando la densidad de puertos y reduciendo el consumo de espacio de rack.
• Apoyo a SHARP (Protocolo de agregación y reducción jerárquica escalable):Permite acelerar el cálculo en la red para las operaciones colectivas de MPI, descargando hasta un 20% de la carga de trabajo de comunicación de la CPU / GPU.
• Enrutamiento adaptativo:Distribuye dinámicamente el tráfico a través de las rutas de tejido disponibles basadas en métricas de congestión en tiempo real, optimizando el rendimiento y minimizando la variación de latencia.
• Control de la congestión:Implementa mecanismos avanzados de gestión de la congestión (incluido el control de flujo a nivel de paquetes y la notificación de congestión) para evitar que los puntos de acceso de la red degraden el rendimiento.
• Apoyo de salida HDR100:Permite configurar cada puerto de 200Gb/s como dos puertos independientes de 100Gb/s, proporcionando flexibilidad de despliegue para entornos de velocidad mixta.
• Interfaces de gestión completas:Soporta la gestión de subred (SM), SNMP, CLI, interfaz de usuario web y la integración con UFM para la gestión centralizada de tejidos.
• Eficiencia energética:Consumo de energía típico inferior a 230 W, lo que contribuye a reducir los requisitos de refrigeración y mejorar la PUE.

Estas características se documentan exhaustivamente en elSe aplicarán las siguientes medidas:, que incluye curvas de rendimiento detalladas, especificaciones térmicas y dibujos mecánicos para su integración en herramientas de diseño de bastidores.

4Recomendaciones de implementación y escalado (con descripción de topología típica)

Para el despliegue inicial, recomendamos una estrategia de expansión modular basada en la arquitectura a nivel de cápsula.que admite aproximadamente 400 nodos de cómputo con ancho de banda de bisección completoEl.MQM8790-HS2F Solución de conmutador de banda anchapermite una escalabilidad incremental añadiendo pods a medida que crece la capacidad de cómputo, con la capa principal que proporciona conectividad entre pods para un tejido unificado.

Topología típica para un solo módulo (400 nodos de cómputo):

• Interruptores de hojas:4 × MQM8790-HS2F, cada uno con 40 puertos a 200Gb/s. Se utilizan 36 puertos por hoja para la conectividad de nodos de cómputo (que admiten hasta 72 nodos por hoja utilizando el break-out HDR100),mientras que 4 puertos por hoja se utilizan para los uplinks de la columna vertebral.
• Interruptores de la columna:2 × QM9700 (o conmutadores NDR de 64 puertos equivalentes), cada uno conectado a los 4 conmutadores de hoja a través de enlaces ascendentes de 400 Gb/s (utilizando cables QSFP56 a QSFP-DD de 4 × 200 Gb/s).
• Nodos de cálculo:400 nodos, cada uno conectado a un switch de hoja a través de una sola conexión HDR100 de 200 Gb/s o doble de 100 Gb/s.

Escalado más allá de una sola cápsula:

• Añadir cápsulas adicionales (cada una con 4 interruptores de hoja MQM8790-HS2F) según lo requiera la capacidad de cálculo.
• Conectar las cápsulas a través de una capa superior de la columna vertebral (superspina) utilizando interruptores adicionales QM9700 o NDR.
• Mantenga la consistencia del tejido utilizando elSe aplicará a los vehículos de las categorías M1 y M2.en todas las posiciones de las hojas, garantizando una latencia y una gestión uniformes en todo el tejido.

Cuando se despliegue elSe aplicará a los vehículos de las categorías M1 y M2.en el modo de interrupción HDR100, se aplicarán las siguientes directrices de cableado:

Para tejidos a gran escala que superen los 2.000 nodos, recomendamos utilizar las capacidades de simulación de tejidos de UFM para validar el diseño de la topología y el comportamiento de congestión antes de la implementación.

5Operaciones y mantenimiento: monitoreo, solución de problemas y optimización

El ciclo de vida operativo del tejido InfiniBand basado en MQM8790-HS2F requiere un enfoque sistemático para monitorear, solucionar problemas y optimizar.Recomendamos desplegar la plataforma NVIDIA UFM como la herramienta central de gestión y monitoreo, proporcionando visibilidad en tiempo real del rendimiento del tejido, métricas de latencia y patrones de congestión.

Las principales métricas de seguimiento a seguir:

• La latencia en el nivel del puerto:La latencia de extremo a extremo en todo el tejido, con alertas para puertos que excedan los umbrales de latencia.
• Producción y utilización:El rendimiento agregado y por puerto, identificando los enlaces infrautilizados o sobreutilizados.
• Indicadores de congestión:Caídas de paquetes, marcos de pausa y eventos de notificación de congestión.
• Salud de las telas:Estado del enlace, contadores de errores y telemetría de temperatura/potencia.

Protocolo de solución de problemas para problemas comunes:

1. Degradación de la latencia:Utilice las herramientas de análisis de latencia de UFM para identificar la ruta o el puerto específico que experimenta mayor latencia; verifique la congestión o la configuración incorrecta del enrutamiento adaptativo.
2. Errores de enlace o caídas:Inspeccionar la conectividad física (cables, óptica) y los contadores de errores de puerto; verificar que elMQM8790-HS2F compatibles con el sistema de seguridadLos cables y las ópticas se utilizan por elLas especificaciones MQM8790-HS2F.
3. Cuestiones de gestión de subred:Verificar que el Administrador de Subred (SM) está en ejecución y que la topología de la tela se ha descubierto correctamente; comprobar los eventos de conmutación por error SM.

Recomendaciones de optimización:

• Ajuste de ruta adaptativo:Ajustar los parámetros del algoritmo de enrutamiento basados en los patrones de tráfico observados ¢ utilizar UFM para simular diferentes políticas de enrutamiento antes de aplicarlas al tejido de producción.
• Configuración de control de congestión:Enable and tune congestion control mechanisms (such as packet pacing and priority flow control) based on workload characteristics — AI training benefits from more aggressive congestion control compared to HPC workloads.
• Actualizaciones de firmware y software:Actualizar regularmente el firmware del interruptor y el software UFM para acceder a mejoras de rendimiento y nuevas características.
• Auditorías periódicas de los tejidos:Realizar auditorías periódicas de los cables, la energía y la refrigeración para garantizar la fiabilidad operativa a escala.

6Resumen y evaluación del valor

ElNVIDIA Mellanox MQM8790-HS2F, también conocido como NVIDIA-solución técnica basada en el RDMA proporciona una metodología completa y validada en el campo para optimizar la interconexión de baja latencia en racimos RDMA/HPC/IA.Aprovechando los 40 puertos del switch de 200Gb/s HDR InfiniBand, latencia de menos de 100 nanosegundos, computación en red SHARP y capacidades de enrutamiento adaptativo,Las organizaciones pueden construir tejidos que ofrezcan un rendimiento predecible a escala al tiempo que simplifican la gestión y reducen los gastos generales operativos.

Las métricas de valor clave de despliegues comparables incluyen:

• Reducción de la latencia:La latencia de puerto a puerto inferior a 100 nanosegundos reduce los tiempos de finalización colectiva de MPI hasta en un 35% en comparación con las telas de la generación anterior.
• Aceleración de la aplicación:La descarga de computación en red de SHARP reduce la sobrecarga de comunicación de la CPU / GPU hasta en un 20%, acelerando los tiempos de época de entrenamiento de IA en un 25-30%.
• Eficiencia del tejido:El enrutamiento adaptativo y el control de la congestión mantienen un rendimiento constante bajo cargas variables, reduciendo la variabilidad del rendimiento hasta en un 60%.
• Simplificación de las operaciones:La integración UFM proporciona una visibilidad y automatización integrales, reduciendo el MTTR para incidentes de tejidos hasta en un 50%.
• Eficiencia de los costes:ElPrecio MQM8790-HS2FCombinado con su alta densidad de puertos, ofrece un menor costo por puerto en comparación con las soluciones alternativas de InfiniBand, al tiempo que reduce el espacio de rack y los requisitos de energía.

Para los arquitectos de redes y los líderes de ingeniería, el MQM8790-HS2F ofrece una base escalable y de alto rendimiento para los clústeres de HPC e IA de próxima generación.La solución se recomienda especialmente para organizaciones que implementan entornos acelerados por GPU a gran escala, así como los centros HPC tradicionales que pasan de 100Gb/s a 200Gb/s. A medida que InfiniBand continúa evolucionando hacia NDR (400Gb/s) y XDR (800Gb/s),el soporte de la MQM8790-HS2F para el avance de HDR100 garantiza la compatibilidad con la infraestructura existente al tiempo que proporciona una ruta de migración clara a velocidades futuras.

Para obtener modelos detallados de diseño de tejidos, guías de ajuste de rendimiento y listas de comprobación de implementación, consulte elSe aplicarán las siguientes medidas:y la documentación de la arquitectura NVIDIA Mellanox InfiniBand.