NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch en la práctica

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch en la práctica. Optimización de interconexión de baja latencia para grupos RDMA / HPC / AI

Antecedentes y desafío: el cuello de botella de la latencia en AI a gran escala y grupos de HPC

A medida que los clústeres de capacitación de IA aumentan a miles de GPU y los sistemas HPC empujan hacia el rendimiento de exascala, el tejido de red que conecta los nodos de cómputo se ha convertido en un determinante crítico del rendimiento.En estos entornos, la latencia no es meramente una métrica, sino que afecta directamente el rendimiento de la aplicación, el tiempo de solución y la eficiencia general del clúster.Para las cargas de trabajo que dependen en gran medida de las operaciones colectivas MPI (Message Passing Interface) y de los patrones de comunicación de todos a todosLas redes Ethernet tradicionales, por ejemplo, ofrecen una mayor capacidad de transmisión de datos, como el entrenamiento de modelos de lenguaje grande y la dinámica de fluidos computacionales, incluso los aumentos de latencia a nivel de microsegundos pueden traducirse en horas de tiempo de ejecución adicional.incluso con RDMA sobre Ethernet convergente (RoCE), a menudo luchan por ofrecer la latencia determinista baja requerida por estas aplicaciones exigentes.

Este desafío se enfrentó recientemente a un laboratorio nacional de investigación que desplega un clúster de HPC de 2.000 nodos para el modelado climático y la investigación de IA.El clúster requería conectividad de 200Gb/s con latencia inferior a 100 nanosegundos para admitir cargas de trabajo HPC basadas en MPI y capacitación de IA distribuidaEl equipo de ingenieros necesitaba un interruptor que pudiera ofrecer un rendimiento constante y de baja latencia a escala.al tiempo que admite características avanzadas como el enrutamiento adaptativo y el control de congestión para mantener la eficiencia de la tela en condiciones de carga variablesEl.NVIDIA Mellanox MQM8790-HS2F, también conocido como NVIDIALa solución ideal, que ofrece 40 puertos de HDR InfiniBand de 200 Gb/s con latencia inferior a 100 nanosegundos y capacidades avanzadas de computación en red.

Solución y implementación: Construcción de un tejido de banda Infini de baja latencia

Para abordar los desafíos de latencia y escalabilidad, el laboratorio desplegó elNVIDIA Mellanox MQM8790-HS2F, también conocido como NVIDIAEste sistema se utiliza para la fabricación de tejidos de hoja de columna.MQM8790-HS2F Conmutador de banda anchaProporciona 40 puertos QSFP56, cada uno operando a 200Gb/s HDR, ofreciendo una capacidad de conmutación total de 8Tb/s con una latencia de puerto a puerto inferior a 100 nanosegundos.Topología de 16 hojas, conectando 2.000 nodos de cómputo cada uno equipado con adaptadores HDR ConnectX‐6.MQM8790-HS2F 200Gb/s HDR 40 puertos QSFP56La configuración permitió al equipo construir un tejido no bloqueante con ancho de banda de bisección completo, asegurando que cada nodo pudiera comunicarse con todos los demás nodos a la velocidad del cable.

El despliegue se realizó en tres fases clave:

• Diseño del tejido:Utilizando elMQM8790-HS2F Solución de conmutador de banda ancha, el equipo diseñó una topología de hoja espinal en la que cada uno de los 16 switches de hoja se conecta a 50 nodos de cómputo (utilizando una combinación de conexiones directas de 200Gb/s y conexiones de ruptura HDR100 de 100Gb/s),mientras que 4 interruptores de la columna vertebral proporcionan conectividad entre hojasEl.Se aplicará a los vehículos de las categorías M1 y M2.Los interruptores fueron configurados con el enrutamiento adaptativo habilitado, lo que permite al tejido distribuir dinámicamente el tráfico en las rutas disponibles y evitar los puntos de congestión.
• Configuración de características avanzadas:El equipo habilitó SHARP (Protocolo de agregación y reducción jerárquica escalable) en los switches MQM8790-HS2F para descargar operaciones colectivas MPI de los nodos de cómputo.Esta capacidad de cómputo en red permitió a los switches realizar todas las operaciones de reducción y difusión directamente, reduciendo el número de recorridos de la red y disminuyendo la latencia general para la comunicación colectiva.
• Ajuste de rendimiento:La administración de la subred se configuró utilizando la plataforma NVIDIA Unified Fabric Manager (UFM), que proporcionó visibilidad en tiempo real de la salud de la tela, las métricas de latencia y los patrones de congestión.El equipo ajustó los parámetros de control de congestión para optimizar el rendimiento para el perfil de carga de trabajo mixto de HPC e IA.

Porque elNVIDIA Mellanox MQM8790-HS2F, también conocido como NVIDIAesMQM8790-HS2F compatibles con el sistema de seguridadCon el ecosistema más amplio de NVIDIA InfiniBand, incluidos los adaptadores ConnectX‐6 y BlueField‐2, la implementación fue fluida, sin necesidad de controladores personalizados o parches de firmware.La integración del interruptor con la plataforma UFM permitió al equipo monitorear el rendimiento del tejido a escala, identificar y resolver los posibles cuellos de botella antes de que afecten al tiempo de ejecución de la aplicación.

Resultados y beneficios: Mejoras medibles en la latencia y el rendimiento de las aplicaciones

El análisis comparativo posterior al despliegue en el clúster de 2 000 nodos reveló mejoras significativas en el rendimiento.La latencia media de puerto a puerto a través del tejido se midió en 85 nanosegundos, de acuerdo con la especificación de sub-100 nanosegundos documentada en elSe aplicarán las siguientes medidas:Esta baja latencia se tradujo directamente en ganancias de rendimiento de la aplicación: las operaciones de reducción total de MPI se completaron hasta un 35% más rápido en comparación con el tejido InfiniBand de 100Gb/s anterior del laboratorio,Mientras que los trabajos de capacitación de IA distribuida (usando comunicación basada en NCCL) redujeron los tiempos de época de extremo a extremo en aproximadamente un 28%.

En segundo lugar, la capacidad de computación en red de SHARP proporcionó beneficios sustanciales de rendimiento.el clúster redujo la utilización de CPU y GPU para tareas de comunicación hasta en un 20%Esto fue particularmente beneficioso para la formación en IA a gran escala, donde la comunicación colectiva puede representar el 30­40% del tiempo total de ejecución.

En tercer lugar, la función de enrutamiento adaptativo resultó crítica para mantener un rendimiento constante en condiciones de carga variables.,Enrutamiento adaptativo: tráfico distribuido dinámicamente entre las rutas disponibles, manteniendo la latencia media dentro del 10% de la línea de base y evitando la degradación del rendimiento inducida por la congestión.El equipo supervisó la salud de los tejidos utilizando la plataforma UFM, que proporcionó paneles de control en tiempo real que rastrean la latencia, el rendimiento y la utilización del enlace en los 20 switches.

En cuarto lugar, la densidad deMQM8790-HS2F 200Gb/s HDR 40 puertos QSFP56El laboratorio redujo el número de switches requeridos en un 50% en comparación con la infraestructura InfiniBand de 100Gb/s anterior,reducción del consumo de espacio de rack y de los requisitos de energíaCada MQM8790-HS2F consumió menos de 230 W de potencia típica, lo que contribuyó a una reducción del 20% en los costes de refrigeración de la infraestructura de red.

Desde una perspectiva operativa, las capacidades de gestión del interruptor simplificaron el mantenimiento continuo.El equipo de red del laboratorio utilizó las interfaces CLI y Web UI para realizar actualizaciones de firmware y cambios de configuración sin interrumpir las operaciones de la tela, aprovechando el soporte del interruptor para actualizaciones sin impactos.Las especificaciones MQM8790-HS2Fincluir características integrales de gestión, incluido el seguimiento de SNMP y la integración del syslog,permitir al equipo integrar el tejido en su marco de monitoreo del centro de operaciones de red (NOC) existente.

Resumen y perspectivas: Un plan para las telas InfiniBand de baja latencia

La experiencia de despliegue con elNVIDIA Mellanox MQM8790-HS2F, también conocido como NVIDIAa través de un clúster HPC e IA de 2.000 nodos demuestra claramente que un switch HDR InfiniBand de 200 Gb/s con 40 puertos puede ofrecer la baja latencia, escalabilidad,y características avanzadas requeridas para cargas de trabajo de investigación y empresas exigentesAl aprovechar la latencia de menos de 100 nanosegundos del switch, el enrutamiento adaptativo y las capacidades de computación en red de SHARP, las organizaciones pueden construir tejidos que aceleren la comunicación MPI e IA,Reducir el tiempo de solución, y mejorar la eficiencia general de los grupos.

Mirando hacia el futuro, a medida que los clústeres de capacitación de IA continúen creciendo hacia más de 10,000 GPU y sistemas HPC a escala de exascale, la demanda de conmutadores InfiniBand de alta densidad y baja latencia solo aumentará.El MQM8790-HS2F está bien posicionado para esta trayectoria., ya que su densidad de puertos 40, capacidad de conmutación de 8Tb / s y soporte para velocidades HDR200 y HDR100 aseguran la compatibilidad con nodos de cómputo actuales y de próxima generación.Para las organizaciones que planean implementaciones similares de clústeres de HPC o IA, el enfoque de la columna vertebral en niveles validado en este despliegue ofrece una hoja de ruta práctica: desplegar interruptores de hoja MQM8790-HS2F para la conectividad de acceso,utilizar interruptores de columna vertebral de mayor densidad de puertos (como la serie QM9700 de 64 puertos) para tejidos más grandes, y mantener un marco de gestión unificado que aproveche la UFM para la optimización proactiva de los tejidos.

Para obtener modelos detallados de diseño de tejidos, guías de ajuste de rendimiento y listas de comprobación de implementación, consulte elSe aplicarán las siguientes medidas:y la documentación de la arquitectura NVIDIA Mellanox InfiniBand.