Conmutador InfiniBand Mellanox 920-9B210-00FN-0D0 | Solución Técnica para Baja Latencia en Clústeres RDMA, HPC y IA

Conmutador InfiniBand Mellanox 920-9B210-00FN-0D0 | Solución Técnica para la Optimización de Interconexión de Baja Latencia en Clústeres de RDMA, HPC e IA

Una guía técnica integral de arquitectura y despliegue que cubre redes InfiniBand NVIDIA Quantum-2 NDR, aceleración RDMA, interconexiones escalables de clústeres de GPU, gestión de tejido y optimización del rendimiento.

Producto: NVIDIA QM9790 / MQM9790-NS2F   |   SKU: 920-9B210-00FN-0D0   |   Tecnología: InfiniBand NDR de 400 Gb/s

La inteligencia artificial, la computación de alto rendimiento (HPC) y las cargas de trabajo distribuidas de GPU están imponiendo demandas sin precedentes en la infraestructura de redes de los centros de datos. A medida que crecen los clústeres de computación, la eficiencia de la comunicación de red determina cada vez más si los costosos recursos de GPU pueden operar a su máximo potencial. El conmutador InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 proporciona una plataforma de conmutación de baja latencia y alto ancho de banda para construir redes de computación acelerada escalables.

Impulsado por la tecnología NVIDIA Quantum-2, el QM9790 admite 64 puertos InfiniBand NDR no bloqueantes de 400 Gb/s a través de 32 conectores OSFP, con un rendimiento de conmutación bidireccional agregado de hasta 51,2 Tb/s. Este white paper técnico explica cómo integrar el conmutador en arquitecturas de red habilitadas para RDMA, optimizar la comunicación de IA distribuida, diseñar tejidos HPC resilientes y establecer prácticas efectivas de despliegue y operación.

01. Antecedentes del Proyecto y Análisis de Requisitos

Las plataformas modernas de entrenamiento de IA conectan comúnmente múltiples servidores de GPU en clústeres de computación distribuidos. Durante el entrenamiento del modelo, las GPU intercambian frecuentemente gradientes, parámetros y resultados intermedios utilizando bibliotecas de comunicación como NVIDIA NCCL. Las aplicaciones HPC dependen de manera similar del paso de mensajes de baja latencia a través de MPI y otros marcos de computación paralela.

A medida que aumenta el número de nodos de computación, el tráfico de comunicación se vuelve más complejo. Las aplicaciones pueden experimentar saturación de ancho de banda, puntos de congestión, retrasos en la comunicación colectiva y un rendimiento inconsistente causado por la contención de la red.

Una solución InfiniBand de alto rendimiento debe abordar los siguientes requisitos técnicos:

• Alto Ancho de Banda: Proporcionar capacidad de interconexión suficiente para el movimiento de datos a gran escala entre servidores de GPU y nodos de computación.
• Baja Latencia de Comunicación: Minimizar los retrasos asociados con la sincronización frecuente y el intercambio de mensajes pequeños.
• Soporte RDMA: Permitir una comunicación eficiente de memoria a memoria con una menor participación de la CPU.
• Escalabilidad de Red: Admitir la expansión desde bastidores de servidores individuales hasta tejidos de IA y HPC de múltiples bastidores.
• Optimización del Tráfico: Mejorar la utilización de la red a través de enrutamiento adaptativo y gestión de la congestión.
• Fiabilidad Operacional: Establecer procedimientos de monitoreo, aislamiento de fallos y validación del rendimiento.

Objetivo de Diseño: Construir un tejido InfiniBand escalable y de alto ancho de banda que minimice los cuellos de botella relacionados con la red y admita un rendimiento RDMA predecible para el entrenamiento de IA distribuida, la computación científica y las aplicaciones HPC intensivas en datos.

02. Arquitectura General de Red y Sistema

La arquitectura propuesta utiliza la solución OPN de conmutador InfiniBand 920-9B210-00FN-0D0 como bloque de construcción central dentro de un tejido NDR de alta velocidad. Dependiendo de la escala de despliegue, los conmutadores pueden operar en un diseño de un solo nivel o en una topología de hoja-espina de varios niveles.

Para clústeres de GPU de varios bastidores, una arquitectura Fat Tree de dos niveles es un punto de partida práctico. Los conmutadores de hoja conectan los servidores de computación, mientras que los conmutadores de espina proporcionan comunicación de alto ancho de banda entre bastidores. La asignación de enlaces ascendentes debe calcularse de acuerdo con los patrones de tráfico esperados, el ancho de banda de bisección requerido y la sobre suscripción aceptable.

Topología de Red de Referencia

Aplicaciones de Entrenamiento de IA / HPC
NCCL / MPI / UCX / RDMA
↓
Servidores de GPU y Nodos de Computación
Adaptadores InfiniBand NVIDIA ConnectX
↓
Capa de Hoja
Conmutadores NDR NVIDIA Quantum-2 QM9790
↓
Capa de Espina
Conmutadores NDR NVIDIA Quantum-2 QM9790
↓
Otros Bastidores de GPU / Nodos de Computación HPC
Administrador de Subred Externo / Gestión de Tejido NVIDIA UFM

En esta arquitectura, los nodos de computación utilizan adaptadores de red con capacidad RDMA para acceder al tejido InfiniBand. La capa de hoja proporciona conectividad orientada al servidor, mientras que la capa de espina admite la comunicación entre diferentes segmentos de red. Un diseño no bloqueante requiere un ancho de banda de enlace ascendente adecuado en relación con los enlaces descendentes conectados.

Las grandes implementaciones de IA también pueden distribuir la comunicación a través de múltiples raíles de red independientes para mejorar el aislamiento de fallos y la utilización del ancho de banda. La alineación de raíles, la colocación de adaptadores, la afinidad NUMA y la topología de GPU deben considerarse conjuntamente para evitar que las limitaciones del lado del host reduzcan los beneficios de la conmutación de alta velocidad.

03. Rol y Características Clave del NVIDIA Mellanox 920-9B210-00FN-0D0

El conmutador InfiniBand 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR pertenece a la familia NVIDIA Quantum-2 QM9790. Es un sistema de conmutación InfiniBand no administrado diseñado para tejidos administrados externamente, que admite conectividad densa y comunicación de alta velocidad entre nodos de computación acelerada.

Las siguientes especificaciones del 920-9B210-00FN-0D0 resumen las características del producto relevantes para la arquitectura de red y la selección de hardware.

Optimización de Comunicación Basada en RDMA

El Acceso Directo Remoto a Memoria permite a los sistemas participantes transferir datos entre regiones de memoria registradas mientras se reduce la sobrecarga de procesamiento de la CPU. En entornos de IA y HPC, esta capacidad admite una comunicación inter-nodal eficiente y puede reducir los costos de transferencia de datos relacionados con el software.

Con adaptadores NVIDIA ConnectX compatibles y una pila de software configurada adecuadamente, las aplicaciones pueden utilizar el transporte RDMA a través de marcos como UCX, MPI y NCCL. GPU Direct RDMA puede optimizar aún más el movimiento de datos donde la plataforma de hardware, los controladores y la configuración de la aplicación lo admiten.

Enrutamiento Adaptativo y Gestión de la Congestión

NVIDIA Quantum-2 admite mecanismos de enrutamiento adaptativo que pueden distribuir el tráfico a través de rutas de red disponibles. Combinado con el control de congestión InfiniBand, las capacidades de calidad de servicio y la gestión de carriles virtuales, estas tecnologías ayudan a abordar los puntos de congestión del tráfico y mejorar la estabilidad de la comunicación.

Los beneficios reales dependen de la topología del tejido, las políticas de enrutamiento, las capacidades del firmware y la configuración de la gestión de subred. Los arquitectos de red deben validar estas configuraciones bajo tráfico de aplicación representativo en lugar de depender exclusivamente de la capacidad de conmutación teórica.

Computación en Red NVIDIA SHARP

El Protocolo de Agregación y Reducción Jerárquica Escalable (SHARP) de NVIDIA permite que las operaciones colectivas admitidas se procesen dentro del tejido de red. Al reducir el volumen de datos intercambiados durante las operaciones de reducción admitidas, SHARP puede mejorar la eficiencia de la comunicación para cargas de trabajo de IA y HPC seleccionadas. El despliegue requiere firmware compatible, componentes de gestión y soporte de software de aplicación.

04. Estrategia de Despliegue y Expansión de Red

El despliegue de la solución OPN de conmutador InfiniBand 920-9B210-00FN-0D0 debe seguir un proceso de implementación estructurado que cubra la compatibilidad del hardware, la planificación del tejido, la validación de la red y los requisitos de capacidad futura. Un enfoque por fases reduce los riesgos de configuración y facilita la identificación de problemas de rendimiento.

Fase 1: Infraestructura de Hardware y Física

• Confirmar el SKU del conmutador, OPN heredado, dimensiones del bastidor, requisitos de fuente de alimentación y dirección del flujo de aire P2C.
• Seleccionar adaptadores ConnectX compatibles, módulos ópticos OSFP, cables DAC o cables ópticos activos según la velocidad y la distancia del enlace.
• Planificar el enrutamiento de cables, la refrigeración del bastidor, la redundancia de energía y la asignación de puertos físicos.
• Verificar las versiones de firmware compatibles y la interoperabilidad del hardware antes del despliegue en producción.

Fase 2: Configuración y Validación del Tejido

Dado que el QM9790 es un conmutador no administrado, se requiere un Administrador de Subred InfiniBand externo para la inicialización del tejido y la configuración de rutas. NVIDIA UFM puede proporcionar capacidades adicionales de gestión de tejido, monitoreo y operación cuando se despliega con componentes compatibles.

Los administradores de red deben verificar los estados de enlace de los puertos, las velocidades negociadas, el descubrimiento de subred, la configuración de enrutamiento y la conectividad RDMA de extremo a extremo. Cuando sea relevante, configurar el particionamiento, los niveles de servicio, los carriles virtuales, los controles de congestión y el enrutamiento adaptativo de acuerdo con los requisitos de la aplicación.

Fase 3: Planificación de Capacidad y Escalado

La expansión del clúster debe considerar la radio del conmutador, la capacidad de enlace ascendente disponible, la distribución del tráfico y el número de niveles de red. Aunque el QM9790 proporciona 64 puertos NDR lógicos, la disposición de la interfaz física y las configuraciones de ruptura de cables admitidas deben reflejarse con precisión en el plan de asignación de puertos.

Para implementaciones más grandes, se pueden introducir conmutadores de hoja y espina adicionales para alojar nuevos bastidores de servidores. Los planes de expansión deben tener en cuenta la redundancia, la separación de raíles de red, las distancias de cableado y el mantenimiento del ancho de banda requerido entre los grupos de computación.

05. Operaciones, Monitoreo y Solución de Problemas

Las operaciones fiables de InfiniBand requieren visibilidad continua del estado del enlace, la salud del tejido, el comportamiento de la congestión y el rendimiento de la carga de trabajo. NVIDIA UFM y las herramientas de diagnóstico InfiniBand compatibles se pueden utilizar para monitorear las condiciones de la red e identificar patrones de comunicación anormales.

El monitoreo operacional recomendado incluye:

• Salud del Enlace: Monitorear velocidades negociadas, errores físicos, fluctuaciones de enlace y eventos de puerto caído.
• Utilización del Ancho de Banda: Rastrear el tráfico transmitido y recibido para identificar enlaces sobre suscritos.
• Indicadores de Congestión: Inspeccionar contadores de espera de transmisión, actividad de control de flujo y puntos de congestión de tráfico.
• Gestión del Tejido: Verificar la disponibilidad del Administrador de Subred, la consistencia del enrutamiento, los cambios de topología y los dispositivos descubiertos.
• Rendimiento de la Aplicación: Correlacionar mediciones de red con métricas de NCCL, MPI y cargas de trabajo de producción.

Para pruebas de rendimiento a nivel de red, los ingenieros pueden usar utilidades InfiniBand como ibstat, ibdiagnet, perfquery, y herramientas de rendimiento RDMA como ib_write_bw y ib_send_lat. Las pruebas NVIDIA NCCL y los benchmarks MPI pueden proporcionar información adicional sobre el rendimiento de la comunicación a nivel de aplicación.

Al solucionar la degradación del rendimiento, verifique primero la conectividad física, seguida de la velocidad del puerto, los contadores de errores, el enrutamiento del tejido y los indicadores de congestión. Si las métricas de red permanecen saludables, investigue el ancho de banda PCIe del lado del host, la colocación NUMA, la afinidad de GPU, las versiones del controlador y la configuración de comunicación de la aplicación.

La aceptación del rendimiento debe incluir el ancho de banda efectivo, la latencia de comunicación, el rendimiento de las operaciones colectivas y el tiempo de finalización de la carga de trabajo. Las mediciones de latencia P50, P95 y P99 pueden ayudar a revelar la variabilidad del rendimiento bajo tráfico sostenido o con ráfagas intensas. Los umbrales de aceptación deben definirse utilizando objetivos de servicio específicos del proyecto y datos de referencia medidos.

06. Valor de la Solución y Evaluación del Rendimiento

El conmutador InfiniBand 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR proporciona la capacidad de red y la arquitectura requeridas para entornos de computación distribuida exigentes. Su valor principal radica en permitir la comunicación de alta velocidad, el diseño de tejido escalable y la integración eficiente con sistemas de computación con capacidad RDMA.

Desde una perspectiva de infraestructura, la conectividad NDR de 400 Gb/s y la alta densidad de puertos pueden reducir las limitaciones de red a medida que aumentan los tamaños de los clústeres de GPU. Las capacidades avanzadas de InfiniBand admiten una distribución de tráfico más eficiente, mientras que la gestión externa del tejido mejora la visibilidad operativa y la solución de problemas.

Una evaluación completa del valor debe comparar los costos de despliegue con las mejoras medibles en el rendimiento de la aplicación, la utilización de la GPU, la estabilidad de la red y la eficiencia operativa. Los equipos que evalúan el precio del 920-9B210-00FN-0D0 también deben tener en cuenta los adaptadores, ópticas, cables, software de gestión, energía y requisitos de soporte compatibles.

Principio de Evaluación Técnica: El éxito de una actualización de red InfiniBand debe determinarse mediante benchmarking reproducible y validación de cargas de trabajo de producción. El ancho de banda de conmutación por sí solo no garantiza una reducción fija en el tiempo de entrenamiento o la latencia de la aplicación.

07. Conclusión y Desarrollo Futuro

El conmutador InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 es una solución de red de alta densidad diseñada para entrenamiento de IA, aplicaciones HPC y entornos de centros de datos acelerados. Con la tecnología NVIDIA Quantum-2, 64 puertos NDR y hasta 51,2 Tb/s de rendimiento bidireccional agregado, ofrece una base para construir tejidos de computación escalables y de baja latencia.

El despliegue exitoso requiere más que la instalación de hardware. Una solución bien diseñada debe coordinar la topología de red, los adaptadores con capacidad RDMA, las interconexiones ópticas, la configuración del Administrador de Subred, la optimización de la carga de trabajo y el monitoreo operacional.

A medida que los clústeres de GPU se expanden y las cargas de trabajo distribuidas se vuelven cada vez más intensivas en comunicación, los tejidos InfiniBand de alto rendimiento seguirán siendo un componente importante de la infraestructura de computación acelerada moderna. El QM9790 proporciona una opción práctica para las organizaciones que buscan conectividad NDR fiable y un camino claro hacia arquitecturas de red multirack más grandes.

Referencia Técnica: Manual del Usuario de Sistemas de Conmutadores InfiniBand NDR de 400 Gbps 1U NVIDIA QM97XX. Las especificaciones de despliegue finales, las características admitidas, la compatibilidad del firmware y las configuraciones físicas deben verificarse con la documentación del SKU de producto exacto.

Soluciones de Red InfiniBand NVIDIA Mellanox

Beijing Zhongke Xinyuan Technology Co., Ltd. proporciona hardware de red NVIDIA Mellanox y soporte de soluciones para centros de datos de IA, clústeres de GPU, sistemas HPC e infraestructura empresarial. Nuestra cartera de productos incluye conmutadores InfiniBand NVIDIA Quantum, adaptadores de red ConnectX, transceptores ópticos y cables DAC/AOC de alta velocidad.

Para los clientes que buscan componentes de red compatibles con el 920-9B210-00FN-0D0, soporte para la selección de productos, información de disponibilidad o cotizaciones de proyectos, nuestro equipo puede ayudar con la identificación de modelos, la coincidencia de configuraciones y la planificación de adquisiciones.