NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Referencia técnica para el cambio

Este informe técnico está destinado a arquitectos de redes, ingenieros de preventa y líderes de operaciones. Centrado en elNVIDIA Mellanox MQM8790-HS2FEl conmutador InfiniBand proporciona una referencia detallada para diseñar, implementar y operar estructuras de alto rendimiento que sirven para entrenamiento de IA a gran escala y simulaciones de HPC, con un enfoque en la aceleración RDMA y la comunicación determinista de baja latencia.

Las cargas de trabajo modernas de IA y HPC están impulsando los clústeres de GPU hacia decenas de miles de nodos. Las estructuras Ethernet tradicionales, incluso con RoCE, presentan inconsistencias en el rendimiento bajo patrones incast y sufren una mayor sobrecarga de CPU. Los requisitos clave para las interconexiones de clústeres de próxima generación incluyen:

• Latencia punto a punto inferior al microsegundo para operaciones colectivas sincronizadas
• Transporte sin pérdidas y sin congestiones para evitar que los rezagados se rezaguen
• Descarga completa del procesamiento de comunicaciones desde los núcleos de CPU/GPU
• Topologías escalables fat-tree o dragonfly+ con ancho de banda sin bloqueo
• Ruta de migración rentable desde la óptica 100G/200G existente

Para abordar estas demandas, elConmutador InfiniBand MQM8790-HS2FOfrece HDR de 200 Gb/s por puerto, 40 puertos QSFP56 por unidad y soporte nativo para RDMA y computación en red. Esta solución está diseñada específicamente para entornos donde la eficiencia de la interconexión se traduce directamente en tiempo de finalización del trabajo y TCO.

La topología física recomendada para clústeres de AI/HPC que utilizanNVIDIA Mellanox MQM8790-HS2FEs un árbol gordo de dos o tres niveles (también conocido como espina de hoja). Cada conmutador de hoja se conecta a servidores GPU a través de enlaces HDR o HDR100, mientras que los conmutadores de columna proporcionan conectividad de malla completa entre las hojas. Una configuración típica de 800 GPU emplea:

• Interruptores de 20 hojas: cada unoMQM8790-HS2F 200 Gb/s HDR 40 puertos QSFP56Sirviendo hasta 20 servidores (conexiones de doble carril).
• 4 conmutadores centrales: totalmente interconectados con hojas mediante enlaces ascendentes de 200 Gb/s
• Relación sin bloqueo de 1:1 en cada nivel

Para clústeres más grandes (más de 2000 GPU), una arquitectura de tres niveles agrega una capa súper columna vertebral. Toda la administración de la estructura es manejada por el Administrador de subred (SM), ya sea ejecutándose en un controlador dedicado o integrado en el firmware del conmutador para estructuras más pequeñas.

Dentro de esta arquitectura, elMQM8790-HS2FSirve como elemento tanto de hoja como de columna. Sus principales diferenciadores incluyen:

• 200 Gb/s HDR por puerto:Rendimiento bidireccional completo con capacidad de conmutación agregada sin bloqueo de 16 Tb/s
• Enrutamiento adaptativo (AR):Distribuye dinámicamente el tráfico a través de múltiples rutas para evitar puntos de acceso, críticos para la eficiencia del árbol gordo
• SHARPv2 (Protocolo de reducción y agregación jerárquica escalable):Descarga operaciones colectivas (All-Reduce, Reduce-Scatter) directamente en la red del switch, lo que reduce el tiempo de inactividad de la GPU.
• Control de congestión:El control de flujo de grano fino con mecanismos FECN/BECN garantiza un tejido sin pérdidas
• Alta densidad de puertos:40 puertos QSFP56 por chasis de 1U, lo que simplifica el diseño del rack y reduce la complejidad del cableado entre racks

Los ingenieros pueden consultar elHoja de datos de MQM8790-HS2FyEspecificaciones de MQM8790-HS2Fpara obtener cifras detalladas de potencia, térmica y latencia. La plataforma también esCompatible con MQM8790-HS2Fcon una amplia gama de ópticas HDR, HDR100 e incluso EDR, lo que permite actualizaciones graduales.

Para un clúster de IA equilibrado de 1000 GPU, se recomienda la siguiente secuencia de implementación:

• Paso 1 – Capa de hojas:Instalar 25xMQM8790-HS2Funidades como interruptores de hoja. Conecte cada servidor GPU (8 GPU por servidor) a través de dos puertos HDR a dos hojas diferentes para obtener redundancia y ancho de banda.
• Paso 2 – Capa de lomo:Implementar 8xNVIDIA Mellanox MQM8790-HS2Fcomo cambios de columna. Conecte cada hoja a cada columna mediante enlaces de 200 Gb/s (40 enlaces ascendentes por hoja, pero normalmente un subconjunto suficiente para mantener una relación de bloqueo ≤1:1).
• Paso 3: colocación del administrador de subred:Ejecute instancias de SM redundantes en dos servidores livianos o use el SM integrado para clústeres con menos de 2000 puertos.
• Paso 4 – Partición:Utilice particiones InfiniBand para aislar los flujos de tráfico de producción, desarrollo y almacenamiento en el mismo tejido físico.

Para ampliar a más de 2500 GPU, agregue una capa súper columna vertebral utilizando unidades MQM8790-HS2F adicionales y aumente la densidad del enlace ascendente de hoja a columna vertebral. ElSolución de conmutador InfiniBand MQM8790-HS2Fescala linealmente sin rediseñar el núcleo.

Funcionamiento diario de un tejido construido sobreMQM8790-HS2FLos conmutadores se gestionan a través de Fabric Manager de NVIDIA y MLNX‑OS. Las prácticas clave incluyen:

• Escucha:Utilice `ibdiagnet` para validación de topología, `perfquery` para contadores de puertos y paneles de Grafana con exportadores de Prometheus para telemetría en tiempo real (utilización de enlaces, errores de símbolos, marcadores de congestión).
• Firmware y software:Mantenga un firmware consistente en todos los conmutadores. Consulte las últimas notas de la versión en elHoja de datos de MQM8790-HS2Fpara compatibilidad de versiones.
• Solución de problemas:Los problemas comunes (cambios de enlaces, MTU no coincidentes o configuración incorrecta de la partición) se aíslan rápidamente utilizando `ibstatus`, `smpquery` y switch syslog. Los registros de enrutamiento adaptables pueden identificar fuentes de congestión.
• Mejoramiento:Ajuste los umbrales de enrutamiento adaptable y los parámetros de control de congestión según el perfil de carga de trabajo. Para el entrenamiento de IA a gran escala, habilite SHARP en las bibliotecas MPI aplicables (por ejemplo, NCCL con el complemento SHARP).

Cuando planifique un presupuesto o una ampliación, solicitePrecio de MQM8790-HS2Fcotizaciones de socios autorizados y verificarMQM8790-HS2F a la ventadisponibilidad. La compatibilidad de la plataforma con el cableado QSFP56 existente reduce el riesgo de adquisición.

ElMQM8790-HS2Fno es solo un interruptor: es un componente fundamental para estructuras de inteligencia artificial y HPC deterministas y de baja latencia. Su combinación de HDR de 200 Gb/s, densidad de 40 puertos, enrutamiento adaptable y computación en red SHARP aborda directamente los puntos débiles clave de las interconexiones de clústeres modernas. En comparación con soluciones Ethernet alternativas de 200G, el ecosistema InfiniBand ofrece:

• Menor sobrecarga de CPU (RDMA verdadero con descarga de transporte de hardware)
• Latencia determinista a escala de microsegundos bajo carga real
• Gestión de tejido simplificada con administrador de subred centralizado
• Escalabilidad comprobada a decenas de miles de puntos finales

Para las organizaciones que crean o amplían clústeres de GPU, adoptar laNVIDIA Mellanox MQM8790-HS2Fsignifica lograr FLOPS efectivos más altos por dólar, reducir el tiempo de finalización del trabajo y preparar la interconexión para el futuro para actualizaciones HDR200 (400 Gb/s) de próxima generación. Diseños de referencia detallados, incluidos completos.Especificaciones de MQM8790-HS2Fy matrices de cableado, están disponibles a través del portal de socios de NVIDIA.