NVIDIA Mellanox MQM9790-NS2F Referencia técnica: Optimización de interconexión de baja latencia para racimos RDMA / HPC / AI

NVIDIA Mellanox MQM9790-NS2F Referencia técnica: Optimización de interconexión de baja latencia para racimos RDMA / HPC / AI

1Antecedentes del proyecto y análisis de los requisitos

Las cargas de trabajo modernas de capacitación de IA y simulación de HPC se caracterizan por patrones de comunicación intensos y integrales que imponen demandas extremas al tejido de red subyacente.A medida que los clústeres de GPU se escalan más allá de 1En la actualidad, la tecnología de conexión de Ethernet se ha convertido en una herramienta de control de la congestión basada en software.

• Determinismo de latencia muy baja:Tener una latencia de puerto a puerto de menos de un microsegundo para minimizar los tiempos de finalización del trabajo de MPI.
• Fabricación en la que no se utilicen las siguientes materias:Los paquetes cero caen bajo congestión para evitar el colapso de TCP y el rendimiento.
• Descarga de computación en red:Reducción de los gastos generales de la CPU de host para las operaciones colectivas (por ejemplo, reducción total, transmisión).
• Topología escalable:Soporte para topologías de árbol de grasa y libélula + con ancho de banda de bisección completo hasta miles de puntos finales.

ElNVIDIA Mellanox MQM9790-NS2F, también conocido como NVIDIA Mellanoxestá diseñado para satisfacer estas demandas como un conmutador NDR InfiniBand de 400Gb/s con 64 puertos OSFP, ofreciendo la densidad y el rendimiento requeridos para despliegues de clase exascale.

2Diseño general de la arquitectura de red

La solución propuesta emplea una topología de dos niveles de hoja-espina dorsal, que proporciona un equilibrio de escalabilidad, control de sobrescripción y simplicidad de cableado.Cada computador tiene uno o dos.MQM9790-NS2F Conmutador de banda anchaEn la capa de columna vertebral, un segundo nivel de switches MQM9790-NS2F interconecta todas las hojas, creando un tejido no bloqueante.

Para implementaciones a gran escala que excedan los 2.000 nodos de GPU, se puede adoptar una arquitectura de tres niveles de cierre plegado, con elMQM9790-NS2F 400Gb/s NDR OSFP de 64 puertosEste diseño garantiza que cualquier servidor pueda comunicarse con cualquier otro servidor a velocidad de línea,con un máximo de tres saltos de interrupción.

La siguiente tabla resume los parámetros típicos de escalado para un tejido de espina dorsal de hojas de dos niveles construido alrededor del MQM9790-NS2F:

3. Papel y características clave del NVIDIA Mellanox MQM9790-NS2F

Dentro de esta arquitectura, elNVIDIA Mellanox MQM9790-NS2F, también conocido como NVIDIA Mellanoxsirve como el bloque de construcción fundamental, proporcionando varias capacidades críticas:

• NDR de 400 Gb/s por puerto:Cada uno de los 64 puertos OSFP admite 400Gb/s bidireccionales, con corrección de error hacia adelante (FEC) para una conectividad confiable de largo alcance.
• SHARPv3 integrado (Protocolo de agregación y reducción jerárquica escalable):Descarga las operaciones de comunicación colectiva de las CPU anfitrionas, reduciendo la latencia de reducción total de MPI hasta en un 40% en trabajos a gran escala.
• Enrutamiento adaptativo y control de congestión:Reorientación dinámica del tráfico para evitar los puntos críticos, garantizando un rendimiento predecible incluso en patrones de tráfico adversos.
• Telemetría avanzada:Los contadores por flujo y por puerto, junto con el monitoreo de la ocupación del búfer, proporcionan una visibilidad profunda de la salud del tejido.

De acuerdo con elSe aplicará el método de evaluación de la calidad de los productos., el interruptor ofrece latencia de corte sub-100ns y admite hasta 51.2 Tb/s de capacidad de conmutación agregada.Estas especificaciones lo convierten en una opción ideal tanto para las implementaciones en campo verde como para las actualizaciones graduadas de la infraestructura HDR (200Gb/s).

4Recomendaciones de implementación y escalabilidad

Para las organizaciones que planean adoptar elMQM9790-NS2F Solución de conmutador de banda ancha, se recomiendan las siguientes directrices de implantación:

• Estrategia de cableado:Utilice cables de cobre de conexión directa (DAC) OSFP-OSFP para conexiones intra-rack (hasta 3 m) y cables ópticos activos (AOC) o transceptores ópticos para enlaces inter-rack y de columna vertebral (hasta 100 m).
• Redundancia:Despliegue dos fuentes de alimentación y módulos de ventiladores intercambiables en caliente.
• Consistencia del firmware:Asegúrese de que todos los switches ejecuten la misma versión de firmware de NVIDIA para evitar desajustes de características.
• Escalabilidad:Para los grupos más allá de 4.000 nodos, considere una topología de tres niveles de cierre plegado o libélula + con enrutamiento adaptativo habilitado.MQM9790-NS2F compatibles con el nuevo sistemaEl ecosistema incluye una amplia gama de ópticas y cables para soportar estas topologías.

Al calcular el coste total de propiedad, se tiene en cuenta el número reducido de niveles de interruptores y el cableado simplificado en comparación con las alternativas de radix más bajo.Precio MQM9790-NS2Fel coste por unidad es superior al de los switches de la generación anterior, el coste por puerto y el coste por GPU de red son significativamente más bajos en las implementaciones a gran escala,lo que lo convierte en una opción rentable para los proyectos Exascale.

5. Operaciones, seguimiento y solución de problemas

La gestión efectiva de un tejido NDR requiere un marco integral de monitoreo y solución de problemas.NVIDIA Mellanox MQM9790-NS2F, también conocido como NVIDIA Mellanox- con base de tejidos, ofreciendo:

• Visualización de la topología:Descubrimiento automático y representación gráfica de todos los interruptores, enlaces y puntos finales.
• Tableros de rendimiento:Vistas en tiempo real de la utilización del puerto, las tasas de error e indicadores de congestión.
• Alerta proactiva:Alarmas basadas en umbrales para la degradación del enlace, anomalías de temperatura y fallos de suministro de energía.
• Aislamiento de fallas:Flujos de trabajo de solución de problemas guiados que identifican cables defectuosos, transceptores o puertos de interruptor.

Para solucionar problemas avanzados, elLas especificaciones MQM9790-NS2Fincluir estadísticas detalladas de seguimiento del búfer y del nivel de flujo que puedan exportarse a través de la API REST para su integración con pilas de seguimiento personalizadas.Los ingenieros de red también deben aprovechar las herramientas de diagnóstico integradas del interruptor, como las pruebas de loopback y el análisis BER (bit error rate), para validar la integridad del enlace antes de implementar cargas de trabajo de producción.

Los problemas comunes que se encuentran durante las implementaciones tempranas incluyen enrutamiento subóptimo causado por velocidades de enlace desiguales o tipos de cable no coincidentes.Habilitar el enrutamiento adaptativo y verificar que todos los enlaces estén operando a 400Gb / s (con FEC habilitado) resuelve la mayoría de las anomalías de rendimientoEl.MQM9790-NS2F Solución de conmutador de banda anchaTambién incluye soporte para la redundancia del administrador de subred, lo que garantiza que la reconfiguración del tejido pueda ocurrir sin intervención manual en caso de fallo de un nodo de gestión.

6Resumen y evaluación del valor

ElMQM9790-NS2F: el contenido de agua en el aguarepresenta un avance significativo en las redes de alto rendimiento, ofreciendo ancho de banda NDR de 400 Gb/s, densidad de 64 puertos y aceleración de cómputo en la red en una única plataforma 1U manejable.Para arquitectos e ingenieros que diseñan clústeres de IA y HPC, este interruptor proporciona una vía comprobada para el rendimiento en exaescala, lo que permite:

• Reducción de hasta el 30%en los tiempos de finalización de los trabajos para cargas de trabajo de formación a gran escala mediante descarga SHARPv3.
• TCO más bajoEn comparación con las soluciones alternativas, impulsadas por un radix mayor y un número reducido de capas de intercambio.
• Operaciones simplificadasmediante la integración UFM y la telemetría integral para la gestión proactiva de fallos.
• Escalabilidad a prueba de futuropara soportar las interconexiones de GPU y aceleradores de próxima generación.

Para las organizaciones que evalúan elMQM9790-NS2F para la ventaA través de la red de socios de NVIDIA, recomendamos revisar el detalladoSe aplicará el método de evaluación de la calidad de los productos.El objetivo de la implementación de soluciones de escala es adaptar la implementación a sus necesidades específicas de carga de trabajo y escala.NVIDIA Mellanox MQM9790-NS2F, también conocido como NVIDIA Mellanoxestá listo ahora para servir como la columna vertebral de interconexión de alto rendimiento para la próxima década de descubrimiento científico e innovación de IA.