Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 Solución técnica del conmutador de banda ancha

Este libro técnico proporciona a los arquitectos, ingenieros de preventa y equipos de operaciones un diseño de referencia integral centrado en elMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 (incluido el juego)La solución aborda los desafíos más apremiantes en los entornos modernos de IA y HPC: latencia inducida por la red, congestión,y limitaciones de escalabilidad de las telas Ethernet tradicionales.

1Antecedentes del proyecto y análisis de los requisitos

Las organizaciones que implementan grupos de GPU a gran escala para el entrenamiento de modelos de lenguaje grandes, simulaciones de dinámica molecular o pronósticos meteorológicos se enfrentan a un cuello de botella común: el tejido de interconexión.El Ethernet con pérdidas convencionales no puede garantizar la determinación, la latencia de submicrosegundos requerida para operaciones colectivas eficientes de todo-reducción y todo-a-todos.

• La latencia de extremo a extremo inferior a 1μs para cargas de trabajo MPI sensibles a la latencia
• Sin pérdidas, con velocidad de línea de 400Gb/s por puerto sin bloqueo de cabeza de línea
• Computación en red para descargar operaciones colectivas de las CPU de host
• Escalabilidad perfecta de 8 a más de 2.000 nodos de GPU sin necesidad de rearquitectura de tejido

Estas demandas llevaron a nuestro equipo de diseño a seleccionar elLos requisitos de seguridad de los sistemas de seguridad de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas decomo el bloque de construcción fundamental para la próxima generación de tejido de baja latencia.

2Diseño general de la arquitectura de red/sistema

La arquitectura propuesta adopta una topología de dos niveles de hoja espinal optimizada para un ancho de banda no bloqueante y de bisección completa.Los servidores de administración se conectan a los interruptores de hoja.Este diseño elimina la sobre suscripción y asegura una latencia predecible independientemente de los patrones de comunicación.

Para un grupo de referencia 512-GPU, desplegamos 16 interruptores de hoja y 8 interruptores de columna vertebral, cada uno siendo elNVIDIA Mellanox 920-9B210-00FN-0D0 también está disponible en vivo.Los enlaces hoja-espina operan a una NDR de 400 Gb/s, lo que resulta en un ancho de banda de tejido agregado superior a 200 Tb/s.Los algoritmos de enrutamiento adaptativo (AR) y control de congestión están habilitados en todos los puertos para equilibrar dinámicamente el tráfico y evitar puntos críticos durante eventos incast.

3. Función del 920-9B210-00FN-0D0 y de los diferenciadores clave

El920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDREl interruptor sirve tanto como hoja como como columna vertebral, proporcionando un rendimiento constante en todo el tejido.

Los ingenieros que evalúan las adquisiciones encontrarán920-9B210-00FN-0D0 InfiniBand conmutador OPNEl número de pedido simplifica la cotización y la entrega.Si el vehículo no está equipado con un dispositivo de seguridad, el vehículo deberá ser equipado con un dispositivo de seguridad.yLas especificaciones 920-9B210-00FN-0D0proporcionar matrices detalladas de compatibilidad con las DPU ConnectX-7, BlueField-3 y los dispositivos de almacenamiento de terceros.

4Recomendaciones para el despliegue y la ampliación

Recomendamos un enfoque de despliegue por etapas para minimizar la interrupción de la producción:

• Fase 1 (piloto):Entre 8 y 16 nodos de GPU + 2Los requisitos de seguridad de los sistemas de seguridad de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas de seguridad de los sistemas deValida el rendimiento de RDMA y recopila métricas de referencia.
• Fase 2 (producción parcial):Escala a 128 GPUs usando 4 hojas + 2 espinas.
• Fase 3 (producción completa):Implementar 16 hojas + 8 espinas para 512+ GPU. Introducir enrutamiento de múltiples rutas y partición de tejido utilizando NVIDIA UFM.

Para el cableado, utilice cables ópticos activos (AOC) o cables de cobre activos para trayectos de menos de 5 metros; para columnas más largas o enlaces transversales, despliegue transceptores NDR de 400Gb/s con fibra de modo único.Todos los puertos en el920-9B210-00FN-0D0 compatibles con el sistema operativoel ecosistema admite la negociación automática entre los modos de operación de 400 Gbps y 200 Gbps.

5. Operaciones, seguimiento y solución de problemas

La preparación para la producción requiere una observabilidad sólida.920-9B210-00FN-0D0 Solución OPN de conmutador de banda anchaLas principales capacidades operativas incluyen:

• Telemetría en tiempo real:Contadores de puerto, histogramas de latencia, ocupación del búfer y notificaciones de congestión exportadas a través de Prometheus/Graphite.
• Transmisión automática por error:Redireccionamiento del enlace subsegundo en caso de fallo del cable o del transceptor.
• Diagnóstico del rendimiento:Contadores de rendimiento SHARP incorporados y herramientas de análisis de tela para identificar nodos de drenaje lento.

Para las cuestiones comunes, consulte elSi el vehículo no está equipado con un dispositivo de seguridad, el vehículo deberá ser equipado con un dispositivo de seguridad.Cuando se planifique una ampliación de la capacidad, consulte el920-9B210-00FN-0D0 precioModelos de compensación entre la expansión de las hojas y la de toda la columna vertebral.

6Resumen y evaluación del valor

ElNVIDIA Mellanox 920-9B210-00FN-0D0 también está disponible en vivo.-solución basada en la entrega determinista sub-microsegundo latencia, pérdida sin 400Gb/s de rendimiento, y en la red de la aceleración de computación para RDMA / HPC / AI clústeres.En comparación con los diseños alternativos de Ethernet de 400 Gb, este tejido InfiniBand logra 2.5 veces más baja latencia total reducción y elimina hasta el 90% del tráfico colectivo a través de SHARPv3.920-9B210-00FN-0D0 para la ventaEn el caso de las opciones, el coste total de propiedad generalmente se recupera en un plazo de 6 a 12 meses gracias a una mayor utilización de la GPU y a tiempos reducidos de finalización de los trabajos.Recomendamos el despliegue piloto inmediato para cualquier infraestructura de IA nueva o en expansión.