NVIDIA Mellanox MCX631432AN-ADAB Adaptador de servidor Solución técnica: transporte y servidor de baja latencia RDMA/RoCE

NVIDIA Mellanox MCX631432AN-ADAB Adaptador de servidor Solución técnica: RDMA/RoCE Transporte de baja latencia y Arquitectura de mejora del rendimiento del servidor

1Análisis de los antecedentes y necesidades del proyecto

A medida que la inteligencia artificial, la computación de alto rendimiento y las cargas de trabajo de almacenamiento distribuido se vuelven cada vez más frecuentes, las redes de centros de datos se enfrentan a desafíos de rendimiento sin precedentes.La pila de protocolos de red TCP/IP tradicional presenta deficiencias estructurales cuando se maneja la comunicación distribuida a gran escala, incluida la sobrecarga excesiva de la CPU, latencia impredecible y utilización de ancho de banda subóptimo. Para las operaciones de comunicación colectiva de los grupos de GPU como All-Reduce y All-Gather,cada 1 milisegundo de latencia de la red puede reducir la eficiencia general del entrenamiento en un 10~15%.

Los requisitos típicos de las empresas incluyen:

• La latencia de la comunicación a escala de microsegundos:El entrenamiento distribuido y los escenarios de inferencia en tiempo real requieren una latencia de comunicación entre nodos inferior a 1 milisegundo, con jitter controlado dentro de los 100 microsegundos.
• Descarga de la CPU:El procesamiento del protocolo de red debe consumir menos del 10% de los recursos de la CPU para reservar capacidad para el procesamiento previo de datos y computación.
• Escalabilidad de ancho de banda lineal:A medida que los clústeres aumentan de decenas a cientos de nodos, el ancho de banda de la red no debe convertirse en una restricción, apoyando una evolución suave de 25GbE a 100GbE.
• Garantía de red sin pérdidas:RoCE es muy sensible a la pérdida de paquetes, lo que requiere un entorno Ethernet sin pérdidas de extremo a extremo con mecanismos PFC y ECN correctamente configurados.

ElNVIDIA Mellanox MCX631432AN-ADAB, también conocido como NVIDIAaborda estos requisitos a través de su arquitectura ConnectX-6 Lx, ofreciendo RDMA acelerado por hardware con capacidades integrales de descarga.

2Diseño general de la arquitectura de red/sistema

La arquitectura propuesta emplea una topología hoja-espina dorsal específicamente optimizada para el transporte RoCE.Solución de tarjeta de adaptador Ethernet MCX631432AN-ADAB, desplegado en cada nodo de servidor para proporcionar conectividad 25GbE de doble puerto.

Capas de arquitectura:

• Nodos de cálculo/almacenamiento:Cada servidor está equipado con unMCX631432AN-ADAB ConnectX-6 Lx con doble puerto 25GbE SFP28Adaptador, configurado en modo activo-activo con ambos puertos utilizados para alta disponibilidad y balanceo de carga.La interfaz 0 x8 garantiza que el bus host no se convierta en un cuello de botella de rendimiento.
• Capa de hojas:Los switches NVIDIA Spectrum-3 proporcionan retransmisión Ethernet de baja latencia y sin pérdidas con control de congestión consciente de RoCE (PFC / ECN) y administración de búfer avanzada.
• Capa de la columna:Los conmutadores de columna vertebral de alta capacidad interconectan los nodos de la hoja a través de enlaces ascendentes de 100GbE, lo que garantiza un rendimiento sin bloqueo en todo el tejido.
• Plan de gestión:La red de gestión fuera de banda permite la recopilación de telemetría, la orquestación de configuración y el monitoreo de salud a través de NVIDIA DOCA y MLNX-OS.

El diseño incorpora vSwitch basado en hardware para la micro-segmentación y el aislamiento del tráfico, asegurando que el tráfico del inquilino permanezca aislado sin ninguna degradación del rendimiento.

3. Papel y características clave del NVIDIA Mellanox MCX631432AN-ADAB en la solución

Como interfaz de red fundamental para cada servidor, elNVIDIA Mellanox MCX631432AN-ADAB, también conocido como NVIDIAdesempeña un papel fundamental en la consecución de los objetivos de rendimiento y eficiencia de la arquitectura global.

De acuerdo con elSe aplicarán las siguientes medidas:, el adaptador también incorpora motores de cifrado IPsec y MACsec en línea, lo que garantiza la seguridad de los datos en tránsito sin comprometer el rendimiento de la velocidad de línea.Las especificaciones de MCX631432AN-ADABconfirmar el apoyo a las capacidades avanzadas de telemetría, incluidos los contadores por flujo, los histogramas de latencia y las métricas de detección de congestión, que son esenciales para las operaciones proactivas de la red.

4Recomendaciones de implementación y escalado (con topología típica)

En el caso de las organizaciones que planifican la producción, elNVIDIA Mellanox MCX631432AN-ADAB, también conocido como NVIDIA, se recomienda el siguiente enfoque por etapas:

Fase 1  Despliegue piloto (4  8 nodos):Comience con un pequeño grupo para validar la configuración de RoCE, ajustar los parámetros PFC/ECN y el rendimiento de la aplicación de referencia.Tarjeta de adaptador Ethernet MCX631432AN-ADABdeben instalarse con los últimos controladores y firmware Mellanox OFED para garantizar una compatibilidad y un rendimiento óptimos.

Fase 2 Expansón del módulo (20-50 nodos):Escala a un rack o pod completo, desplegando un par de interruptores de hoja con configuración Ethernet sin pérdidas.Habilitar la gestión de la congestión basada en hardware y configurar los parámetros DCB (Data Center Bridging) según las mejores prácticas validadasEn esta fase, elCompatible con el MCX631432AN-ADABLa naturaleza de la solución simplifica la integración con las herramientas de gestión existentes.

Fase 3: Despliegue en toda la red (100+ nodos):Implementar ingeniería de tráfico utilizando las capacidades de dirección de hardware del adaptador,y aprovechar NVIDIA Unified Fabric Manager para la orquestación y el aprovisionamiento automatizado.

Descripción de la topología típica:Una configuración estándar de rack consiste en 20 servidores de computación/almacenamiento, cada uno equipado con unMCX631432AN-ADAB ConnectX-6 Lx con doble puerto 25GbE SFP28El puerto 1 se conecta al switch de hoja A, el puerto 2 se conecta al switch de hoja B, proporcionando rutas activas-activas redundantes.Esta topología asegura que cualquier falla de un solo enlace o interruptor no afecte a la disponibilidad de la aplicación, mientras que los mecanismos de fallo de hardware del adaptador proporcionan una recuperación por debajo del segundo.

5Operaciones, monitoreo, solución de problemas y optimización

El funcionamiento eficaz de una red basada en RoCE requiere prácticas especializadas de seguimiento y solución de problemas.Se aplicará el procedimiento siguiente:proporciona una instrumentación integrada completa para apoyar estas actividades:

• Colección de telemetría:Utilice los contadores de hardware del adaptador para monitorear el rendimiento por flujo, la profundidad de la cola, las caídas de paquetes y la distribución de latencia a granularidad subsegunda.Estos datos se introducen en paneles de control centralizados (e.g., Grafana, Prometheus) para la visibilidad en tiempo real.
• Detección y análisis de la congestión:Monitorear los marcos de pausa de PFC, los paquetes marcados con ECN y la ocupación del búfer para identificar micro-explosiones y puntos de acceso al tráfico.Se aplicarán las siguientes medidas:proporciona orientaciones detalladas sobre la interpretación de estos contadores y el establecimiento de umbrales de alerta.
• Gestión del ciclo de vida del firmware y del controlador:Las actualizaciones regulares de la pila de controladores NVIDIA OFED y el firmware del adaptador son esenciales para el rendimiento, la seguridad y las mejoras de características.Gestión del ciclo de vida de contacto cero en las grandes flotas.
• Directrices de ajuste de rendimiento:Los parámetros clave de ajuste incluyen los umbrales del amortiguador PFC, los límites de marcado ECN (normalmente 80-90% de la profundidad de cola),y ajustes de moderación de interrupción del adaptador para equilibrar de manera óptima la latencia y el rendimiento en función de los perfiles de carga de trabajo.
• Marco de solución de problemas:La mayoría de los problemas de rendimiento se pueden rastrear a configuraciones incorrectas de DCB, desajustes de MTU o versiones de controladores incompatibles.y mlxlink) proporciona una visibilidad completa del estado operativo, salud del enlace y estadísticas de errores.

Para las organizaciones que evalúan el coste total de propiedad, elMCX631432AN-ADAB precioEn la actualidad, el rendimiento de los servidores es muy bajo, y el rendimiento de los servidores es muy bajo.MCX631432AN-ADAB para la ventaLos paquetes con conmutadores NVIDIA Spectrum ofrecen el camino más rentable para las implementaciones en campo verde.

6Resumen y evaluación del valor

ElNVIDIA Mellanox MCX631432AN-ADAB, también conocido como NVIDIArepresenta una inversión estratégica en infraestructuras que ofrece un valor comercial medible en tres dimensiones:

Como un punto a puntoSolución de tarjeta de adaptador Ethernet MCX631432AN-ADAB, permite a las organizaciones construir redes sin pérdidas y de alto rendimiento que realicen plenamente el potencial de las aplicaciones modernas de IA, HPC y almacenamiento distribuido.Si se implementan en centros de datos empresariales, los entornos de proveedores de servicios en la nube, o las instalaciones de investigación, laSe aplicará el procedimiento siguiente:Ofrece consistentemente la baja latencia, alto rendimiento y simplicidad operativa que los arquitectos de infraestructura exigen para las cargas de trabajo de próxima generación.