Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Adaptador de servidor en acción

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Adaptador de servidor en acción.

En el escenario de despliegue híbrido de la empresa de Internet a gran escala,La latencia de la red y la sobrecarga de la CPU se habían convertido en barreras críticas para escalar la utilización de la GPU y el rendimiento del almacenamiento.. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureEste estudio de caso examina cómo elSe aplicará el procedimiento de ensayo.NVIDIA Mellanox abordó estos desafíos y transformó el tejido de red en un verdadero acelerador de cómputo.

Antecedentes y desafíos: Cuando los NIC 25G alcanzan sus límites

El entorno de producción consistió en más de 1.200 nodos de cómputo divididos en dos zonas de disponibilidad, ejecutando una mezcla de servicios de inferencia en línea, entrenamiento de IA fuera de línea y almacenamiento de objetos distribuidos.Los adaptadores Ethernet 25G existentes, aunque adecuado para la conectividad básica, tuvo problemas con cargas de trabajo concurrentes.

• Alta utilización de la CPU: El procesamiento de pilas TCP/IP basado en software consume hasta un 35% de los núcleos de CPU en los nodos de almacenamiento durante los picos de I/O.
• La latencia es inconsistente: La latencia de cola (p99) para las operaciones distribuidas de reducción total excedió con frecuencia los 50 μs, causando una infrautilización de la GPU durante la sincronización de parámetros.
• Cuello de botella del almacenamiento: El tráfico NVMe-oF sobre Ethernet con pérdidas sufrió caídas de paquetes, lo que desencadenó retransmisiones que degradaron el rendimiento efectivo en casi un 40%.

Después de evaluar múltiples alternativas, incluida la banda InfiniBand patentada y las NIC 25G competidoras, el equipo seleccionó elNVIDIA Mellanox MCX623106AN-CDAT, también conocido como NVIDIA Mellanoxpor su combinación única de aceleración RoCEv2 basada en hardware, ruta de datos programable y compatibilidad con plataformas amplias.

Solución y enfoque de implementación

La estrategia de despliegue se centró en tres pilares:La capacidad de RDMA/RoCE,activación de descarga inteligente, ymigración gradual de la flota. Cada nodo de computación recibió unoTarjeta de adaptador Ethernet MCX623106AN-CDAT, sustituyendo a las NIC de la generación anterior sin cambiar la infraestructura de cobre/fibra 25G subyacente.

Desde el punto de vista de la configuración, el equipo aprovechó elSe aplicarán las siguientes medidas:ajustar los siguientes parámetros:

• Configuración del control de flujo prioritario (PFC) RoCEv2: Se definieron clases de tráfico dedicadas sin pérdidas para el almacenamiento (NVMe-oF) y las comunicaciones colectivas de IA, mientras que el tráfico de mejor esfuerzo se mantuvo en colas separadas con pérdidas.
• Descargas de hardware habilitadas: VXLAN/NVGRE de descarga del túnel, la segmentación de suma de comprobación y LRO (Large Receive Offload) se activaron para reducir la intervención de la CPU por paquete.
• Programabilidad lista para DPU: Utilizando ASAP2, el equipo implementó reglas de flujo ligeras para dirigir el tráfico de almacenamiento directamente a los puntos finales objetivo de NVMe-oF, evitando por completo la pila de red del núcleo.

La validación de la compatibilidad fue sencilla.Compatible con MCX623106AN-CDATLa lista cubría todos los modelos de servidor de la flota (serie Dell PowerEdge R750 y Supermicro Ultra), y los nodos existentes basados en Red Hat OpenShift y Ubuntu adoptaron los nuevos controladores sin problemas.

Resultados y beneficios medibles

Después de tres semanas de implementación de producción en el 40% de la flota de computación, las ganancias de rendimiento fueron inmediatamente visibles.

Más allá de las mejoras cuantitativas, el equipo de ingeniería informó de un cambio cualitativo en la estabilidad operativa.Los mecanismos PFC y ECN (Notificación explícita de congestión) basados en hardware aseguraron que el tráfico de almacenamiento permaneciera prácticamente sin pérdidas., eliminando las tormentas de retransmisión en cascada que afectaron previamente a los SLA de aplicación.MCX623106AN-CDAT Adaptador ConnectX Tarjeta de red PCIemanejado el cifrado IPSec de velocidad de línea para el tráfico de replicación entre zonas, lo que permite al equipo de seguridad aplicar políticas de confianza cero sin desplegar dispositivos de cifrado dedicados.

Resumen y perspectiva de futuro

Este despliegue pone de relieve que elSolución de tarjeta de adaptador Ethernet MCX623106AN-CDATNo es simplemente una actualización incremental de NIC, es un facilitador estratégico para las arquitecturas modernas de centros de datos.y capacidades completas de descarga, el adaptador transforma efectivamente un tejido Ethernet estándar en una capa de infraestructura de baja latencia y alta eficiencia.La organización de TI está planeando ahora ampliar la implementación a todos los nodos restantes y está evaluando activamente laLas especificaciones de MCX623106AN-CDATpara la próxima generación de diseños 50G de hoja espinal.

Para los arquitectos de infraestructuras y los administradores de TI que se enfrentan a límites de rendimiento similares, laSe aplicará el procedimiento de ensayo.Como señaló un arquitecto de alto nivel:"Logramos una mejor latencia que nuestros NIC 25G anteriores a la mitad del costo de la CPU, y no tuvimos que volver a cablear un solo rack".Con su granCompatible con MCX623106AN-CDATde los ecosistemasPrecio MCX623106AN-CDATEste adaptador está bien preparado para convertirse en la opción predeterminada para las implementaciones de 25G RoCE, ya sea que la carga de trabajo sea capacitación de IA, almacenamiento distribuido o análisis en tiempo real.

Las etiquetas:Se aplicará el procedimiento de ensayo.NVIDIA Mellanox ConnectX-6 Dx Implementación de RDMA/RoCE Red de baja latencia Optimización del rendimiento del servidor