Adaptador de Servidor NVIDIA Mellanox MCX653105A-HDAT en Acción | Transporte de Baja Latencia RDMA/RoCE y Ganancias de Rendimiento del Servidor
September 10, 2026
NVIDIA Mellanox MCX653105A-HDAT Adaptador de servidor en acción
Antecedentes y desafío: el cuello de botella de la formación de IA
Una empresa líder en tecnología financiera especializada en operaciones algorítmicas y análisis de riesgos en tiempo real se enfrentó a un desafío de infraestructura crítico.Su equipo de aprendizaje automático había desplegado un grupo de entrenamiento distribuido compuesto por 32 servidores acelerados por GPUSin embargo, a medida que la complejidad del modelo creció de millones a miles de millones de parámetros, la latencia de la red se convirtió en el cuello de botella dominante.Los adaptadores 25GbE existentes, operando con TCP/IP tradicional, introdujo una latencia de cola impredecible que ralentizó significativamente la sincronización de gradientes en todo el clúster.
Los arquitectos de infraestructura de la firma identificaron dos problemas principales.la pila TCP/IP consumió recursos de CPU sustanciales en cada servidor ¥ hasta el 30% de los núcleos disponibles ¥ lo que redujo la capacidad disponible para el entrenamiento real del modeloEn segundo lugar, la falta de carga de hardware para RDMA significaba que las transferencias de datos entre la memoria de la GPU y la red requerían múltiples copias de memoria.añadiendo retrasos a nivel de microsegundos que se acumulan en miles de intercambios de parámetros por paso de entrenamientoEl equipo necesitaba una solución que pudiera ofrecer una comunicación determinista de baja latencia sin sacrificar el rendimiento del servidor o requerir una revisión completa de la red.
Solución y implementación: Implementación de RoCE con el MCX653105A-HDAT
Después de evaluar varias opciones, la empresa seleccionó laNVIDIA Mellanox MCX653105A-HDAT, también conocido como NVIDIAEsta tarjeta de red PCIe se implementó en cada uno de los 32 servidores de formación, reemplazando a los adaptadores de la generación anterior.MCX653105A-HDAT Adaptador ConnectX tarjeta de red PCIeproporcionó la combinación requerida de alto ancho de banda y soporte RoCEv2 acelerado por hardware, lo que permite una verdadera comunicación RDMA a través del tejido Ethernet existente.
El despliegue siguió un enfoque estructurado:
- Instalación física:Cada servidor recibió elTarjeta de adaptador Ethernet MCX653105A-HDAT, conectados a través de enlaces SFP28 de 25GbE de doble puerto a interruptores redundantes de la parte superior del rack.
- Configuración de RoCEv2:Los switches de red fueron configurados con Priority Flow Control (PFC) y Explicit Congestion Notification (ECN) para garantizar el transporte Ethernet sin pérdidas un requisito previo para un rendimiento óptimo de RDMA.
- GPUDirect integración:El equipo aprovechó las capacidades GPUDirect del adaptador, lo que permitió el movimiento directo de datos entre la memoria GPU y la interfaz de red sin la participación de la CPU host.
- Estaca de software:Se instaló la pila de controladores de red NVIDIA y se configuró el marco de entrenamiento (PyTorch con datos distribuidos en paralelo) para utilizar la capa de transporte RDMA.
De acuerdo con elSi el vehículo no está equipado con un dispositivo de control de velocidad, se aplicará el procedimiento siguiente:, el adaptador admite PCIe Gen 4.0 x16,Proporcionar hasta 256 GB/s de ancho de banda de host suficiente para saturar completamente los puertos dobles de 25 GbE, dejando un amplio espacio para futuras actualizaciones a 50 GbE o 100 GbEEl equipo señaló que la flexibilidad del adaptador lo hacía completamenteCompatible con MCX653105A-HDATcon su hardware de servidor existente, que admitió tanto PCIe Gen 3.0 como 4.0.
ElLas especificaciones MCX653105A-HDATEllos ajustaron los parámetros de interrupción para equilibrar la latencia frente a la utilización de la CPU.y configuración de la prioridad de cada cola para garantizar que el tráfico de sincronización de gradientes reciba el tratamiento de QoS más alto.
Resultados y beneficios medibles
Las mejoras en el rendimiento fueron sustanciales y directamente medibles en múltiples dimensiones:
| El método métrico | Antes (25GbE/TCP) | Después de (MCX653105A-HDAT/RoCE) | Mejora |
|---|---|---|---|
| Tiempo de sincronización de reducción total (por cada 1000 pasos) | 4.8 segundos | 1.2 segundos | 4 veces más rápido |
| Tiempo medio de los pasos de entrenamiento | 320 ms | 95 ms | 3.4 veces la reducción |
| Utilización de la CPU (relacionada con la red) | 28% (cuatro núcleos) | 6% (1 núcleo) | Reducción del 78% |
| La latencia RDMA de extremo a extremo (P99) | 18 μs (TCP) | 2.1 μs | 8.6 veces más bajo |
Además de las mejoras cuantitativas, laNVIDIA Mellanox MCX653105A-HDAT, también conocido como NVIDIAproporcionó beneficios operativos que el equipo no había anticipado.La latencia determinista garantizó que la convergencia de la formación se lograra de forma constante en plazos predecibles, un requisito crítico para los ciclos de desarrollo de modelos sensibles al tiempo de la empresa.Los núcleos de CPU liberados fueron redirigidos hacia el cálculo real, aumentando efectivamente la capacidad de computación efectiva del clúster sin añadir nuevo hardware.
El equipo también aprovechó la telemetría incorporada del adaptador para obtener visibilidad en los patrones de congestión de la tela.Estos datos les ayudaron a optimizar las configuraciones de búfer de red e identificar de manera proactiva posibles degradaciones de rendimientoEl.Solución de tarjeta de adaptador Ethernet MCX653105A-HDATEl informe de la Comisión sobre el desarrollo de las tecnologías de la información y de la comunicación (COM (94) 0154 - C4-0524/94 - 94/0535 (CNS))
Resumen y perspectivas
Este despliegue validó que elNVIDIA Mellanox MCX653105A-HDAT, también conocido como NVIDIAes más que una actualización de la red, es una inversión estratégica en el rendimiento de la computación distribuida.El adaptador redujo el tiempo de entrenamiento en más del 70%, aceleró el tiempo de comercialización de los nuevos modelos y mejoró significativamente la eficiencia de la infraestructura.
La empresa ahora está planeando extender esta arquitectura a otros grupos, incluyendo su plataforma de análisis de riesgos en tiempo real,cuando sea esencial el movimiento de datos de baja latencia entre bases de datos en memoria y nodos de cómputoEl.Precio de MCX653105A-HDAT, cuando se evalúa en relación con los ahorros operativos y las mejoras de rendimiento,La Comisión considera que la inversión en infraestructuras de banda ancha de InfiniBand en el sector de los servicios de telecomunicaciones y de telecomunicaciones representa una rentabilidad de la inversión muy positiva, en particular si se compara con el coste de la implantación de infraestructuras dedicadas de InfiniBand o de la adquisición de nodos de computación adicionales..
Para las organizaciones que evalúan activamenteMCX653105A-HDAT para la ventaOpciones, este estudio de caso demuestra que el adaptador cumple su promesa de red de baja latencia y alto rendimiento en entornos de producción del mundo real.La combinación de aceleración de hardware, la telemetría completa y la compatibilidad perfecta con la infraestructura Ethernet existenteNVIDIA Mellanox MCX653105A-HDAT, también conocido como NVIDIAun componente fundamental para las arquitecturas modernas de centros de datos.