NVIDIA Mellanox MCX653106A-HDAT Adaptador de servidor en acción: RDMA / RoCE Transporte y servidor de baja latencia
April 30, 2026
En los entornos modernos de los centros de datos, que van desde el almacenamiento distribuido y el comercio de alta frecuencia hasta los grupos de capacitación de IA a gran escala, las pilas de protocolos TCP/IP tradicionales se han convertido en un cuello de botella importante.Los gastos generales de las redes del núcleo, la copia de datos y el cambio de contexto consumen importantes recursos de la CPU al tiempo que introducen una latencia impredecible.Este estudio de caso examina cómo un proveedor líder de infraestructuras de nube superó estos desafíos mediante el despliegue deNVIDIA Mellanox MCX653106A-HDAT, también conocido como NVIDIAEl NIC del servidor, logrando mejoras dramáticas tanto en latencia como en rendimiento.
La infraestructura 25GbE existente del proveedor, que ejecuta el TCP estándar, estaba luchando para mantener el ritmo con el tráfico de almacenamiento NVMe-oF y las cargas de trabajo de análisis en tiempo real.La utilización de la CPU en los nodos de almacenamiento a menudo superaba el 70% solo para el procesamiento de la redLa latencia de extremo a extremo entre los nodos de computación y almacenamiento fluctuó entre 50 ∼ 150 microsegundos.causando picos de latencia de cola que afectaron a los acuerdos de nivel de servicioEl equipo de ingenieros reconoció que se requería un cambio fundamental en la arquitectura de red, que evitase el núcleo y permitiera el acceso directo a la memoria entre los puntos finales.
Después de evaluar varias opciones, el equipo seleccionó elTarjeta de adaptador Ethernet MCX653106A-HDATConstruido sobre la arquitectura ConnectX-6, este nuevo sistema de conexiones de redMCX653106A-HDAT Adaptador ConnectX tarjeta de red PCIeofrece conectividad de doble puerto 100GbE con soporte de hardware nativo para RoCE (RDMA sobre Ethernet convergente).
- Fase uno:Reemplace las NIC heredadas en los nodos de almacenamiento (10 nodos que ejecutan Ceph) con el nuevo adaptador.
- Fase 2:Configurar Ethernet sin pérdidas mediante DCB (Control de flujo prioritario y ETS) tanto en NICs como en switches de rack superior.
- Fase tres:Migra el tráfico de aplicaciones de los sockets TCP a los verbos basados en RDMA y NVMe-oF a través de RoCE.
- Fase cuatro:Ampliar el despliegue a los nodos de cómputo que manejan análisis en tiempo real.
Ingenieros que asesoran a losSi el vehículo no está equipado con un sistema de control de velocidad, el sistema de control de velocidad deberá utilizar un sistema de control de velocidad.yLas especificaciones de MCX653106A-HDATEl nuevo sistema ha confirmado la plena compatibilidad con el tejido de conmutación Mellanox existente y la distribución Linux desplegada (Ubuntu 22.04 con controladores MLNX_OFED).Compatible con MCX653106A-HDATEl ecosistema demostró ser completo, no requiriendo cambios de hardware más allá del reemplazo del NIC en sí.
Las pruebas posteriores al despliegue revelaron mejoras sustanciales en todas las métricas clave.
| El método métrico | Antes (25GbE TCP) | Después de (MCX653106A-HDAT RoCE) | Mejora |
|---|---|---|---|
| La latencia media (P99) | 120 μs | 8 μs | Reducción del 93% |
| CPU de nodo de almacenamiento (ruta de red) | ~65% | ~12% | 5.4 veces la reducción |
| NVMe-oF Producción de lectura (por nodo) | 18 Gb/s | 96 Gb/s | 5.3 veces más |
| Tasa de mensajes (64B paquetes) | 15 Mpps | 215 Mpps | 14.3 veces más |
Además de estas ganancias cuantitativas, el equipo observó varios beneficios cualitativos.Solución de tarjeta de adaptador Ethernet MCX653106A-HDATpermitió un verdadero movimiento de datos sin copias entre la memoria de la aplicación y el almacenamiento remoto, eliminando los problemas de agotamiento del búfer que anteriormente causaban fallas intermitentes durante los estallidos de tráfico.Para la carga de trabajo de análisisEn la actualidad, la migración a RDMA ha reducido los tiempos de finalización de los trabajos en un 62%, mejorando directamente los resultados empresariales.MCX653106A-HDAT precioEn comparación con el coste total de propiedad, la reducción del 30% en el número de nodos de almacenamiento (debido a una mayor eficiencia por nodo) se recuperó en nueve meses.MCX653106A-HDAT para la ventaA través de los socios de NVIDIA también incluyó el acceso al marco DOCA, desbloqueando la programabilidad futura para funciones de red personalizadas.
El desarrollo deNVIDIA Mellanox MCX653106A-HDAT, también conocido como NVIDIATransformó la infraestructura del proveedor de un entorno limitado por TCP en un tejido de alto rendimiento y baja latencia capaz de soportar cargas de trabajo modernas.,La interfaz PCIe 4.0 y el ecosistema de software integral abordan las tres demandas críticas de los centros de datos de hoy: reducción de la latencia, aumento del rendimiento y mejora de la eficiencia de la CPU.
Para los arquitectos que evalúan actualizaciones similares, el viaje comienza con la verificación deCompatible con MCX653106A-HDATLos componentes, incluidos los interruptores, los cables y los sistemas operativos.Si el vehículo no está equipado con un sistema de control de velocidad, el sistema de control de velocidad deberá utilizar un sistema de control de velocidad.La tecnología de la inteligencia artificial (IA) proporciona especificaciones energéticas, térmicas y mecánicas para la planificación de la integración.Tarjeta de adaptador Ethernet MCX653106A-HDATEl proveedor ahora está ampliando la implementación para incluir GPU direct RDMA para cargas de trabajo de inferencia de IA,validando aún más este adaptador como una piedra angular de la arquitectura moderna del centro de datos.