NVIDIA Mellanox MCX653106A-HDAT en acción: logrando avances en el transporte RDMA/RoCE de baja latencia y el rendimiento del servidor

En los entornos de centros de datos modernos, que abarcan almacenamiento distribuido, comercio de alta frecuencia y clústeres de entrenamiento de IA, persisten dos desafíos persistentes: reducir la latencia inducida por la red y maximizar el rendimiento del servidor sin sobrecargar la CPU. Este análisis profundo de la aplicación examina cómo un proveedor líder de infraestructura en la nube abordó estos problemas exactos mediante la implementación deNVIDIA Mellanox MCX653106A-HDATadaptador de servidor en sus nodos de computación y almacenamiento.

Antecedentes y desafío

La infraestructura de 25GbE existente del proveedor, basada en adaptadores Ethernet estándar con pilas TCP/IP basadas en software, mostraba claras limitaciones. Las cargas de trabajo de almacenamiento que utilizaban NVMe over Fabrics experimentaron picos de latencia impredecibles (a menudo superiores a 50 µs), mientras que los clústeres de bases de datos sufrieron una alta utilización de CPU: hasta el 35 % de los núcleos consumidos únicamente por el procesamiento de red. El equipo de ingeniería necesitaba una solución que pudiera ofrecer una latencia inferior a 10 µs para transacciones RDMA y admitir un rendimiento de 200 GbE sin requerir una revisión arquitectónica completa.

Después de evaluar múltiples opciones, recurrieron a laTarjeta adaptadora Ethernet MCX653106A-HDAT, que prometía RoCE descargado de hardware (RDMA sobre Ethernet convergente) y una integración perfecta con su topología leaf-spine existente basada en Cumulus Linux.

Enfoque de solución e implementación

El despliegue se centró en torno a laMCX653106A-HDAT Adaptador ConnectX Tarjeta de red PCIe, aprovechando su configuración de doble puerto de 100 GbE para crear una estructura sin bloqueo. Cada nodo de computación recibió un adaptador, mientras que los nodos de almacenamiento estaban equipados con dos para redundancia. Los pasos clave de implementación incluyeron:

• Habilitación de RoCEv2 con PFC (control de flujo prioritario) y ECN (notificación de congestión explícita) para garantizar un transporte sin pérdidas
• Configuración de SR-IOV para dedicar funciones virtuales a cargas de trabajo de almacenamiento y bases de datos de alta prioridad
• Implementando lo últimoCompatible con MCX653106A-HDATpila de controladores (NVIDIA DOCA 2.5) en nodos Ubuntu 22.04 LTS
• Implementación de aceleración DPDK basada en hardware para rutas de procesamiento de paquetes

Basado en elHoja de datos MCX653106A-HDATy la validación previa a la implementación, el equipo proyectó una latencia de hardware inferior a 1 µs y hasta 215 millones de paquetes por segundo (MPPS) para transacciones de paquetes pequeños, métricas que guiaron su planificación de capacidad.

Resultados y beneficios mensurables

Después de una prueba piloto de cuatro semanas en 50 nodos de producción, el equipo de infraestructura documentó las siguientes mejoras al compararNVIDIA Mellanox MCX653106A-HDATcontra sus adaptadores heredados:

Más allá de los números brutos, el equipo de ingeniería observó que elSolución de tarjeta adaptadora Ethernet MCX653106A-HDATSe eliminaron las soluciones de ajuste que antes eran necesarias, como los trucos de fusión de interrupciones y los buffers de recepción de gran tamaño. Las descargas de hardware del adaptador para VXLAN y Geneve también simplificaron su pila de redes de contenedores, reduciendo la latencia de pod a pod en un 40 % en entornos de Kubernetes.

Para los administradores de TI que evalúan los costos,Precio de MCX653106A-HDATLas comparaciones con soluciones comparables de 200 GbE mostraron un costo total de propiedad entre un 15 % y un 20 % menor al tener en cuenta el ahorro de núcleos de CPU y el uso reducido de puertos de switch. Mientras tanto,MCX653106A-HDAT a la ventaLas consultas de equipos adyacentes, incluidos HPC y análisis en tiempo real, ya se han enviado para el próximo ciclo de adquisiciones.

Resumen y perspectivas

El despliegue confirma queNVIDIA Mellanox MCX653106A-HDATno es simplemente una mejora de las especificaciones, sino un salto funcional para entornos sensibles a la latencia y con límite de rendimiento. Al trasladar el procesamiento de red del software al hardware (a través de descargas RoCE, SR-IOV y arquitectura lista para GPUDirect), las organizaciones pueden lograr una latencia determinista a escala de microsegundos y al mismo tiempo recuperar ciclos de CPU para la lógica de las aplicaciones.

A medida que el equipo de infraestructura amplía su implementación a más de 500 nodos, también están explorando el cifrado en línea integrado (IPsec/TLS) del adaptador para seguridad multiinquilino y PTP (IEEE 1588v2) para cargas de trabajo de servicios financieros. Para los ingenieros que buscan configuraciones validadas, elMCX653106A-HDAT especificacionesy los diseños de referencia están disponibles a través del portal para desarrolladores DOCA de NVIDIA. Este caso del mundo real deja una cosa clara: elMCX653106A-HDAT Adaptador ConnectX Tarjeta de red PCIecumple la promesa de Ethernet de baja latencia y alto rendimiento para centros de datos de próxima generación.

Para una revisión técnica más profunda, consulte al funcionario.Hoja de datos MCX653106A-HDATo comuníquese con su arquitecto de soluciones NVIDIA regional.