NVIDIA Mellanox MCX653106A-HDAT Solución técnica: transporte y servidor de baja latencia basados en RDMA/RoCE

Este documento técnico está diseñado para arquitectos de redes, ingenieros de preventa y gerentes de operaciones. Se centra en elNVIDIA Mellanox MCX653106A-HDATadaptador de servidor y describe cómo construir una infraestructura de red de centro de datos capaz de transporte RDMA/RoCE a escala de microsegundos y rendimiento de rendimiento ultraalto.

Los centros de datos modernos enfrentan tres desafíos principales: latencia impredecible en el almacenamiento distribuido, escasez de ancho de banda en los clústeres de entrenamiento de IA y consumo excesivo de CPU por parte de las pilas de protocolos de red tradicionales. Las soluciones TCP/IP convencionales ya no pueden satisfacer las demandas de latencia a escala de microsegundos de NVMe-oF, el comercio de alta frecuencia y el análisis en tiempo real. La industria necesita urgentementeSolución de tarjeta adaptadora Ethernet MCX653106A-HDATque ofrece transporte RDMA descargado de hardware a través de una infraestructura Ethernet estándar y al mismo tiempo escala el rendimiento del servidor a niveles de 200 Gbps.

Esta solución adopta una arquitectura CLOS Leaf-Spine de dos capas. Todos los nodos de computación y almacenamiento están conectados a través deNVIDIA Mellanox MCX653106A-HDATa conmutadores ToR de 25G/100G. Los principios clave de diseño incluyen:

• Red sin pérdidas de extremo a extremo habilitada por PFC (control de flujo prioritario) y ECN (notificación explícita de congestión)
• Líneas de transporte RDMA dedicadas para almacenamiento y cargas de trabajo HPC
• Separación del plano de control (TCP/IP estándar) y plano de datos (RoCEv2)
• Descargas de virtualización basada en hardware (SR-IOV, VXLAN/NVGRE/Geneve)

Basado en elHoja de datos MCX653106A-HDAT, el adaptador ofrece una latencia puerto a puerto inferior a 600 ns y admite hasta 215 millones de paquetes por segundo, lo que lo hace ideal tanto para el tráfico de almacenamiento de este a oeste como para los flujos de aplicaciones de norte a sur.

ElMCX653106A-HDAT Adaptador ConnectX Tarjeta de red PCIeSirve como motor fundamental del plano de datos. Sus funciones principales incluyen:

• Aceleración RDMA/RoCE:Descarga completa de hardware de RoCEv2, incluida la gestión de la congestión, el manejo de paquetes desordenados y la colocación inmediata de datos en los buffers de la aplicación.
• Descarga del protocolo de almacenamiento:Soporte nativo para NVMe-oF (tanto TCP como RoCE), iSER y SRP, lo que elimina el procesamiento de objetivos basado en software.
• Virtualización y multiinquilino:Hasta 1000 funciones virtuales (VF) por puerto, con descarga de túnel superpuesto que garantiza la encapsulación/desencapsulación a velocidad de línea.
• Seguridad y Telemetría:Cifrado IPsec/TLS en línea a 200 Gbps, además de seguimiento de flujo basado en hardware (p. ej., seguimiento de conexión, histogramas).

De acuerdo aMCX653106A-HDAT especificaciones, el adaptador admite interfaces PCIe 4.0/5.0 x16, lo que garantiza que no haya cuellos de botella en el lado del host incluso con una velocidad de línea completa de 200 GbE.

Una topología de referencia validada consta de:

• Capa de cálculo:48 servidores de doble socket, cada uno equipado con unMCX653106A-HDAT(configuración de 100 GbE de doble puerto). Los puertos están vinculados como un LAG activo-activo.
• Capa de almacenamiento:12 servidores de destino NVMe-oF totalmente flash, cada uno con dosTarjeta adaptadora Ethernet MCX653106A-HDATunidades: una para el acceso informático de front-end y otra para la replicación de back-end.
• Capa de red:Cuatro conmutadores Spine de 100 GbE y ocho conmutadores Leaf, configurados con umbrales DCBX, PFC (clase 3 para RoCE) y ECN.

Para escalar más allá de 200 nodos, la arquitectura admite diseños de múltiples pods usando EVPN-VXLAN con descarga de hardware (totalmenteCompatible con MCX653106A-HDATcon conmutadores de los principales proveedores). Al evaluar la capacidad,Precio de MCX653106A-HDATpor puerto utilizable de 100 GbE es aproximadamente un 40 % más bajo que las soluciones Fibre Channel o InfiniBand comparables.

El funcionamiento eficaz de las implementaciones RDMA/RoCE requiere herramientas especializadas. Se recomiendan las siguientes prácticas:

Para solucionar problemas, capture metadatos específicos de RoCEv2 usandordmatoolyibv_devinfo. Los errores comunes incluyen prioridades PFC mal configuradas (garantizar la coherencia en todos los dispositivos de red) y velocidades de enlace PCIe no coincidentes (validar conlspci-vvv).

ElNVIDIA Mellanox MCX653106A-HDATofrece una plataforma probada y lista para producción para transformar estructuras Ethernet estándar en redes de alto rendimiento y sin pérdidas. Las evaluaciones de valores clave incluyen:

• Estado latente:Latencia de lectura determinista NVMe-oF inferior a 10 µs (P99), que permite análisis en tiempo real y convergencia HPC.
• Rendimiento:200 GbE de velocidad cercana a la línea sin pérdida de paquetes, validado con respecto aMCX653106A-HDAT especificaciones.
• Eficiencia de la CPU:Libera hasta el 30 % de los núcleos de CPU consumidos anteriormente por la red y las pilas de almacenamiento.
• Costo total de propiedad:En comparación con las interconexiones propietarias,MCX653106A-HDAT a la ventaEl precio, combinado con la conmutación Ethernet estándar, reduce los costos operativos de tres años en aproximadamente un 35-50%.

Los arquitectos y líderes de operaciones pueden implementar con confianza esta solución para estructuras de inteligencia artificial, almacenamiento desagregado y sistemas financieros de latencia ultrabaja. Para conocer los pasos de implementación detallados, consulte el sitio web oficial.Hoja de datos MCX653106A-HDATy la biblioteca de documentación DOCA de NVIDIA.