Solución Técnica NVIDIA Mellanox MCX556A-ECAT: RDMA/RoCE para Transporte de Baja Latencia y Optimización del Rendimiento del Servidor
April 23, 2026
Este libro blanco técnico está dirigido a arquitectos de redes, ingenieros de preventa y gerentes de operaciones.NVIDIA Mellanox MCX556A-ECAT, también conocido como NVIDIALa red de redes de centros de datos de alto rendimiento y baja latencia utiliza la tecnología RDMA y RoCE.
Las cargas de trabajo de los centros de datos modernos, incluido el almacenamiento distribuido (Ceph, Lustre), las bases de datos en memoria (Redis, Aerospike) y los marcos de capacitación de IA, requieren tanto un alto rendimiento como una latencia de menos de un milisegundo.Las pilas TCP/IP tradicionales introducen una importante sobrecarga de CPU, el cambio de contexto y la copia de datos, que se convierten en cuellos de botella a medida que las velocidades de red alcanzan los 100 Gb/s y más.Descarga de la CPU (reducción de la utilización del procesador host)La tecnología de la red Ethernet es una herramienta que se utiliza para la integración de los protocolos de almacenamiento (NVMe-oF, iSER) y la integración con la infraestructura Ethernet existente.Se aplicará el procedimiento de ensayo de la norma de calidad.se refiere directamente a cada uno de estos requisitos.
La arquitectura recomendada adopta una topología de dos niveles con Ethernet sin pérdidas configurada para el transporte RoCE (RDMA sobre Ethernet convergente).Todos los nodos de computación y almacenamiento están equipados con elTarjeta de adaptador Ethernet MCX556A-ECAT, conectado a los switches de hoja a través de enlaces QSFP28 de 100GbE. Los switches de columna reúnen el tráfico de la capa de hoja, proporcionando un ancho de banda de núcleo no bloqueante. Los principios arquitectónicos clave incluyen:
- Separación de los planos de control y de datos:RoCEv2 encapsula RDMA en UDP / IP, lo que permite el enrutamiento a través de los límites de la capa 3.
- Control de flujo prioritario (PFC):Permite un comportamiento sin pérdidas para las clases de tráfico RDMA.
- Selección mejorada de la transmisión (ETS):Garantiza ancho de banda para flujos sensibles a la latencia.
- Notificación de congestión:Utilizando DCQCN (Notificación de congestión cuantificada del centro de datos) para el control de flujo de extremo a extremo.
La arquitectura admite entornos tanto de metal desnudo como virtualizados, con SR-IOV proporcionando el paso directo de funciones virtuales a las máquinas virtuales.
Como unTarjeta de red PCIe con adaptador MCX556A-ECAT ConnectXEste adaptador sirve como piedra angular de la solución. Su motor de descarga basado en hardware evita el núcleo, lo que permite la transferencia directa de datos de memoria a memoria.
| Características | Beneficio |
|---|---|
| Las instalaciones de doble puerto de 100 GbE (hasta 200 Gb/s en conjunto) | Escalado lineal del rendimiento para cargas de trabajo con gran ancho de banda |
| RDMA con soporte RoCEv2 | Latencia de menos de un microsegundo, cero copias de la CPU |
| Las descargas directas NVMe-oF y GPUD | Proyectos de almacenamiento acelerado y formación en IA |
| Se aplicarán las siguientes medidas: | Integridad y seguridad de los datos de extremo a extremo |
| El valor de la velocidad de aceleración de la unidad de velocidad de la unidad de aceleración de la unidad de aceleración de la unidad de aceleración de la unidad de aceleración de la unidad de aceleración de la unidad de aceleración de la unidad de aceleración | Rendimiento casi nativo en entornos virtualizados |
Para los equipos que revisan elSe aplicarán las siguientes medidas:yLas especificaciones MCX556A-ECAT, tenga en cuenta que el adaptador admite tanto PCIe 3.0 como 4.0 (x16), lo que garantiza la compatibilidad con servidores existentes al tiempo que ofrece una ruta de migración a plataformas de próxima generación.
Una implementación de referencia para un clúster de tamaño medio (hasta 200 nodos) se describe a continuación.Se aplicará el procedimiento de ensayo de la norma de calidad.está instalado en la ranura PCIe de cada servidor, con conectividad de dos puertos para redundancia y agregación de ancho de banda.
- Topología física:Cada hoja se conecta a todas las espinas (malla completa). Cada servidor se conecta a dos hojas (enlace activo-activo).
- Configuración de RoCE:VLAN dedicado para el tráfico RoCE. Marcado de calidad de servicio basado en DSCP (por ejemplo, DSCP 46 para RDMA). PFC habilitado en prioridad 3.
- Gestión del amortiguador:Configurar búferes de espacio de cabeza sin pérdidas por puerto basados en el tiempo de ida y vuelta y la distancia de enlace.
- Dirección:Utilizar asignaciones IP estáticas o reservas DHCP para las interfaces RDMA.
Escalado más allá de 200 nodos: Introduzca una capa de superespina dorsal y despliegue BGP-EVPN para la extensión de la capa 2 en múltiples pods.Compatible con el MCX556A-ECATEn el caso de los productos de la industria de la información, la evaluación de la calidad de los productos de la industria de la información se realiza mediante la evaluación de los productos de la industria de la información y los cables de proveedores cualificados (por ejemplo, Mellanox, FS.com).Precio MCX556A-ECATEn el caso de las compras a gran escala, considere la posibilidad de fijar precios agrupados con interruptores y ópticas.
El funcionamiento eficaz de un tejido basado en RoCE requiere un monitoreo proactivo y herramientas especializadas:
- Control del rendimiento:Utilización
¿ Qué pasa?yel étoolpara las estadísticas de enlace (errores BER, FEC).Solución de tarjeta de adaptador Ethernet MCX556A-ECATincluye la telemetría mediante PCM (Monitor de contadores de rendimiento). - Detección de congestión:Monitorear paquetes marcados con ECN y marcos de pausa PFC utilizando telemetría de interruptores (por ejemplo, Mellanox SNMP MIBs).
- Administración del firmware y del controlador:Actualizar regularmente a las últimas versiones de NVIDIA OFED.
- ¿ Qué es eso?para la validación del firmware. - Solución de problemas común:Para los fallos de conexión RDMA, verifique la consistencia de la MTU, la membresía de la VLAN y las asignaciones de DSCP a CoS.
¿Qué está pasando?yRdma muestra el enlacepara comprobar el estado del dispositivo. - Consejos de optimización:Ajuste los parámetros de DCQCN (alfa, beta, temporizador de aumento de velocidad) en función de la carga de trabajo. Para las cargas de trabajo de almacenamiento, aumente la profundidad de la cola de finalización. Para el entrenamiento de IA, habilite GPUDirect RDMA y memoria de pin.
Para la planificación de la capacidad, consulte elSe aplicarán las siguientes medidas:El adaptador es ampliamente utilizado para la fabricación de dispositivos eléctricos de alta potencia.MCX556A-ECAT para la ventaa través de distribuidores autorizados, incluidos los programas de stock de repuesto.
ElSe aplicará el procedimiento de ensayo de la norma de calidad.proporciona un valor medible en tres dimensiones:rendimiento(reducción de hasta el 90% de la latencia de la aplicación, ganancia de rendimiento de 4x),eficiencia(70% de descarga de la CPU, menor potencia por Gb/s), ycoste total de propiedadLas organizaciones que despliegan la tecnología de la información y la comunicación en el ámbito de la información y la comunicación (infraestructura consolidada, reducción del número de servidores, menores costes de refrigeración)NVIDIA Mellanox MCX556A-ECAT, también conocido como NVIDIAPara los centros de datos de próxima generación que incluyen IA, HPC o almacenamiento definido por software, el rendimiento se puede esperar en un plazo de 6 a 12 meses, según la intensidad de la carga de trabajo.Este adaptador representa una pruebaPara comenzar, solicita unaSe aplicarán las siguientes medidas:y validarCompatible con el MCX556A-ECATconfiguraciones con su proveedor de interruptores.