Solución técnica de NIC de servidor Mellanox (NVIDIA Mellanox) MCX556A-ECAT
June 9, 2026
Este libro blanco proporciona a los arquitectos de red, ingenieros de preventa y líderes de operaciones un marco técnico completo para la implementación de laMellanox (NVIDIA Mellanox) MCX556A-ECAT, también conocido comoLa solución se centra en eliminar los cuellos de botella TCP/IP a través de RDMA/RoCE,ofrecer una comunicación determinista de baja latencia al tiempo que se maximiza el rendimiento del servidor para cargas de trabajo intensivas en datos.
1Antecedentes del proyecto y análisis de los requisitos
Los entornos modernos de centros de datos, incluidos los grupos de capacitación de IA, las bases de datos distribuidas, la infraestructura hiperconvergente y las plataformas de comercio de alta frecuencia, comparten una limitación común:la pila de red tradicional consume 30~50% de los ciclos de CPU en copias de memoriaA medida que las velocidades de enlace aumentan a 100Gbps y más allá, las redes basadas en software se vuelven insostenibles.Los requisitos clave para la conectividad de servidores de próxima generación incluyen:: latencia entre nodos de menos de 5 microsegundos, CPU de menos del 10% por enlace de 100 Gbps, transporte sin pérdidas para protocolos de almacenamiento (NVMe-oF) e integración perfecta con la infraestructura Ethernet existente.ElSolución de tarjeta de adaptador Ethernet MCX556A-ECATEl Consejo de Ministros de las Comunidades Europeas ha adoptado una resolución sobre el tema.
2Diseño general de la arquitectura de red/sistema
La arquitectura recomendada despliega elNVIDIA Mellanox MCX556A-ECAT, también conocido como NVIDIALa solución adopta una topología de dos niveles con soporte para RoCE (RDMA sobre Ethernet Convergente).:
- Fundamento Ethernet sin pérdidas: Habilitar el control de flujo prioritario (PFC) en los puertos que transportan tráfico RoCE y configurar los umbrales ECN (notificación explícita de congestión) en los interruptores de hoja.
- Clases de tráfico separadas: Asignar el tráfico RoCE a una cola de prioridad dedicada (normalmente 3 o 5) con una programación de prioridad estricta.
- Gestión del colchón: Asignar grupos de búfer compartido en los interruptores de acuerdo conLas especificaciones MCX556A-ECAT(se recomiendan 4 MB por puerto para un funcionamiento sin pérdidas).
Cada unoTarjeta de red PCIe con adaptador MCX556A-ECAT ConnectXse conecta a un interruptor de hoja a través de la óptica QSFP28 (SR4, LR4 o AOC/DAC dependiendo de la distancia).Configuraciones de doble ubicación que unen ambos puertos: activo-activo para el rendimiento o activo-en espera para el cambio por errorEl plano de control utiliza Ethernet estándar e IP, mientras que el plano de datos aprovecha RDMA para transferencias de copia cero.
3. Papel y características clave del Mellanox (NVIDIA Mellanox) MCX556A-ECAT en la solución
ElSe aplicará el procedimiento de ensayo de la norma de calidad.El motor de descarga de memoria de servidor es el motor de descarga entre la memoria del servidor y el tejido de red.Se aplicarán las siguientes medidas:incluyen:
| Características | Descripción | Beneficio |
|---|---|---|
| RDMA y RoCE v2 | Acceso remoto directo a la memoria basado en hardware mediante Ethernet convergente | Cero participación de la CPU; latencia de hardware inferior a 1 μs |
| NVMe-oF de descarga | Descarga total del procesamiento de comandos NVMe/TCP y NVMe/RDMA | Permite el almacenamiento desagregado compartido en el rendimiento local |
| GPUDirect | Comunicación entre pares entre la GPU y la memoria NIC | Elimina la memoria del sistema intermedio para el entrenamiento de IA |
ElTarjeta de adaptador Ethernet MCX556A-ECATTambién incluye dirección avanzada (clasificación de flujo en 128 colas virtuales), SR-IOV con hasta 512 funciones virtuales y tiempo de tiempo de hardware para el protocolo de tiempo de precisión (PTP).Estas características lo convierten en un motor de aceleración de ruta de datos completo, no sólo una interfaz de alta velocidad.
4Recomendaciones de implementación y escalado (topología típica)
Para un clúster de tamaño medio (64256 nodos), se recomienda la siguiente topología:
- Capa de hojas: dos o cuatro switches RoCE de 100GbE de 48 puertos (por ejemplo, NVIDIA SN3700).Compatible con el MCX556A-ECATPuertos QSFP28.
- Capa de la columna vertebral: Cuatro switches 400GbE de 32 puertos que proporcionan 128 enlaces ascendentes de 100GbE sin bloqueo desde las hojas.
- Configuración del servidorUno.Se aplicará el procedimiento de ensayo de la norma de calidad.Por servidor, el puerto A al switch de hoja A, el puerto B al switch de hoja B. Esto produce un ancho de banda agregado de 200Gbps y redundancia de ruta.
Para escalar el tejido más allá de 256 nodos se requiere añadir pares de hoja-espina dorsal o migrar a una arquitectura Clos de 3 etapas.Precio MCX556A-ECATfrente a la capacidad futura, el factor en que el adaptador estáCompatible con el MCX556A-ECATcon placas base PCIe 4.0 (que se ejecutan en 3.0 x16 inicialmente), ofreciendo una vía de actualización sencilla.
5. Operaciones, monitoreo, solución de problemas y optimización
La excelencia operativa para las implementaciones de RoCE requiere un monitoreo y ajuste específicos.
- Contadores de vigilancia: Uso
-Ethtool -S ethX ♪ ♪ Grep -E "rocear para hacer el juego"En la actualidad, la Comisión ha adoptado una serie de medidas para facilitar el seguimiento de los marcos de pausa prioritarios y de los paquetes de notificación de congestión (CNP).Las especificaciones MCX556A-ECATlos valores de referencia esperados. - Ajuste del amortiguador: Configure los búferes de salida del interruptor a 4 ‰ 6 MB para las colas de RoCE.
- Gestión del firmware: Mantenga el último firmware (disponible en el portal de soporte empresarial de NVIDIA) para corregir errores y obtener mejoras de rendimiento documentadas en elSe aplicarán las siguientes medidas:.
- Línea de referencia de rendimiento- ¿ Qué pasa?
¿Qué quieres decir con eso?yel nombre de la entidadLos resultados esperados: 98 ‰ 99 Gbps bidireccional con una latencia de 0,8 ‰ 1,2 μs para mensajes de 8 bytes.
Escenarios comunes de solución de problemas: bloqueos de PFC (comprobar si hay correcciones incorrectas en la configuración de las colas), batidos de enlace (validar las calificaciones de potencia y de cable),y los tiempos de espera de la conexión RDMA (garantizar la consistencia MTU a 4200 bytes para cuadros jumbo)Para los equipos que buscanMCX556A-ECAT para la ventaPara ampliar los clústeres, la alineación del firmware de pre-estadio entre lotes evita sorpresas de compatibilidad.
6Resumen y evaluación del valor
ElSe aplicará el procedimiento de ensayo de la norma de calidad.La tecnología RDMA/RoCE ofrece una propuesta de valor clara para los centros de datos modernos.NVIDIA Mellanox MCX556A-ECAT, también conocido como NVIDIAReduce la latencia de las aplicaciones en 10 veces en comparación con TCP, reduce el gasto en red de la CPU en un 85% y desbloquea la desagregación de almacenamiento a través de NVMe-oF.La capacidad de doble puerto de la tarjeta de 100GbE proporciona un futuro espacio de ventajaPara los equipos de operaciones, la pila de controladores maduros (upstream Linux, Windows y VMware) simplifica la gestión.Precio MCX556A-ECATEn relación con el coste total de propiedad, incluidas las licencias de software, energía y refrigeración, el adaptador generalmente se paga a sí mismo en un plazo de 6 a 12 meses a través de la consolidación de servidores.Tarjeta de adaptador Ethernet MCX556A-ECATo bienTarjeta de red PCIe con adaptador MCX556A-ECAT ConnectX, esta solución sigue siendo un diseño de referencia para redes Ethernet sin pérdidas y de alto rendimiento.