Documento técnico de NVIDIA Mellanox MCX556A-ECAT | Transporte de baja latencia RDMA/RoCE y rendimiento de servidor

NVIDIA Mellanox MCX556A-ECAT Adaptador de servidor Libro blanco técnico

1Antecedentes del proyecto y análisis de los requisitos

Los centros de datos modernos están experimentando una transformación fundamental impulsada por la inteligencia artificial, la computación de alto rendimiento (HPC) y el análisis en tiempo real.Estas cargas de trabajo requieren un rendimiento de red sin precedentes, no sólo ancho de banda en brutoLos adaptadores Ethernet tradicionales, que dependen de pilas TCP/IP basadas en software, se han convertido en un cuello de botella significativo.consumen entre el 20 y el 30% de los núcleos de la CPU e introducen variaciones de latencia impredecibles que degradan el rendimiento de las aplicacionesPara las organizaciones que operan a escala, esta ineficiencia se traduce directamente en mayores costes de infraestructura y un tiempo de comprensión más lento.

Este libro blanco presenta una solución técnica integral centrada en laNVIDIA Mellanox MCX556A-ECAT, también conocido como NVIDIAEl sistema de transmisión de datos está diseñado para empresas que buscan maximizar el retorno de sus inversiones en 100GbE.Tarjeta de adaptador Ethernet MCX556A-ECATofrece RDMA acelerado por hardware a través de Ethernet convergente (RoCE), lo que permite un transporte sin pérdidas y de baja latencia que transforma la E/S de la red de un pasivo en un activo estratégico.La solución está diseñada específicamente para cumplir tres objetivos fundamentales: (1) lograr una latencia de aplicación de extremo a extremo de menos de 10 μs, (2) reducir la sobrecarga de procesamiento de la red de la CPU a menos del 5%, y (3) proporcionar una base escalable y a prueba de futuro para 100GbE y más allá.

2Diseño general de la arquitectura de red y sistema

La arquitectura recomendada adopta una topología de hoja-columna vertebral de alto rendimiento con 100GbE como capa de acceso al servidor y 400GbE enlaces ascendentes a la columna vertebral.Tarjeta de red PCIe con adaptador MCX556A-ECAT ConnectXLa arquitectura está construida en torno a cinco principios clave:

• Tejido Ethernet sin pérdidas:Aprovechando RoCE v2 con PFC (Control de flujo prioritario) y ECN (Notificación explícita de congestión) en todos los switches para eliminar las caídas de paquetes y garantizar la latencia determinista para el tráfico RDMA.
• Descarga de hardware en todas partes:Descargar el procesamiento de la capa de transporte incluida la descarga de suma de comprobación, la segmentación (LSO / LRO), el etiquetado de VLAN y RDMA al adaptador, liberando ciclos de CPU para la lógica de aplicación.
• Redundancia activa-activa:Utilizando los dos puertos QSFP28 en modo de agregación de enlaces (LACP) para un ancho de banda agregado de 200 Gb/s y un cambio automático de fallo con recuperación en segundos.
• Segmentación del tráfico:Clases de tráfico dedicadas para almacenamiento (NVMe-oF), computación (MPI/RDMA) y tráfico de gestión, asegurando una calidad de servicio predecible en todas las cargas de trabajo.
• Plano de control escalable:Gestión centralizada a través de switches NVIDIA Spectrum con telemetría incorporada y automatización a través de API REST y libros de jugadas Ansible.

La solución es totalmenteCompatible con el MCX556A-ECATEl sistema de almacenamiento de datos es un sistema de almacenamiento de datos que se integra perfectamente con los principales sistemas operativos (Linux, Windows Server, VMware ESXi).la arquitectura admite NVMe-oF sobre RoCE, lo que permite el almacenamiento desagregado compartido con latencias que se acercan a las unidades NVMe locales.

3El papel y las características clave del NVIDIA Mellanox MCX556A-ECAT

Como componente fundamental de esta solución, elNVIDIA Mellanox MCX556A-ECAT, también conocido como NVIDIAcumple tres funciones críticas dentro de la arquitectura:

Las principales especificaciones técnicas extraídas de laSe aplicarán las siguientes medidas:incluyen interfaz de host PCIe 3.0/4.0 x16, capacidades completas de descarga (suma de comprobación, LSO/LRO, eliminación/inserción de VLAN, RSS) y telemetría avanzada por puerto.La eficiencia energética del adaptador (generalmente inferior a 15W) y el amplio soporte del sistema operativo lo convierten en un elemento de construcción versátil para entornos heterogéneosEl.Las especificaciones MCX556A-ECATTambién destacar el apoyo a la compatibilidad 25GbE y 40GbE, ofreciendo flexibilidad de implementación para entornos de velocidad mixta.

4Recomendaciones para el despliegue y la ampliación

Para las implementaciones de campo verde, recomendamos una topología de dos niveles de hoja-espina dorsal con acceso a 100GbE y enlaces ascendentes de 400GbE.Tarjeta de adaptador Ethernet MCX556A-ECATcon ambos puertos QSFP28 conectados a interruptores de hoja separados para redundancia.PFC sobre la prioridad 3 (para el tráfico RDMA) y la prioridad 4 (para el almacenamiento)Recomendamos asignar VLANs dedicadas para el tráfico de RoCE, gestión y almacenamiento para simplificar el monitoreo y la resolución de problemas.

Para los entornos de campo negro con infraestructura 40GbE existente, elSolución de tarjeta de adaptador Ethernet MCX556A-ECATDebido a que el adaptador es compatible con la óptica QSFP + de 40GbE, el cableado existente se puede reutilizar durante la actualización gradual a 100GbE.El adaptador también admite conmutación Ethernet estándar sin habilitación obligatoria de RoCE, lo que permite a los equipos implementar primero el hardware y activar las capacidades RDMA en etapas a medida que la tela madura y las cargas de trabajo justifican la transición.

La escala de la solución más allá de los 50 nodos introduce consideraciones adicionales.Recomendamos implementar una estrategia de gestión de congestión RoCE dedicada utilizando switches de espectro NVIDIA con telemetría incorporada y ajuste dinámico del umbral ECN. Para grupos que superen los 200 nodos, considere implementar un controlador centralizado de gestión de tejido (por ejemplo, NVIDIA Cumulus NetQ) para mantener la visibilidad de extremo a extremo y la consistencia de la configuración automatizada.ElMCX556A-ECAT para la ventaEl servicio de seguridad de NVIDIA incluye una garantía completa y soporte de actualización de firmware, lo que garantiza una fiabilidad a largo plazo a escala.

5. Operaciones, monitoreo, solución de problemas y optimización

El funcionamiento efectivo del tejido RoCE requiere una estrategia de monitoreo y solución de problemas de múltiples capas:

• Telemetría a nivel de adaptador:ElLas especificaciones MCX556A-ECATincluyen contadores por puerto para tramas PFC, paquetes marcados con ECN, tramas eliminadas y errores de enlace.¿Qué quieres decir?,el étool, o herramientas de firmware de NVIDIA para exportar estas métricas a los paneles de Prometheus / Grafana.
• Monitoreo a nivel de interruptor:Supervisa la ocupación del búfer, el recuento de fotogramas de pausa, la profundidad de la cola y las tasas de marcado de ECN en los interruptores de columna vertebral y hoja.Los aumentos repentinos de los marcos de pausa indican micro-congestión que puede requerir ajuste del umbral de ECN.
• Métricas a nivel de aplicación:Para las aplicaciones RDMA, realiza un seguimiento de las latencias de finalización de WR (Work Request), los eventos de desbordamiento de CQ (Completion Queue) y los recuentos de errores de QP (Queue Pair) utilizando las bibliotecas NVIDIA libibverbs y rdma-core.

Escenarios comunes de solución de problemas y acciones recomendadas:

• Deterioro del rendimiento de RoCE:Verifique que el PFC esté habilitado en todos los puertos del switch y que la marcación DSCP coincida con la configuración del switch.Se aplicarán las siguientes medidas:para validar los ajustes de asignación de búfer con respecto a los valores recomendados para su perfil de carga de trabajo.
• Erros en el desplazamiento del enlace o en el CRC:Compruebe la calidad del cable QSFP28 y asegúrese de que el firmware del adaptador esté actualizado a la versión más reciente.
• La CPU sigue alta a pesar de la descarga:Confirme que RDMA se está utilizando realmente (no cayendo en TCP) inspeccionando los contadores de controladores, los registros de aplicaciones y los estados de conexión.
• Estancamiento de PFC o tormenta de pausa:Compruebe si las prioridades están mal configuradas y asegúrese de que el PFC esté habilitado solo en las clases de tráfico RoCE (no en el tráfico de gestión o almacenamiento).

Para la optimización, recomendamos los siguientes parámetros de ajuste basados en una amplia validación de laboratorio:

• Interrupción de la unión (moderación):Configurar a 4 ‰ 8 μs para cargas de trabajo mixtas (negociación + almacenamiento) para equilibrar la latencia y la eficiencia de la CPU.
• RDMA MTU:Aumentar a 4096 bytes para las cargas de trabajo de almacenamiento para reducir la sobrecarga del protocolo y mejorar el rendimiento.
• RSS (escalado del lado de recepción):Configurar en múltiples núcleos de CPU para el tráfico no RDMA para distribuir el procesamiento y evitar la saturación de un solo núcleo.
• Los límites de las ECN:Establecer un umbral mínimo del 50% del amortiguador y un umbral máximo del 80% para el tráfico de prioridad 3, ajustándose en función de los patrones de congestión observados.

6Resumen y evaluación del valor

ElNVIDIA Mellanox MCX556A-ECAT, también conocido como NVIDIALa solución ofrece un valor transformador para los centros de datos modernos. Al reemplazar el TCP/IP basado en software por RDMA/RoCE acelerado por hardware,Las organizaciones pueden lograr reducciones de latencia a nivel de aplicación de 5 ‰ 10x, reducir el gasto de red de la CPU en más del 80%, y aumentar la densidad de contenedores del servidor en un 30~50%.Tarjeta de adaptador Ethernet MCX556A-ECATProporciona un camino rentable hacia la adopción de 100GbE con protección de la inversión a través de la compatibilidad con versiones anteriores de 40GbE y capacidades de descarga preparadas para el futuro para cargas de trabajo emergentes.

Al evaluar el coste total de propiedad, elPrecio MCX556A-ECATse compensa con importantes ahorros operativos: reducción del número de servidores (debido a una mayor utilización), menores costes de refrigeración (gracias a un consumo de energía inferior a 15 W),y eliminación de tejidos separados de InfiniBand o RDMA patentadosLa solución está completamenteCompatible con el MCX556A-ECATcon los principales ecosistemas de código abierto y empresariales, incluidos Kubernetes, Apache Spark, TensorFlow y VMware vSphere, asegurando una amplia aplicabilidad en empresas, HPC y implementaciones nativas en la nube.

Para los scripts de implementación detallados, plantillas de configuración e informes de benchmark de rendimiento, consulte el manual oficialSe aplicarán las siguientes medidas:Este libro blanco sirve como una base para que la arquitectura sea validada, los componentes estén listos para la producción,y los beneficios son mediblesEl.Tarjeta de red PCIe con adaptador MCX556A-ECAT ConnectXno es simplemente un adaptador; es un habilitador estratégico para el centro de datos RDMA listo y optimizado para el rendimiento del futuro.