Documento Técnico de NVIDIA Mellanox MCX4121A-ACAT | Transporte de baja latencia RDMA/RoCE y Servidor

NVIDIA Mellanox MCX4121A-ACAT Adaptador de servidor Libro técnico.

1Antecedentes del proyecto y análisis de los requisitos

Los centros de datos modernos están bajo una presión incesante para soportar cargas de trabajo cada vez más exigentes, desde la capacitación en IA/ML y el comercio de alta frecuencia hasta bases de datos distribuidas y almacenamiento NVMe-over-Fabrics.Mientras que 25GbE Ethernet se ha convertido en el estándar de la capa de acceso principal, muchas organizaciones encuentran que el ancho de banda en bruto por sí solo no se traduce en el rendimiento de la aplicación.latencia impredeciblePara aplicaciones sensibles a la latencia y hambrientas de rendimiento, el subsistema de red a menudo se convierte en el eslabón más débil.

Este libro blanco aborda estos desafíos mediante una solución integral centrada en laNVIDIA Mellanox MCX4121A-ACAT, también conocido como NVIDIAEl sistema está diseñado para empresas que buscan liberar todo el potencial de la infraestructura 25GbE.Tarjeta de adaptador Ethernet MCX4121A-ACATCombina la conectividad de doble puerto 25GbE con RDMA acelerado por hardware a través de Ethernet convergente (RoCE). La solución tiene tres objetivos principales: (1) reducir la latencia a nivel de aplicación a menos de 10 μs,(2) Reducción de los gastos generales de procesamiento de la red de la CPU en más del 80%, y (3) permitiendo una escalabilidad perfecta de unos pocos nodos a cientos sin reelaborar la arquitectura.

2Diseño general de la arquitectura de red y sistema

La arquitectura recomendada adopta una topología de hoja-espina dorsal con 25GbE como la capa de acceso al servidor y 100GbE enlaces ascendentes a la columna vertebral.Se trata de un sistema de transmisión de datos que se utiliza para la transmisión de datos.La arquitectura está construida alrededor de tres principios básicos:

• Tejido Ethernet sin pérdidas:Aprovechar RoCE v2 con PFC (Priority Flow Control) y ECN (Explicit Congestion Notification) para eliminar las caídas de paquetes y garantizar la latencia determinista.
• Descarga de hardware en todas partes:Descargar el procesamiento de la capa de transporte incluida la suma de comprobación, la segmentación y RDMA al adaptador, liberando ciclos de CPU para aplicaciones comerciales.
• Redundancia activa-activa:Utilizando ambos puertos SFP28 en modo de agregación de enlaces (LACP) para un ancho de banda agregado de 50 Gb/s y un cambio automático de fallo.

La solución es totalmenteCompatible con MCX4121A-ACATcon plataformas de servidores líderes (Dell PowerEdge, HPE ProLiant, Supermicro) y conmutadores de NVIDIA Spectrum y Arista. Para el almacenamiento, la arquitectura admite NVMe-oF sobre RoCE,permitiendo el almacenamiento desagregado compartido con latencias que se acercan a las unidades NVMe locales.

3El papel y las características clave del NVIDIA Mellanox MCX4121A-ACAT

Como componente fundamental de esta solución, elNVIDIA Mellanox MCX4121A-ACAT, también conocido como NVIDIAsirve a tres funciones críticas:

Especificaciones clave extraídas de laSe aplicarán las siguientes medidas:incluyen interfaz de host PCIe 3.0 x8, descargas completas (suma de comprobación, LSO/LRO, eliminación/inserción de VLAN) y telemetría avanzada por puerto.Eficiencia energética del adaptador (< 10W típicos) y amplio soporte del sistema operativo (Linux), Windows, VMware ESXi) lo convierten en un bloque de construcción versátil para entornos heterogéneos.

4Recomendaciones para el despliegue y la ampliación

Para las implementaciones de campo verde, recomendamos una topología de hoja-espina dorsal de dos niveles con acceso 25GbE y enlaces ascendentes de espina dorsal 100GbE/400GbE. Cada servidor aloja unaTarjeta de adaptador Ethernet MCX4121A-ACATcon ambos puertos conectados a interruptores de hoja separados para la redundancia.PFC en la prioridad 3 y marcado ECN en la misma clase de tráficoRecomendamos asignar una VLAN dedicada para el tráfico RoCE para simplificar el monitoreo y la resolución de problemas.

Para los entornos de campo marrón, elSolución de tarjeta de adaptador Ethernet MCX4121A-ACATDebido a que el adaptador es compatible con la óptica 10GbE SFP +, el cableado existente se puede reutilizar durante la actualización gradual a 25GbE.El adaptador también admite conmutación Ethernet estándar sin habilitación obligatoria de RoCE, lo que permite a los equipos desplegar el hardware primero y activar las capacidades de RDMA en etapas a medida que la tela madura.

La ampliación de la solución es sencilla: los nodos adicionales se proporcionan simplemente con el mismoMCX4121A-ACAT para la ventaSKU, y el tejido se adapta automáticamente a los nuevos puntos finales a través de LLDP y DCBx negociación.Recomendamos el despliegue de un controlador de gestión de congestión RoCE dedicado (e.g., conmutadores NVIDIA Spectrum con telemetría incorporada) para mantener un comportamiento sin pérdidas a escala.

5. Operaciones, monitoreo, solución de problemas y optimización

El funcionamiento efectivo del tejido RoCE requiere una estrategia de monitoreo de varias capas:

• Telemetría a nivel de adaptador:ElLas especificaciones MCX4121A-ACATLos datos de los paquetes de datos que se envían a través de los puertos de datos incluyen los contadores por puerto para los cuadros PFC, los paquetes marcados con ECN y los cuadros eliminados.¿Qué quieres decir?o las herramientas de firmware de NVIDIA para exportarlos a Prometheus/Grafana.
• Monitoreo a nivel de interruptor:Monitoree la ocupación del búfer, el recuento de marcos de pausa y las profundidades de cola en los interruptores de columna vertebral y hoja.
• Métricas a nivel de aplicación:Para las aplicaciones RDMA, realizar un seguimiento de las latencias de finalización de WR (Solicitud de trabajo) y los eventos de desbordamiento de CQ (Lista de finalización) utilizando bibliotecas proporcionadas por el proveedor.

Los escenarios comunes de resolución de problemas incluyen:

• Deterioro del rendimiento de RoCE:Verifique que el PFC esté habilitado en todos los puertos del switch y que la marcación DSCP coincida con la configuración del switch.Se aplicarán las siguientes medidas:para validar los ajustes de asignación del búfer.
• Erros en el desplazamiento del enlace o en el CRC:Compruebe la calidad del cable SFP28 y asegúrese de que el firmware del adaptador esté actualizado a la última versión.
• La CPU sigue alta a pesar de la descarga:Confirme que RDMA se está utilizando realmente (no cayendo en TCP) inspeccionando los contadores de controladores y los registros de aplicaciones.

Para la optimización, recomendamos los siguientes parámetros de ajuste (derivados de una amplia validación de laboratorio): - Set interrupt coalescing (moderation) to 4 µs for mixed workloads - Enable hardware timestamping for precise latency measurement - Configure RSS (Receive Side Scaling) across multiple CPU cores for non-RDMA traffic - For storage workloads, aumentar la MTU RDMA máxima a 4096 bytes para reducir la sobrecarga del protocolo

6Resumen y evaluación del valor

ElNVIDIA Mellanox MCX4121A-ACAT, también conocido como NVIDIAAl reemplazar TCP/IP por RDMA/RoCE, las organizaciones pueden lograr reducciones de latencia a nivel de aplicación de 5×10x.Reducción de los gastos generales de la red de la CPU en más del 80%, y aumentar la densidad del contenedor del servidor en un 30­50%.Tarjeta de adaptador Ethernet MCX4121A-ACATProporciona un camino rentable hacia la adopción de 25GbE con protección de la inversión a través de compatibilidad con versiones anteriores y capacidades de descarga preparadas para el futuro.

Al evaluar el coste total de propiedad, elPrecio MCX4121A-ACATse compensa con importantes ahorros de funcionamiento: menor número de servidores (debido a una mayor utilización), menores costes de refrigeración (gracias a un consumo de energía inferior a 10 W),y eliminación de tejidos separados de InfiniBand o de tejidos patentadosLa solución está completamenteCompatible con MCX4121A-ACATcon los principales ecosistemas de código abierto, incluidos Kubernetes, Apache Spark y TensorFlow, lo que garantiza una amplia aplicabilidad en las implementaciones empresariales y nativas de la nube.

Para los scripts de implementación detallados, plantillas de configuración e informes de benchmark de rendimiento, consulte el manual oficialSe aplicarán las siguientes medidas:Este libro blanco sirve como punto de partida ̇ la arquitectura está validada, los componentes están listos para la producción y los beneficios son medibles.Se trata de un sistema de transmisión de datos que se utiliza para la transmisión de datos.no es sólo un adaptador; es un habilitador estratégico para el centro de datos RDMA listo y optimizado para el rendimiento del futuro.