Documento técnico de NVIDIA Mellanox MCX653106A-HDAT para servidores: Transporte de baja latencia RDMA/RoCE y rendimiento de servidores

NVIDIA Mellanox MCX653106A-HDAT Adaptador de servidor Libro blanco técnico. RDMA / RoCE transporte de baja latencia y optimización del rendimiento del servidor

1Antecedentes del proyecto y análisis de los requisitos

Las cargas de trabajo de los centros de datos modernos abarcan inteligencia artificial, computación de alto rendimiento (HPC), bases de datos distribuidas,Los sistemas de almacenamiento de datos y de almacenamiento empresarial han transformado radicalmente los requisitos de las redes. Las pilas de red basadas en TCP/IP tradicionales, aunque ubicuas, introducen latencia y sobrecarga de CPU que se vuelven prohibitivas a escala.formación en aprendizaje de máquinas distribuido, y el análisis en tiempo real requieren latencia determinista de menos de 5 microsegundos y movimiento de datos acelerado por hardware para lograr un rendimiento óptimo.

Los arquitectos de red y los líderes de infraestructura están adoptando cada vez más RDMA sobre Ethernet convergente (RoCE) como el transporte preferido para estas cargas de trabajo críticas de rendimiento.La implementación exitosa de RoCE depende de la capacidad del adaptador subyacente para descargar el procesamiento de transporte., gestionar la congestión de manera efectiva e integrarse sin problemas con las telas Ethernet existentes sin necesidad de actualizaciones de carretillas elevadoras.y entornos de HPC incluyen:

• La latencia RDMA de extremo a extremo inferior a 3 microsegundos para aplicaciones sensibles a la latencia, como el comercio de alta frecuencia y las bases de datos en memoria
• Transporte agregado superior a 100 Gb/s por servidor para soportar nodos de almacenamiento de alta densidad y grupos de computación acelerados por GPU
• Descarga de hardware para GPUDirect para eliminar copias de memoria del lado del host en cargas de trabajo de IA y HPC
• Transporte Ethernet sin pérdidas con PFC y ECN para un rendimiento determinista y sin jitter
• Telemetría completa y ruta de datos programables para la visibilidad y resolución de problemas operativos proactivos

ElNVIDIA Mellanox MCX653106A-HDAT, también conocido como NVIDIAaborda directamente estos requisitos a través de su avanzada arquitectura ConnectX, que ofrece RoCEv2 acelerado por hardware, gestión avanzada de la congestión,y un marco de programación integral adecuado para los entornos empresariales y de nube más exigentes.

2Diseño general de la arquitectura de red y sistema

La arquitectura de la solución propuesta emplea una topología de hoja-espina dorsal con conectividad 25/50/100GbE en la capa de acceso al servidor.MCX653106A-HDAT Adaptador ConnectX tarjeta de red PCIeLa arquitectura se compone de cuatro capas distintas:

• Computación / borde de almacenamiento:ElTarjeta de adaptador Ethernet MCX653106A-HDATse conecta a través de PCIe Gen 4.0 x16 al host,ofreciendo hasta 256 GB/s de ancho de banda bidireccional de un host ‡ suficiente para saturar completamente dos puertos 100GbE, manteniendo al mismo tiempo espacio para el tráfico masivo y futuras mejoras de velocidad.
• Tejido de red:Los puertos dobles admiten medios flexibles (SFP28 para 25GbE, QSFP para 50/100GbE) con balance de carga activo-activo y descarga de hardware LAG.El adaptador admite un rendimiento agregado de hasta 200 Gb/s con un cambio de función basado en hardware.
• Capa de transporte RDMA:RoCEv2 acelerado por hardware con descarga completa de segmentación, reensamblaje, control de congestión y manejo de finalización.El adaptador admite hasta 200 millones de mensajes por segundo (Mpps) con latencia de un microsegundo.
• Gestión y telemetría:Gestión fuera de banda con soporte completo de Redfish y SNMP, complementado con telemetría en banda para monitoreo de tejidos en tiempo real y optimización del rendimiento.

El diseño hace hincapié en un tejido Ethernet convergente, sin pérdidas, donde elNVIDIA Mellanox MCX653106A-HDAT, también conocido como NVIDIAsirve como el punto final RDMA, lo que permite transferencias directas de memoria a memoria sin intervención de la CPU host.Compatible con MCX653106A-HDATcon la infraestructura de conmutación Ethernet existente, que requiere solo soporte PFC y ECN características comúnmente disponibles en los conmutadores modernos de centros de datos de todos los principales proveedores.

3. Función y características clave del NVIDIA Mellanox MCX653106A-HDAT

ElEl valor de las emisiones de gases de efecto invernadero es el valor de las emisiones de gases de efecto invernadero.desempeña un papel central en la arquitectura, ofreciendo cuatro capas de valor distintas que en conjunto permiten redes de baja latencia y alto rendimiento:

A. Motor RDMA acelerado por hardware
El adaptador integra una tubería de procesamiento de paquetes completamente programable que descarga las operaciones de transporte RoCEv2 incluida la segmentación, el reensamblaje, el control de congestión,y el manejo de finalización Según elSi el vehículo no está equipado con un sistema de control de velocidad, el sistema de control de velocidad deberá utilizar un sistema de control de velocidad., el hardware admite el rendimiento de la velocidad de transmisión en todos los tamaños de paquetes, con una velocidad máxima de mensaje de 200 Mpps y latencia de extremo a extremo de submicrosegundos.

B. GPUDirect y NVMe-oF descargas
Un elemento clave de diferenciación de laEl valor de las emisiones de gases de efecto invernadero es el valor de las emisiones de gases de efecto invernadero.es su soporte integrado para GPUDirect,Permitir el movimiento directo de datos entre la memoria de la GPU y la interfaz de red sin copias del lado del anfitrión, eliminando un cuello de botella crítico en la capacitación de IA distribuidaPara las cargas de trabajo de almacenamiento, el adaptador descarga las operaciones NVMe-oF,Transformación de Ethernet estándar en un tejido de almacenamiento de alto rendimiento con características de latencia que anteriormente solo se podían lograr con InfiniBand dedicado.

C. Calidad de servicio avanzada y gestión de la congestión
El adaptador proporciona la priorización por clase de tráfico con soporte para prioridad estricta, colas justas ponderadas y limitación de tarifas.Generación de PFC, y capacidades de enrutamiento adaptativo Las especificaciones de MCX653106A-HDAT.

D. Seguridad y programabilidad
El adaptador incluye una raíz de hardware de confianza, arranque seguro, actualizaciones de firmware cifradas e interfaces de administración seguras.permitir descargas personalizadas y recogida de telemetría de red en banda (INT) para una visibilidad operativa avanzada.

4Recomendaciones de implementación y escalabilidad

Topología de implementación típica

El despliegue recomendado sigue una topología "espina dorsal" con la siguiente configuración:

• Interruptores de hojas:Interruptores ToR de 25/50/100GbE con soporte RoCEv2, configurados con PFC en colas de prioridad dedicadas (normalmente una o dos prioridades) y ECN para la señalización de congestión.Se recomiendan marcos jumbo (MTU 9000) para un rendimiento RoCE óptimo.
• Nodos del servidor:Cada nodo equipado con elEl valor de las emisiones de gases de efecto invernadero es el valor de las emisiones de gases de efecto invernadero.La interfaz PCIe Gen 4.0 x16 del adaptador asegura que no haya cuellos de botella del lado del host.
• Capa de la columna:Interruptores de columna vertebral de 100/400GbE que proporcionan conectividad inter-rack sin bloqueo con capacidad de búfer suficiente para absorber micro-explosiones a través de múltiples racks.
• Integración de almacenamiento/computación:Para las implementaciones de NVMe-oF, los nodos objetivo utilizan el mismo tipo de adaptador para capacidades RDMA consistentes.El soporte GPUDirect del adaptador se aprovecha para la sincronización de gradientes en las GPU.

Consideraciones de escalabilidad

• Dominios de congestión:Partición del tejido en múltiples zonas de gestión de la congestión (por ejemplo, por rack o por racimo) para limitar la propagación de los PFC.El límite de velocidad por puerto del adaptador ayuda a aislar a los vecinos ruidosos y mantener una asignación justa de ancho de banda.
• Integración de orquestación:El adaptador es totalmente compatible con Kubernetes (a través del operador de red NVIDIA) y OpenStack, lo que permite el aprovisionamiento automatizado y la gestión del ciclo de vida en entornos a escala de nube.
• A prueba de futuro:ElEl valor de las emisiones de gases de efecto invernadero es el valor de las emisiones de gases de efecto invernadero.Apoya 100GbE y velocidades más altas, proporcionando espacio para futuras actualizaciones de red sin reemplazo de adaptador.La interfaz 0 también garantiza la compatibilidad con las plataformas de servidores de próxima generación.

Para las organizaciones que evalúan elMCX653106A-HDAT precio, el coste total de propiedad debe incluir los ahorros derivados de la eliminación de las redes de almacenamiento dedicadas, la reducción de la asignación de núcleos de CPU (normalmente recuperando 4-6 núcleos por servidor),y las eficiencias operativas de la gestión unificada de tejidos.

5. Operaciones, monitoreo, solución de problemas y optimización

Marco de seguimiento

La solución incorpora un enfoque de observabilidad de varios niveles:

• Telemetría a nivel de adaptador:ElEl valor de las emisiones de gases de efecto invernadero es el valor de las emisiones de gases de efecto invernadero.expone cientos de contadores de hardware a través de ethtool, sysfs y herramientas de gestión de NVIDIA. Las métricas clave incluyen rendimiento por puerto, marcos de pausa PFC, paquetes marcados ECN, eventos de congestión RoCEv2,Estadísticas de la cola de finalización de RDMA, y histogramas de latencia por flujo.
• Visibilidad a nivel del tejido:La integración con la plataforma de gestión unificada de NVIDIA proporciona visualización de topología, análisis de trayectoria de flujo y detección de anomalías en todo el tejido.
• Correlación de aplicaciones:El adaptador proporciona estadísticas por cola y por cola de finalización RDMA, lo que permite una correlación precisa del rendimiento de la red con la latencia de transacción a nivel de aplicación.

Escenarios comunes de solución de problemas

Basado en la experiencia operativa con elNVIDIA Mellanox MCX653106A-HDAT, también conocido como NVIDIA, se identifican los siguientes patrones de diagnóstico:

• Detección de tormentas de PFC:Monitorear los contadores de cuadros de pausa PFC por prioridad  Pausa sostenida > 5% de la velocidad de la línea indica congestión o mal configuración.Investigue la fuente utilizando los contadores de utilización de búfer por cola del adaptador.
• Las gotas del paquete RoCEv2:Compruebe los contadores de caídas del adaptador (rx_discard, tx_discard) y correlacione con los paquetes marcados ECN para distinguir entre las caídas a nivel del adaptador y el estrangulamiento a nivel del tejido.
• Ajuste de rendimiento:Ajustar los parámetros de coalescencia de interrupción para equilibrar la latencia frente a la utilización de la CPU Si el vehículo no está equipado con un sistema de control de velocidad, el sistema de control de velocidad deberá utilizar un sistema de control de velocidad.proporciona una guía detallada sobre todos los parámetros ajustables.

Directrices para la optimización

Para lograr un rendimiento máximo y una latencia mínima con elSolución de tarjeta de adaptador Ethernet MCX653106A-HDAT, se recomiendan las siguientes optimizaciones:

• Habilitar el CRC de hardware, las descargas divididas de encabezado / datos y la escalación del lado receptor (RSS) para distribuir el tráfico de manera eficiente a través de múltiples núcleos de CPU
• Configurar dinámicamente los umbrales de PFC por prioridad utilizando las herramientas de configuración de búfer específicas del fabricante del adaptador, basadas en los perfiles de carga de trabajo observados
• Habilitar las características avanzadas de QoS del adaptador, incluida la limitación de la velocidad por clase de tráfico y la prioridad estricta o la cola justa ponderada
• Para implementaciones a gran escala, aproveche el soporte del adaptador para 802.1Qaz DCBX para automatizar la negociación PFC y ECN con switches
• Utilizar la ruta de datos programable del adaptador para implementar la recolección de telemetría personalizada o el procesamiento de paquetes especializados de descargas adaptadas a los requisitos específicos de la aplicación

6Resumen y evaluación del valor

La solución técnica se centró en elEl valor de las emisiones de gases de efecto invernadero es el valor de las emisiones de gases de efecto invernadero.La tecnología de NVIDIA Mellanox ofrece un camino claro para lograr una latencia RDMA de menos de 3 microsegundos y un rendimiento agregado superior a 100 Gb/s por servidor.Tarjeta de adaptador Ethernet MCX653106A-HDATsirve como el bloque de construcción fundamental para los tejidos de centros de datos convergentes modernos que admiten la capacitación de IA, HPC, almacenamiento empresarial y cargas de trabajo de análisis en tiempo real simultáneamente.

Las propuestas de valor clave incluyen:

• Consolidación de la infraestructura:Elimina la necesidad de redes de almacenamiento y computación separadas al permitir Ethernet sin pérdidas para todos los tipos de tráfico, reduciendo los gastos de capital y operativos
• Liderazgo en el rendimiento:RoCEv2 descargado con hardware con GPUDirect asegura una latencia determinista de menos de un microsegundo incluso bajo una tasa de utilización de línea de más del 90% y el comercio de alta frecuencia
• Eficiencia operativa:La telemetría integral, la gestión de la congestión de auto-reparación y las integraciones de orquestación automatizada reducen el tiempo medio de resolución (MTTR) y los gastos generales operativos
• Protección de las inversiones:La interfaz PCIe Gen 4.0 del adaptador, la programabilidad y el soporte de puertos de múltiples velocidades aseguran la compatibilidad con futuras generaciones de CPU y tejidos de red de mayor velocidad

Para las organizaciones que evalúan activamenteMCX653106A-HDAT para la ventaOpciones, esta solución ofrece una arquitectura de referencia probada validada en entornos de producción en servicios financieros, proveedores de nube, atención médica e instituciones de investigación.La combinación del rendimiento, la escalabilidad y la madurez operativa hacenNVIDIA Mellanox MCX653106A-HDAT, también conocido como NVIDIAuna inversión estratégica para cualquier organización comprometida con la construcción de una infraestructura de centros de datos de alto rendimiento y preparada para el futuro.