Documento técnico de NVIDIA Mellanox MCX631432AN-ADAB Server Adapter

NVIDIA Mellanox MCX631432AN-ADAB Adaptador de servidor Libro blanco técnico

1Antecedentes del proyecto y análisis de los requisitos

Las arquitecturas modernas de centros de datos se definen cada vez más por la convergencia de computación de alto rendimiento, cargas de trabajo de inteligencia artificial y sistemas de almacenamiento distribuidos.Estas aplicaciones comparten un conjunto común de requisitos de redLas pilas de red tradicionales basadas en TCP/IP, aunque ubicuas, no son muy potentes.Introducir costes de procesamiento de CPU y latencia significativos que se vuelven prohibitivos a escala.

Para las organizaciones que implementan NVMe sobre Fabrics (NVMe-oF), grupos de capacitación de aprendizaje automático distribuidos o plataformas de negociación financiera sensibles a la latencia,la tarjeta de interfaz de red (NIC) ha evolucionado de un simple dispositivo de E/S a un acelerador de rendimiento estratégicoLos requisitos clave identificados en los despliegues modernos incluyen:

• La latencia a nivel de aplicación de menos de 5 microsegundos a través del transporte sin carga de hardware
• Transporte agregado superior a 40 Gb/s por servidor para eliminar los cuellos de botella de almacenamiento
• Rendimiento determinístico con mínima variación de latencia de cola bajo carga
• Integración perfecta con la infraestructura Ethernet existente sin conmutación propietaria
• Capacidades integrales de telemetría y diagnóstico para operaciones proactivas

ElNVIDIA Mellanox MCX631432AN-ADAB, también conocido como NVIDIAaborda directamente estos requisitos a través de su arquitectura ConnectX-6 Lx,ofrecer RoCEv2 acelerado por hardware (RDMA sobre Ethernet convergente) con control de congestión avanzado y capacidades de ruta de datos programables.

2Diseño general de la arquitectura de red y sistema

La arquitectura de la solución propuesta adopta una topología de red de hoja espinal con conectividad 25GbE en la capa de acceso al servidor.MCX631432AN-ADAB ConnectX-6 Lx con doble puerto 25GbE SFP28Adaptador, que proporciona dos rutas redundantes a los interruptores de la parte superior del rack (ToR).

• El borde del servidor:ElTarjeta de adaptador Ethernet MCX631432AN-ADABse conecta a través de PCIe Gen 4.0 x8 a la CPU de host, proporcionando hasta 64 GB/s de ancho de banda bidireccional de host, totalmente suficiente para saturar ambos puertos 25GbE simultáneamente.
• Tejido de red:Los dos puertos SFP28 de 25GbE proporcionan balanceo de carga activo-activo o conmutación de fallo en espera activa.
• Integración de almacenamiento:Para las implementaciones de NVMe-oF, el adaptador sirve como el punto final RDMA, lo que permite transferencias directas de datos de memoria a memoria con latencia de submicrosegundos.
• Plan de gestión:Gestión fuera de banda a través de la interfaz de gestión segura del adaptador, con soporte completo para el monitoreo de Redfish y SNMP.

El diseño hace hincapié en Ethernet sin pérdidas a través de RoCEv2 con control de flujo prioritario (PFC) y notificación de congestión explícita (ECN) Solución de tarjeta de adaptador Ethernet MCX631432AN-ADABopera dentro de un tejido convergente y multiprotocolo sin infraestructura InfiniBand dedicada.

3. Papel y características clave del NVIDIA Mellanox MCX631432AN-ADAB

ElNVIDIA Mellanox MCX631432AN-ADAB, también conocido como NVIDIAsirve como el bloque de construcción fundamental de esta solución, proporcionando tres capas distintas de valor:

A. Motor de aceleración de hardware
El adaptador integra una tubería de procesamiento de paquetes altamente programable que descarga las operaciones del protocolo de transporte, incluida la segmentación de RoCE, el reensamblaje,y control de congestión desde la CPU hostSegún elSe aplicarán las siguientes medidas:, el hardware admite hasta 200 millones de mensajes por segundo (Mpps), lo que garantiza que incluso los tamaños de paquete más pequeños logren un rendimiento de velocidad de transmisión.

B. Implementación de RDMA y RoCEv2
ElMCX631432AN-ADAB ConnectX-6 Lx con doble puerto 25GbE SFP28Implementa RoCEv2 con el transporte totalmente descargado del hardware.

• Transferencias de datos sin copias directamente entre búferes de aplicaciones y memoria remota
• Tener una latencia unidireccional de menos de 2 microsegundos para las comunicaciones entre pares
• Compatibilidad completa con los switches Ethernet estándar, que solo requieren soporte PFC y ECN

C. Telemetría avanzada y programabilidad
El adaptador incluye un conjunto de contadores de telemetría que proporcionan latencia por flujo, profundidad de cola y métricas de congestión, críticas para la gestión proactiva del rendimiento.Las especificaciones de MCX631432AN-ADABDetallará la gama completa de características programables, incluido el procesamiento flexible de la acción de coincidencia y el soporte para la telemetría de red en banda (INT).

Para las organizaciones que consideran la implementación, el adaptador está completamenteCompatible con el MCX631432AN-ADABcon todas las principales distribuciones de Linux (RHEL, Ubuntu, SLES), VMware ESXi y Windows Server, lo que garantiza una integración perfecta en entornos heterogéneos.

4Recomendaciones de implementación y escalabilidad

Topología de implementación típica

El despliegue recomendado sigue una topología "espina dorsal" con la siguiente configuración:

• Interruptores de hojas:Interruptores 25GbE ToR con soporte RoCEv2, configurados con PFC en colas de prioridad dedicadas y ECN para la señalización de congestión
• Nodos del servidor:Cada nodo equipado con elSe aplicará el procedimiento siguiente:, conectado a una hoja primaria y secundaria para la redundancia
• Capa de la columna:Commutadores de columna vertebral de 100 GbE o 400 GbE que proporcionan conectividad inter-rack sin bloqueo
• Objetivo de almacenamiento:Los nodos objetivo NVMe-oF que utilizan el mismo tipo de adaptador para capacidades RDMA consistentes

Consideraciones de escalabilidad

La solución se escala linealmente desde un solo rack hasta varios miles de nodos.

• Gestión del búfer:Utilice la arquitectura de búfer compartida del adaptador (configurable hasta 4 MB por puerto) para absorber ráfagas transitorias sin caídas de paquetes
• Dominios de congestión:Partición de la tela en múltiples zonas de gestión de la congestión para limitar la propagación de PFC, utilizando la velocidad por puerto del adaptador limitante
• Orquestación a escala de nube:El adaptador es totalmente compatible con Kubernetes (a través del operador de red NVIDIA) y OpenStack, lo que permite el aprovisionamiento automatizado y la gestión del ciclo de vida.

En la evaluación de laMCX631432AN-ADAB preciofrente al coste total de propiedad, organizations should factor in the elimination of separate InfiniBand infrastructure and the significant reduction in CPU core allocation for networking tasks — typically recovering 2-4 CPU cores per server.

5. Operaciones, monitoreo, solución de problemas y optimización

Marco de seguimiento

La solución incorpora un enfoque de observabilidad de tres niveles:

• Telemetría a nivel de adaptador:ElTarjeta de adaptador Ethernet MCX631432AN-ADABexpone más de 200 contadores de hardware a través de ethtool, sysfs y herramientas específicas de los proveedores.y eventos de congestión de RoCEv2
• Visibilidad a nivel del tejido:La integración con la plataforma de gestión unificada de NVIDIA proporciona visualización de topología y análisis de trayectoria de flujo
• Monitoreo del rendimiento de las aplicaciones:El adaptador proporciona estadísticas por cola y por cola de finalización RDMA, lo que permite la correlación del rendimiento de la red con la latencia de transacción a nivel de aplicación

Escenarios comunes de solución de problemas

Basándose en la experiencia operativa, se identifican los patrones siguientes utilizando elLas especificaciones de MCX631432AN-ADABy datos telemétricos:

• Detección de tormentas de PFC:Monitorear los contadores de cuadros de pausa de PFC por prioridad  pausa sostenida > 5% de la velocidad de línea indica congestión o configuración incorrecta
• Las gotas del paquete RoCEv2:Compruebe los contadores de caída del adaptador (por ejemplo, contadores rx_discard_*) para aislar si se producen caídas en el adaptador, interruptor o debido a ECN-throttling
• Ajuste de rendimiento:Adjust interrupt coalescing parameters (interrupt moderation rate) to trade off CPU utilization against latency — typically setting moderate coalescing for storage workloads and minimal coalescing for trading applications

Directrices para la optimización

Para lograr un rendimiento máximo y una latencia mínima, se recomiendan las siguientes optimizaciones basadas en laSe aplicarán las siguientes medidas::

• Habilitar las descargas de hardware CRC y de encabezado/datos divididos para reducir el consumo de ancho de banda de la memoria del host
• Configurar los umbrales de PFC por prioridad de forma dinámica en función de los perfiles de carga de trabajo con las herramientas de configuración de búfer específicas del adaptador
• Habilitar las características avanzadas de QoS del adaptador, incluida la limitación de la velocidad por clase de tráfico y la prioridad estricta o la cola justa ponderada
• Para implementaciones a gran escala, utilice el soporte del adaptador para el intercambio de puente de centro de datos 802.1Qaz (DCBX) para automatizar la negociación PFC y ECN con switches

6Resumen y evaluación del valor

La solución técnica se centró en elNVIDIA Mellanox MCX631432AN-ADAB, también conocido como NVIDIAofrece un camino claro para lograr una latencia RDMA inferior a 10 microsegundos al tiempo que aumenta el rendimiento del servidor hasta en 5-6 veces en comparación con las implementaciones tradicionales de TCP/IP de 10GbE.Las propuestas de valor clave incluyen::

• Simplificación de las infraestructuras:Elimina la necesidad de redes de almacenamiento y computación separadas al permitir Ethernet sin pérdidas para todos los tipos de tráfico
• Previsibilidad del rendimiento:RoCEv2 sin carga de hardware garantiza una latencia determinista incluso bajo una tasa de utilización de línea de más del 90%
• Eficiencia operativa:La telemetría integral y la gestión de la congestión de auto-reparación reducen el tiempo medio de resolución (MTTR) para los problemas de red
• Protección de las inversiones:La interfaz PCIe Gen 4.0 y la programabilidad del adaptador aseguran la compatibilidad con futuras generaciones de CPU y switches

Para las organizaciones que evalúan activamenteMCX631432AN-ADAB para la ventaOpciones, esta solución ofrece una arquitectura de referencia probada que ha sido validada en entornos de producción en servicios financieros, proveedores de nube y implementaciones de almacenamiento empresarial.La combinación del rendimiento, la escalabilidad y la madurez operativa hacenTarjeta de adaptador Ethernet MCX631432AN-ADABUna inversión estratégica para la transformación de un centro de datos moderno.