Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Adaptador de servidor Libro blanco técnico

Este documento técnico está diseñado para arquitectos de red, ingenieros de preventa y gerentes de operaciones.Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT también conocido comoEl documento cubre el diseño arquitectónico, las características técnicas clave, el diseño de la red de datos y el diseño de la red de datos.estrategias de despliegue y ampliación, así como las operaciones y el seguimiento, proporcionando orientación práctica para la aplicación en el mundo real.

Los centros de datos modernos se enfrentan a tres desafíos principales: la CPU se convierte en un cuello de botella de la red, latencia excesiva de acceso al almacenamiento y gastos generales de comunicación incontrolables para aplicaciones distribuidas.La pila de protocolos TCP/IP tradicional consume más del 30% de los recursos de la CPU en el procesamiento del protocolo y la copia de datos durante la comunicación paralela a gran escalaMientras tanto, aplicaciones como NVMe sobre Fabrics, marcos de aprendizaje automático distribuidos (por ejemplo, NCCL),y las bases de datos en memoria requieren latencia de extremo a extremo de menos de 20 microsegundosLo que se necesita con urgencia es una solución que evite el núcleo y proporcione una descarga de transporte a nivel de hardwareSe aplicará el procedimiento de ensayo.combinado con soluciones tecnológicas RoCE.

Esta solución adopta una topología Spine-Leaf de dos capas.NVIDIA Mellanox MCX623106AN-CDAT, también conocido como NVIDIA MellanoxLos interruptores de hoja están configurados para un funcionamiento RoCE sin pérdidas, lo que permite PFC (Control de flujo prioritario) y ECN (Notificación explícita de congestión),con una cola de prioridad específica asignada para el tráfico RoCELos principios clave de diseño incluyen:

• Separación de los planos de control y de datos: Los flujos de datos RoCE son procesados completamente por el hardware del adaptador, mientras que los protocolos de control (por ejemplo, ARP, DHCP) siguen la ruta tradicional.
• Tejido unificado: Ethernet lleva tanto el tráfico estándar TCP/IP como RoCE, con aislamiento QoS logrado a través del marcado DSCP.
• Gestión de la congestión de extremo a extremo: basado en el algoritmo DCQCN, estableciendo un mecanismo de retroalimentación de circuito cerrado entre los adaptadores de fuente y los interruptores.

ElTarjeta de adaptador Ethernet MCX623106AN-CDATSu diseño de doble puerto 100GbE puede conectarse a diferentes switches Leaf para redundancia o proporcionar aislamiento físico entre el almacenamiento y el tráfico de cómputo.

Como el componente central del plano de datos de esta solución, elMCX623106AN-CDAT Adaptador ConnectX Tarjeta de red PCIeofrece las siguientes capacidades decisivas:

• Motor de descarga de hardware RoCE: Maneja el procesamiento de la capa de transporte (segmentación, reensamblaje, reconocimiento, retransmisión) sin intervención de la CPU del host.
• Descargas dinámicas de ConnectX: Distribuye automáticamente el tráfico de múltiples colas, mejorando el rendimiento en servidores multi-núcleo.
• Interfaz de host de PCIe 4.0 x16: ancho de banda teórico de 256Gb/s, que garantiza que no haya cuellos de botella para el reenvío de velocidad de línea.
• Descargas de almacenamiento avanzado: Soporta la aceleración de hardware para NVMe sobre Fabrics, incluida la búsqueda de espacio de nombres y las comprobaciones de integridad de datos.

De acuerdo con elSe aplicarán las siguientes medidas:y disponibles al públicoLas especificaciones de MCX623106AN-CDATEn la actualidad, el sistema de procesamiento de paquetes de datos está disponible en más de un millón de dispositivos, con una latencia de puerto a puerto inferior a 600 nanosegundos y soporta velocidades de procesamiento de paquetes de hasta 200 millones de paquetes por segundo.Precio MCX623106AN-CDATes altamente competitivo entre los adaptadores RoCE 100GbE comparables, yMCX623106AN-CDAT para la ventaAntes de la selección, es recomendable confirmar que los modelos de servidor aparecen en elCompatible con MCX623106AN-CDATLa lista de plataformas OEM principales ha sido validada.

Descripción de la topología típica:
Una arquitectura Clos que consta de 2 switches Spine y 4 switches Leaf. Cada nodo del servidor está equipado con unSe aplicará el procedimiento de ensayo., con ambos puertos de 100GbE conectados a dos switches Leaf diferentes. Los puertos de enlace ascendente Leaf se conectan a Spines en una relación de sobrescripción de 4: 1.

Etapas de despliegue:

• Paso 1: Instalar físicamente elSe aplicará el procedimiento de ensayo.en una ranura PCIe 4.0 x16, luego instale el último firmware y el controlador NVIDIA MLNX_OFED.
• Paso 2: en los interruptores, configurar PFC (prioridad 3 recomendada) y ECN (establecer Kmin/Kmax) para el tráfico RoCE.
• Paso 3: En el sistema operativo, habilitar el modo RoCEv2 y configurar los parámetros DCQCN (valores iniciales: α=1, β=1, período de tiempo 100μs).
• Paso 4: Utilice las herramientas ib_write_bw e ib_write_lat para verificar la línea de base de rendimiento.

Recomendaciones de escala:Cuando el clúster se expanda más allá de 500 nodos, considere habilitar el control de flujo (PPC) del adaptador y las tablas de mapeo de QoS, y considere usar múltiples prioridades de RoCE para evitar el bloqueo de la cabeza de línea.

Los equipos de operaciones pueden utilizar las siguientes herramientas para vigilar la salud de laSolución de tarjeta de adaptador Ethernet MCX623106AN-CDAT:

• ¿ Qué está haciendo?: Configurar los parámetros del firmware y gestionar las actualizaciones del firmware.
• -S de etilo: Ver los contadores de transmisión/recepción de RoCE y los recuentos de cuadros de pausa de PFC.
• el diagnóstico: Realizar diagnósticos integrales de la red RoCE para detectar tormentas de PFC innecesarias.
• Telemetría y HIST: Utilice las tablas de distribución de latencia histórica integradas en el adaptador para identificar anomalías de latencia de cola.

Solución de problemas común:

• Transmisión por debajo de las expectativas: Verifique el estado de negociación de PCIe (debe ser Gen4 x16) y asegúrese de que la MTU esté establecida uniformemente en 9000 cuadros jumbo.
• Fallas de conexión RoCE: Verifique el mapeo DSCP y la configuración de VLAN, asegurándose de que el interruptor no deje caer paquetes marcados con RoCE.
• Uso alto de la CPU: Esto puede indicar que la descarga de hardware no está habilitada; verifique la configuración de descarga de ethtool.

Recomendaciones de optimización:Para aplicaciones extremadamente sensibles a la latencia (por ejemplo, comercio de alta frecuencia, replicación de registros RDMA),Considerar cambiar el tipo de servicio RoCE de "conectado" a "datagrama" y desactivar el control de congestión.

La solución RDMA/RoCE basada en elSe aplicará el procedimiento de ensayo.reduce la latencia de extremo a extremo para aplicaciones distribuidas en un orden de magnitud (de cientos de microsegundos a decenas de microsegundos) sin sustituir la infraestructura Ethernet existente,mientras que al mismo tiempo libera 20~30% de los recursos de computación de la CPUPara escenarios como la capacitación de IA, el almacenamiento hiperconvergente y el análisis en tiempo real, esto se traduce directamente en tiempos de finalización de trabajos más cortos y una mayor densidad de servidores.Solución de tarjeta de adaptador Ethernet MCX623106AN-CDAT, demuestra que "Ethernet sin pérdidas + NIC inteligente" es un camino viable para lograr un alto rendimiento y una baja latencia.Se aplicarán las siguientes medidas:, consulte la documentación oficial de NVIDIA o póngase en contacto con un equipo de arquitectura de soluciones.