RDMA/RoCE Transporte de baja latencia y mejora del rendimiento del servidor

Este libro técnico proporciona a los arquitectos, ingenieros de preventa y directivos de operaciones un diseño de referencia integral centrado en elNVIDIA Mellanox MCX631432AN-ADAB, también conocido como NVIDIALa solución aborda los desafíos de los centros de datos modernos, a saber, la sobrecarga de la CPU de las pilas de red heredadas, la latencia de almacenamiento inconsistente y el ancho de banda de 25GbE infrautilizado, mediante la implementación de la tecnología de procesamiento de datos de alta tecnología.Tarjeta de adaptador Ethernet MCX631432AN-ADABcomo la piedra angular de un tejido RDMA/RoCE convergente de alto rendimiento.

1Antecedentes del proyecto y análisis de los requisitos

Las redes convencionales de centros de datos dependen de TCP/IP tanto para el tráfico de cómputo como de almacenamiento, obligando a la CPU a procesar cada paquete.Las partes de los tejidos que se utilicen para la fabricación de tejidos para la fabricación de tejidos para la fabricación de tejidos para la fabricación de tejidos, o cargas de trabajo de formación de IA, este enfoque basado en software crea tres problemas fundamentales: latencia alta y variable (a menudo superior a 50 μs para las operaciones de almacenamiento),Impuesto de la CPU significativo (30-60% para el procesamiento de la red)A medida que 25GbE se convierte en la velocidad estándar de la capa de acceso, estas ineficiencias ya no son aceptables.Los requisitos objetivos para esta solución son:: latencia de almacenamiento de extremo a extremo de menos de 5 μs, menos del 10% de utilización de la CPU para la E/S de red y utilización completa de dos puertos de 25 GbE por servidor.

2Diseño general de la arquitectura de red/sistema

La arquitectura propuesta adopta una topología de hoja de columna vertebral de dos niveles con Ethernet sin pérdidas en la capa 2.cada uno configurado con PFC (Priority Flow Control) y ECN (Explicit Congestion Notification) para habilitar el RoCEv2La decisión arquitectónica clave es desplegar elMCX631432AN-ADAB ConnectX-6 Lx con doble puerto 25GbE SFP28Se asigna una cola de prioridad dedicada basada en DSCP para el tráfico RoCE, separada del tráfico IP de mejor esfuerzo.La administración centralizada utiliza Cumulus Linux o SONiC de NVIDIA para la configuración de los interruptores, mientras que la orquestación del lado del host aprovecha la pila NVIDIA OFED.

3. Papel y características clave del NVIDIA Mellanox MCX631432AN-ADAB

Dentro de esta solución, elSe aplicará el procedimiento siguiente:La tecnología de los servidores de commodity sirve como facilitador crítico para transformar los servidores de commodity en nodos de baja latencia y alto rendimiento.Se aplicarán las siguientes medidas:, el adaptador incorpora varias capacidades avanzadas:

• Descarga de RDMA de hardware:Máquina de estado completo RoCEv2 en silicio, eliminando el procesamiento de transporte basado en software.
• SFP28 de doble puerto 25GbE:Soporta cableado óptico activo y DAC, con procesamiento PPS independiente por puerto.
• Interfaz de host PCIe 4.0 x16:Proporciona hasta 200Gbps de ancho de banda bidireccional, sin dejar cuello de botella entre el adaptador y la memoria host.
• Descarga de cifrado en línea:Procesamiento IPsec y TLS a velocidad de línea, crítico para redes de almacenamiento de confianza cero.
• Aceleración NVMe-oF:La línea de comandos basada en hardware y la colocación de datos específicamente optimizados para NVMe/TCP y NVMe/RoCE.

Según el funcionarioLas especificaciones de MCX631432AN-ADAB, el adaptador ofrece una latencia de hardware inferior a 800ns y admite hasta 200 millones de mensajes por segundo.Las aplicaciones pueden pasar de los sockets TCP a los verbos RDMA con cambios mínimos de códigoPara las organizaciones que evalúan esta solución, es importante tener en cuenta que laCompatible con el MCX631432AN-ADABLa lista de servidores incluye todas las principales plataformas OEM (Dell PowerEdge, HPE ProLiant, Lenovo ThinkSystem y Supermicro) con controladores certificados para RHEL, Ubuntu, Rocky Linux y Windows Server.

4Recomendaciones para el despliegue y la ampliación

Una implementación típica a nivel de rack sigue este patrón: cada nodo de computación o almacenamiento recibe unSolución de tarjeta de adaptador Ethernet MCX631432AN-ADAB, con sus puertos duales configurados en unión LACP activa-activa para redundancia o como rutas de tejido separadas (una a la hoja A, otra a la hoja B).

• Cada servidor → dos enlaces de 25GbE → dos interruptores de hoja separados (que admiten un cambio de fallo sin hits).
• Interruptores de hoja → enlaces ascendentes de 100GbE → dos interruptores de columna para no bloquear la malla completa.
• Marcado DSCP dedicado (por ejemplo, 46) para el tráfico RoCE en todos los switches con PFC habilitado en esa clase.

Para escalar más allá de 200 servidores, recomendamos implementar un clúster RoCE separado para almacenamiento y computación respectivamente, o usar la política de QoS para garantizar que el tráfico de almacenamiento RoCE tenga prioridad.El ajuste del amortiguador en los interruptores de hojas también es críticoPor lo tanto, el tamaño de los buffers compartidos por puerto debe aumentar a 12 MB para los puertos 25GbE para absorber micro-explosiones sin pérdida de paquetes.MCX631432AN-ADAB para la ventaLos catálogos de vendedores para la fijación de precios de volumen y elMCX631432AN-ADAB preciopor nodo normalmente se amortiza dentro de los seis meses debido a los ahorros de CPU y las ganancias de eficiencia de almacenamiento.

5. Operaciones, monitoreo y ajuste de rendimiento

Después del despliegue, las siguientes herramientas y prácticas garantizarán una latencia baja sostenida:

• Monitoreo del lado del host:Utilización¿Qué está pasando?y-S de etilopara realizar un seguimiento de los contadores RDMA por cola, la retransmisión PCIe y las marcas de congestión RoCE.
• Telemetría del interruptor:Habilitar los histogramas de marcado de PFC y ECN para detectar el bloqueo de la cabeza de línea antes de que afecte a la producción.
• Recomendaciones de ajuste:Se ha puestoel equilibriopara aislar los núcleos de la CPU para las colas de finalización de RDMA; aumentar el tamaño máximo de la solicitud de lectura de PCIe a 4096 bytes; desactivar la ECN en la cola de mejor esfuerzo para evitar señales de congestión falsas.
• Ciclo de vida del firmware y del controlador:Suscribirse a las notas de liberación de NVIDIA OFED; elTarjeta de adaptador Ethernet MCX631432AN-ADABadmite la actualización de firmware in situ sin reiniciar el host debido a los bancos de imágenes duales.

Para la solución de problemas, los contadores de errores incorporados del adaptador (por ejemplo, errores de símbolos, fallas de integridad de enlace local) proporcionan diagnósticos rápidos.Compatible con el MCX631432AN-ADABmatriz de interoperabilidad mantenida por NVIDIA.

6Resumen y evaluación del valor

ElNVIDIA Mellanox MCX631432AN-ADAB, también conocido como NVIDIA- basado en la solución ofrece un valor medible en tres dimensiones: rendimiento, TCO y simplicidad operativa.y procesamiento de protocolo de almacenamiento de la CPU al adaptadorEl diseño de doble puerto de 25GbE garantiza la conectividad de servidores a prueba del futuro,y la matura pila de software NVIDIA OFED reduce el riesgo de integraciónPara los arquitectos que planifiquen una implementación de 25GbE en campo verde o la modernización de la infraestructura existente ligada a TCP, esta solución técnica se centra en laMCX631432AN-ADAB ConnectX-6 Lx con doble puerto 25GbE SFP28¢representa un camino probado, escalable y protegido por la inversión hacia el éxito de RDMA/RoCE.