Solución Técnica de Adaptador de Servidor Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Adaptador de servidor Solución técnica: RDMA / RoCE Transporte de baja latencia y mejora del rendimiento del servidor

1Análisis de los antecedentes y necesidades del proyecto

Los centros de datos modernos están experimentando un cambio fundamental de las arquitecturas "computation-centric" a "data-centric", impulsados por el crecimiento explosivo de las cargas de trabajo de IA/ML, los sistemas de almacenamiento distribuidos,y plataformas de análisis en tiempo realEn este contexto, el adaptador de red ya no es un componente de conectividad pasivo, sino un determinante crítico del rendimiento general de la aplicación.con sus limitaciones de bypass del núcleo y sobrecarga de la pila de protocolos, se ha convertido en un cuello de botella primario, consumiendo hasta el 30% de los ciclos de la CPU, sin ofrecer la latencia de microsegundos y el rendimiento de la velocidad de línea requeridos por las cargas de trabajo de próxima generación.

Específicamente, tres desafíos interconectados requieren una respuesta arquitectónica.Los sistemas de almacenamiento que aprovechan NVMe sobre Fabrics (NVMe-oF) requieren una latencia de acceso inferior a 100 microsegundos para explotar plenamente los medios flash modernosEn segundo lugar, la latencia inducida por la red socava directamente el rendimiento del almacenamiento.los marcos de entrenamiento de IA distribuidos como PyTorch y TensorFlow dependen de operaciones de reducción total frecuentes en los grupos de GPUEn tercer lugar, la virtualización y la contenedurarización introducen gastos adicionales de encapsulación.que requiere una descarga de hardware inteligente para mantener el rendimiento a escalaEl.Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT también conocido comoEl adaptador de servidor aborda directamente estos requisitos, proporcionando una base construida específicamente para redes de centros de datos de alto rendimiento y baja latencia.

2Diseño general de la arquitectura de red y sistema

La solución propuesta adopta una arquitectura de red de dos niveles, diseñada para maximizar las capacidades de losTarjeta de adaptador Ethernet MCX631102AN-ADATEn la capa de hoja, los switches 25GbE SFP28 proporcionan conectividad ToR (Top-of-Rack), con cada switch de hoja que admite hasta 48 puertos.Proporcionar conectividad de cualquier a cualquier sin bloquearEsta arquitectura está optimizada para el transporte RoCE v2 (RDMA sobre Ethernet convergente versión 2),utilizando los mecanismos nativos de control de congestión del adaptador y las capacidades de control de flujo prioritario (PFC) para mantener las condiciones de red sin pérdidas.

Cada nodo de computación y almacenamiento está equipado con elSe utilizará para la fabricación de las máquinas de la categoría M3adaptador, con puertos configurados en modo activo-activo para proporcionar una alta disponibilidad y un ancho de banda agregado de 50 GbE. El servidor host se conecta con el adaptador a través de PCIe 4.0 x8,garantizar un ancho de banda de bus suficiente para mantener el tráfico a velocidad de línea completaDesde una perspectiva de software, la arquitectura incorpora la pila de controladores OFED (OpenFabrics Enterprise Distribution) de NVIDIA, proporcionando un soporte RoCE optimizado en todos los sistemas operativos convencionales.Para nodos de almacenamiento, la arquitectura integra objetivos NVMe-oF directamente accesibles a través de RoCE, eliminando la capa TCP/IP por completo de la ruta de datos.

3. Función y características clave del MCX631102AN-ADAT en la solución

ElNVIDIA Mellanox MCX631102AN-ADAT, también conocido como NVIDIA Mellanoxsirve como la interfaz de red fundamental tanto para los dominios de computación como de almacenamiento, desempeñando cuatro roles críticos dentro de la arquitectura general.El motor de dirección acelerado por hardware ofrece un rendimiento de línea de 25GbE por puerto en todos los tamaños de paquetes.Las especificaciones de MCX631102AN-ADAT, que demuestran una latencia de aplicación a aplicación de menos de 1 microsegundo cuando se emparejan con interruptores habilitados para RoCE.

En segundo lugar, el adaptador actúa como el punto final de transporte RDMA, descargando toda la pila de protocolo RDMA, incluido el registro de memoria, la traducción de direcciones y el procesamiento de finalización, desde la CPU anfitriona.Esta descarga es particularmente impactante para las cargas de trabajo de almacenamiento, reduciendo la utilización de la CPU para los iniciadores de NVMe-oF de aproximadamente 18% a menos del 3% en comparación con las implementaciones basadas únicamente en software.el MCX631102AN-ADAT proporciona una descarga de superposición basada en hardware para VXLAN y NVGRE, asegurando que la encapsulación de redes virtualizadas no degrade el rendimiento, una ventaja crítica para las implementaciones nativas en la nube.el adaptador admite SR-IOV (virtualización de E/S de raíz única), permitiendo hasta 256 funciones virtuales por puerto para un aislamiento eficiente de múltiples usuarios sin comprometer el rendimiento.Solución de tarjeta de adaptador Ethernet MCX631102AN-ADATSe integra a la perfección con la tecnología de almacenamiento GPUDirect de NVIDIA, lo que permite el movimiento directo de datos entre la memoria GPU y los dispositivos de almacenamiento NVMe remotos a través de la red.

El cuadro siguiente resume las principales especificaciones técnicas pertinentes para la arquitectura de la solución:

4Recomendaciones de implementación y escalado con topología típica

Para las implementaciones de campo verde, recomendamos un enfoque de escalabilidad de tres niveles. En el nivel base (pequeña escala: 16?? 32 nodos), un solo clúster de conmutadores de hoja puede alojar todos los nodos de computación y almacenamiento,con cada nodo equipado con el MCX631102AN-ADAT y ambos puertos conectados al mismo interruptor de hoja para la agregación de enlacesEn el nivel medio (64~128 nodos), la arquitectura debe adoptar un diseño de dos niveles de hoja espinal,con los puertos duales de cada nodo conectados a diferentes interruptores de hojas para proporcionar tanto rendimiento como resistenciaEn la escala empresarial (256+ nodos), la solución recomienda implementar una arquitectura de tres niveles con segmentación de tejidos RoCE dedicada,aislar el tráfico de almacenamiento del tráfico de cómputo en la capa de red, y aprovechando elCompatible con el MCX631102AN-ADATnaturaleza tanto con NVIDIA Spectrum como con switches 25GbE de terceros.

Para entornos de campo marrón, el adaptador proporciona una compatibilidad hacia atrás perfecta con las ópticas y cables SFP + de 10GbE, lo que permite a las organizaciones migrar gradualmente.Se aplicarán las siguientes medidas:Proporciona matrices de compatibilidad detalladas para las principales plataformas de servidores, incluidas las familias Dell PowerEdge, HPE ProLiant y Supermicro SuperServer.La implementación del adaptador debe coordinarse con las actualizaciones de firmware para garantizar que todos los nodos ejecuten la misma versión mínima de firmware para un comportamiento RoCE consistenteTambién recomendamos usar la persistencia de configuración basada en EEPROM del adaptador para mantener la configuración en los reinicios del sistema, reduciendo los gastos operacionales durante las ventanas de mantenimiento.

5Operaciones, monitoreo, solución de problemas y optimización

ElSe aplicará el método de ensayo de la norma de la Nomenclatura de la Unión.proporciona capacidades integrales de telemetría y gestión a través de las herramientas MLNX_OFED de NVIDIA. Para el monitoreo, recomendamos implementar las siguientes prácticas operativas.Los contadores de flujo basados en hardware permiten controlar la utilización por cola e identificar los puntos de acceso.Se trata de un sistema de control de datos.En segundo lugar, el sistema de control de la información de los usuarios de TSDB es un sistema de control de la información de los usuarios de TSDB.utilizar la monitorización PFC (Priority Flow Control) del adaptador para detectar y remediar los eventos de congestión de la red antes de que afecten el rendimiento de la aplicaciónEn tercer lugar, implementar alertas basadas en umbrales para la temperatura del adaptador y el estado del enlace PCIe para identificar de forma preventiva la degradación del hardware.

Para la resolución de problemas, los diagnósticos avanzados del adaptador, incluidas las pruebas de loopback por puerto, los registros de entrenamiento de enlace y las estadísticas de coalescencia de interrupción, proporcionan una visibilidad detallada de los problemas de rendimiento..Recomendamos establecer una línea de base de operación normal durante la implementación inicial, capturando métricas clave como latencia promedio, rendimiento y utilización de la CPU,para servir de referencia para futuras comparacionesEn la evaluación de laMCX631102AN-ADAT precioEn el caso de la propiedad, las organizaciones deben tener en cuenta los ahorros operativos derivados de la reducción del consumo de CPU y los flujos de trabajo de resolución de problemas simplificados.

Estrategias de optimización para elTarjeta de adaptador Ethernet MCX631102AN-ADATEn la configuración del host, ajustar el tamaño de carga útil máxima de PCIe a 512 bytes y habilitar la moderación de interrupciones para equilibrar la latencia y la eficiencia de la CPU.Configurar las prioridades de PFC de manera coherente en todos los interruptores y adaptadores. Recomendamos dedicar la prioridad 3 al tráfico de RoCE y la prioridad 0 al tráfico de gestión.En la capa de aplicación, alinear la profundidad de la cola RDMA con las características de la carga de trabajo: las colas más profundas benefician a las cargas de trabajo de almacenamiento intensivas en rendimiento,mientras que las colas más poco profundas reducen la latencia para el procesamiento de transacciones sensibles. El detalladoLas especificaciones de MCX631102AN-ADATproporcionar orientación específica para ajustar estos parámetros en diferentes plataformas de sistemas operativos.

6Resumen y evaluación del valor

ElMellanox (NVIDIA Mellanox) MCX631102AN-ADAT también conocido comoProporciona una solución arquitectónica que aborda los desafíos fundamentales de las redes de centros de datos modernos: ofrecer latencia a escala de microsegundos, transporte RDMA acelerado por hardware,y un rendimiento constante de 25GbE al mismo tiempo que se reduce la sobrecarga de la CPU del hostAl servir como una interfaz de red unificada para cargas de trabajo de computación, almacenamiento y IA, el adaptador simplifica la infraestructura al tiempo que mejora el rendimiento.Solución de tarjeta de adaptador Ethernet MCX631102AN-ADATreduce el consumo de CPU relacionado con la red en aproximadamente un 80%, mejora la latencia de acceso al almacenamiento en más de un 80%,y proporciona un rendimiento predecible en condiciones de carga variables mediante la gestión de la congestión basada en hardware.

Desde una perspectiva de valor comercial,El adaptador permite a las organizaciones maximizar las inversiones existentes en los switches de 25GbE al tiempo que ofrece un rendimiento que anteriormente solo se podía lograr con soluciones de 40GbE o 100GbE.El.MCX631102AN-ADAT para la ventala evaluación demuestra de forma constante un ROI positivo en un plazo de 12-18 meses, impulsado por la reducción de los requisitos de número de servidores (debido a una mayor eficiencia por nodo) y un menor gasto general operativo.Para organizaciones que construyen o modernizan redes de centros de datos, el MCX631102AN-ADAT representa no sólo una actualización incremental, sino una mejora fundamental en la eficiencia de la base de la red.