Solución técnica: lograr optimización del rendimiento y baja latencia RDMA/RoCE con Mellanox

Los centros de datos modernos están bajo una presión constante para ofrecer un mayor rendimiento para aplicaciones sensibles a la latencia, como bases de datos distribuidas, computación de alto rendimiento (HPC) y clústeres de entrenamiento de IA. La red TCP/IP tradicional impone una sobrecarga significativa de CPU, creando cuellos de botella que limitan la escalabilidad de las aplicaciones y aumentan los tiempos de respuesta. Para las organizaciones que buscan modernizar su infraestructura, el requisito principal es claro: reducir la latencia y aumentar el rendimiento del servidor sin costosas revisiones arquitectónicas.

La solución radica en la adopción de RDMA (Remote Direct Memory Access) sobre Converged Ethernet (RoCE). Esta tecnología permite transferencias de datos directas de memoria a memoria, omitiendo el kernel del sistema operativo para liberar recursos de CPU y minimizar la latencia. En el corazón de esta transformación se encuentra la tarjeta de interfaz de red (NIC). La MCX631432AN-ADAB de Mellanox (NVIDIA) está diseñada específicamente para satisfacer estas demandas, proporcionando una base sólida para redes habilitadas para RoCE.

La arquitectura propuesta es una red leaf-spine diseñada para un entorno Ethernet sin pérdidas, que es un requisito previo para un rendimiento óptimo de RoCEv2. El diseño integra el tráfico de cómputo y almacenamiento en una red unificada de alta velocidad para reducir la complejidad y el costo.

• Capa Spine: Los switches 100GbE de alta capacidad proporcionan conectividad sin bloqueo entre todos los switches leaf, asegurando rutas de baja latencia de cualquiera a cualquiera.
• Capa Leaf: Los switches Top-of-Rack (ToR) con enlaces descendentes de 25GbE se conectan a servidores y nodos de almacenamiento. Estos switches están configurados con Priority Flow Control (PFC) y Explicit Congestion Notification (ECN) para mantener una red sin pérdidas.
• Capa de Servidor: Cada servidor está equipado con la NVIDIA Mellanox MCX631432AN-ADAB, un adaptador SFP28 dual-port de 25GbE. Esto permite la agregación de red o rutas separadas para el tráfico de almacenamiento y cómputo.

Este diseño garantiza que el adaptador Ethernet MCX631432AN-ADAB opere en un entorno donde el tráfico RoCE pueda fluir sin pérdida de paquetes, lo cual es crítico para mantener un alto rendimiento y baja latencia.

La MCX631432AN-ADAB es el punto final crítico que habilita toda la solución. Como miembro de la familia ConnectX-6 Lx, aporta características de nivel empresarial al factor de forma de 25GbE. Su función principal es servir como la solución de adaptador Ethernet MCX631432AN-ADAB tanto para el tráfico de cómputo como de almacenamiento, descargando tareas de red de la CPU del servidor.

Las contribuciones técnicas clave del adaptador incluyen:

• Descargas de Hardware: La tarjeta maneja todos los aspectos del protocolo RoCE en hardware, incluyendo transporte, encapsulación y control de congestión. Esto asegura que las operaciones RDMA consuman ciclos de CPU casi nulos.
• Flexibilidad de Doble Puerto: Los dos puertos de 25GbE se pueden configurar para conmutación por error activo/en espera o utilizarse para separar tipos de tráfico. Por ejemplo, un puerto puede manejar tráfico Ethernet de front-end mientras que el otro se dedica al tráfico de almacenamiento de back-end utilizando RoCE, maximizando el rendimiento y la seguridad.
• Interfaz Host PCIe 3.0 x16: Con suficiente ancho de banda para impulsar ambos puertos de 25GbE simultáneamente, el MCX631432AN-ADAB ConnectX-6 Lx dual-port 25GbE SFP28 asegura que ningún cuello de botella interno limite el rendimiento de la aplicación.

El despliegue de la MCX631432AN-ADAB requiere una planificación cuidadosa de la red y la configuración del servidor. Los siguientes pasos describen un despliegue típico para un clúster de alto rendimiento:

• Preparación de la Red: Antes del despliegue, configure los switches de red para admitir RoCE. Esto implica habilitar PFC para la clase de tráfico RoCE e implementar la gestión de congestión basada en ECN. Esto crea el entorno sin pérdidas requerido para que el adaptador funcione de manera óptima.
• Instalación de Controladores y Firmware: Instale los últimos controladores NVIDIA WinOF-2 (para Windows) o MLNX_OFED (para Linux) para garantizar el soporte completo de funciones. Es fundamental verificar que el firmware de la MCX631432AN-ADAB esté actualizado para un rendimiento y compatibilidad RoCE óptimos.
• Escalado del Clúster: La arquitectura escala horizontalmente agregando más nodos de servidor, cada uno con su propia MCX631432AN-ADAB. La red leaf-spine sin bloqueo asegura que los nodos agregados no degraden el rendimiento de los existentes. Para despliegues más grandes, se pueden utilizar grupos de agregación de enlaces (LAG) entre los switches leaf y spine.

Una topología típica para un clúster de bases de datos implica conectar los servidores primarios y réplica al mismo switch leaf para minimizar la latencia entre racks. Cada servidor utiliza su adaptador de doble puerto para conectarse a dos switches leaf separados para redundancia.

Una vez desplegado, el mantenimiento del rendimiento requiere monitoreo y ajuste proactivos. La MCX631432AN-ADAB proporciona telemetría completa para este propósito.

• Monitoreo de Métricas Clave: Utilice herramientas como `mlxstat` y `ethtool` para monitorear contadores de puertos, errores de enlace y estadísticas de tráfico RDMA. El seguimiento de los marcos de pausa PFC es esencial; un alto recuento indica una red con pérdidas que degradará el rendimiento de RoCE.
• Actualizaciones de Firmware y Controladores: Verifique regularmente las actualizaciones. El nuevo firmware a menudo incluye optimizaciones de rendimiento y correcciones de errores que pueden reducir aún más la latencia y mejorar la compatibilidad con los switches upstream.
• Ajuste de Rendimiento: Para entornos con los requisitos de latencia más exigentes, el ajuste fino de la moderación de interrupciones y los tamaños de búfer puede generar ganancias incrementales. La flexibilidad del adaptador permite a los arquitectos ajustar la configuración según su carga de trabajo específica (por ejemplo, HPC vs. virtualización).

Para solucionar problemas de conectividad, verificar que los módulos SFP28 sean compatibles con MCX631432AN-ADAB es el primer paso. El uso de ópticas calificadas por NVIDIA garantiza un establecimiento de enlace y un rendimiento fiables.

La MCX631432AN-ADAB de Mellanox (NVIDIA) proporciona un camino claro y efectivo para implementar una red de alto rendimiento y baja latencia. Al aprovechar sus avanzadas capacidades de descarga RoCE, las organizaciones pueden lograr los beneficios duales de una sobrecarga de CPU drásticamente reducida y un rendimiento de servidor significativamente aumentado. Las detalladas especificaciones de MCX631432AN-ADAB y la hoja de datos de MCX631432AN-ADAB validan su capacidad para manejar las cargas de trabajo más exigentes.

Para gerentes de TI y arquitectos de red que evalúan una actualización de hardware, las ganancias de rendimiento que ofrece esta solución se traducen directamente en valor comercial: procesamiento de transacciones más rápido, acceso a almacenamiento más eficiente y un costo total de propiedad mejorado. A medida que las demandas de datos continúan aumentando, el despliegue de la MCX631432AN-ADAB asegura que la infraestructura de red no sea un cuello de botella, sino un acelerador. Para obtener información detallada sobre precios o para consultar el precio de MCX631432AN-ADAB y la disponibilidad, consulte a su representante de NVIDIA.