NVIDIA Mellanox MCX653106A-HDAT Adaptador de servidor Libro blanco técnico

Este white paper técnico está destinado a arquitectos de redes, ingenieros de preventa y gerentes de operaciones. Proporciona una referencia completa para diseñar e implementar redes de centros de datos de alto rendimiento y baja latencia utilizando la tarjeta de red de servidor NVIDIA Mellanox MCX653106A-HDAT, con un enfoque en el transporte RDMA/RoCE y ganancias medibles en el rendimiento del servidor.

Las cargas de trabajo modernas de los centros de datos —incluyendo redes de almacenamiento NVMe-oF, entrenamiento distribuido de IA, negociación de alta frecuencia y análisis en tiempo real— imponen demandas extremas a la infraestructura de red. El procesamiento tradicional de la pila TCP/IP introduce tres cuellos de botella fundamentales: alta sobrecarga de CPU (a menudo superando el 50% de los ciclos del núcleo), latencia variable debido a limitaciones de bypass del kernel y menor rendimiento efectivo por la sobrecarga del procesamiento de protocolos. Las organizaciones requieren una solución que ofrezca ancho de banda a velocidad de línea con latencia sub-microsegundo, liberando recursos de CPU para la lógica de la aplicación. Los requisitos clave incluyen RDMA descargado por hardware, transporte RoCE sin pérdidas, integración perfecta con las redes Ethernet existentes y herramientas operativas completas para monitoreo y solución de problemas.

La arquitectura propuesta adopta una topología Clos de dos niveles (spine-leaf) optimizada para el transporte RoCE. Los switches leaf proporcionan conectividad de servidor con DCB (Control de Flujo de Prioridad, Selección de Transmisión Mejorada) configurado para garantizar un comportamiento sin pérdidas para el tráfico RDMA. Los switches spine permiten la comunicación no bloqueante de cualquier a cualquier a través de la red. Cada nodo de cómputo y almacenamiento incorpora la tarjeta de red Ethernet MCX653106A-HDAT, que se conecta a los switches leaf a través de puertos duales de 100GbE configurados en enlace activo-activo. La arquitectura separa el tráfico RDMA (cola de prioridad dedicada con PFC habilitado) del tráfico TCP/IP regular (cola de mejor esfuerzo), asegurando una baja latencia determinista para flujos críticos. La segmentación VLAN aísla los dominios RDMA mientras que el enrutamiento maneja la comunicación entre subredes cuando es necesario.

La tarjeta de red de servidor tarjeta de red PCIe ConnectX-6 MCX653106A-HDAT sirve como base de esta solución. Construida sobre la arquitectura ConnectX-6 con interfaz host PCIe 4.0 x16, ofrece un rendimiento de 100GbE de doble puerto (o 200GbE de puerto único) con latencia inferior a 600 ns bajo cargas de trabajo RDMA. Las características clave aprovechadas en este diseño incluyen:

• Descarga de RDMA y RoCE por Hardware: Descarga completa de verbos RDMA, eliminando la participación de la CPU del host para el movimiento de datos. Soporta RoCE v1 y v2.
• Acelerador NVMe-oF: Lógica de hardware que acelera los comandos NVMe, reduciendo la latencia de acceso al almacenamiento en más del 80% en comparación con los objetivos de software.
• Ruta de Datos Programable (ASAP²): Permite el procesamiento flexible de paquetes y la descarga de redes superpuestas (VXLAN, GENEVE).
• Multi-Host y GPU Direct RDMA: Comunicación directa peer-to-peer entre GPUs a través de nodos sin intervención de la CPU —crítico para clústeres de IA.
• Telemetría y Control de Congestión: Monitoreo de flujo basado en hardware, marcado ECN y limitación dinámica de velocidad.

Los ingenieros que revisen la hoja de datos MCX653106A-HDAT notarán el soporte para factores de forma estándar y OCP 3.0, cobertura integral del sistema operativo (distribuciones de Linux con MLNX_OFED, Windows, ESXi) y amplia compatibilidad con servidores. Las especificaciones MCX653106A-HDAT también confirman un consumo máximo de energía de 75W y temperaturas de operación de 0°C a 55°C, adecuadas para implementaciones de alta densidad.

La implementación sigue un enfoque por fases. A continuación, se ilustra una topología piloto típica de dos racks:

Pasos de Implementación:

1. Paso 1 – Validación: Confirmar servidores compatibles con MCX653106A-HDAT, firmware de switch y versiones de kernel del SO. Utilizar la matriz de compatibilidad de la hoja de datos MCX653106A-HDAT.
2. Paso 2 – Instalación de Drivers: Desplegar el paquete de drivers MLNX_OFED (versión mínima 5.8) en todos los nodos. Habilitar los módulos del kernel RDMA y RoCE.
3. Paso 3 – Configuración de la Red: Habilitar PFC (prioridad 3 para RDMA) y ETS en los switches leaf. Configurar MTU 9000 para soporte de tramas jumbo.
4. Paso 4 – Configuración de RoCE: Configurar cada tarjeta de red Ethernet MCX653106A-HDAT con RoCE v2 (enrutable) o v1 (no enrutable). Establecer el modo GID a RoCE v2 con direccionamiento IPv4.
5. Paso 5 – Verificación: Ejecutar pruebas ib_write_bw e ib_send_lat entre nodos para validar el ancho de banda y la latencia. Monitorear con perfquery y los plazos de entrega de mlnx_perf.

Para escalar más allá de 16 nodos, transicionar a una topología spine-leaf con switches spine redundantes que soporten hasta 128 nodos. La solución de tarjeta de red Ethernet MCX653106A-HDAT escala linealmente sin reconfiguración de la red, ya que RoCE emplea ECMP para la distribución de carga a través de múltiples rutas.

La operación efectiva de entornos RDMA/RoCE requiere herramientas especializadas. Se recomiendan las siguientes prácticas:

• Detección de Congestión: Monitorear tramas de pausa PFC por puerto utilizando telemetría de switch (por ejemplo, Mellanox SHARP). Tasas de pausa elevadas indican incast o micro-bursts que requieren ajuste del control de flujo.
• Línea de Base de Rendimiento: Utilizar mlx5cmd y los plazos de entrega de ethtool -S para recopilar contadores RDMA por cola. Rastrear completados fuera de orden y retransmisiones.
• Ajuste de ECN y DCQCN: Habilitar Notificación Explícita de Congestión (ECN) en los switches y configurar parámetros de Control Dinámico de Congestión (DCQCN) en el driver MCX653106A-HDAT(por ejemplo, dcqcn_r_ai=40, dcqcn_r_hai=10).
• Análisis de Registros: Revisar /var/log/messages para fallos de conexión RDMA (por ejemplo, “mlx5_core: failed to create QP”). Verificar que los índices GID coincidan entre los puntos finales.
• Actualizaciones de Firmware: Actualizar regularmente el firmware de la NIC a través de mlxfwmanager. Las especificaciones MCX653106A-HDAT recomiendan una línea de base de firmware de xx.36.1010 o posterior para un rendimiento RoCE óptimo.
• Planificación de Capacidad: Para organizaciones que estiman el precio actual MCX653106A-HDAT y los plazos de entrega de MCX653106A-HDAT en venta, proyectar las tasas de crecimiento del tráfico RDMA y planificar las relaciones de sobre suscripción de los switches leaf (típicamente 3:1 para redes de almacenamiento).

Un escenario común de solución de problemas: latencia alta unidireccional con cero pérdida de paquetes a menudo indica umbrales ECN mal configurados o configuraciones PFC asimétricas. Utilizar mlnx_qos para verificar el modo de confianza y las asignaciones DSCP a prioridad en todos los elementos de red.

La tarjeta de red de servidor NVIDIA Mellanox MCX653106A-HDAT proporciona una base lista para producción para implementar redes RDMA/RoCE de alto rendimiento. Esta solución técnica ofrece valor cuantificable en múltiples dimensiones:

• Rendimiento: Hasta 200 Gb/s de rendimiento por adaptador con latencia sub-microsegundo, permitiendo cargas de trabajo de almacenamiento escalables y computación distribuida previamente limitadas por la sobrecarga de TCP.
• Eficiencia: Las descargas de hardware reducen el consumo de CPU relacionado con la red de >50% a menos del 15%, liberando núcleos para el procesamiento de aplicaciones.
• TCO: La solución de tarjeta de red Ethernet MCX653106A-HDAT reduce el número de nodos requeridos para un objetivo de rendimiento dado, disminuyendo los gastos de capital y operativos. Al evaluar el precio actual MCX653106A-HDAT, considere el período de recuperación de 9 a 12 meses solo por las ganancias de eficiencia.
• Preparación para el Futuro: El soporte para PCIe 5.0 (retrocompatible) y la programabilidad a través de DOCA garantizan la protección de la inversión a medida que las velocidades de los centros de datos migran a 200/400 GbE.

Para arquitectos que buscan un patrón de diseño probado en producción, esta solución se integra perfectamente en las operaciones Ethernet existentes al tiempo que desbloquea todo el potencial de RDMA. Consulte la hoja de datos MCX653106A-HDAT para obtener dibujos mecánicos detallados, diagramas de temporización y descripciones de funciones avanzadas. Para obtener orientación sobre adquisiciones, incluido el precio actual MCX653106A-HDAT y los plazos de entrega de MCX653106A-HDAT en venta, póngase en contacto con los socios de distribución autorizados de NVIDIA Mellanox.