NVIDIA Mellanox MCX653106A-HDAT en acción: RDMA / RoCE transporte de baja latencia y optimización del rendimiento del servidor

Un importante proveedor de nube a hiperescala que opera un clúster de 256 nodos para entrenamiento de IA distribuido y análisis en tiempo real comenzó a experimentar una grave degradación del rendimiento de la red a medida que su infraestructura escalaba. La red existente basada en TCP/IP de 25GbE exhibía latencias All-Reduce que superaban los 6 milisegundos en 128 nodos, mientras que la utilización de la CPU para el procesamiento de red consumía más del 40% de la capacidad de cómputo de cada servidor. Este cuello de botella limitaba la utilización de la GPU a solo el 55%, extendiendo drásticamente los ciclos de entrenamiento y reduciendo la capacidad de generación de ingresos. El equipo necesitaba una solución que pudiera ofrecer latencia a escala de microsegundos y un ancho de banda masivo, al tiempo que proporcionara la programabilidad necesaria para la optimización del tráfico específica de la carga de trabajo.

Tras una extensa evaluación técnica, el proveedor seleccionó elNVIDIA Mellanox MCX653106A-HDATcomo la piedra angular de su transformación de red. Cada nodo del servidor fue equipado con unatarjeta de red PCIe del adaptador MCX653106A-HDAT ConnectX, configurada con conectividad dual-port 100GbE para ofrecer 200 Gb/s de ancho de banda agregado por nodo.

• Fase 1 — Piloto (8 nodos):El equipo instaló latarjeta adaptadora Ethernet MCX653106A-HDATen un subconjunto de servidores GPU, configurando RoCEv2 con PFC y ECN para establecer una red Ethernet sin pérdidas. Los adaptadores se emparejaron con switches NVIDIA Spectrum-4 para una gestión de congestión de extremo a extremo.
• Fase 2 — Validación y Ajuste:Utilizando los datos de telemetría documentados en lahoja de datos del MCX653106A-HDAT, el equipo validó la configuración, ajustó los parámetros de DCB y optimizó la configuración de comunicación colectiva NCCL. Las funciones avanzadas de programabilidad del adaptador permitieron la dirección de tráfico personalizada para los patrones all-reduce específicos de la carga de trabajo.
• Fase 3 — Despliegue completo en producción (256 nodos):Tras una validación exitosa, todo el clúster se migró al nuevo adaptador. La naturalezacompatible con MCX653106A-HDATde la solución garantizó una integración perfecta con los servidores y las distribuciones de Linux existentes.
• Fase 4 — Optimización continua:El equipo aprovechó la telemetría en línea y el plano de datos programable del adaptador para implementar políticas de enrutamiento conscientes de la carga de trabajo, optimizando aún más el rendimiento de los trabajos de entrenamiento de IA.

El equipo observó que lasolución de tarjeta adaptadora Ethernet MCX653106A-HDATproporcionó una ruta de migración sencilla, ya que los puertos QSFP56 admitían ópticas de 100GbE y 25GbE, lo que permitía una transición gradual sin interrumpir la conectividad existente.

Más allá de estas ganancias cuantitativas, el proveedor observó beneficios operativos significativos. Las ejecuciones de entrenamiento que antes requerían 14 días se completaron en solo 4.5 días, acelerando drásticamente el tiempo de comercialización de nuevos servicios de IA. El plano de datos programable del adaptador permitió la conformación de tráfico personalizada para flujos prioritarios, asegurando que el tráfico de comunicación colectiva crítico nunca experimentara contención. Para las organizaciones que evalúan el retorno de la inversión, elprecio del MCX653106A-HDATresultó totalmente justificado por la ganancia de rendimiento de 3* y la capacidad de aplazar la adquisición de servidores adicionales en más de 18 meses. El equipo también observó que los paquetesMCX653106A-HDAT en ventacon switches NVIDIA Spectrum-4 ofrecían la economía más favorable para implementaciones a gran escala.

El proveedor también aprovechó las capacidades integrales de telemetría detalladas en lasespecificaciones del MCX653106A-HDATpara construir modelos predictivos de rendimiento y estrategias automatizadas de mitigación de congestión, mejorando aún más la eficiencia operativa.

Esta implementación a escala de producción demuestra que elNVIDIA Mellanox MCX653106A-HDATes un componente transformador para la infraestructura moderna de IA y nube. La combinación de 200 Gb/s de ancho de banda agregado, latencia de comunicación colectiva inferior a 0.3 milisegundos y descargas de hardware integrales permite una escalabilidad casi lineal para cargas de trabajo aceleradas por GPU. Comosolución de tarjeta adaptadora Ethernet MCX653106A-HDATde extremo a extremo, elimina el cuello de botella de red que históricamente ha limitado la eficiencia del entrenamiento distribuido y la entrega de servicios en la nube.

Mirando hacia el futuro, el proveedor de nube está explorando una integración ampliada con NVIDIA DOCA para implementar programabilidad adicional del plano de datos para la optimización específica de la carga de trabajo en entornos de múltiples inquilinos. También están aprovechando la telemetría en línea del adaptador —ampliamente documentada en lahoja de datos del MCX653106A-HDAT— para desarrollar sistemas de gestión de rendimiento automatizados de próxima generación. ElNVIDIA Mellanox MCX653106A-HDATse ha convertido en la base de su hoja de ruta de infraestructura de IA, proporcionando una plataforma robusta y escalable para la próxima generación de entrenamiento de modelos fundacionales y servicios de análisis en tiempo real.