Transceptor óptico de centro de datos NVIDIA Mellanox MMA4Z00-NS en la práctica

Transceptor Óptico NVIDIA Mellanox MMA4Z00-NS para Centros de Datos en la Práctica | Equilibrando Ancho de Banda y Distancia en Enlaces Intra-Rack y Entre Salas

Antecedentes y Desafío: El Dilema de la Distancia Bajo la Inundación de Ancho de Banda

Un proveedor líder de servicios de Internet se encontró con un desafío clásico de infraestructura de centros de datos al actualizar su clúster de entrenamiento de IA en una zona de disponibilidad del norte de China. Los nodos de cómputo —que comprenden GPUs NVIDIA H200— estaban distribuidos en racks adyacentes dentro del mismo salón y en dos salas de máquinas físicas en diferentes pisos. El requisito era claro: entregar un ancho de banda completo de línea de 800G cubriendo distancias de enlace de hasta 80 metros. Los transceptores tradicionales 800G SR8 suelen alcanzar un máximo de 50 metros sobre fibra multimodo OM4, mientras que las soluciones 800G DR8/FR8, aunque ofrecen un mayor alcance, vienen con perfiles de costo y consumo de energía significativamente más altos, inadecuados para implementaciones de alta densidad dentro del clúster.

Para agravar el desafío, la arquitectura del clúster exigía soporte simultáneo tanto para InfiniBand (para comunicación GPU a GPU) como para Ethernet (para redes de almacenamiento y gestión), eliminando la posibilidad de usar ópticas específicas del protocolo. El equipo de ingeniería necesitaba una plataforma de transceptor única y unificada que pudiera cerrar la brecha entre el rendimiento y el alcance sin comprometer la densidad de puertos o la simplicidad operativa. Aquí es donde el NVIDIA Mellanox MMA4Z00-NS entró en el proceso de evaluación.

Solución e Implementación: El MMA4Z00-NS como Estrategia Óptica Unificada

Después de revisar la hoja de datos del MMA4Z00-NS y realizar rigurosas pruebas de calificación, el equipo de arquitectura de red del proveedor seleccionó el NVIDIA Mellanox MMA4Z00-NS como el transceptor óptico estándar para enlaces dentro del rack y entre salas. La capacidad del módulo para operar como un dispositivo MMA4Z00-NS 2x400G InfiniBand/Ethernet fue particularmente atractiva, permitiendo que una única SKU sirviera a dominios de doble protocolo.

La implementación se estructuró en dos fases distintas:

• Fase 1 – Intra-Rack (≤15m): Dentro de cada rack, el MMA4Z00-NS se emparejó con cables de conexión OM4 de alta calidad para proporcionar conectividad de 800G entre los switches leaf y los nodos de cómputo GPU. La arquitectura 8×100G PAM4 entregó una integridad de señal consistente con un margen muy superior a las especificaciones IEEE/IBTA, según lo confirmado por pruebas de tasa de error de bits (BER) in situ.
• Fase 2 – Entre Salas (hasta 80m): Para los enlaces más largos entre salas, el equipo de ingeniería aprovechó la ecualización mejorada del módulo y los presupuestos de potencia óptica de transmisión/recepción. Operando como un transceptor MMA4Z00-NS 800G OSFP SR8, el módulo mantuvo una transmisión sin errores a lo largo de 80 metros de fibra OM4 —superando la especificación típica de 50 metros— al optimizar los parámetros de ajuste del DSP según las especificaciones detalladas del MMA4Z00-NS.

El proveedor utilizó un enfoque de cableado híbrido: cables troncales MPO-12 para recorridos horizontales estructurados dentro de la sala de datos, y terminados con paneles de casete MPO para conexiones entre salas. Este diseño minimizó la pérdida de inserción y aseguró que el ecosistema compatible con MMA4Z00-NS —que incluye una amplia gama de cables de ruptura MPO y DACs— pudiera ser aprovechado al máximo sin requerir cableado personalizado.

Resultados y Beneficios Operacionales

Tras la implementación completa del NVIDIA Mellanox MMA4Z00-NS en 144 enlaces, el proveedor reportó varias mejoras cuantificables:

• Inventario Unificado: Una única SKU de transceptor reemplazó a tres alternativas consideradas previamente (variantes 800G SR8, 400G×2 y FR4), reduciendo el inventario de repuestos en un 67% y simplificando la complejidad de adquisición. El equipo ahora se refiere a este enfoque como su solución de transceptor MMA4Z00-NS 800G OSFP SR8 preferida para clústeres de distancias mixtas.
• Alcance Extendido Sin Costo Premium: Al utilizar fibra multimodo estándar y las capacidades de ajuste de DSP optimizadas detalladas en la hoja de datos del MMA4Z00-NS, el equipo logró un alcance de 80 metros a una fracción del costo de las alternativas de modo único. Esto abordó directamente la ecuación de compensación de "ancho de banda vs. distancia" del proyecto.
• Flexibilidad de Protocolo: La capacidad de cambiar entre modos InfiniBand y Ethernet a través de la configuración del firmware significó que la misma infraestructura física podría soportar tráfico de cómputo GPU y tráfico de gestión de almacenamiento, una característica que ningún otro transceptor en la evaluación ofrecía.
• Eficiencia de Potencia y Térmica: Con menos de 12W por puerto, el MMA4Z00-NS contribuyó a un ahorro total de energía del clúster de aproximadamente 2.8kW en comparación con el diseño alternativo basado en DR8, aliviando significativamente las demandas de enfriamiento en los racks de alta densidad.

Las mediciones de latencia de red mostraron una contribución constante del transceptor por debajo de los 100ns, bien dentro de la tolerancia requerida para cargas de trabajo de entrenamiento de IA distribuidas. El proveedor también señaló que la disponibilidad del MMA4Z00-NS en venta a través de su canal de distribución existente simplificó el cronograma de adquisición, reduciendo el tiempo de entrega de ocho semanas a solo tres.

Resumen y Perspectiva

La implementación del MMA4Z00-NS en este clúster de IA a gran escala demuestra que los arquitectos de centros de datos ya no necesitan elegir entre alto ancho de banda y alcance práctico al diseñar interconexiones. El NVIDIA Mellanox MMA4Z00-NS cierra exitosamente la brecha de distancia intra-rack y entre salas, demostrando que un transceptor 800G SR8 bien ajustado puede ofrecer operación sin errores más allá de su rango de especificación típico cuando se combina con el cableado adecuado y la optimización del DSP.

Mirando hacia el futuro, el proveedor está evaluando el precio del MMA4Z00-NS por puerto como parte de su plan de expansión más amplio para zonas de disponibilidad adicionales, con comentarios iniciales que sugieren que el costo total de propiedad —considerando la simplificación del inventario, el ahorro de energía y la flexibilidad de implementación— hace que este módulo sea un fuerte candidato para la estandarización en toda su flota global de centros de datos. A medida que la industria avanza hacia 1.6T y más allá, las lecciones prácticas aprendidas de esta implementación —equilibrando ancho de banda, distancia y costo— seguirán siendo muy relevantes, y el MMA4Z00-NS se erige como un modelo de referencia de cómo las ópticas de próxima generación deben ser diseñadas e implementadas.