La migración a 400G/800G: Parte I

Uso global de datos

Por supuesto,parte central del cambio son las tendencias globales que están transformando las expectativas de los consumidores y la demanda de comunicaciones más rápidas, como:

• Crecimiento explosivo del tráfico en las redes sociales
• Despliegue de servicios 5G, gracias a la densificación masiva de células pequeñas
• Aceleración de implementaciones de IoT e IIoT (IoT industrial)
• Cambio del trabajo tradicional en la oficina a opciones remotas

Crecimiento de proveedores de hiperescala

A nivel mundial, los data centers a hiperescala pueden ser menos de una docena, pero su impacto en el paisaje general de los data centers es importante. De acuerdo con una investigación reciente, el mundo navegó en Internet el equivalente a 1,25 miles de millones de años solo en 2020.¹ Alrededor del 53 % de ese tráfico pasa por una instalación de hiperescala. ²

Colaboración de hiperescala con instalaciones de data center multi-tenant (MTDC/coubicación)

A medida que aumenta la demanda de un rendimiento de latencia más bajo, los proveedores de hiperescala y escala de nube trabajan para acercar su presencia al usuario final/dispositivo final. Muchos se están asociando con MTDC o data centers de coubicación para localizar sus servicios en la llamada red “periférica”.³ Cuando la periferia está físicamente cerca, el descenso de latencia y de costos de red amplía el valor de los nuevos servicios de baja latencia. Como resultado, el crecimiento del campo de la hiperescala está forzando a los MTDC y a las instalaciones de coubicación a adaptar sus infraestructuras y arquitecturas para dar soporte al aumento de las demandas de tráfico y escala que son más típicas de los data centers de hiperescala. Al mismo tiempo, estos data centers más grandes deben seguir siendo flexibles para las solicitudes de los clientes de conexiones cruzadas a plataformas de proveedores de nube.

Redes de malla de tela y leaf-spine

La necesidad de admitir aplicaciones de baja latencia, alta disponibilidad y un gran ancho de banda no se limita a data centers de hiperescala y de coubicación. Ahora, todas las instalaciones de data centers deben replantearse su capacidad de gestionar las crecientes demandas de los usuarios finales y las partes interesadas. En respuesta, los administradores de data centers están avanzando rápidamente hacia redes de mallas con mayor densidad de fibra. La conectividad de cualquier tipo, los cables troncales de fibra más altos y las nuevas opciones de conectividad permiten a los operadores de red admitir velocidades de línea cada vez mayores mientras se preparan para realizar la transición a 400 Gigabits por segundo⁴ (G).

Cómo habilitar inteligencia artificial (AI) y aprendizaje automático (ML)

Además, los proveedores de data centers más grandes, impulsados en parte por IoT y aplicaciones de ciudades inteligentes, están recurriendo a la AI y al ML para ayudar a crear y refinar los modelos de datos que ofrecen capacidades de computación periférica casi en tiempo real. Además de tener el potencial de permitir un nuevo mundo de aplicaciones (imagínese automóviles autoconducidos viables comercialmente), estas tecnologías requieren grupos enormes de datos, a menudo denominados lagos de datos, y una potencia informática masiva dentro de los data centers, así como líneas lo suficientemente grandes para llevar los modelos refinados al extremo cuando sea necesario.⁵

A medida que los administradores de centros de datos miran hacia el horizonte, las señales de una evolución basada en la nube están por todas partes:

Más
servidores virtualizados de alto rendimiento

Mayores
ancho de banda y menor latencia

Mayor rapidez
de conexiones de conmutador a servidor

Mayores
velocidades de enlace ascendente/red central

Rápidas
capacidades de expansión

 
Dentro de la propia nube, el hardware está cambiando. Varias redes dispares típicas de un data center heredado han evolucionado hacia entornos más virtualizados que utilizan recursos de hardware agrupados y gestión impulsada por software. Esta virtualización está impulsando la necesidad de enrutar el acceso y la actividad de las aplicaciones de la manera más rápida posible, lo que obliga a muchos administradores de red a preguntarse: "¿cómo diseño mi infraestructura para admitir estas aplicaciones basadas en la nube?"

La respuesta comienza por habilitar velocidades más altas por línea. La progresión de 25 a 50 hasta 100G y superior es vital para llegar a 400G y más allá, y ha comenzado a reemplazar la ruta de migración tradicional a 1/10G. Pero no se trata solo de aumentar la velocidad de las líneas, hay mucho más. Tenemos que profundizar un poco más.

En la red de datos, la capacidad es cuestión de comprobar y equilibrar servidores, conmutadores y conectividad. Cada uno impulsa al otro a ser más rápido y menos costoso, para realizar un seguimiento eficiente de la demanda producida por el aumento de conjuntos de datos, IA y ML. Durante años, la tecnología de conmutación fue el principal inconveniente. Con la introducción de StrataXGS® Tomahawk® de Broadcom3, los administradores de data centers ahora pueden aumentar las velocidades de conmutación y enrutamiento a 12,8 Terabits/s (Tb/s) y reducir su coste por puerto en un 75 por ciento. El chip de conmutación 4 Tomahawk de Broadcom, con un ancho de banda de 25 Tb/s., proporciona al sector de los data centers más capacidad de conmutación para mantenerse por delante de las crecientes cargas de trabajo de AI y ML. En la actualidad, este chip admite puertos de 64x 400G; pero con una capacidad de 25,6 Tb/s, la tecnología de semiconductores nos lleva por un camino en el que en el futuro podríamos ver puertos de 32x 800G en un solo chip. 32, casualmente, es el número máximo de QSFP-DD u OSFP (transceptores de 800 G) que se pueden presentar en un panel frontal de conmutadores 1U.

Por lo tanto, el factor limitador es la capacidad de procesamiento del CPU. ¿No es así? Incorrecto. A principios de este año, NVIDIA presentó su nuevo chip Ampere para servidores. Resulta que los procesadores utilizados en los juegos son perfectos para gestionar el procesamiento basado en inferencias y la capacitación que se necesita para AI y ML. Según NVIDIA, una máquina basada en Ampere puede hacer el trabajo de 120 servidores con tecnología Intel.

Figura 3: Velocidades de Ethernet

Con los conmutadores y servidores preparados para dar soporte a 400G y 800G en el momento en que se necesitan, la presión pasa a la capa física para mantener la red equilibrada. IEEE 802.3bs, aprobado en 2017, abrió el camino para Ethernet 200G y 400G. Sin embargo, el IEEE acaba de completar su evaluación de ancho de banda con respecto a 800G y más allá. El IEEE ha puesto en marcha un grupo de estudio para identificar los objetivos de las aplicaciones más allá de 400G y, dado el tiempo necesario para desarrollar y adoptar nuevos estándares, es posible que ya estemos rezagados. El sector está trabajando conjuntamente para introducir 800G y empezar a trabajar hacia 1.6T y más, a la vez que mejora la potencia y el coste por bit.

Las velocidades de conmutación están aumentando a la par que el serializador/deserializador (SERDES) proporciona la E/S eléctrica para el movimiento ASIC de conmutación de 10G, 25G, 50G. Se espera que SERDES alcance 100G una vez que IEEE802.3ck se convierta en un estándar ratificado. Los circuitos integrados específicos de la aplicación del conmutador (ASIC) también están aumentando la densidad del puerto de E/S (también conocido como radix). Los ASIC de mayor radix admiten más conexiones de dispositivos de red, lo que ofrece la posibilidad de eliminar los conmutadores de capa superior de rack (ToR). Esto, a su vez, reduce el número total de conmutadores necesarios para una red en la nube. (Un data center con 100.000 servidores puede ser compatible con dos niveles de conmutación con un RADIX de 512). Los ASIC de mayor radix se traducen en un menor CAPEX (menos conmutadores), un menor OPEX (menos energía necesaria para alimentar y enfriar menos conmutadores) y un mejor rendimiento de la red gracias a latencias más bajas.

Figura 4: Efectos de conmutadores Radix más altos en el ancho de banda del conmutador

Estrechamente relacionado con el aumento de radix y la velocidad de conmutación está el paso de una topología de la parte superior del rack (ToR) a una configuración de mitad de fila (MoR) o final de fila (EoR), y la ventaja que el enfoque de cableado estructurado mantiene al facilitar las numerosas conexiones entre los servidores en fila y los conmutadores MoR/EoR. Se requiere la capacidad de gestionar el gran número de conexiones de servidor con mayor eficiencia para hacer uso de los nuevos conmutadores de alta velocidad. Esto, a su vez, requiere nuevos módulos ópticos y cableado estructurado, como los definidos en el estándar IEEE802 2,3 cm. El estándar IEEE802 2,3 cm admite las ventajas de los transceptores conectables para su uso con aplicaciones de red de servidores de alta velocidad en grandes data centers que definen ocho conexiones de host a un transceptor QSFP-DD.

Figura 5: Arquitecturas que cambian de ToR a MoR/EoR

Al igual que la adopción del factor de forma QSFP28 impulsó la adopción de 100G al ofrecer alta densidad y menor consumo de energía, el salto a 400G y 800G se está habilitando mediante nuevos factores de forma de transceptor. La óptica SFP, SFP+ o QSFP+ actual es suficiente para habilitar velocidades de enlace de 200G. Sin embargo, si se hace el salto a 400G, será necesario duplicar la densidad de los transceptores. No hay problema.

Los acuerdos de múltiples fuentes (MSAs) de QSFP-Double Density (QSFP-DD⁷) y factor de forma octal (2 veces uno cuádruple) pequeño y enchufable (OSFP⁸) permiten a las redes duplicar el número de conexiones de E/S eléctricas al ASIC. Esto no solo permite sumar más E/S para alcanzar velocidades agregadas más altas, sino que también permite que el número total de conexiones de E/S ASIC llegue a la red.

El factor de forma del conmutador 1U con 32 puertos QSFP-DD coincide con 256 (32x8) E/S ASIC. De esta forma, podemos crear enlaces de alta velocidad entre conmutadores (8*100 u 800G), pero también podemos mantener el número máximo de conexiones al conectar servidores.

Esquemas de modulación

Los ingenieros de redes han utilizado durante mucho tiempo la modulación de no retorno a cero (NRZ) para 1G, 10G y 25G, utilizando la corrección de errores directa (FEC) del lado del host para permitir transmisiones de mayor distancia. Para pasar de 40G a 100G, la industria simplemente pasó a la paralelización de las modulaciones NRZ 10G/25G, utilizando también FEC del lado del host para las distancias más largas. Cuando se trata de alcanzar velocidades de 200G/400 G y más rápidas, se necesitan nuevas soluciones.

Figura 7: Se utilizan esquemas de modulación de alta velocidad para habilitar las tecnologías 50G y 100G

Como resultado, los ingenieros de redes ópticas han recurrido a la modulación de amplitud de pulso de cuatro niveles (PAM4) para sacar provecho de arquitecturas de red de ancho de banda ultraalto; PAM4 es la solución actual para 400GPAM4. Esto se basa en una gran medida de IEEE802.3, que ha completado nuevos estándares Ethernet para velocidades de hasta 400G (802.3bs/cd/cu) para aplicaciones multimodo (MM) y monomodo (SM). Hay disponibles todo tipo de opciones de conexión para adaptarse a diversas topologías de red en data centers a gran escala.

Los esquemas de modulación más complejos implican la necesidad de una infraestructura que pueda proporcionar una mejor pérdida de retorno y atenuación.

Predicciones: comparación entre PSE y QSFP-DD

La óptica co-empaquetada (CPO) proporciona una ruta alternativa a 1,6T y 3,2T. Sin embargo, los CPO necesitarán un nuevo ecosistema que pueda acercar la óptica a los ASIC del conmutador para lograr mayores velocidades a la vez que se reduce el consumo de energía. Esta pista se está desarrollando en el Foro de interconexión óptica (Optical Internetworking Forum-OIF). El OIF está debatiendo actualmente las tecnologías que podrían ser más adecuadas para la “próxima tasa”, y muchos discuten una duplicación a 200G. Otras opciones incluyen más líneas, tal vez 32, ya que algunos creen que con el tiempo se necesitarán más líneas y tasas de líneas más altas para mantener el ritmo de la demanda de la red a un coste de red asequible.

La única predicción segura es que la infraestructura de cableado debe tener la flexibilidad integrada para admitir sus futuras topologías de red y requisitos de enlace. Aunque los astrónomos llevan mucho tiempo sosteniendo que “cada fotón cuenta”, puesto que los diseñadores de redes buscan reducir la energía por bit a unos pocos pJ/Bit⁹, es importante la conservación a todos los niveles. El cableado de alto rendimiento ayudará a reducir la sobrecarga de la red.

Conectores MPO

Hasta hace poco, el método principal de conexión de conmutadores y servidores dentro del data center implicaba el cableado organizado alrededor de 12 o 24 fibras, normalmente utilizando conectores MPO. La introducción de la tecnología octal (ocho líneas de conmutación por puerto de conmutación) permite a los data centers hacer coincidir el mayor número de E/S ASIC (actualmente 256 por ASIC de conmutación) con los puertos ópticos. Esto genera el número máximo de E/S disponibles para conectar servidores u otros dispositivos.

Las E/S ópticas utilizan conectores adecuados para el número de líneas ópticas que se usan. Un transceptor 400G puede tener un conector LC dúplex único con una E/S óptica 400G; también podría tener 4 X E/S ópticas 100G que requieran 8 fibras. Los conectores dúplex MPO12, o quizás 4 SN, encajarán dentro de la carcasa del transceptor y proporcionarán las 8 fibras que necesita esta aplicación. Se requieren dieciséis fibras para que coincidan con las E/S 8 eléctricas y ópticas, preservando el radix del conmutador ASIC. Los puertos ópticos pueden ser monomodo o multimodo, dependiendo de la distancia que el enlace esté diseñado para soportar.

La tasa de línea eléctrica determina entonces las capacidades de salida de la interfaz óptica. La Tabla 1 muestra ejemplos de las posibilidades/estándares del módulo 400G (50G X 8).

Tabla 1: QSFP-DD de 400G de capacidad con líneas eléctricas de 50G

Cuando las velocidades de las líneas se duplican a 100G, se pueden utilizar las siguientes interfaces ópticas. En el momento de redactar este documento, no se han completado los estándares de tasa de línea 100G (802,3 ck); sin embargo, se están lanzando productos tempranos y muchas de estas posibilidades, de hecho, están enviándose. La tabla 2, presentada en ECOC 2020 por J. Maki (Juniper), muestra el interés inicial del sector en los módulos 800G.

Tabla 2: QSFP-DD de 800G de capacidad con líneas eléctricas de 100G

Conectores dúplex

¿Límites de velocidad del conector?

Normalmente los conectores no dictan la velocidad, la economía sí. Las tecnologías ópticas fueron desarrolladas e implementadas inicialmente por proveedores de servicios que tenían los medios financieros y las demandas de ancho de banda para respaldar su desarrollo, así como los enlaces de larga distancia que están más enlazados económicamente utilizando el menor número de fibras. Hoy en día, la mayoría de los proveedores de servicios prefieren la tecnología de conectores simples o dúplex combinada con protocolos de transporte óptico que utilizan tecnologías de conectores de fibra única como LC o SC.

Sin embargo, estas soluciones de larga distancia pueden ser demasiado caras, especialmente cuando hay cientos o miles de enlaces y distancias de enlace más cortas que atravesar; ambas condiciones son típicas de un data center. Por lo tanto, los data centers a menudo implementan ópticas paralelas. Dado que los transceptores paralelos proporcionan un menor costo por Gigabit, la conectividad basada en MPO es una buena opción para distancias más cortas. Por lo tanto, las opciones de conectores actuales no se basan tanto en la velocidad, sino en el número de líneas de datos que pueden admitir, el espacio que ocupan y el impacto de los precios en los transceptores y las tecnologías de conmutación.

En el análisis final, la gama de transceptores ópticos y conectores ópticos se está expandiendo, impulsada por una amplia variedad de diseños de red. Los data centers a hiperescala pueden optar por implementar un diseño óptico muy personalizado; dada la escala de estos impulsores del mercado, los organismos de estándares y los fabricantes originales a menudo responden desarrollando nuevos estándares y oportunidades de mercado. Como resultado, la inversión y la escala lideran el sector en nuevas direcciones y los diseños de cableado evolucionan para satisfacer estos nuevos requisitos.

Recursos de DC adicionales útiles

A primera vista, el campo de posibles socios de infraestructura que compiten por su negocio parece estar bastante abarrotado. No faltan proveedores dispuestos a venderle fibra y conectividad. Sin embargo, a medida que mira más de cerca y se considera lo que es fundamental para el éxito a largo plazo de su red, las opciones empiezan a reducirse. Esto se debe a que se necesita algo más que fibra y conectividad para impulsar la evolución de su red... mucho más. Ahí es donde CommScope destaca.