High speed in het datacenter

Er staat ons een gigantische groei van het dataverkeer binnen het datacenter te wachten. ‘Machine to machine’ (M2M) of ‘east to west’-communicatie zal tot 2020 met gemiddeld 44% per jaar groeien. Deels in overeenstemming met deze ontwikkeling zal 100G in 2019 naar verwachting meer dan 50% van de transmissiecapaciteit van de optische transceivers in datacenters vertegenwoordigen. Daarnaast wordt verwacht dat er tussen nu en 2020 400G zal verschijnen. Hoe gaan we hiermee om?

In het verleden was de keuze tussen single mode fibre (SMF) en multimode fibre (MMF) oplossingen redelijk overzichtelijk. De eerste keuze bood de hoogste bandbreedte tegen een hogere prijs. Multimode vormt een kostenefficiënt alternatief in minder snelle en bereikbare installaties. Inmiddels moeten we bij deze keuze met meer factoren rekening houden. Denk aan de te overbruggen afstand en specifieke doelstellingen ten aanzien van de netwerkarchitectuur. Of de vraag of toekomstige ethernet- en glasvezelsnelheden kunnen worden ondersteund. Ook speelt de vraag of gedurende de economische levensduur gemakkelijk kan worden gemigreerd naar dergelijke snelheden. Deze vier criteria zijn onderling van elkaar afhankelijk en moeten daarom integraal in overweging worden genomen om tot een optimale keuze te komen.

SMF versus MMF

Met schijnbaar oneindige bandbreedte wordt Single Mode Fibre (SMF) door netwerkontwerpers en datacenters vaak beschouwd als de beste keuze om een toekomst zonder bandbreedte-bottlenecks te garanderen. Traditioneel zijn er hoge kosten verbonden aan SMF-systemen. Deze kostentoeslag wordt toegeschreven aan de prijs van de optische transceiver-modules. De totale kosten worden daarentegen minder beïnvloed door de prijs van de passieve optische bekabelingsinfrastructuur.

Tegelijkertijd is duidelijk dat SMF-technologie - ondanks de kosten­nadelen - wel degelijk voordelen heeft ten opzichte van MMF. Het gaat dan met name om aspecten als de mogelijkheid om grotere afstanden te kunnen overbruggen en de beschikbare capaciteit aan bandbreedte. Of speelt er meer nu datacenters de overstap naar high-speed datatransport maken? Bieden alternatieve bekabelingssystemen wellicht mogelijkheden die voorheen alleen SMF kon bieden?

Op dit punt is het belangrijk om vast te stellen dat de klassieke afweging tussen SMF en MMF sowieso enigszins is veranderd. Door technologische veranderingen staat steeds vaker MMF bovenaan de lijst als we beslissingen moeten nemen ten aanzien van netwerken die voldoen aan zowel de huidige als toekomstige behoeften.

Routekaart

Is de ‘data pipe’ die MMF biedt echter groot genoeg om toekomstige generaties verkeer te ondersteunen? Multimode fibre ondersteunt een groot deel van de huidige toepassingen tegen aanzienlijk lagere kosten. Daarnaast heeft het de capaciteit om te voldoen aan de toekomstige eisen van datacenters. Eén blik op de roadmap tot 800G ethernet zegt voldoende.

De mogelijkheden van MMF ten aanzien van bandbreedte zijn exponentieel gegroeid. dat is met name te danken aan de vooruitgang in optische transmissietechnologie. Denk aan de introductie van snellere Vertical Cavity Surface Emitting-lasers (VCSEL) die nu naast 10G ook 25G mogelijk maken, de verdubbeling van de lijnsnelheid (PAM4) en Short Wave Division Multiplexing (SWDM).

Figuur 1. Voorbeeld van een ‘spine and leaf’-architectuur’.

Met 40/100GE al in gebruik en de standaarden voor 200/400GE klaar voor goedkeuring en publicatie door de IEEE, is ethernet het geprefereerde netwerkplatform. Het levert een architectuur waarmee een datacenter kan voldoen aan de toekomstige behoeften en toekomstige toepassingen, terwijl de operationele kosten vandaag de dag laag zijn. Deze zullen voldoen aan de SWDM Alliance multisource-overeenkomst (MSA) en 100G over twee MMF’s (duplex transmissie/vezelpaar) mogelijk maken. Tweede en derde generatie MMF SWDM-ontwikkelingen presenteren een routekaart naar 200G (twee vezels) en wanneer gecombineerd in ‘parallelle optiek’ breidt deze routekaart zich gemakkelijk uit tot 800G.

Applicaties over korte afstanden, bijvoorbeeld tussen een switch en een server of M2M-interconnecties, zijn toepassingen waarbij Multi Mode Fibre duidelijk voordeel oplevert in het datacenter. De standaardvezel biedt nu een scala aan mogelijkheden om datacenter managers te helpen bij het plannen van infrastructuren en upgrades die volledig zijn geoptimaliseerd voor de operationele vereisten.

Applicatiekeuzes

De opkomst van software defined netwerken (SDN) heeft ertoe geleid dat datacenterontwerpers de traditionele drielaagse topologieën hebben veranderd in een ‘spine and leaf’-architectuur’ (figuur 1). Deze verandering zorgt voor een hogere poort- en connectordichtheid aan de kant van de ‘spine’, omdat elk leaf gekoppeld is aan de switch in de spine. Een populaire oplossing voor dit soort uitdagingen is het gebruik van kabelbundels (cable assemblies) en apparatuur die voor een break out-configuratie kunnen zorgen. Hiermee wordt de efficiency in de spine aanzienlijk verbeterd.

Als we kijken naar 40G MMF-datacenterimplementaties dan gaan analisten er vooralsnog vanuit dat meer dan 50% van de adoptie gerelateerd zal zijn aan dit soort breakout-configuraties. Dat wil zeggen: van 40G naar 4x10G. De belangrijkste drijfveer was echter niet om tot 40G end-to-end te komen, maar om efficiencyverbeteringen in de distributie van 10G te realiseren, inclusief (en dit zijn schattingen):

• 20-30% besparing op de kosten per poort
• 30-50% minder vermogen per poort
• 50% ruimtebesparing in het rack in de spine waardoor meer ruimte ontstaat voor apparatuur waarmee omzet kan worden gegenereerd

Figuur 2. Enkele voorbeelden van afstanden op basis van een standaard (dus not-extended reach) transceivers.

Hierbij wordt dus continu en stap voor stap de efficiëntie verbeterd. Ditzelfde concept zal de groei in 100G (4x25G) en 400G (4x100G)

stimuleren. Er moet hierbij echter wel worden opgemerkt dat de eerste generaties SWDM over MMF’s waarschijnlijk geen break out-modus en -configuratie zullen ondersteunen. Dit moet dus nadrukkelijk in overweging worden genomen bij de beoordeling van de voordelen van ‘duplex’ versus ‘parallelle’ high speed transmissie- en netwerkarchitecturen.

Kabelafstanden

Hyperscale datacenters bieden veelal ruimte aan meer dan 50.000 serverpoorten. Het bereik of de ‘reach’ (de afstand tussen servers en switches) in dergelijke faciliteiten is vaak groter dan 150 meter. Bij zulke afstanden is het niet ongebruikelijk om een mix van 80:20 in het voordeel van SMF te zien. Het tegenovergestelde kan worden gezegd voor enterprise datacenters, waar 95% van de afstanden korter dan 100 meter is en de mix eerder 80:20 in het voordeel van MMF is.

Er zijn typen optische vezels die een groter MMF-bereik mogelijk maken dan de standaarden voorschrijven. Hetzelfde geldt voor de specificaties van transceivers. Figuur 2 geeft voorbeelden van afstanden op basis van een standaard (dus not-extended reach) transceiver.

Kosten als incentive

MMF-transceivers worden geproduceerd met low-cost VSCEL terwijl bij SMF gebruik wordt gemaakt van duurdere lasers. Deze VCSEL’s maken gebruik van de grotere core/cladding (kernmantel) diameter (50/125 micron bij OM3, OM4, OM4+ en OM5) waardoor de totale oplossing een goedkopere optie is.

Het gestructureerde bekabelingselement (inclusief glasvezelkabels) van een netwerkinstallatie vertegenwoordigt doorgaans minder dan 5% van het budget van een IT-manager. Terwijl de kosten van de vezel zelf (SMF of MMF) een zeer klein percentage van het kabelsysteem vertegenwoordigen bij het overwegen van elk vezelkanaal/verbinding. Als we het voorbeeld van een 10G MMF-channel nemen en de kosten van de transceivers toevoegen aan de passieve glasvezelkabel­infrastructuur, dan zouden de kosten van de transceivers ongeveer 80% van de totale kosten uitmaken.

We zien dat er een duidelijke behoefte bestaat om de kosten van single mode optische modules te verlagen. Dit kan uiteraard gepaard gaan met compromissen. Een voorbeeld hiervan is IEEE 400GBASE-DR4, dat een bereik van 500 meter heeft. Dit is beduidend korter dan de afstand die tegenwoordig gebruikelijk is voor SMF-oplossingen (meer dan een kilometer).

De kloof tussen MMF en SMF zal in de toekomst naar verwachting kleiner worden naarmate de opto-elektronische technologie zich verder ontwikkelt en de verkochte aantallen toenemen. Momenteel zijn de kosten voor SMF echter veelal 1,5 tot 4 keer zo hoog als die van een MMF-oplossing, afhankelijk van de gebruikte datasnelheid/transceiver-module.

Conclusie

Single-mode glasvezel blijft een belangrijke rol spelen bij afstanden van meer dan 400 meter (tot 10G) en meestal groter dan 150 meter (40G en verder). Hieronder vallen ook toepassingen voor het overbruggen van servergangen en over de locatie heen.

De introductie van 100G-BASE-PSM4 (parallel single mode) brengt een nieuw soort SMF-transceiver met goedkope silicium-fotonica met zich mee. Dit zal naar verwachting leiden tot prijzen voor MMF- en SMF-oplossingen die dichter bij elkaar komen te liggen. Hierdoor zal de populariteit van SMF toenemen, met name voor ‘greenfield’ 100G-implementaties.

Er is echter al een aanzienlijke hoeveelheid MMF (OM3, OM4, OM4+, OM5) geïnstalleerd in datacenters en de uitbreiding van het bestaande netwerk vertegenwoordigt ongeveer 50% van de marktbehoefte. Zowel fabrikanten van apparatuur als afnemers hebben een duidelijk belang bij het ondersteunen en maximaliseren van het rendement op investeringen (ROI) van deze legacy-infrastructuren. Een massale migratie naar SMF in ‘brownfield sites’ ligt daarom vooralsnog niet voor de hand.

De bandbreedte van de huidige multimode-vezeloplossingen overtreft ruimschoots de grenzen van hun gepercipieerde beperkingen. In dit geval mag bandbreedte niet langer de barrière zijn voor MMF om aan de huidige of toekomstige behoeften te voldoen. Bovendien is MMF de meest kosteneffectieve keuze voor de meerderheid van de datacenters waar het bereik meestal kleiner dan 150 meter is.

Stephen J. Morris is senior product manager bij Panduit