Op weg naar hogere vermogensdichtheden

De vermogensdichtheid per rack neemt steeds verder toe. We moeten dus op zoek naar steeds efficiëntere manieren om de uitdagingen op het gebied van vermogen, koeling en ruimte het hoofd te bieden. Bij Delta Electronics past men steeds vaker modularisering toe in producten en oplossingen die zijn ontworpen voor datacenters. Op die manier verkrijgt een datacenter meer flexibiliteit en kan een datacenter manager zich goed voorbereiden op de groeiende werkbelasting.

De afgelopen jaren zijn datacenters met talloze nieuwe uitdagingen geconfronteerd. Deze zijn het gevolg van de snel veranderende IT-technologieën en -trends. Datacenters met een hoge vermogens–dichtheid vormen een probleem waarmee steeds meer bedrijven te maken krijgen.

Small Form Factor

Gebruikers stellen steeds hogere eisen aan de services die zij via internet benutten. Bedrijven moeten dus manieren bedenken om te kunnen voldoen aan de 24/7-beschikbaarheid die de gebruiker verwacht. Het aantal servers blijft toenemen, terwijl daarnaast grotere rekencapaciteit in steeds compactere behuizing wordt geïntegreerd. Oplossingen zoals Small Form Factor (SFF), blade servers, hyperscale-servers, ‘composable infrastructure’ zijn allemaal speciaal ontwikkeld om tot meer flexibele racks te komen. Bij de nieuwe generaties servers speelt ook een hoger stroomverbruik per server. Nu de wereld steeds meer belang hecht aan energieverbruik, beginnen bedrijven energie-efficiëntie en hun verantwoordelijkheid ten aanzien van het milieu steeds serieuzer te nemen. Virtualisatietechnologie biedt oplossingen voor bedrijven die iedere server in staat stellen een grotere werklast op zich te nemen, zodat deze optimaal wordt gebruikt.

Cloud Only

In de huidige fase van de wereldwijde cloud-trend zien veel onder­nemingen ‘cloud first’ al als een van hun topstrategieën. Steeds meer IT-budgetten richten zich op cloud-gerelateerde IT-infrastructuur en -software. Sommige gebruikers en IT-leveranciers gebruiken zelfs ‘cloud only’ als hun belangrijkste strategie. Wanneer servers echter dicht bijeen worden geplaatst in cloud-datacenters, zal dit zeker leiden tot grotere uitdagingen op het gebied van onderhoud.

Sinds de ontwikkeling van mobiele toepassingen en social media-platforms zijn de hoeveelheden gegevens en de daarvoor benodigde rekenkracht enorm toegenomen. Al deze data moet worden geanalyseerd en geëxtraheerd. Met de voortdurende ontwikkeling van het Internet of Things (IoT) worden gegevens die via sensoren worden verzameld naar backend-datacenters geleid, alwaar big data-analyses worden uitgevoerd. Deze veranderingen dwingen datacenters ertoe om een hoge dichtheid te ontwikkelen. Met de snelle groei van de dichtheid voldoen datacenters die zijn gebouwd op basis van traditionele concepten echter niet langer.

Potentiële problemen

Uit een onderzoeksrapport van Colocation America (2014) blijkt dat de vermogensdichtheid van een rack in 2008 nog ongeveer 6 kW bedroeg. In 2016 was dit al gegroeid naar 12 kW. In 2020 zal de gemiddelde vermogensdichtheid van een kast naar schatting 16,5 kW bedragen. Intel heeft al een datacenter gebouwd met een vermogensdichtheid per kast van maar liefst 43 kW. Met de snelle groei van de vermogensdichtheid per kast moeten bedrijven effectieve manieren vinden om met de uitdagingen om te gaan die hierdoor ontstaan. Een hoge dichtheid zorgt bijvoorbeeld voor een betere benutting van de ruimte. Als er echter een stroomstoring optreedt, kan de enorme warmte die door de vele apparaten in een kleine ruimte wordt gegenereerd niet worden afgevoerd en zullen talloze servers worden uitgeschakeld.

Tot voor kort was elke kast in een datacenter ontworpen voor een vermogensdichtheid van 6 kW. Maar als datacenters een hoge dichtheid van 15 kW of meer moeten verwerken, dan voldoet de traditionele infrastructuur duidelijk niet meer aan de vereisten. Ondernemingen die technologie gebruiken die enorme IT-resources vereist, zoals cloud computing of big data-analyses, stoten ook op uitbreidingsproblemen als ze gaan kijken naar de beschikbare en benodigde capaciteit. Vroeger ging het koelontwerp van datacenters ervan uit dat de IT-workload gelijkmatig en goed verdeeld was. In werkelijkheid is dat niet zo, vooral niet in kasten met hoge dichtheid. Veel datacenters zijn zich er dan ook inmiddels van bewust dat hun koelcapaciteit ontoereikend is.

Interessant is dat hierdoor ook de voorzieningen voor backup-power gaan verdwijnen. De oorspronkelijke UPS- en koelsystemen waren ontworpen met een N+1-configuratie in gedachten. De volledige N+1-capaciteit die in het datacenter aanwezig is, zal bij hogere vermogensdichtheden echter aangesproken moeten worden. Er kunnen zich immers situaties voordoen waarin onvoldoende capaciteit beschikbaar is. Deze systemen verliezen hierdoor dus de functie van back-up. Daar komt nog als complicerende factor bij dat IT-medewerkers na het implementeren van virtualisatie-oplossingen ook virtuele machines dynamisch kunnen verplaatsen. De capaciteitsbenutting van het datacenter zal hierdoor ook veranderen en hotspots zullen veel lastiger aangepakt kunnen worden. Stroomvereisten zullen ook veranderen en als we niet oppassen kunnen maar al te gemakkelijk onnodige shutdowns plaatsvinden.

Meer flexibiliteit

Datacenters met een hoge dichtheid kennen nog steeds veel potentiële problemen, omdat beheerders van dit soort faciliteiten in de regel meer onder druk staan dan hun collega’s bij meer traditionele datacenters. Naast het handhaven van een compute-omgeving met een toenemende dichtheid en het verbeteren van de beschikbaarheid, moeten ze ook de kosten verlagen en de efficiëntie verhogen. Gelukkig kiezen de professionals in de telecomindustrie steeds vaker voor modularisering in apparatuur. Zij ontwerpen zelf producten voor datacenters om meer flexibiliteit te bieden en zich voor te bereiden op de toekomstige workloads.

Momenteel hebben de belangrijkste vormen van modularisering betrekking op het ontwerp van de ruimte en de inrichting van een datacenter. Bij modularisering van de ruimte moeten we denken aan het gebruik van modules uit de IT-infrastructuur, kasten en voorzieningen voor de bediening van IT-apparatuur. Elke module is afhankelijk van en heeft betrekking op de andere. In de praktijk worden de datacenterruimtes bij bedrijven gebruikt om de capaciteitsbehoeften van bestaande diensten en eventuele toekomstige uitbreidingen te beoordelen, en worden ze verder verdeeld in kleinere ruimtes en beschouwd als modules. De modularisering van inrichtingen verwijst naar het gebruik van modulaire ontwerpen voor infrastructuur, waaronder energiesystemen zoals UPS, vermogens–verdeelkasten, koeling per rij, serverkasten en insluiting van koude en warme leidingen.

De ontwikkeling op het gebied van IT-technologie verandert elke dag en de infrastructuur ontwikkelt zich steeds meer naar ‘microservice’-­architecturen. Om het eenvoudig te stellen, verwijst deze architectuur naar het gebruik van modularisering om complexe, grootschalige toepassingen te bouwen. Modulaire oplossingen werden jaren geleden ontwikkeld voor datacenterinfrastructuur om bedrijven voldoende flexibiliteit te bieden om in te spelen op hun uitbreidingsbehoeften, de tekorten op het vlak van vermogen en koeling en de uitdagingen op het vlak van ruimte te overwinnen.

Modularisering van UPS’en

Volgens een onderzoek uitgevoerd door een UPS-leverancier is ongeveer 50% van mening dat een storing in de UPS-apparatuur de belangrijkste oorzaak is van stroomuitval in datacenters. Dit geeft duidelijk aan hoe belangrijk UPS-systemen zijn voor datacenters. Naarmate de dichtheid in de datacenters groter wordt, doen bedrijven er goed aan hun oude UPS-systemen te vervangen en zich daarbij vooral te laten leiden door de efficiëntie van de systemen. UPS-systemen die tien jaar geleden zijn ontworpen, hebben meestal een rendement van 85% bij een belasting van 40% voor servers met dubbele vermogensingangen. De energie-efficiëntie van de huidige UPS-systemen is veel groter. Neem bijvoorbeeld een van onze eigen UPS-oplossingen. Bij een lichte belasting van 20% kan de AC-AC-efficiëntie voor de UPS DPH 500kVA-serie rond de 95% draaien en de piekefficiëntie kan oplopen tot 96,5% met een duidelijke besparing op de energiekosten.

Een andere overweging is het effectieve ruimtegebruik in de datacenters. Over het algemeen worden vermogensruimten uitgerust met elektrische inrichtingen, hoewel de ruimte in de vermogenskamer mogelijk zeer beperkt is. Wanneer datacenters evolueren naar een hogere dichtheid in ieder rack, moet ook het back-up-vermogen worden aangepast om toereikend te zijn. Ondernemingen kunnen hun oude UPS-systemen vervangen door nieuwe eenheden met een hoger vermogen. Delta heeft onlangs de Modulon DPH 500 kVA modulaire UPS op de markt gebracht voor grote datacenters, waarbij deze noodstroomvoorziening slechts de ruimte van één 19-inch kast inneemt en een zeer hoge vermogensdichtheid biedt. De parallelle uitbreiding kan ook worden geconfigureerd voor maximaal 8 eenheden, waardoor een maximale vermogenscapaciteit van 4 MVA wordt geboden.

Het systeem is uitgerust met zelfdiagnose- en ouderdomsdetectie­mechanismen die de staat van de batterijen, de ventilator, de IGBT-module, de DC-condensatoren en de AC-condensatoren controleren voor preventief onderhoud. Op die manier kan het risico op storingen en vermogensverlies worden verminderd en kunnen de investeringen van de klant in de apparatuur goed worden beschermd. Een ander voordeel van modulaire UPS-systemen is het ‘plug and play’-ontwerp van vermogensmodules. Afhankelijk van de behoefte van een datacenter is zowel een verticale (binnen een enkele systeemkast) als horizontale (parallel) uitbreiding mogelijk. Ondernemingen kunnen UPS-systemen flexibel inkopen op basis van hun aanvankelijke capaciteitsbehoeften en rekenen op toekomstige operationele uitbreidingen om hun CAPEX verder te verlagen.

RowCool-systemen

Naarmate de dichtheid van server- en IT-apparatuur hoger wordt, worden ook de vereisten voor faciliteiten strenger. Naast een hogere vermogensdichtheid is koeling een probleem geworden in datacenters. Het koelontwerp van datacenters gaat ervan uit dat de IT-workload gelijkmatig en goed verdeeld is, maar in echte bedrijfsomgevingen kan ongelijke warmteverdeling worden gegenereerd als gevolg van de dynamische verplaatsing van virtuele machines of verkeerde plaatsing van IT-apparatuur.

Onvoldoende koeling wordt een veel voorkomende uitdaging voor datacenters met een hoge dichtheid. Het voordeel van de RowCool-aanpak van Delta is dat deze zich vlakbij hotspots bevindt en verschilt van RoomCool-systemen waarbij verliezen worden gegenereerd in de luchtafvoerbaan onder de verhoogde vloer. RowCool-systemen kunnen voldoende koelcapaciteit in de buurt bieden om hotspots te elimineren. Ze zijn uitgerust met DC- of EC-ventilatoren met een hoog vermogen en een variabele regeling van de ventilatorsnelheid voor meer energie­besparing. Een reductie van de ventilatorsnelheid met 10% kan tot 27% van het energieverbruik besparen. Bovendien wordt een N+1-ontwerp gebruikt voor de algemene architectuur en de groepsbesturings­functies, die kunnen worden gebruikt om hotspot-problemen op te lossen die worden veroorzaakt door een plotselinge toename van de belasting.

RowCool-systemen kennen ook een modulair ontwerp. RowCool 29/43kW heeft bijvoorbeeld niet alleen een ingebouwde dubbele vermogenstoevoer om de betrouwbaarheid en bescherming van het systeemvermogen aanzienlijk te vergroten, maar ondersteunt ook hot-swappable vermogenstoevoeren en ventilatoren om de vereiste onderhoudstijd te verkorten. Het variabele ontwerp van de snelheids­regeling van de ventilator kan de snelheid aanpassen aan de werkelijke werklast. De modularisering wordt ook toegepast op RowCool-eenheden, die waar nodig kunnen worden toegevoegd.

Samenvatting

Technologie gaat elke dag een stap verder. Opkomende trends als IoT, kunstmatige intelligentie en AR/VR zorgt voor een integratie van cloud, mobiel, social media en big data. De uitdagingen voor datacenters voor bedrijven worden hierdoor steeds groter. We blijven ongetwijfeld evolueren naar een hoge dichtheid en de infrastructuur zal de belangrijkste back-up worden wanneer bedrijven hun innovatieve toepassingen promoten. Voor managers zal de ontwikkeling van datacenters met een hoge dichtheid ongetwijfeld meer uitdaging op het vlak van onderhoud en beheer met zich mee gaan brengen. Daarnaast zal ook de beschikbaarheid van datacenters een uitdaging vormen, terwijl de kosten moeten dalen en de efficiëntie moet toenemen. Het gebruik van modulaire ontwerpen en aanverwante inrichtingen, zoals modulariseringen van ruimten, insluitingstechnologie voor warme en koude leidingen, RowCool-systemen en efficiëntere UPS-systemen, kan een hogere betrouwbaarheid en meer flexibiliteit bieden voor datacenters.

Zones met medium en hoge dichtheid naast elkaar in één datacenter

Volgens de dichtheidscategorieën van datacenters van AFCOM, de Amerikaanse vereniging van datacentermanagers, spreken we over een omgeving met lage dichtheid als iedere kast minder dan 4 kW haalt. Een gemiddelde dichtheid bedraagt 5 tot 8 kW, terwijl een hoge dichtheid 9-15 kW bedraagt en ultrahoge dichtheid 16 kW en meer. Verschillende datacenters kunnen met verschillende problemen met betrekking tot vermogensdichtheid in het rack worden geconfronteerd. In sommige datacenters is het zelfs mogelijk dat kasten met verschillende dichtheden worden gecombineerd, maar eenzelfde ontwerp gebruiken voor hun vermogens- en koelsystemen. Een toonaangevend IC-ontwerpbedrijf in Taiwan is van plan een nieuw datacenter bij hun hoofdkantoor te bouwen, omdat ze hun bestaande IT-apparatuur en gerelateerde netwerk- en besturings­omgevingen moeten integreren. Volgens de inspectie ter plaatse zijn er in het datacenter van dit bedrijf tot 80 kasten met een medium en ultrahoge dichtheid, waarbij de kasten met ultrahoge dichtheid tot 25 kW halen.

Als ondernemingen zowel kasten met een lage dichtheid als een hoge of ultrahoge dichtheid nodig hebben voor verschillende toepassingen, is het verstandig de ruimte in het datacenter op te delen in een zone met hoge dichtheidkasten en een zone met ultrahoge dichtheidkasten om het ontwerp te optimaliseren. Faciliteitsplanning moet niet alleen de hele vermogens- en koeling­behoeften omvatten, maar ook het ruimtegebruik om IT-systemen in te zetten. Er zijn verschillende mogelijkheden om koeloplossingen aan te wenden. Voor framekasten onder 4 kW volstaat bijvoorbeeld de RoomCool voor een effectieve koeling, terwijl het beter is om RowCool-units te gebruiken bij kasten met een hogere dichtheid van 9 kW tot 15 kW voor een optimale warmteafvoer.

In dit geval gebruikte Delta het modulaire ontwerp om de zone met ultrahoge dichtheid voor zijn klant te plannen en werden alle kasten met ultrahoge dichtheid in één zone geplaatst. Voor zijn toepassingen met hoge dichtheid koos de klant voor de Delta’s RowCool 95 kW, die de grootste koelcapaciteit biedt in de branche in een kast van 600 mm breed. Delta adviseerde ook om insluitingstechnologie voor warme leidingen te gebruiken om te voorkomen dat koude en warme lucht vermengt en om een optimale koelingsefficiëntie te garanderen.

Jack Chou is sales manager bij Delta Electronics