Fysieke scheiding: moeder van alle inefficiency in het datacenter

Fysieke scheiding is de standaard in elk datacenter. Echter, door niet volledige scheiding, is uw PUE minimaal 0,2 hoger dan noodzakelijk en zijn HotSpot’s er nog steeds. Wij leggen u het hoe en waarom uit.

Resterende openingen in rack

Het concept van fysieke scheiding is logisch en zo simpel: splits de warme ‘uitlaat’ van de koude ‘inlaat’ lucht. Net als de ramen sluiten van je auto als de Airco aan is! Zijn de ramen van ‘fysieke scheiding’ dicht? Nee, absoluut niet! Figuur I laat de resterende openingen in een rack zien. Dit rack zou volledig ‘dicht’ moeten zijn. De ‘kleine’ openingen zijn openingen tussen blindpanelen, tussen twee IT-servers en openingen tussen de ‘mounting rail’ en het rack zelf.

Recirculatie van warme lucht

Externe recirculatie van warme lucht

De ventilatoren van de servers wekken de koelluchtstroom op door de server. Als gevolg hiervan ontstaat overdruk (+) en onderdruk (–) zie Figuur II. De barrière, de fysieke scheiding, is natuurlijk aan de voorzijde van alle servers bij de ‘mounting’ rail.

Als er een opening in de barrière is, zal lucht van + naar – stromen. Dus van achter naar voren. De lucht zal in de server worden ‘gezogen’ en circuleert dus door de server. Warme retour lucht wordt gemengd met koude aanvoer lucht; de server wordt nu gekoeld met een hogere temperatuur! De beste manier om dit te voorkomen is natuurlijk door alle gaten aan de voorzijde van het rack dicht te maken.

  • Bypass koellucht
  • Er is echter ook een andere manier om deze recirculatie te voorkomen: blaas extra lucht in het DC. Door meer lucht aan het DC toe te voeren wordt druk in het DC opgebouwd. Zie Figuur III. De warme lucht kan nu niet ‘terug’ stromen naar de voorzijde, want de extra koellucht ‘blaast’ nu door de openingen in het rack. Probleem opgelost. Dat is waar, maar koellucht gaat nu langs de servers (Bypass) en wordt helemaal niet gebruikt om te koelen!

De datacenters die wij hebben onderzocht hadden openingen in hun racks variërend van gemiddeld 400 - 1500 cm2. Dit is gelijk aan een ‘gat’ van 2 - 6 ontbrekende blindplaten gemiddeld in elk rack! Dit zijn professionele datacenters en zij hebben gedaan wat zij konden en hoorden te doen. Alle DC’s voegden extra koellucht toe, ter compensatie van de ‘gaten’ in hun racks, pogend om warme retour lucht recirculatie te voorkomen. Heel veel koellucht.

Delta T van IT-hardware en het koelsysteem

Recirculatie of koude en warme lucht in het datacenter

Alle datacentra worden gekoeld door een recirculerende luchtstroom. Zie Figuur IV. De toegevoerde koellucht wordt opgewarmd door de IT-hardware, de IT koelend, en de opgewarmde koellucht wordt vervolgens teruggevoerd naar het koelsysteem, waar de koellucht wordt afgekoeld. 24/7.

Algemeen geaccepteerd is dat IT-hardware gemiddeld met 12 °C de koellucht opwarmt. Dus bij een inlaat van 20 °C wordt de ‘uitlaat’ lucht van de servers 32 °C. De verhoging van de temperatuur, de Delta T, is 12 °C.

Dit betekent dat bij ‘perfecte’ Fysieke Scheiding, de retourlucht naar de koelunits 12 °C hoger hoort te zijn, dan de inlaat temperatuur. De datacenters die wij onderzochten hadden alle echter maximaal 8 °C.

De ‘verwachtte’ Delta T van 12 °C blijkt 4 graden lager. Dit is het gevolg van minimaal 50% extra koellucht. Het DC wordt overstroomd!

De ‘straf’ van overstromen van het DC

Overstromen van je DC leidt tot inefficiency en verlies van koelcapaciteit. Extra lucht toevoegen, met dit soort percentages, is zeker niet gratis en zonder consequenties. Integendeel! Alleen al het extra elektrische verbruik voor de ventilatoren van de koelunits verhoogt de PUE met 0,1! Daarnaast wordt het koelsysteem zelf ook minder efficiënt bij een lagere Delta T. Een verdere PUE-verhoging van minimaal 0,1. Totaal leidt ‘overstromen’ tot een PUE-verhoging met 0,2. Minimaal!

Meestal verlagen de DC’s tegelijkertijd ook hun koellucht temperatuur om de koeling van hun IT-hardware te ‘helpen’. Dit verlaagt het aantal uren per jaar voor vrije koeling en leidt tot een verdere stijging van de PUE.

Het koelsysteem is gebaseerd op een ontwerp Delta T. Meestal de eerder genoemde 12 °C. Het ‘draaien’ van het DC op 8 °C verlaagt de koelcapaciteit met 33% of meer. Een 100 kWatt CRAC unit kan nog maar 66 kWatt koelen! Dit effect wordt van belang zodra het DC zich ‘vult’ tot 50-60% van de ontwerpcapaciteit. Het DC kan dan de IT-belasting niet verder laten stijgen. Continuïteit komt in gevaar. Het DC kan het binnenlaten van servers van nieuwe of bestaande klanten niet toestaan!

Waarom is op dit moment fysieke scheiding niet ‘perfect’?

Simpel. Niet alle betrokkenen hebben zich aangepast aan de ‘regels’ van fysieke scheiding. Nog niet, fysieke scheiding is nog te ‘nieuw’.

Om te beginnen: de leveranciers van racks moeten ‘dichte’ racks maken en blindpanelen moeten helemaal perfect afsluiten. De spleten tussen IT-hardware moeten worden dichtgemaakt. Er zijn er meer, maar deze vinden wij de belangrijkste.

Toen wij zelf fysieke scheiding gingen testen en demonstreren, gewoon een paar racks met een flink aantal servers, denkend dat we fysieke scheiding al ‘snapten’, kwamen we tot een schokkende ontdekking. De ‘gaten’ in IT-hardware zelf….

  • Recirculatie-openingen ‘by design’
  • Ook de leveranciers van IT-hardware moeten hun apparatuur ‘dicht’ maken. Op dit moment hebben nog vele producten openingen na de barrière van fysieke scheiding. Zie Figuur V. Deze openingen leiden tot recirculatie van warme lucht door de server. Stel je een perfect dicht rack voor: dit kan nog steeds leiden tot oververhitting van je IT-server!
  • Er zijn ook nog diverse apparaten, waarbij de inlaat niet eens aan de voorzijde is, maar aan de zij- of achterkant. Deze apparatuur krijgt helemaal geen koellucht vanaf de voorzijde! Gegarandeerde recirculatie ‘by design’!
  • Dit artikel is niet geschreven om het goede van het kwade te onderscheiden of om iets of iemand de ‘schuld’ te geven. Integendeel. Ook wij zelf hebben het belang van fysieke scheiding onderschat. Het gaat alleen maar om leren, van A naar Beter…

Wat kan ik doen?

  • Simpele, effectieve airflow-meters
  • Ga zelf op onderzoek uit…en overtuig jezelf:
  • Vind recirculatie in je eigen datacenter. Ga naar de racks gewapend met een simpel papiertje (zie Figuur VI) en controleer of je de warme lucht kunt ‘voelen’ terugstromen van achter naar de voorzijde van het rack.
  • Schakel de verlichting in het DC uit en maak dan licht aan de achterzijde van een rack. Dan zal je de status van fysieke scheiding met eigen ogen ‘zien’. Net als in Figuur I!
  • Controleer de gemiddelde Delta T van je koelingssysteem. Je vindt het bewijs van inefficiency en koelcapaciteit verlies als je 8 °C of lager vindt.

En wat dan?

De industrie ontwikkelt zich al naar fysieke scheiding, je partners willen en kunnen je al helpen. Een nieuw DC ontwerpen en bouwen is, zoals altijd, makkelijker omdat je de voordelen van de laatste kennis en producten hebt.

Onze focus ligt daarom bij bestaande datacenters. In bestaande DC’s kan optimale fysieke scheiding met al haar voordelen ook worden behaald. Een goede start is een uitgebreide inventarisatie van alle ‘gaten’ en het bewijs van inefficiency door de Delta T te meten.

Aansluitend de potentiële energiebesparing door verlaagde PUE en het terugkrijgen van koelcapaciteit voor extra business bepalen en het wordt iedereen duidelijk waarom te verbeteren.

Speciaal gemaakte ‘closure kits’ voor elk type rack, perfect afsluitende blindplaten etc. completeert een plan om het gehele ‘gat’ in uw DC af te sluiten. Helaas uit eigen ervaring, blijkt een ‘beetje’ afsluiten geen enkele verbetering te geven, pas vanaf 80%. Maar waarom niet gaan voor 100%!

Als laatste, vergeet niet dat je niet alleen bent, helemaal niet. Wij geloven dat de meerderheid van alle DC’s in de hele wereld aandacht zal gaan besteden aan fysieke scheiding. Om goede redenen overigens: eindelijk een lage PUE, meer capaciteit voor extra business en geen hotspot’s meer.

Daarom vinden wij fysieke scheiding de moeder. En iedereen weet: laat je moeder nooit te lang wachten…

Mees Lodder, CEO van WCoolIT