Wat gebeurt er nu echt in een rack?

3

In 2005 waren wij bij Getronics, waar ik toen werkte, een van de eerste met een koude gang. Dat was de start van het optimaliseren van koeling van de IT-apparatuur. De reden was dat we een probleem hadden met een alsmaar stijgende temperatuur rondom de voorkant van de racks, de koude inlaatzijde. De IT-load per rack was toen nog laag, maar ontwikkelde zich in rap tempo door met name de introductie van de 1U-servers. Deze ‘pizzadozen’, vele in een rack, leverden belastingen tot wel 6 kiloWatt per rack.

De ‘timmerman’ heeft de koude gang gemaakt van plaatmateriaal en gewone deuren. We waren verbijsterd over het effect. De koude gang werd zelfs te koud, 17 graden Celsius. Inmiddels is de koude en warme gang gemeengoed voor elk DC. We kunnen ons zonder wellicht al niet eens meer voorstellen.

De afgelopen jaren heeft WCooliT gewerkt aan de verdere optimalisering van de fysieke scheiding, met name in het rack. Prima. Het ‘afdichten’ van alle gaten in racks in een live-DC. Het was spannend en een enorme klus. De resultaten waren zoals voorspeld, minder lucht en hogere inlaat temperatuur mogelijk. De energiebesparing bedroeg 15-25% van het totaal.

4-300x199 Toch bleef knagen dat we eigenlijk niet goed konden ‘zien’ en begrijpen wat er nou echt in het rack gebeurt. Dus hebben we een testopstelling gemaakt. Eigenlijk een rack van plexiglas met een echte server. Eindelijk kunnen we nu alles testen, demonstreren en begrijpen. Hoe stroomt de lucht en welke effecten hebben ‘gaten’ in de fysieke scheiding. Eindelijk konden we ook zien wat er gebeurt als de inlaattemperatuur boven de 35 graden is.

Robbert Hoeffnagel heeft de demonstratie gezien en ‘gevoeld’. Vandaar dat we u de komende edities stap-voor-stap zullen uitleggen wat we allemaal ‘gevonden’ hebben. U hoeft ons niet te geloven of te vertrouwen. Uiteindelijk kunt u het allemaal binnenkort een keer zelf komen ‘zien’ bij ons.

Wat gaan we onderzoeken?

In zes afleveringen gaan we de volgende zaken experimenteel onderzoeken:

  • Luchtstromen in een standaard rack
  • Temperatuureffecten van luchtstromen
  • (Precies) regelen van luchtstromen en effecten daarvan
  • Uitlezen van server-inlaattemperaturen
  • ‘Killing the beast’, oftewel: hoever kan je gaan met een server?
  • Wat betekent dit alles nu voor datacenters in real life?

GlassDC: test- en demonstratieopstelling

Om te zien wat er in een rack gebeurt, helpt het als je er letterlijk van alle kanten in kunt kijken. Als je dan ook nog alle klimatologische omstandigheden in een datacenter wilt kunnen nabootsen - ook die, of misschien wel juist die, men liever vermijdt - dan ben je natuurlijk niet welkom op een operationele datazaal. Zo kwamen wij op een testopstelling van een ‘glazen’ rack, opgebouwd uit modulen die de klimatologische omstandigheden kunnen instellen van een ‘normaal’ datacenter tot aan die van een datacenter ‘from hell’. Meet the GlassDC.

5-300x199 Het GlassDC bestaat uit een 3U rack-module met een fysieke scheiding die open en dicht kan, een workhorse server (HP DL380-GL7, 2U, 500W, 2 x 6 cores, 8 HDD’s) met regelbare workload en voorzien van flow-indicatoren en temperatuur- en drukmeters. De voor- en achterdeurmodule zijn voorzien van gaasprofiel uit een reguliere Dell-kast en de oppervlakte ervan representeert daardoor een volle kast. Met de choke-module kan de lucht worden afgeknepen. Met de fan/heater-module kan extra lucht - ‘voordruk’ - worden gemaakt en hete lucht worden gemaakt. Met de air collector-module, tenslotte, kan de resulterende luchttemperatuur aan de achterkant van de kast worden gemeten. Kortom, het GlassDC is representatief voor een volle kast in een datacenter, maar waarin je alles kunt zien en waarmee je dingen kunt doen die normaal gesproken tot ontslag op staande voet zouden leiden.

Experiment 1: Luchtstromen in een standaard rack

6-199x300 We bekijken een server in een rack dat zich bevindt in een ruimte zonder extra ventilatie. De CPU’s zijn bezig, de fans draaien en blazen lucht van voor naar achter door de server. Rondom de voorkant van de server is er een fysieke scheiding tussen de lucht vóór de server en de lucht erachter. De scheiding is gedeeltelijk open. Over òf en hoe lucht door die opening stroomt -aangegeven door de flow-indicatoren - kunnen we een aantal basale vragen stellen:

  • Hoe stroomt de lucht in een rack zonder deuren?
[niet / naar achteren / naar voren]
  • Wat is het effect van een achterdeur?
[niet / naar achteren / naar voren]
  • Wat is het effect van een voordeur?
[niet / naar achteren / naar voren]
  • Wat is het effect van een voor- en een achterdeur?
[heft elkaar op / als bij één deur naar voren / als bij één deur naar achteren / versterkt elkaar]
  • Wat is het effect als de opening in de fysieke scheiding wordt gesloten?
7-615x409

Als je jouw kennis of intuïtie wilt testen, is dit een mooi moment om de antwoorden te beredeneren en voor jezelf op een briefje te schrijven, voordat je verder leest.

Experiment en waarneming

In de volgende foto’s zien we de resultaten van de verschillende combinaties van deuren.

8-220x300 Zonder deuren zien we niet of nauwelijks beweging van de flow-indicatoren.

9-300x49

10 De achterdeur zorgt voor een flow door de fysieke scheiding naar voren.

11-615x95

12 De voordeur zorgt óók voor een flow naar voren.

13-615x100

14 Het effect van beide deuren versterkt elkaar, dus dubbel naar voren.

15-615x99

16-471x615 Wordt de fysieke scheiding gesloten, dan is er geen luchtstroming.

Komen deze waarnemingen overeen met jouw antwoorden? Of is de vraag met alleen de voordeur of die met beide deuren toch verrassend? Dan ben je niet alleen! Intuïtief blijft het toch vreemd dat je iets aan de voorkant aanbrengt en dat het een zelfde en even groot effect blijkt te hebben als iets wat je aan de achterzijde aanbrengt. Maar waarom is dat dan?

Theorie

Gelukkig hoef je geen ingenieur in aerodynamica te zijn om een en ander te kunnen verklaren. De basis is de natuurkundige wetmatigheid dat als er een drukverschil is over een weerstand - opening/raster/gaas - dan ontstaat er een luchtroom. Andersom, als er door een weerstand een luchtstroom is, dan móet er ook een drukverschil zijn. Maar óók, als er geen drukverschil is, dan is er ook geen luchtstroom.

afb1-300x170 De druk in een gesloten ruimte is overal gelijk, noem deze ‘0’. Als er geen deuren zijn, dan is de druk aan beide zijden van de fysieke scheiding ‘0’. Er is dus geen drukverschil en dus ook geen luchtstroming, zoals we ook hebben waargenomen.

afb2-300x170 Met een achterdeur aanwezig, stroomt er lucht door die deur en dus moet er een drukverschil zijn over die deur, noem deze ‘+’. Vóór de fysieke scheiding is een druk ‘0’ en erachter een druk ‘+’. Er zal dus lucht gaan stromen van ‘+’ naar ‘0’, dus van achteren naar voren.

afb3-300x170 Met een druk vóór de voordeur van ‘0’ en een flow door de deur, moet er achter de voordeur een lagere druk zijn, noem deze ‘–‘. Zonder achterdeur is de druk achter de fysieke scheiding ‘0’. Er zal dus lucht gaan stromen van ‘0’ naar ‘–‘, dus óók van achteren naar voren.

afb4-300x170 Met een luchtstroom door beide deuren zal er over beide deuren een drukverschil zijn, hetgeen resulteert in een dubbel zo groot drukverschil over de fysieke scheiding. Er zal dus tweemaal zoveel lucht gaan stromen van ‘+’ naar ‘–‘, dus van achter naar voren.

afb5-300x170 Tenslotte, als de fysieke scheiding is gesloten, dan is er wel een drukverschil, maar geen opening en dus ook geen luchtstroming.

Conclusie

Met dit experiment hebben we het volgende geconstateerd: In een standaard rack stroomt lucht van achter naar voren door openingen in de fysieke scheiding. Dit komt doordat de serverfans lucht in beweging brengen en door de weerstand van voor- en achterdeur. Een manier om deze recirculatie te voorkomen, is het afdichten van de fysieke scheiding.

In de volgende aflevering kijken we naar de temperatuureffecten van recirculerende lucht.

Mees Lodder en Willem van Smaalen, WCoolIT

Dossiers
Meer over
Lees ook
Nederlands project krijgt financiering om energieverbruik en CO2-uitstoot datacenters terug te dringen

Nederlands project krijgt financiering om energieverbruik en CO2-uitstoot datacenters terug te dringen

Een consortium van zeven Nederlandse bedrijven en kennisinstellingen krijgt financiering van het ministerie van Economische Zaken en Klimaat nadat de Europese Commissie op 5 december jl. groen licht gaf aan het IPCEI-CIS programma.

De grote vraag is of de Rekenkamer ook naar datacenters kijkt

De grote vraag is of de Rekenkamer ook naar datacenters kijkt

Wat hebben de Rekenkamer en datacenters met elkaar te maken? Wellicht meer dan de bedrijven en toeleveranciers van die sector zich realiseren. Grotendeels onder de radar van de publieke belangstelling is de Rekenkamer namelijk bezig met onderzoek dat over de achillespees van de datacenters gaat: het energieverbruik.

MRA en het rapport "datacenters – Impact en feiten"

MRA en het rapport "datacenters – Impact en feiten"

In het recente artikel over het aantal datacenters is verwezen naar een bijeenkomst van de MRA (Metropool Regio Amsterdam). Over die bijeenkomst zijn vragen gesteld. Wat was precies de bedoeling en voor wie dit is georganiseerd.