Wat gebeurt er nu echt in een rack?

In 2005 waren wij bij Getronics, waar ik toen werkte, een van de eerste met een koude gang. Dat was de start van het optimaliseren van koeling van de IT-apparatuur. De reden was dat we een probleem hadden met een alsmaar stijgende temperatuur rondom de voorkant van de racks, de koude inlaatzijde. De IT-load per rack was toen nog laag, maar ontwikkelde zich in rap tempo door met name de introductie van de 1U-servers. Deze ‘pizzadozen’, vele in een rack, leverden belastingen tot wel 6 kiloWatt per rack.

De ‘timmerman’ heeft de koude gang gemaakt van plaatmateriaal en gewone deuren. We waren verbijsterd over het effect. De koude gang werd zelfs te koud, 17 graden Celsius. Inmiddels is de koude en warme gang gemeengoed voor elk DC. We kunnen ons zonder wellicht al niet eens meer voorstellen.

De afgelopen jaren heeft WCooliT gewerkt aan de verdere optimalisering van de fysieke scheiding, met name in het rack. Prima. Het ‘afdichten’ van alle gaten in racks in een live-DC. Het was spannend en een enorme klus. De resultaten waren zoals voorspeld, minder lucht en hogere inlaat temperatuur mogelijk. De energiebesparing bedroeg 15-25% van het totaal.

Toch bleef knagen dat we eigenlijk niet goed konden ‘zien’ en begrijpen wat er nou echt in het rack gebeurt. Dus hebben we een testopstelling gemaakt. Eigenlijk een rack van plexiglas met een echte server. Eindelijk kunnen we nu alles testen, demonstreren en begrijpen. Hoe stroomt de lucht en welke effecten hebben ‘gaten’ in de fysieke scheiding. Eindelijk konden we ook zien wat er gebeurt als de inlaattemperatuur boven de 35 graden is.

Robbert Hoeffnagel heeft de demonstratie gezien en ‘gevoeld’. Vandaar dat we u de komende edities stap-voor-stap zullen uitleggen wat we allemaal ‘gevonden’ hebben. U hoeft ons niet te geloven of te vertrouwen. Uiteindelijk kunt u het allemaal binnenkort een keer zelf komen ‘zien’ bij ons.

Wat gaan we onderzoeken?

In zes afleveringen gaan we de volgende zaken experimenteel onderzoeken:

• Luchtstromen in een standaard rack
• Temperatuureffecten van luchtstromen
• (Precies) regelen van luchtstromen en effecten daarvan
• Uitlezen van server-inlaattemperaturen
• ‘Killing the beast’, oftewel: hoever kan je gaan met een server?
• Wat betekent dit alles nu voor datacenters in real life?

GlassDC: test- en demonstratieopstelling

Om te zien wat er in een rack gebeurt, helpt het als je er letterlijk van alle kanten in kunt kijken. Als je dan ook nog alle klimatologische omstandigheden in een datacenter wilt kunnen nabootsen - ook die, of misschien wel juist die, men liever vermijdt - dan ben je natuurlijk niet welkom op een operationele datazaal. Zo kwamen wij op een testopstelling van een ‘glazen’ rack, opgebouwd uit modulen die de klimatologische omstandigheden kunnen instellen van een ‘normaal’ datacenter tot aan die van een datacenter ‘from hell’. Meet the GlassDC.

Het GlassDC bestaat uit een 3U rack-module met een fysieke scheiding die open en dicht kan, een workhorse server (HP DL380-GL7, 2U, 500W, 2 x 6 cores, 8 HDD’s) met regelbare workload en voorzien van flow-indicatoren en temperatuur- en drukmeters. De voor- en achterdeurmodule zijn voorzien van gaasprofiel uit een reguliere Dell-kast en de oppervlakte ervan representeert daardoor een volle kast. Met de choke-module kan de lucht worden afgeknepen. Met de fan/heater-module kan extra lucht - ‘voordruk’ - worden gemaakt en hete lucht worden gemaakt. Met de air collector-module, tenslotte, kan de resulterende luchttemperatuur aan de achterkant van de kast worden gemeten. Kortom, het GlassDC is representatief voor een volle kast in een datacenter, maar waarin je alles kunt zien en waarmee je dingen kunt doen die normaal gesproken tot ontslag op staande voet zouden leiden.

Experiment 1: Luchtstromen in een standaard rack

We bekijken een server in een rack dat zich bevindt in een ruimte zonder extra ventilatie. De CPU’s zijn bezig, de fans draaien en blazen lucht van voor naar achter door de server. Rondom de voorkant van de server is er een fysieke scheiding tussen de lucht vóór de server en de lucht erachter. De scheiding is gedeeltelijk open. Over òf en hoe lucht door die opening stroomt -aangegeven door de flow-indicatoren - kunnen we een aantal basale vragen stellen:

• Hoe stroomt de lucht in een rack zonder deuren?

[niet / naar achteren / naar voren]

• Wat is het effect van een achterdeur?

[niet / naar achteren / naar voren]

• Wat is het effect van een voordeur?

[niet / naar achteren / naar voren]

• Wat is het effect van een voor- en een achterdeur?

[heft elkaar op / als bij één deur naar voren / als bij één deur naar achteren / versterkt elkaar]

• Wat is het effect als de opening in de fysieke scheiding wordt gesloten?

Als je jouw kennis of intuïtie wilt testen, is dit een mooi moment om de antwoorden te beredeneren en voor jezelf op een briefje te schrijven, voordat je verder leest.

Experiment en waarneming

In de volgende foto’s zien we de resultaten van de verschillende combinaties van deuren.

Zonder deuren zien we niet of nauwelijks beweging van de flow-indicatoren.
De achterdeur zorgt voor een flow door de fysieke scheiding naar voren.
De voordeur zorgt óók voor een flow naar voren.
Het effect van beide deuren versterkt elkaar, dus dubbel naar voren.
Wordt de fysieke scheiding gesloten, dan is er geen luchtstroming.

Komen deze waarnemingen overeen met jouw antwoorden? Of is de vraag met alleen de voordeur of die met beide deuren toch verrassend? Dan ben je niet alleen! Intuïtief blijft het toch vreemd dat je iets aan de voorkant aanbrengt en dat het een zelfde en even groot effect blijkt te hebben als iets wat je aan de achterzijde aanbrengt. Maar waarom is dat dan?

Theorie

Gelukkig hoef je geen ingenieur in aerodynamica te zijn om een en ander te kunnen verklaren. De basis is de natuurkundige wetmatigheid dat als er een drukverschil is over een weerstand - opening/raster/gaas - dan ontstaat er een luchtroom. Andersom, als er door een weerstand een luchtstroom is, dan móet er ook een drukverschil zijn. Maar óók, als er geen drukverschil is, dan is er ook geen luchtstroom.

De druk in een gesloten ruimte is overal gelijk, noem deze ‘0’. Als er geen deuren zijn, dan is de druk aan beide zijden van de fysieke scheiding ‘0’. Er is dus geen drukverschil en dus ook geen luchtstroming, zoals we ook hebben waargenomen.
Met een achterdeur aanwezig, stroomt er lucht door die deur en dus moet er een drukverschil zijn over die deur, noem deze ‘+’. Vóór de fysieke scheiding is een druk ‘0’ en erachter een druk ‘+’. Er zal dus lucht gaan stromen van ‘+’ naar ‘0’, dus van achteren naar voren.
Met een druk vóór de voordeur van ‘0’ en een flow door de deur, moet er achter de voordeur een lagere druk zijn, noem deze ‘–‘. Zonder achterdeur is de druk achter de fysieke scheiding ‘0’. Er zal dus lucht gaan stromen van ‘0’ naar ‘–‘, dus óók van achteren naar voren.
Met een luchtstroom door beide deuren zal er over beide deuren een drukverschil zijn, hetgeen resulteert in een dubbel zo groot drukverschil over de fysieke scheiding. Er zal dus tweemaal zoveel lucht gaan stromen van ‘+’ naar ‘–‘, dus van achter naar voren.
Tenslotte, als de fysieke scheiding is gesloten, dan is er wel een drukverschil, maar geen opening en dus ook geen luchtstroming.

Conclusie

Met dit experiment hebben we het volgende geconstateerd: In een standaard rack stroomt lucht van achter naar voren door openingen in de fysieke scheiding. Dit komt doordat de serverfans lucht in beweging brengen en door de weerstand van voor- en achterdeur. Een manier om deze recirculatie te voorkomen, is het afdichten van de fysieke scheiding.

In de volgende aflevering kijken we naar de temperatuureffecten van recirculerende lucht.

Mees Lodder en Willem van Smaalen, WCoolIT