Wat gebeurt er nu echt in een rack? - deel 2
In het vorige nummer van DatacenterWorks hebben we geconstateerd dat in een rack ‘van nature’ lucht stroomt door openingen in de fysieke scheiding. De fans van de IT-apparatuur blazen lucht van voor naar achter in de kast en de lucht ‘recirculeert’ van achter naar voren door de weerstand van de deuren. In dit nummer kijken we naar de temperatuureffecten daarvan.
In deze serie artikelen tonen we u door middel van experimenten ‘wat er nou echt gebeurt in een rack’:
- Luchtstromen in een standaard rack
- Temperatuureffecten van luchtstromen
- (Precies) regelen van luchtstromen en effecten
- Veilig uitlezen van server-inlaattemperaturen
- ‘Killing the beast’, hoever kan je gaan met een server?
- Wat betekent dit alles nu voor datacenters in real life?
Om te zien wat er in een rack gebeurt hebben we een volledig doorzichtige testopstelling ontwikkeld, waarmee je alle klimatologische omstandigheden kunt instellen van een ‘normaal’ datacenter tot aan die van een datacenter ‘from hell’: The GlassDC.
Het GlassDC bestaat uit een 3U rack-module met een fysieke scheiding die open en dicht kan, een workhorse server (HP DL380-GL7, 2U, 500W, 2 x 6 cores, 8 HDD’s) met regelbare workload en voorzien van flow-indicatoren en temperatuur- en drukmeters. De voor- en achterdeurmodule zijn voorzien van gaasprofiel uit een reguliere Dell-kast en de oppervlakte ervan representeert een volle kast. Met de choke-module kan de lucht worden afgeknepen. Met de fan/heater-module kan extra lucht - ‘voordruk’ - worden gemaakt en hete lucht worden gemaakt. Met de air collector-module, tenslotte, kan de temperatuur aan de achterkant van de kast worden gemeten. Kortom, het GlassDC is representatief voor een volle kast in een datacenter, maar waarin je alles kunt zien en waarmee je dingen kunt doen die normaalgesproken tot ontslag op staande voet zouden leiden.
Zelf uitproberen? Dat kan in onze workshop: info@wcoolit.com
Experiment 2: Temperatuureffecten van luchtstromen
We hebben vastgesteld dat lucht recirculeert in een rack dat zich bevindt in een ruimte zonder extra ventilatie. We kunnen ten aanzien van mogelijke temperatuureffecten een aantal basale vragen stellen - laten we makkelijk beginnen:
* Is er een temperatuurverschil tussen aan- en afvoerlucht bij IT-apparatuur?
[ nee / ja, constant / ja, variabel ]* Wat is het effect van recirculerende lucht op de inlaattemperatuur van de server?
[ geen / temperatuur stijgt / temperatuur daalt ]* Hoe groot is het temperatuureffect van recirculerende lucht? (En wat vind je zelf klein of groot?)
[ geen / klein / groot ]* Kan de constructie van de IT-apparatuur effect hebben?
[ geen / klein / groot ]* Kan de plaatsing van IT-apparatuur effect hebben?
[ geen / klein / groot ]Als je jouw kennis of intuïtie wilt testen, is dit een mooi moment om de antwoorden te beredeneren en voor jezelf op een briefje te schrijven, voordat je verder leest.
Experiment en waarneming
Ons experiment voeren we uit in een opstelling van een rack met deuren. Met analoge thermometers meten we de temperatuur van de lucht vóór server en de temperatuur van de lucht die we achter de server verzamelen in de Air Collector Module.
Bij gesloten fysieke scheiding wijzen de thermometers vóór en achter de server respectievelijk 22,5°C en 35,5°C aan, oftewel, de lucht wordt 13°C opgewarmd door de server.
Met de Fan/Heater Module herhalen we het experiment met verschillende inlaattemperatuur. We zien aan de meetwaarden, dat de opwarming van de lucht door de server - de ‘delta-T’ (of ‘?T’) - niet constant is. Deze varieert met de CPU-belasting, met een piek rond 50%. Hoe hoger de inlaattemperatuur, hoe minder de opwarming en hoe vlakker het verloop met de CPU-belasting.
We herhalen het eerste experiment nu weer zonder de Fan/Heater Module. Nadat de fysieke scheiding is geopend zien we de temperatuur van de inlaatlucht ongeveer 1,5°C oplopen. We zien ook de uitlaatlucht oplopen met ongeveer 3°C.
In een eerdere testopstelling, bij een Dell PowerEdge SC1435 server, is met rook te zien dat warme lucht gedeeltelijk recirculeert door de extra ventilatiegaten, die sommige van dit soort (oudere) apparaten hebben tussen front en interne fans.
Zware routers, zoals deze HP ProCurve switch, zuigen vaak lucht aan de zijkant aan en draaien zo volledig in warme lucht.
Routers en switches worden nogal eens aan de achterkant van de kast geïnstalleerd en draaien daar volledig in warme lucht, zoals in deze praktijkfoto. Ook in onze GlassDC-testopstelling maken wij ons er ‘schuldig’ aan. Alle meet- en communicatieapparatuur is geheel in de warme lucht geïnstalleerd.
Komen deze waarnemingen overeen met jouw antwoorden? De vraag of een effect groot of klein is, is misschien een persoonlijke. Zo had ik zelf het effect van gedeeltelijke recirculatie groter ingeschat dan hier gemeten 1 à 2°C. Het effect op apparatuur dat volledig warme lucht ‘ademt’ - door constructie of door installatie - mag je gerust groot noemen. Die krijgt zomaar een 12°C warmere lucht te verwerken dan aan de voorkant van de kast wordt aangeleverd.
Discussie - opwarming - ‘delta-T’
IT-apparatuur produceert warmte die wordt afgevoerd via de lucht, die door de fans in beweging wordt gebracht. De hoeveelheid lucht bepaalt mede de opwarming - in jargon ‘delta-T’ - van die lucht. Meer lucht betekent lagere opwarming, minder lucht maakt een hogere delta-T. De hoeveelheid lucht wordt door de IT-apparatuur zelf geregeld. De aansturing van de fans is voor ons ‘climate guys’ een black box.
De 13°C opwarming in het eerste experiment bevestigt de vuistregel, dat IT-apparatuur een delta-T heeft van 12°C. Uit onze verdere metingen blijkt echter, dat dat afhankelijk is van inlaattemperatuur en CPU-belasting. Blijkbaar ‘kiest’ de server ervoor om aan de veilige kant te blijven bij hogere inlaattemperatuur en CPU-belasting, door dan relatief meer lucht te blazen.
Bij huidig gangbare temperaturen in datacenters en een veronderstelde gemiddelde CPU-belasting tussen 30% en 70%, blijkt de vuistregel van 12°C grofweg te kloppen. Boven de 25°C wordt de delta-T structureel lager en zouden rekensommetjes voor het koelontwerp anders kunnen uitvallen. Dat valt echter buiten deze artikelserie.
Recirculatie
In het vorige deel hebben we gezien hoe de drukverdeling in de kast is en dat daardoor gedeeltelijke recirculatie optreedt:
‘Met een luchtstroom door beide deuren zal er over beide deuren een drukverschil zijn, hetgeen resulteert in een dubbel zo groot drukverschil over de fysieke scheiding. Er zal dus […] lucht gaan stromen van ‘+’ naar ‘–‘, dus van achter naar voren’.
Door de warme lucht weer te geven in rood, wordt inzichtelijk dat recirculatie leidt tot een verhoging van de inlaattemperatuur van de server. Grof gerekend: als de warme lucht 12°C warmer is dan de koude, zal per 10% lucht die recirculeert, de inlaattemperatuur 1,2°C hoger worden.
In onze opstelling meten we niet de hoeveelheid recirculerende lucht. De opening in de fysieke scheiding komt echter ongeveer overeen met een rack zonder zijafdichting tussen bevestigingsstijlen en kast, maar met alle benodigde blindplaten. Daarmee is onze meting ‘orde grootte’ representatief voor een operationeel rack onder overeenkomstige omstandigheden. De opwarming ten gevolge van recirculatie beperkt zich tot enkele graden, zoals we hebben gemeten.
Constructie van IT-apparatuur
Fysieke scheiding van warme en koude lucht is pas een kleine 10 jaar in zwang. Sommige oudere apparatuur is nog gebaseerd op ontwerpen van voor die tijd. Extra luchtinlaat achter het front kon toen een goed idee zijn. Nu recirculeert daardoor alleen maar warme lucht. Omdat de oppervlakte van die extra luchtinlaat ongeveer overeenkomt met de opening in fysieke scheiding van ons GlassDC, zal het effect ook ongeveer even groot zijn - tot enkele graden.
Sommige apparatuur echter, wordt ontworpen zonder luchtinlaat aan de voorzijde. Blade servers en zware routers, bijvoorbeeld, hebben daarvoor geen ruimte. Zonder extra maatregelen zullen deze volledig in de warme lucht draaien, ook al zijn ze ‘netjes’ aan de voorkant van het rack gemonteerd. Met een 12°C hogere inlaattemperatuur zijn dit vaak de zorgenkindjes.
Installatie
Er zijn vele manieren waarop apparatuur koeltechnisch ‘verkeerd’ kan worden geïnstalleerd. In alle gevallen komt het er op neer dat er geen verbinding is tussen de voorkant van het rack - waar de koude lucht is - en de inlaat van het apparaat, ergens volledig in de warme lucht. Daarnaast is onze ervaring dat het handhaven van een goed afgedichte fysieke scheiding niet in alle racks altijd even vanzelfsprekend is.
Maatregelen
In dit artikel maken we veelvuldig onderscheid tussen ‘gedeeltelijke’ recirculatie en ‘volledig’ in de warme lucht draaien. Dit onderscheid zien we terug in de soort van maatregelen. Bij gedeeltelijke recirculatie helpt afdichten: standaard blindplaten of de luchtdichte en kabelpasserende AirBlockers van WCooliT, afdichting tussen stijlen en kast zoals de Closure Kits van WCooliT, afdichten van gaten in apparatuurbehuizing tussen front en fans, et cetera.
Bij volledig in de warme lucht draaien helpt alleen het aansluiten van de luchtinlaat op de koude lucht aan de voorkant van de kast. Hiervoor zijn standaardoplossingen voorhanden zoals de Inlet Duct van Minkels en custom made, semi-standaardoplossingen zoals de AirDuct voor Juniper Router (foto tijdens installatie) en AirDuct voor Cisco Router, van WCooliT. Dit soort maatregelen zien we toch nog maar beperkt toegepast, ondanks een direct resultaat van een 10°C - 12°C temperatuurdaling van het apparaat.
Soms is het ook handig de technische specificaties van apparatuur te raadplegen. Sommige switches kunnen tot 60°C inlaat aan. Power Distribution Units (PDU) kunnen praktisch allemaal in de warme lucht hangen.
Conclusie
In deze aflevering hebben we het volgende geconstateerd:
Onder gangbare datacenter-condities warmt IT-apparatuur lucht ongeveer 12°C op. Boven 25°C wordt dat structureel minder. De feitelijke inlaattemperatuur van IT-apparatuur kan ten gevolge van ‘gedeeltelijke’ recirculatie tot enkele graden hoger zijn dan de temperatuur van de aan de kast aangeboden lucht. Apparatuur die door constructie of installatie ‘volledig’ in de warme lucht draait, kan tot wel 12°C hogere inlaattemperatuur krijgen te verwerken. In beide gevallen zijn er oplossingen te koop of te maken, om deze apparatuur weer ‘in het gareel’ te krijgen.
In het volgende deel kijken we hoe we luchtstromen kunnen balanceren, wat daarvan de effecten zijn en of dat meer oplossingen biedt.
Mees Lodder en Willem van Smaalen, WCooliT