Wat is beter: koelen met lucht of met vloeistof?

Datacenters kunnen gekoeld worden met lucht, maar ook met vloeistof. Liquid cooling is de laatste jaren aan een stevige opmars bezig, zeker als het gaat om high performance computing, kunstmatige intelligentie en dergelijke. John Booth kijkt in dit artikel naar de kosten van beide methoden.

Ik denk dat het belangrijk is om te erkennen, dat de levering van IT-­systemen in het verleden heel anders was dan de manier waarop we dat nu doen. Maar die andere manier heeft wel invloed op de architectuur van het ecosysteem van datacenters.

Domme terminals

Vroeger gebruikte een bedrijf of overheidsorganisatie een centraal mainframe en zogeheten ‘domme terminals’. De mainframes vormden - letterlijk - zware installaties en ik kan me nog herinneren dat gebouwen waarin deze installaties stonden opgesteld, werden ­versterkt om het gewicht te kunnen dragen. Daarmee werden dus ­ruimtes in gebouwen gecreëerd die specifiek gebruikt konden worden voor IT-apparatuur. Vervolgens werden koeloplossingen geïnstalleerd en we hadden een computerruimte.

Deze computerruimtes waren normaal gesproken over-gedimen­sioneerd om toekomstige uitbreiding mogelijk te maken. Ik ben ­persoonlijk gevraagd om een nieuwe computerruimte te bouwen die de bestaande apparatuur plus 100% uitbreiding aan moest kunnen.

De vraag is natuurlijk: 100% van wat? Vloerruimte? Vermogensdichtheid? Netwerkcapaciteit? Koelcapaciteit?

Normaal gesproken werd simpelweg alles verdubbeld, al was het maar om onszelf ‘in te dekken’. Maar het was nooit genoeg. Waarom? Omdat de IT-apparatuur kleiner werd, er meer apparatuur nodig was, de vermogensdichtheid steeg en er meer netwerken nodig waren. Dus deze traditionele mainframe-ruimtes waren al snel niet meer ­geschikt voor het doel vanwege tal van redenen: onvoldoende koel­capaciteit, niet genoeg vermogen en - in sommige gevallen - niet ­genoeg ruimte.

Dilemma

IT-managers zaten dus met een dilemma. Zonder dat er zicht was op de IT-behoeften, werd het onmogelijk om uitbreidingsruimte te ­bieden zonder veel kapitaal te spenderen aan onzekere toekomstige behoeften - met het risico om het helemaal verkeerd in te schatten - of om niet te voldoen aan de bedrijfsvereisten.

Ik heb rij na rij aan racks gezien die allemaal leeg waren. Omdat het bedrijf had besloten om blade servers te gebruiken. Die hebben ­natuurlijk een hogere vermogensdichtheid dan standaard servers en daarvoor was in veel gevallen niet voldoende stroom beschikbaar. Dus werd er stroom afgenomen van andere racks, waardoor deze nutteloos werden. Dit leidde natuurlijk tot hotspots omdat je je IT - een blade-chassis is ongeveer 7,5 kW - in zo’n geval hebt geconcentreerd in een omgeving die is ontworpen voor een standaard 2kW-rack.

Inmiddels hebben bedrijven andere opties dan om hun IT op locatie te houden. Ze kunnen gebruikmaken van colocatie-faciliteiten of cloud-

diensten. Maar ze zullen nog steeds een ruimte op (eigen) locatie ­nodig hebben om toegang tot het netwerk van de colocatie- en ­cloud-diensten te bieden. Ze kunnen sommige diensten ter plaatse laten berekenen - die diensten die niet in de cloud kunnen gaan om redenen als latency of de snelheid van gegevensoverdracht.

Simpelweg verplaatsen

Eigenlijk hebben we niet veel meer gedaan dan het probleem ­verplaatsen naar ‘iemand’ anders. Immers, nu is het de colocatie ­provider die moet nadenken over de capaciteit - in termen van ruimte, vermogen en koeling. Het punt is dat ze vrijwel altijd achter de feiten aanlopen. Daarmee bedoel ik dat ze reactief zijn in plaats van pro­actief. Met andere woorden: ze reageren op de eisen van klanten die hun apparatuur geplaatst hebben in een gebouw dat is ontworpen in het verleden, met een uit het verleden stammende interpretatie van het gewenste vermogen, ruimtes en koelingseisen. Dat leidt natuurlijk tot dezelfde problemen. Dit wil zeggen, een gebrek aan vermogen, problemen met de koeling en het risico van het ‘creëren’ van lege racks.

Het is natuurlijk goed te begrijpen dat als je een colocatie- of hosting provider bent, je geen kristallen bol hebt om in de toekomst te ­kijken. Dus heb je te maken met wat je weet. Of je kunt een gokje wagen op hoe de toekomst eruit zal ziet.

Immersion-technologie

De toekomst lijkt voor hen heel erg op het verleden, in zoverre dat als 99% van de systemen ontworpen zijn voor luchtkoeling zij een luchtkoelingsinfrastructuur zullen bouwen. De markt wordt gedomineerd door luchtgekoelde systemen en dus moeten we bouwen voor lucht.Bouwen voor lucht betekent: een verhoogde vloer wellicht, CRAC/H’s, leidingwerk, chillers of externe units - in welke smaak je maar wilt. Je moet zorgen voor een infrastructuur voor wat de markt nodig heeft, en op dit moment is dat lucht.

Maar wat nu als lucht straks de markt niet meer domineert?

Het datacenter-van-de-toekomst lijkt wellicht erg op het datacenter van vandaag. Maar hoe zou het toekomstige datacenter eruit zien als we enkele van de wat meer exotische suggesties uit de academische wereld en enkele ontwerpbureaus zouden overnemen? Wat als we zouden besluiten om meer vloeistofgekoelde opties toe te passen?

Vorig jaar was ik aanwezig op het DCD London-evenement, waar niet één maar twee vloeistofgekoelde oplossingen gedemonstreerd ­werden, beide met behulp van immersion-technologie. Hierbij wordt de server ondergedompeld in een bad vol met (niet-diëlektrische) vloeistof. De warmte die door de servers wordt opgewekt, wordt door de vloeistof naar de top van het bad gedragen en via een warmte­wisselaar naar een extern watercircuit gebracht. Dit watercircuit is ­verbonden met een externe droge koeler en de warmte ontlucht in de atmosfeer.

Lagere CAPEX en OPEX

In vergelijking met een luchtgekoelde oplossing zien we dat een ­aantal  installatie-onderdelen - de vloer (baden hebben geen verhoogde vloer nodig) en de CRAC/H’s - vervallen, met als gevolg dat de CAPEX- en OPEX-kosten lager uitvallen.

Maar we kunnen nog een stap verder gaan en inkomsten gaan ­genereren, waardoor we onze kosten mogelijk nog verder kunnen verlagen. Hoe? Dat is eigenlijk heel eenvoudig: de warmte die door het systeem wordt afgevoerd, is warmer en is beschikbaar in de vorm van een medium waarmee het beter kan worden opgevangen dan lucht. Het is dus beschikbaar om aan derden te worden geleverd. Of het kan worden toegepast ter compensatie van energiegebruik dat ergens plaatsvindt, zoals warm water of verwarming lokaal binnen het ­gebouw of via een lage temperatuur stadsverwarmingssysteem voor gebruik over een groter gebied. Dit is een veelbelovende aanpak al moeten er wel enkele commerciële aspecten worden opgelost, zoals contractuele overeenkomsten, kosten en serviceniveaus en dergelijke.

Deze aanpak, waarbij afvalwarmte wordt gebruikt om de energie­behoefte elders te compenseren, is een fundamenteel aspect van ‘Groene Datacenters’ en uit onderzoek dat wij als Green IT Amsterdam hebben gedaan, blijkt dat in vloeistof ondergedompelde IT-systemen een interessante bijdrage kunnen leveren. En wij zijn niet de enigen die dat denken.

Het hele concept van datacenters als geëngageerde spelers in de energietransitie naar het koolstofvrij maken van de samenleving valt overigens onder het door de EU gefinancierde Catalyst innovatie­project - kijk voor meer info op http://project-catalyst.eu/.

Kostenvergelijking

Waar staan we nu precies als we de kapitaal- en exploitatiekosten van lucht versus vloeistof bekijken?  Er zijn in feite drie soorten koeling voor datacenters:

De eerste is het gebruik van gekoeld - of koud - water. Deze brengt in principe de warmte van de lucht over naar een vloeistof in de CRAC-unit, die vervolgens wordt gepompt naar een koel­machine waar de achtergehouden warmte wordt afgevoerd naar de ­atmosfeer.

De tweede is het gebruik van verdampingskoeling. Wikipedia zegt hierover terecht: ‘Een verdampingskoeler is een apparaat dat lucht afkoelt door de verdamping van water. Verdampingskoeling ­verschilt van typische airconditioningssystemen, die gebruikmaken van dampcompressie- of absorptiekoelcycli. Bij verdampings­koeling wordt gebruikgemaakt van het feit dat water een relatief grote hoeveelheid warmte absorbeert om te verdampen. Dat wil zeggen het heeft een grote enthalpie van verdamping. De temperatuur van droge lucht kan aanzienlijk dalen door de faseovergang van vloeibaar water naar waterdamp (verdamping). Hierdoor kan de lucht met veel minder energie worden gekoeld dan bij koeling.

De derde koelmethode wordt gevormd door liquid cooling-technologieën en omvat ‘liquid to chip’, ‘cold plate’ en ‘immersive’. Liquid to chip en cold plate zijn in feite het verlengen van de koelwater­leiding tot in het rack en in het geval van liquid to chip tot in de server. Immersive technologieën zijn echter heel anders. Hierbij is een ­server daadwerkelijk ondergedompeld in een niet-diëlektrische vloeistof in een enkelvoudige modus, waarbij de server zich direct in het bad bevindt of dubbele modus waarbij de server is ingekapseld in een blade-achtige behuizing die is gevuld met de niet-elektrische vloeistof en geïnstalleerd is in een chassis met de vloeibare koelcircuits. De warmteoverdracht vindt plaats naar de vloeistof en vervolgens via een warmtewisselaar die is gevuld met water en vervolgens naar een droge koeler of een andere ­gebruiksmodus. Dit zijn de vaak besproken scenario’s voor ­hergebruik van afvalwarmte, het verwarmen van kantoorruimtes, residentiële verwarming, zwembaden en kassen.

Vergelijking

Een luchtgekoeld datacenter heeft het volgende nodig:

• Verhoogde vloer (niet altijd)
• CRAC/H’s
• Koelmachine (of droge koeler, andere methode om warmte af te voeren)
• Aandrijflijn (HV/LV borden, PDU’s)
• UPS
• Batterijen

Een in vloeistof ondergedompeld datacenter kent minder elementen:

• Geen verhoogde vloer: we hoeven geen lucht onder de vloer te pompen, maar je wilt misschien toch stroom- en netwerkkabels onder de vloer laten lopen. Tegelijkertijd zien we veel bovengrondse kabelroutes, dus misschien ook niet.
• Geen CRAC/H’s nodig.
• Geen chillers nodig. Daar staat tegenover dat als er nog geen ­gebruiker voor de restwarmte beschikbaar is, een droge koeler voor de zomer gewenst kan zijn.
• Geen uitgebreide power-installatie. De meeste immersive cooling-eenheden zijn al uitgerust met een volledig 2N-vermogen en ­hebben alleen een standaardaansluiting nodig.
• Een UPS zou wél nog steeds nodig zijn, maar alleen voor stroom en niet voor koeling. Het apparaat kan dus wat capaciteit betreft ­inkrimpen.
• En ook voor batterijen geldt dat de hoeveelheid benodigde accu’s kan worden verminderd.

Besparing

Al met al denk ik dat de overstap naar een volledige immersion ­cooling-oplossing ongeveer 50% van de bouwkosten van een standaard datacenter kan uitsparen. Koppel dat aan lagere bedrijfskosten en het datacenter bespaart al veel geld. En wellicht kan een datacenters zelfs wel geld verdienen aan de verkoop van restwarmte en het leveren van diensten aan het elektriciteitsnetwerk. 

Ik ben er van overtuigd dat in de toekomst alle datacenters gebruik zullen maken van immersive cooling. Ook zullen alle datacenters geïntegreerd worden met smart grids. We zien nu nog een strijd tussen lucht en vloeistof. Maar zelf ben ik al sinds 2010 er van overtuigd dat de toekomst is aan vloeistofkoeling. 

John Booth is consultant bij Carbon3IT. Ook is hij als project manager van de stichting Green IT Amsterdam betrokken bij het Europese ­Catalyst innovatieproject.