Uptime Institute inventariseert hoe geïntegreerde cold plates de weg vrijmaken voor vrijekoeling in datacenters

Direct liquid cooling wordt steeds vaker een bepalende factor in het ontwerp van nieuwe datacenteromgevingen. Het gebruik van luchtkoeling bereikt bij high-density servers zijn grenzen, omdat compacte chassis en nauw geïntegreerde elektronica nauwelijks nog ruimte laten voor voldoende luchtstroming. Volgens recent onderzoek van Uptime Institute blijft de noodzaak om racks met een extreem hoge vermogensdichtheid te koelen de belangrijkste reden waarom operators in 2025 verder investeren in vloeistofgekoelde systemen.
Binnen die ontwikkeling speelt een relatief klein technisch detail een steeds grotere rol: de interface tussen cold plates en de siliciumchips die zij moeten koelen. Fabrikanten als Accelsius, Boyd Corporation, Chilldyne, CoolIT Systems, Fabric8, JetCool, Motivair en ZutaCore introduceerden dit jaar nieuwe ontwerpen waarin verbeteringen zijn aangebracht in de materiaalsamenstelling, interne geometrie en koelvloeistofverdeling. Tegelijkertijd wordt intensiever samengewerkt met chipfabrikanten om thermische knelpunten op het raakvlak tussen hardware en koeling weg te nemen.
De belofte van direct liquid cooling is groot. Door warmte efficiënter af te voeren, kunnen datacenters besparen op koelingsinfrastructuur, energieverbruik terugdringen en het gebruik van water en koelmiddelen beperken. Maar deze voordelen gelden vooral wanneer het mogelijk is om het gehele jaar door warmte af te voeren met droge koeling, dus zonder compressoren of waterverbruik. Of dat haalbaar is, zo schrijft hangt af van factoren als het lokale klimaat, de nauwkeurigheid van de expected load forecasts, de verhouding tussen lucht- en vloeistofkoeling, de beschikbare ruimte op het terrein en de temperatuursetpoints in de installatie.
Tegelijkertijd blijven processorfabrikanten het thermisch ontwerpvermogen van hun chips opschroeven, constateren de onderzoekers van Uptime. Voor CPU’s worden waarden van 600 tot 800 watt binnen enkele jaren verwacht, terwijl GPU-accelerators de grens van 2 kilowatt zullen passeren. Dat levert structurele uitdagingen op voor cold plate-ontwerpen, vooral bij single-phase koelmiddelen zoals water. Naarmate cold plates groter worden en de koelvloeistof vanaf één inlaatpunt meerdere zones moet bereiken, ontstaat het risico dat de vloeistof op afgelegen plaatsen al te warm is voordat de hoogste hotspots worden bereikt. In high-density servers staan bovendien vaak meerdere cold plates achter elkaar, waardoor downstream exemplaren altijd met voorverwarmde koelvloeistof moeten werken.
Tegelijkertijd verandert de interne warmteverdeling op silicium. Hoewel grotere pakketgroottes helpen om hogere TDP’s te spreiden, blijft de warmteflux in hotspots stijgen door steeds kleinere transistoren en hogere schakelsnelheden. Dat maakt het moeilijk om binnen het toegestane Tcase-bereik te blijven, de maximale temperatuur van de chipbehuizing die nodig is om throttling te voorkomen. Veel GPUs hanteren nu al een maximale aanvoertemperatuur van 40 graden voor de koelvloeistof. Toekomstige generaties kunnen nog lagere marges vereisen als de Tcase-limieten verder dalen richting 60 graden of lager.
Cold plate-fabrikanten reageren hierop door koelvloeistofstromen beter te verdelen, interne weerstand te verminderen en de interne geometrie af te stemmen op de feitelijke spreiding van de warmteontwikkeling (heat map) van de chip. Dankzij deze optimalisaties kan de effectieve thermische weerstand dalen tot circa 0,02 graden per watt, waardoor maar een beperkt temperatuurverschil nodig is om grote vermogens te verplaatsen. Tegelijkertijd stijgen de flow rates. Binnen de industrie groeit consensus over een richtwaarde van 1,2 tot 1,5 liter per minuut per kilowatt, stelt Uptime vast, een compromis tussen pompenergie en warmteoverdrachtcapaciteit.
Toch blijft een belangrijk deel van de totale thermische weerstand afkomstig van vaste componenten. De gebruikte interface-materialen, de heat spreader en de interne verbindingen vormen een barrière die bepaalt hoe dicht de koelvloeistoftemperatuur bij de feitelijke bedrijfstemperatuur van de chip mag komen. Hierdoor zijn koelvloeistoftemperaturen vaak beperkt, wat een directe invloed heeft op de toepasbaarheid van volledig droge koeling in datacenters.
Uptime Institute signaleert dat deze vaste componenten nu de volgende logische plek zijn voor innovatie. Een van de eerste stappen is het gebruik van ultradunne, hoogwaardige thermische interface-materialen, waaronder phase changing TIM’s die na verhitting een precieze thermische verbinding vormen. Hierdoor kan de koelvloeistoftemperatuur stijgen zonder dat de chiptemperatuur buiten de grenzen komt. Sommige leveranciers onderzoeken zelfs oplossingen, zo heeft Uptime ontdekt, waarbij de cold plate rechtstreeks contact maakt met de heat spreader, zonder tussenliggende TIM-lagen, of waarbij de heat spreader volledig wordt verwijderd. Dit zogeheten ‘delidden’ maakt een directe thermische koppeling tussen cold plate en silicium mogelijk, mits nauwkeurig gemonteerd om beschadiging van de chip te voorkomen.
Wanneer deze aanpak op schaal wordt toegepast, kan de effectieve thermische weerstand met meerdere graden worden verlaagd. Voor datacenters betekent dat een substantiële versoepeling van de grenzen aan de koelvloeistoftemperatuur en daarmee meer mogelijkheden om te ontwerpen volgens de ASHRAE-categorieën W40, W45 en hoger, aldus de onderzoekers.
Hoewel alternatieven zoals twee-fasige cold plates en single-phase immersion cooling sommige van deze beperkingen al oplossen, blijven watergekoelde cold plates voorlopig de dominante technologie in commerciële datacenters. Uptime Institute concludeert daarom dat verdere verbetering van interfaces en materialen cruciaal is om de kloof tussen extreme chipvermogens en efficiënte, duurzame koeling te overbruggen.
Meer over
Lees ook
TelecityGroup gaat AMS 1 uitbreiden
TelecityGroup gaat zijn AMS 1 datacenter in Amsterdam uitbreiden. Dit heeft het bedrijf tijdens de bespreking van zijn jaarcijfers over 2013 bekendgemaakt. Het bedrijf stelt de vergunningen voor de uitbreiding inmiddels binnen te hebben en daarnaast contracten te hebben gesloten voor de bouw. Het vernieuwde datacenter moet in 2016 zijn deuren open1
Interoute opent datacenter in Madrid
Interoute maakt bekend een nieuw datacenter in Madrid te hebben geopend. Het datacenter is onderdeel van het pan-Europese netwerk van Interoute en voegt een nieuwe fysieke locatie toe aan Unified ICT platform van Interoute. Het Unified ICT platform stelt klanten in staat fysieke, virtuele of hybride datacenterarchitecturen as-a-service te bouwen o1
Google verdubbelde in 2013 zijn uitgaven aan datacenters
Google heeft vorig jaar maar liefst ruim 5,3 miljard euro uitgegeven aan zijn datacenters. De uitgaven zijn maar liefst twee keer zo hoog dan in 2012. Het bedrijf heeft zijn wereldwijde netwerk met datacenters in 2013 dan ook flink uitgebreid. De organisatie meldt in het vierde kwartaal van 2013 ruim 1,65 miljard euro te hebben uitgegeven aan capi1




