Uptime Institute inventariseert hoe geïntegreerde cold plates de weg vrijmaken voor vrijekoeling in datacenters

cold plate

Direct liquid cooling wordt steeds vaker een bepalende factor in het ontwerp van nieuwe datacenteromgevingen. Het gebruik van luchtkoeling bereikt bij high-density servers zijn grenzen, omdat compacte chassis en nauw geïntegreerde elektronica nauwelijks nog ruimte laten voor voldoende luchtstroming. Volgens recent onderzoek van Uptime Institute blijft de noodzaak om racks met een extreem hoge vermogensdichtheid te koelen de belangrijkste reden waarom operators in 2025 verder investeren in vloeistofgekoelde systemen.

Binnen die ontwikkeling speelt een relatief klein technisch detail een steeds grotere rol: de interface tussen cold plates en de siliciumchips die zij moeten koelen. Fabrikanten als Accelsius, Boyd Corporation, Chilldyne, CoolIT Systems, Fabric8, JetCool, Motivair en ZutaCore introduceerden dit jaar nieuwe ontwerpen waarin verbeteringen zijn aangebracht in de materiaalsamenstelling, interne geometrie en koelvloeistofverdeling. Tegelijkertijd wordt intensiever samengewerkt met chipfabrikanten om thermische knelpunten op het raakvlak tussen hardware en koeling weg te nemen.

De belofte van direct liquid cooling is groot. Door warmte efficiënter af te voeren, kunnen datacenters besparen op koelingsinfrastructuur, energieverbruik terugdringen en het gebruik van water en koelmiddelen beperken. Maar deze voordelen gelden vooral wanneer het mogelijk is om het gehele jaar door warmte af te voeren met droge koeling, dus zonder compressoren of waterverbruik. Of dat haalbaar is, zo schrijft hangt af van factoren als het lokale klimaat, de nauwkeurigheid van de expected load forecasts, de verhouding tussen lucht- en vloeistofkoeling, de beschikbare ruimte op het terrein en de temperatuursetpoints in de installatie.

Tegelijkertijd blijven processorfabrikanten het thermisch ontwerpvermogen van hun chips opschroeven, constateren de onderzoekers van Uptime. Voor CPUs worden waarden van 600 tot 800 watt binnen enkele jaren verwacht, terwijl GPU-accelerators de grens van 2 kilowatt zullen passeren. Dat levert structurele uitdagingen op voor cold plate-ontwerpen, vooral bij single-phase koelmiddelen zoals water. Naarmate cold plates groter worden en de koelvloeistof vanaf één inlaatpunt meerdere zones moet bereiken, ontstaat het risico dat de vloeistof op afgelegen plaatsen al te warm is voordat de hoogste hotspots worden bereikt. In high-density servers staan bovendien vaak meerdere cold plates achter elkaar, waardoor downstream exemplaren altijd met voorverwarmde koelvloeistof moeten werken.

Tegelijkertijd verandert de interne warmteverdeling op silicium. Hoewel grotere pakketgroottes helpen om hogere TDPs te spreiden, blijft de warmteflux in hotspots stijgen door steeds kleinere transistoren en hogere schakelsnelheden. Dat maakt het moeilijk om binnen het toegestane Tcase-bereik te blijven, de maximale temperatuur van de chipbehuizing die nodig is om throttling te voorkomen. Veel GPUs hanteren nu al een maximale aanvoertemperatuur van 40 graden voor de koelvloeistof. Toekomstige generaties kunnen nog lagere marges vereisen als de Tcase-limieten verder dalen richting 60 graden of lager.

Cold plate-fabrikanten reageren hierop door koelvloeistofstromen beter te verdelen, interne weerstand te verminderen en de interne geometrie af te stemmen op de feitelijke spreiding van de warmteontwikkeling (heat map) van de chip. Dankzij deze optimalisaties kan de effectieve thermische weerstand dalen tot circa 0,02 graden per watt, waardoor maar een beperkt temperatuurverschil nodig is om grote vermogens te verplaatsen. Tegelijkertijd stijgen de flow rates. Binnen de industrie groeit consensus over een richtwaarde van 1,2 tot 1,5 liter per minuut per kilowatt, stelt Uptime vast, een compromis tussen pompenergie en warmteoverdrachtcapaciteit.

Toch blijft een belangrijk deel van de totale thermische weerstand afkomstig van vaste componenten. De gebruikte interface-materialen, de heat spreader en de interne verbindingen vormen een barrière die bepaalt hoe dicht de koelvloeistoftemperatuur bij de feitelijke bedrijfstemperatuur van de chip mag komen. Hierdoor zijn koelvloeistoftemperaturen vaak beperkt, wat een directe invloed heeft op de toepasbaarheid van volledig droge koeling in datacenters.

Uptime Institute signaleert dat deze vaste componenten nu de volgende logische plek zijn voor innovatie. Een van de eerste stappen is het gebruik van ultradunne, hoogwaardige thermische interface-materialen, waaronder phase changing TIMs die na verhitting een precieze thermische verbinding vormen. Hierdoor kan de koelvloeistoftemperatuur stijgen zonder dat de chiptemperatuur buiten de grenzen komt. Sommige leveranciers onderzoeken zelfs oplossingen, zo heeft Uptime ontdekt, waarbij de cold plate rechtstreeks contact maakt met de heat spreader, zonder tussenliggende TIM-lagen, of waarbij de heat spreader volledig wordt verwijderd. Dit zogeheten deliddenmaakt een directe thermische koppeling tussen cold plate en silicium mogelijk, mits nauwkeurig gemonteerd om beschadiging van de chip te voorkomen.

Wanneer deze aanpak op schaal wordt toegepast, kan de effectieve thermische weerstand met meerdere graden worden verlaagd. Voor datacenters betekent dat een substantiële versoepeling van de grenzen aan de koelvloeistoftemperatuur en daarmee meer mogelijkheden om te ontwerpen volgens de ASHRAE-categorieën W40, W45 en hoger, aldus de onderzoekers.

Hoewel alternatieven zoals twee-fasige cold plates en single-phase immersion cooling sommige van deze beperkingen al oplossen, blijven watergekoelde cold plates voorlopig de dominante technologie in commerciële datacenters. Uptime Institute concludeert daarom dat verdere verbetering van interfaces en materialen cruciaal is om de kloof tussen extreme chipvermogens en efficiënte, duurzame koeling te overbruggen.

Lees ook
Duitse reacties op bericht dat Blackstone / QTS datacenter wil bouwen

Duitse reacties op bericht dat Blackstone / QTS datacenter wil bouwen

Er is iets bijzonders aan de hand met de reacties in de Duitse pers naar aanleiding van het bericht dat Blackstone / QTS nabij Hamm een plek voor een nieuw datacenter heeft gevonden. Hamm ligt ongeveer 100 kilometer ten oosten van Enschede.

NorthC Group bouwt nieuw, high-tech datacenter in Genève, Zwitserland

NorthC Group bouwt nieuw, high-tech datacenter in Genève, Zwitserland

NorthC Group start in Q1 van dit jaar met de bouw van een nieuw datacenter in Genève, Zwitserland. Het nieuwe datacenter wordt gerealiseerd op The Hive campus, een technologiepark net buiten Genève. Dit wordt het zesde NorthC-datacenter in Zwitserland

Goede uitleg tijdens CCC over grote brand in Zuid Koreaans overheidsdatacenter

Goede uitleg tijdens CCC over grote brand in Zuid Koreaans overheidsdatacenter

Eind september woedde een grote brand in het belangrijkste datacenter van de Zuid Koreaanse overheid. Tijdens het jaarlijkse CCC congres hebben twee redacteuren van Heise Verlag hier uitgebreid bij stilgestaan.