Nieuwe AI-chips kunnen niet zonder vloeistofkoeling

Onlangs organiseerde Google weer zijn zogeheten I/O Conference. Hier kondigt het bedrijf steevast veel nieuwe ontwikkelingen aan. Voor de datacenterwereld waren dit keer met name de nieuwe TPU 3.0-chips interessant.

Deze voor machine learning en artificial intelligence bedoelde processoren produceren namelijk zoveel warmte dat deze alleen nog met vloeistof kunnen worden gekoeld. 

De Tensor Processing Unit is inmiddels toe aan zijn derde generatie. Google gebruikt veel machine learning- en andere AI-technieken. Bijvoorbeeld voor spraakherkenning of voor het vinden van patronen in grote hoeveelheden gebruikersdata. Dat zoeken naar verbanden gebeurt binnen zogeheten ‘modellen’. Het concern heeft eigen software ontwikkeld waarmee deze modellen kunnen worden ontwikkeld en - zoals dat heet - getraind. Hierbij wordt het model gevoed met grote hoeveelheden data, waardoor het steeds beter wordt in het herkennen van patronen in die gegevens. Mooi voorbeeld: foto’s. Door enorme hoeveelheden foto’s aan zijn AI-modellen aan te bieden, wordt Google steeds beter in het herkennen van het beeld dat te zien is in foto’s.

Supercomputers

De software waarmee Google deze modellen bouwt, heet TensorFlow. Zo’n model vereist zeer snelle hardware, die het bedrijf eveneens in eigen beheer ontwikkelt. Dit zijn de eerder genoemde Tensor Processing Units of TPU’s. Deze chips zijn geoptimaliseerd voor machine learning en AI. In tegenstelling tot bij Intel-processoren die bedoeld zijn voor een hele brede reeks van taken en activiteiten.

Door allerlei niet voor AI noodzakelijke functies weg te laten, kunnen deze TPU’s zeer snel patronen achterhalen. In feite bouwt Google hiermee zijn eigen supercomputers. De TPU’s worden opgesteld in pods die ieder bestaan uit acht racks. Deze pods werken als één systeem en kennen dan een verwerkingscapaciteit van 11,5 Petaflop. Dat zijn aantallen verwerkingen die voorheen nauwelijks werden gehaald door supercomputers die voor wetenschappelijke doeleinden zijn bedoeld.

Pods van 8 racks

Het nadeel is alleen wel dat hierbij zeer veel warmte vrijkomt. Wat betekent dat deze pods van acht kabinetten speciale koeling nodig hebben. Google past daarbij nu liquid cooling toe. Aangezien die soort AI-voorzieningen in principe in ieder datacenter van Google aanwezig is, stapt het concern dus in al zijn datacenters over op vloeistofkoeling.

Hoe deze koeling-met-vloeistof precies in zijn werk gaat, laat Google in het midden. Op foto’s van TPU-moederborden (zie illustratie) is te zien dat het gaat om een zogeheten direct-to-chip aanpak waarbij de koelvloeistof via koperplaatjes naar de chips wordt geleid. Er is dus geen sprake van oudere technieken als warmtewisselaars die in racks zijn opgenomen, maar ook niet van nieuwe en meer geavanceerde vormen van liquid cooling zoals immersion cooling.