Hogetemperatuur supergeleiders als ontbrekende puzzelstukje voor DC-based datacenters

DCW-2021-05-SUPERGELEIDENDE BUSBARS-280

Al jaren wordt er gesproken over het gebruik van gelijkstroom ofwel Direct Current in het datacenter. De voordelen zijn groot, wordt vaak aangegeven. Van een doorbraak is het echter nog niet gekomen. Vormt de supergeleidende busbar het ontbrekende puzzelstukje dat wél voor een brede acceptatie van DC in het datacenter gaat leiden? Alan Beresford van Ecocooling, Karl Rabe van Karl Rabe High Tech UG en Wolfgang Reiser en Viktor Stark van VESC-Superbar zien grote kansen.

Wie moderne datacenters vergelijkt met de faciliteiten van pakweg 15 jaar geleden ziet een enorme ontwikkeling. Met name als het gaat om het energieverbruik. Opmerkelijk genoeg is dat veel minder het geval als het gaat om de elektrische installatie van menig datacenter. Deze zijn in essentie nog identiek aan de power transmission systems die we 15 jaar terug toepasten.

Toch zou het toepassen van gelijkstroom (DC, direct current) wel degelijk voor een belangrijke ontwikkeling kunnen zorgen. In 2007 werden de voordelen van DC voor datacenters al beschreven door Pratt en Kumar (‘Evaluation of Direct Current Distribution in Data Centers to Improve Energy Efficiency’, A. Pratt & P. ​​Kumar, Intel Corporate Technology Group). In 2010 rapporteerde Joseph V. Minervini, MIT Senior Research Engineer, op de 3rd Annual Green Technology Conference over een steeds toenemende vraag naar elektriciteit voor datacenters en de voordelen van een 400 Volt DC-stroomtransmissie op faciliteitsniveau. In 2018 verscheen bovendien een interessant IEEE Paper, geschreven door auteurs van Amazon, Microsoft, South Dakota State University en Pacific Northwest National Laboratory. Zij concludeerden dat DC-datacenters efficiënter en betrouwbaarder zijn.

Hoewel er inmiddels tal van onderzoeken zijn die het voordeel van op gelijkstroom gebaseerde datacenters bevestigen, heeft DC in datacenters nog geen doorbraak beleeft. Desondanks bestaat er inmiddels een handvol datacenters dat als een soort proof of concept het voordeel van deze aanpak aantonen.

DCW-2021-05-SUPERGELEIDENDE BUSBARS-1

Ontwerpnormen

Een belangrijke reden voor de geringe marktacceptatie is ongetwijfeld dat de voor datacenters relevante elektrische ontwerpnormen uitgaan van wisselstroom (AC). Deze standaarden zijn vastgesteld door enkele organisaties en geaccepteerd door de markt. Hierdoor zijn uiteraard aanzienlijke schaalvoordelen ontstaan voor AC-componenten, die voor hun DC-tegenhangers (nog) niet gelden.

Een andere reden waarom de adoptie naar onze mening achter blijft, is wat we maar even ‘marktsnelheid’ zullen noemen. Opdrachtgevers willen dat datacenters zo snel mogelijk nadat de opdracht hiervoor is verleend, worden opgeleverd. Men werkt dus liefst met gestandaardiseerde methoden en technieken zodat snelheid kan worden gemaakt. Dit betekent dat iedere innovatie binnen de elektrische infrastructuur van een datacenter moet passen in een AC-gerichte omgeving. Verliezen als gevolg van AC-naar-DC en DC-naar-AC omzetting worden daarbij als onvermijdelijk gezien. Bovendien houdt de PUE geen rekening met die verliezen.

Zijn de voordelen van DC daarmee dus gewoon te klein om de datacenterindustrie ertoe te bewegen om uit zijn comfortzone te komen? Dat valt nog te bezien. Inmiddels zijn er nieuwe redenen om na te denken over nieuwe benaderingen van de elektrische installatie van datacenters. De focus op Scope 3-emissies en duurzaamheid wordt belangrijker en een toenemend gebrek aan elektriciteit met een gelijktijdige grote vraag vanuit de markt naar datacentercapaciteit dwingt ons om na te denken over nieuwe ideeën.

Er is bovendien een nieuwe technologie beschikbaar die verschillende problemen rond DC in het datacenter kan oplossen en daarmee het datacenter op een veel beter efficiëntie- en duurzaamheidsniveau kan brengen: supergeleiders.

Wat zijn supergeleiders?

Supergeleiders zijn metalen of keramische materialen die twee belangrijke eigenschappen hebben: een extreem hoge vermogensdichtheid tot 62A per mm² en het vermogen om stroom te geleiden zonder enige weerstand en over elke lengte. Hiertoe moet de supergeleider wel worden gekoeld om een ​​kritische temperatuur te bereiken waarop deze vermogens van toepassing zijn.

We kennen supergeleiders die werken bij lage temperaturen en daarnaast varianten die juist hoge temperaturen vragen. Lagetemperatuur supergeleiders werden in 1911 ontdekt door Heike Kamerlingh Onnes. Ze worden tegenwoordig gebruikt in bijvoorbeeld MRI-scanners en in wetenschappelijke toepassingen zoals deeltjesversnellers of fusiereactoren. Om hun supergeleidende vermogens te bereiken, worden ze gewoonlijk met vloeibaar helium gekoeld tot 4,2 K.

DCW-2021-05-SUPERGELEIDENDE BUSBARS-2

Hogetemperatuur-supergeleiders (HTS) zijn in 1986 ontdekt door Müller en Bednorz. Dr. Georg Bednorz (een IBM Fellow) ondersteunt overigens het bedrijf van twee van de auteurs van dit artikel (VESC ofwel Vision Electric Super Conductors) bij hun onderzoeksactiviteiten. HTS’en zijn keramisch en hebben hun kritische temperatuur boven 77 K, de temperatuur van vloeibare stikstof, dat volop en tegen lage kosten beschikbaar is. Dat maakt hogetemperatuur supergeleiders geschikt voor volledig nieuwe power transmission-systemen.

Toepassing in datacenters

Een zeer kansrijke toepassing in datacenters is de supergeleidende busbar. Deze is oorspronkelijk  door Vision Electric Super Conductors ontwikkeld voor toepassing in een chloorfabriek van chemieconcern BASF. Deze busbar blijkt gemakkelijk aan te passen voor gebruik in een datacenter. Om dit te realiseren is het wel nodig om een ​​DC-infrastructuur zoals hierboven beschreven te implementeren. Daarbij kan vervolgens de normaal geleidende busbar worden vervangen door een supergeleidende rail. Ook dient een tank voor vloeibare stikstof te worden geïntegreerd.

DCW-2021-05-SUPERGELEIDENDE BUSBARS-3

De modulaire supergeleidende busbar van Vision Electric Super Conductors verbetert het DC-datacenterconcept tot een oplossing die zowel het stroomverbruik, de energie-efficiëntie als de veiligheid verbetert. Supergeleidende technologie is in onze visie namelijk het ontbrekende puzzelstukje dat het DC-concept in het datacenter volledig tot zijn recht brengt en tot beduidend betere prestaties zal leiden dat de traditionele op AC gebaseerde manieren van werken.          

Moderne DC-voedingen werken op een ingangsspanning tot 400 V, wat in de meeste gevallen het batterijspanningsniveau is. IT-apparatuur op DC werkt daarentegen met veel lagere spanningen zoals 48 V, 24 V of 5 V. Met de installatie van supergeleidersystemen kan de energie-infrastructuur - schakelapparatuur, gelijkrichters, batterijen en dergelijke - op afstand van de faciliteit worden geplaatst en niet noodzakelijkerwijs in de directe omgeving van het datacenter. Thermische belastingen op zaal met geforceerde koeling gaan omlaag en de behoefte aan elektromagnetische afscherming worden kleiner. Geoptimaliseerde omstandigheden voor witte en grijze ruimtes zullen bovendien leiden tot een beter ruimtegebruik en lagere bedrijfskosten, wat ook de bouwkosten positief beïnvloed vanwege lagere ruimte- en koelingsvereisten.

  DCW-2021-05-SUPERGELEIDENDE BUSBARS-4

Kenmerken in detail

  • Verhoogde vermogensdichtheid maakt de vermogensoverbrenging van het energieopwekkingspunt naar het rack mogelijk met één gedefinieerde spanning, bijvoorbeeld batterijspanning 380 V of 400 V. In vergelijking met de meeste huidige datacenterontwerpen worden de meeste conversiestappen weggelaten.
  • Energie-efficiëntie: het ontbreken van elektrische weerstand en het achterwege blijven van conversies in supergeleidende busbars en het toepassen van vloeibaar stikstof zorgen voor circa 15% aan energiebesparing. Dit is inclusief de energie die nodig is voor het koelcircuit.
  • 30% hogere rackdichtheid: Supergeleiders kunnen met een zeer hoog vermogen tot 200 kA onder laagspanning worden gebruikt en kunnen dus direct op het rack worden aangesloten. De power shelves kunnen worden vervangen door extra servers.
  • Lagere Scope 3-emissies: De modules van de supergeleidende busbar zijn herbruikbaar en kunnen worden gerecycled. Daarnaast is er een reductie met een factor 10 in materiaalgebruik in vergelijking met aluminium rails. Dit resulteert in een veel lager materiaalgebruik, opslag en transport naar de bouwplaats.
  • Veiligheid en brandgevaar: Hogetemperatuur supergeleiders worden gekoeld met vloeibare stikstof en kennen geen vuurbelasting. ICE Bar van VCSE biedt een beschermingsgraad IP65. Er is geen warmteafvoer naar de omgeving. In geval van kortsluiting warmt de vloeibare stikstof op en verdampt via de daartoe aangebrachte drukventielen in de atmosfeer, wat onschadelijk is voor mens en apparatuur. Onder deze omstandigheden verandert de supergeleider in een resistief component. Verder is de supergeleidende busbar ingekapseld in een dubbelwandige RVS-buis en kent, afhankelijk van de uitvoering, een zeer gering magneetveld.
  • Geoptimaliseerde witte ruimte: Met de installatie van supergeleidersystemen kan de energie-infrastructuur - schakelapparatuur, gelijkrichters, batterij, enz. - op een remote locatie worden geplaatst en niet noodzakelijk in de directe omgeving van het datacenter. Thermische belastingen worden hierdoor geringer, terwijl de noodzaak voor elektromagnetische afscherming afneemt. Geoptimaliseerde omstandigheden voor witte en grijze ruimte leiden tot een beter ruimtegebruik.
  • Nieuwe koelconcepten: Het ontwerp met geïntegreerde kleppen voor koude, gasvormige koeling met vloeibare stikstof maakt een actieve piek- en spotkoeling mogelijk met efficiënt energiegebruik.

Kosten en Return-on-Investment

 Er bestaan wereldwijd verschillende fabrikanten voor supergeleidende tapes. Bekende fabrikanten voor hogetemperatuur supergeleiders zijn Theva in Duitsland, AMSC in de VS, Super Ox in Rusland en Sumitomo in Zuid-Korea.

Momenteel is een supergeleidende busbar ongeveer drie keer duurder in vergelijking met een standaard aluminium rail. De grootste kostenfactor zijn de HTS-tapes. Hierbij willen we opmerken  dat de hogere kosten het gevolg zijn van de geringe volumes en daarmee een lage mate van productieautomatisering. De relatief hoge kosten worden niet veroorzaakt door materiaalprijzen. Er is veel schaalpotentieel en een toenemende vraag zal leiden tot een prijsdaling op hetzelfde niveau als aluminium vandaag.

De bedrijfskosten worden met circa 90% verlaagd door de energiebesparingen die het gevolg zijn van de nulweerstand van de supergeleider. De overige 10% van de energie en kosten zijn nodig om het koelcircuit in stand te houden.

De ROI is sterk afhankelijk van de elektriciteitsprijzen en de input voor het datacenter. Ten opzichte van een standaard AC-datacenter kan naar onze mening in jaar 2 een positieve ROI worden behaald. Een nieuw p[roof of concept zal dit duidelijk moeten maken.

Er bestaan overigens geen internationale normen om supergeleidende busbars met hoge stroomsterkte te testen en de werking ervan te bewijzen. Hierbij dient uiteraard wel gekeken te worden naar eventuele nationale normen. ICE Bar voldoet aan de strikte gezondheids- en veiligheidstoetsen van BASF om te worden gebruikt in chloorelektrolyse en kan worden aangepast aan andere normen.

Marktacceptatie

In 2018 zijn analyses gepubliceerd van de efficiëntie en betrouwbaarheid van AC- en 380 V DC-distributie in datacenters (‘The Efficiency and Reliability Analyses of AC and 380 V DC Distribution in Data Centers’). De belangrijkste conclusies uit deze analyses zijn:

  • Gelijkstroomdistributie is efficiënter dan vergelijkbare wisselstroomsystemen
  • Integratie van zonnepanelen in DC-distributiesystemen is efficiënter dan bij AC-distributie
  • DC-distributie is betrouwbaarder dan een gemiddeld AC-distributiesysteem

Om gelijkstroom breder toegepast te krijgen in datacenters, zal een aantal hindernissen genomen moeten worden. Denk onder andere aan het gebrek aan ervaring en het ontbreken van standaarden. Een andere hindernis is de manier waarop datacenters worden gebouwd: zo snel mogelijk, zonder innovatieve technologie, opgebouwd uit off-the-shelf componenten en niet-geoptimaliseerd. Er is geen tijd om na te denken over een beter systeem. Alleen in de wereld van Open Compute Project lijkt fundamenteel nagedacht te worden over de infrastructuur van het datacenter.

Een belangrijke uitdaging die moet worden overwonnen, is pure natuurkunde: het overbrengen van elektrische stroom door standaard koperen en aluminium kabels produceert verliezen die kabels en hun omgeving opwarmen. Hoe meer vermogen op serverspanningsniveau wordt verdeeld, hoe meer warmteverliezen. Hoe meer warmteverliezen, hoe meer HVAC - met meer bedrijfskosten. Dit leidt tot hogere installatiekosten om de verliezen te verminderen. Wordt de doorsnede van koperen geleiders met een factor 3 vergroot dan leidt dit tot het meest economisch gebruik  voor het meest economische gebruik, al vraagt dat natuurlijk meer ruimte. De benodigde ruimte voor aluminium kabels is zelfs nog hoger.

Supergeleidersystemen naast DC

Vooral hyperscale datacenters kunnen profiteren van het gebruik van supergeleiders naast de voordelen van DC-distributie. Supergeleidersystemen kennen uitstekende eigenschappen in vergelijking met conventionele koperen of aluminium distributiesystemen.

  • elektrische voordelen

        ◦ geen elektrische vermogensverliezen

        ◦ lage elektromagnetische velden

        ◦ magnetische veldonderdrukking beschikbaar

        ◦ beste 0V aardingsstabiliteit - geen spanningsverschil tussen verschillende voedingspaden

  • facilitaire voordelen

        ◦ minder benodigde ruimte, zelfs op rackniveau

        ◦ eenvoudig te ontwerpen stroomverdeling

        ◦ eenvoudig aan te passen bij gewijzigde gebruikseisen

        ◦ lagere investering & minder ruimte voor koelapparatuur

        ◦ eenvoudige integratie van hernieuwbare energie zoals PV en wind

        ◦ hogere efficiëntie op apparatuur die werkt met DC zoals LED's, pompen, enz.

  • operationele voordelen

        ◦ lagere elektriciteitsrekening

        ◦ nul bijverwarming

        ◦ nul vuurbelasting op hoofddistributievermogen

        ◦ geïntegreerde mogelijkheid voor verminderde zuurstofatmosfeer en brandbestrijding ter plaatse door uitstoot van koude stikstof.

        ◦ lage koolstof- en ecologische voetafdruk is veel lager dan die van enig ander stroomdistributiesysteem.

  DCW-2021-05-SUPERGELEIDENDE BUSBARS-5

 

Supergeleiders geven geen warmte af aan de werkomgeving van een datacenter, omdat ze geen elektrische verliezen veroorzaken. Ze zijn ultracompact vanwege hun enorme vermogensdichtheid die tot 1000 keer hoger is in vergelijking met koper of aluminium. Naast de hoge energie-efficiëntie zijn supergeleiders ook het meest materiaalefficiënt. De ecologische voetafdruk voor productie en gebruik is lager dan die van welke andere elektrische geleider dan ook.

Supergeleiders zijn geen basismaterialen zoals koper en aluminium en zijn door de productieprocessen duurder. Supergeleiders vereisen een bedrijfstemperatuur van vloeibare stikstof van ongeveer 70K ofwel -200°C. Ze worden in een thermische isolatiebuis geplaatst. Het is duidelijk dat supergeleidersystemen extra voorzieningen nodig hebben voor het leveren van vloeibare stikstof.

DCW-2021-05-SUPERGELEIDENDE BUSBARS-6

 

Supergeleidend stroomdistributiesysteem (SCDS)

Het supergeleidende stroomdistributiesysteem haalt de gelijkstroom van de batterij op een batterijspanningsniveau dat in de meeste gevallen tussen 240 en 500 V DC ligt. De SCDS kan alle gelijkspanningen tot 1500 V DC accepteren.

De SCDS is ontworpen op elementen met een nominale lengte tot 12 m, containers die naar de locatie worden verscheept en die eenvoudig kunnen worden geïnstalleerd door middel van buisklemmen aan de muur of constructie. De elementen worden ter plaatse met elkaar verbonden via een eenvoudig te installeren koppeling.

Distributiekasten nemen een deel van de stroomvoorziening voor de racks over. In dit gebied dragen elementen aftakkingen voor aansluiting op de racks. De in de fabriek geïnstalleerde aftakkingen zijn behuizingsconversie- en beveiligingsapparatuur en vormen de interface tussen SCDS- en racks. De aftakkasten bevatten de volgende functionele apparaten:

  • De ‘current lead' tussen vloeibare stikstof en omgevingstemperatuur
  • DC-DC-converter om stroom om te zetten van batterijspanningsniveau naar server- en opslagniveau, 48V, 12V of 5V
  • Bescherming en bewaking van elektrische circuits, interface naar de beheeromgeving van het datacenter
  • Terminals voor aansluiting van gestandaardiseerde stroomkabels op de racks

 

Lees ook
De toekomst van datacenters in Jakarta

De toekomst van datacenters in Jakarta

De Indonesische hoofdstad Jakarta telt meer dan 40 datacenter en tot een paar jaar terug leek dat aantal alleen maar meer toe te nemen. De vraag is of dat nog steeds het geval is, want de hoofdstad moet worden verplaatst.

Automatisering van Infrastructuurdocumentatie: Een Essentiële Stap voor Datacenterbeheer

Automatisering van Infrastructuurdocumentatie: Een Essentiële Stap voor Datacenterbeheer

n de datacenterwereld is het onderhouden en updaten van infrastructuurdocumentatie vaak een stevige uitdaging. Volgens David Cuthbertson, een Infrastructure Documentation en Visualisation Specialist werkzaam bij AssetGen, kan automatisering hier een grote rol spelen door de benodigde inspanning en fouten te verminderen.

Uptime Institute ziet stagnering in duurzaamheid

Uptime Institute ziet stagnering in duurzaamheid

De datacentersector heeft het zwaar als het gaat om duurzaamheid, zo schrijft het Uptime Institute in hun 14e Global Data Center Survey. De datacentersector staat volgens het instituut voor aanzienlijke uitdagingen op het gebied van duurzaamheid. Zo komt naar voren dat duurzaamheid niet altijd de hoogste prioriteit heeft voor datacenteroperators.1