Eén petabyte aan opslag met een lager energieverbruik dan vijf oude gloeilampen

Toshiba

Energie-efficiënte initiatieven hebben in de afgelopen decennia de energieconsumptie aanzienlijk doen dalen. Hedendaagse huizen verbruiken waarschijnlijk evenveel energie voor verlichting als wat nodig is voor twee of drie oude gloeilampen van 100 W. Maar wie had ooit gedacht dat met de nieuwste generatie hard disk drives (HDD) één petabyte aan opslagcapaciteit ook nog eens minder energie vereist dan vijf van diezelfde oude gloeilampen?

Met een nog altijd toenemende vraag naar online opslagcapaciteit voor databases die altijd benaderbaar zijn, is het van groot belang om opslagsystemen te ontwikkelen die deze groeiende gegevensstroom kunnen bijbenen en tegelijkertijd aan bepaalde criteria voldoen. Gezien de enorme hoeveelheid gegevens is de directe kostprijs per capaciteit ($/TB) één van de voornaamste selectiecriteria. Energieverbruik is een ander belangrijk aspect, aangezien dit gedurende de hele levensduur impact heeft op de operationele kosten. Energie hoort dan ook efficiënt gebruikt te worden. Het verlaagt de energierekening en vermindert bovendien de koelingsbehoefte, waar ook weer kosten mee gemoeid zijn. Ook moet er rekening worden gehouden met de fysieke afmetingen van de eindoplossing. Meer schijven vereisen een grotere behuizing. De serverkast is idealiter een eenvoudig standaard 19” rack-systeem die in de bestaande infrastructuur van 1000 mm lange racks past. Prestatie is uiteraard een andere factor. Maar wanneer er geselecteerd wordt op een maximale capaciteit bij een minimaal stroomverbruik, dan heeft dit wel een lagere IOPS (Input/Output Operaties per Seconde) tot gevolg.

In een onderzoek uitgevoerd door het Toshiba Electronics Europe GmbH researchteam werd onderzocht of het mogelijk was om 1 PB aan gegevensopslag in één systeem in te bouwen dat minder dan 500 W aan vermogen verbruikt.

Keuze in opslag

De meest kosteneffectieve technologie voor massacapaciteit is nog altijd het gebruik van HDD’s. De beste $/TB-ratio’s bieden Toshiba’s 12 TB-, 14 TB- en 16 TB-modellen. Om echter zeker te stellen dat het eindsysteem in een standaard 19” rack paste, werden voor het onderzoek 16 TB-drives geselecteerd om zo het benodigde fysieke volume tot een absoluut minimum te beperken. Deze keuze sluit ook aan op de stroomverbruiksdoelstelling, aangezien het vermogensverlies per unitcapaciteit successievelijk is gedaald met de introductie van nieuwe HDD-modellen (tabel 1). Dit komt niet alleen door de geïmplementeerde, nieuwe technologie, maar ook dankzij een verschuiving naar helium-gevulde drives (figuur 1).

Jaar

Model

Capaciteit (TB)

Actief maximaal vermogen (W)

Actief vermogen Power W/TB

2013

MG040CA

6

11,3

1,9

2015

MG05ACA

8

11,4

1,4

2017

MG06ACA

10

10,6

1,1

2018

MG07ACA

14

7,8

0,6

2019

MG08ACA

16

7,7

0,5

Tabel 1: Vermogensverlies en capaciteit van enterprise-capaciteit HDD’s
(bron: Toshiba-datasheets en -producthandleidingen; voor random read/write QD = 1 en 64kB blokken, single drive)

  Toshiba-fig-1-2020-12-02

Figuur 1: Het vermogensverlies per TB-capaciteit voor verschillende HDD-generaties en de verdeling tussen met lucht en met helium gevulde modellen.

 

De 16 TB-modellen van Toshiba’s MG08-serie zijn verkrijgbaar met zowel SAS- en SATA-interfaces. De SAS-interface biedt twee 12 GB/s-kanalen, ideaal voor systemen waarbij hoge beschikbaarheid en snelheid belangrijk zijn. Deze optie gaat echter gepaard met hogere energiekosten, omdat SAS-drives ongeveer één tot twee watt meer verbruiken dan hun SATA-tegenhangers. De doelstelling was om stroomverbruik te verminderen, en dus werd het SATA-interfacemodel MG08ACA16TE de gekozen kandidaat voor dit project.

  MG-08-serie-helium-toshiba

Figuur 2: De MG08-serie, met helium gevuld, 16 TB HDD.

 

De individuele specificaties voor deze specifieke drive qua vermogensverlies staan in tabel 2.

Use case

Vermogensverlies

Random Read – 4 kB blokken, QD = 16

8,60 W

Random Write – 4 kB blokken, QD = 16

5,83 W

Sequential Read

7,50 W

Sequential Write

6,83 W

Idle_A

4,00 W

Spin-up (maximaal 500 ms)

16,85 W

Tabel 2: Vermogensverlies voor de MG08ACA16TE bij diverse use cases

Een behuizing selecteren

Nu de opslag was gedefinieerd, was de volgende stap het selecteren van een geschikte behuizing. Toploader-modellen zijn praktisch en verkrijgbaar als JBOD in een vier unit hoog 19” rackformaat. Voor dit project viel de keuze op een 60-bay-model van AIC, de AIC-J4060-02. Passend bij de specificaties van een één-kanaals SATA-interface, leverde de single expander-versie de grootste besparingen op voor wat betreft kosten en vermogensverliezen. Eenmaal gevuld met 16 TB HDD’s heeft deze configuratie een bruto opslag van 960 TB, bijna één petabyte. Vervolgens werd de JBOD met één enkele mini SAS-HD-kabel aangesloten op de host bus adapter (HBA) of RAID-controller van de server.

Deze JBOD met een lengte van slechts 810 mm past in elk bestaand rack.

  AIC – de AIC-J4060-02 JBOD

Figuur 4: De geselecteerde 4 unit hoge 19” rack-oplossing van AIC – de AIC-J4060-02 JBOD

 

Baseline testen

Een eerste stroomverbruiksmeting werd uitgevoerd zonder de HDD’s via de 220 V ingangen naar de redundante twin stroomtoevoer. De eerste meting van 80 W vond plaats zonder aangesloten HDD’s, maar wel met de JBOD- en SAS-link-up. De volgende stap was het meten van het stroomverbruik met één enkele drive onder verschillende belastingsomstandigheden. De keuze viel op sequentiële schrijfbelastingssimulaties voor archivering, video-opnamen en back-up met blokken van 64 kB. Met dezelfde blokgrootte werden ook sequentiële leesopdrachten uitgevoerd, equivalent aan een back-up-recovery en media-streaming belasting. Voor een volgend gegevenspunt werden ook 4KB random read/writes-opdrachten uitgevoerd die overeenkomen met de agile ‘hot-data’ workload van databases. Deze correlatie is zeker niet volledig ten opzichte van doorsnee belastingsvormen voor dit systeemtype, maar maakte het mogelijk om voldoende referentiegegevens te verzamelen voor vergelijkingsdoeleinden.

Naast deze borderline cases werd ook een test met een benadering van een echte belasting uitgevoerd. Een mix van verschillende blokafmetingen werd willekeurig gelezen en geschreven (4kB: 20%, 64kB: 50%, 256kB: 20%, 2MB: 10%). Om de maximaal haalbare prestatie te bereiken, werden alle synthetische loads uitgevoerd met een queue depth (QD) van 16. Bovenop deze testen werd een standaard kopieproces op een logische drive onder Windows in gang gezet en werd het vermogensverlies gemeten.

De resultaten voor de individuele drive use case toonden consequent een lager stroomverbruik dan vermeld in de datasheet voor de geselecteerde drive (tabel 3). Een ander opmerkelijk punt is dat, in tegenstelling tot de datasheet, sequentiële loads tot een hoger stroomverbruik leiden dan willekeurige access loads. Dit kan worden teruggevoerd op de stroombehoeften van de JBOD, aangezien de SAS-expanders meer stroom vereisen bij hoge bandbreedtes in sequentiële operatie.

Use Case

Vermogensverlies

Random Read – 4 kB blokken, QD = 16

84,0 W

Random Write – 4 kB blokken, QD = 16

83,6 W

Sequentiële Read – 64 kB blokken

86,0 W

Sequentiële Write – 64 kB blokken

85,0 W

Mix van read/write workload

84,2 W

Windows-kopie

85,0 W

Tabel 3: Vermogensverlies van één enkele MG08ACA16TE-disk voor de JBOD in diverse use cases.

 

Systeemtesten van diverse configuraties

Toen alle sleuven van de JBOD waren opgevuld, kwam het maximale stroomverbruik bij een idling systeem op een respectabele 420 W. Dit is ietwat hoger dan verwacht (80 W + 60 x 4 W = 320 W) en kan worden herleid naar het feit dat de controller soms de HDD’s aanspreken, zelfs in de idle-modus. Anderzijds was de gemeten piek tijdens het opstarten van de stroom slechts 720 W, aanzienlijk lager dan de som van de JBOD plus de spin-up datasheetwaarden voor de HDD’s (80 W + 60 x 16,85 W = ~1100 W). Dit kan worden teruggevoerd naar de door het systeem gebruikte staggered spin-up benadering, waarbij de HDD’s één voor één worden bekrachtigd.

Het systeem werd opnieuw getest met dezelfde workloads die voor de single drive operatie werden gebruikt. Het hoogst gemeten stroomverbruik van 500 W vond plaats tijdens het sequentiële reads van 64kB blokken. De laagste meting van 445 W vond plaats bij zowel sequentiële 64 kB als random 4 kB schrijfbelasting (figuur 5).

  Stroomverbruik van petabyte opslagsysteem in variërende testscenarios

Figuur 5: Stroomverbruik van petabyte opslagsysteem in variërende testscenario’s

 

Twee andere configuraties werden ook onder de loep genomen. De eerste configuratie combineerde de 60 harde schijven tot een lokale RAID10 met 5 sub-arrays om een netto opslag van 480 TB te realiseren. Deze werd daarna onder Windows Server 2016 geformatteerd tot twee logische drives van elk 240 TB. Hierbij vroegen sequentiële benaderingen minder stroom, terwijl random benaderingen in essentie overeenkwamen met wat er in de JBOD-modus werd gemeten.

Het implementeren van een software-gedefinieerd zettabyte file system (ZFS) middels JovianDSS van Open-E leidde ook tot verbeteringen in stroomverbruik voor leestesten, maar ietwat hogere metingen bij schrijven. In deze configuratie werden er ook twee 800 GB enterprise SSD’s toegevoegd als een read cache en een write log buffer. De resulterende 240 TB logische drives waren benaderbaar via iSCSI.

Conclusie

Toshiba Electronics Europe GmbH schat de totale capaciteit van alle in 2019 verscheepte enterprise (Nearline) HDD’s op circa 500 exabytes (500.000 petabytes). Wanneer al deze HDD’s als 16TB-modellen in 60-bay JBOD’s zouden zijn uitgevoerd, dan zou dit leiden tot een continu stroomverbruik van 225MW (gelijk aan een gemiddelde kolengestookte centrale). Aangezien de meeste in 2019 geleverde HDD’s echter een nóg lagere capaciteit hadden, kan men aannemen dat het stroomverbruik zelfs nóg hoger lag. Er is duidelijk veel ruimte voor verbetering om de cijfers van W/TB-stroomverbruik van de industrie te reduceren. De onderzoeken en testen die door Toshiba Electronics Europe GmbH zijn uitgevoerd laten zien dat dankzij de energie-efficiëntie van de nieuwste generatie met helium gevulde hoge capaciteitsdisks, een petabyte-opslag met een opgenomen vermogen beneden de 500 W haalbaar is. Dit is een belangrijk gegeven voor datacenters die willen groeien met minimale investeringen en operationele kosten. Bovendien kan dit met verschillende configuraties worden bereikt, variërend van puur JBOD, middels RAID, tot en met software-gedefinieerde oplossingen, allemaal passend in een standaard 19” rack.

 

Auteur: Rainer W. Kaese, Senior Manager, Storage Products Division, Toshiba Electronics Europe GmbH

Lees ook
Flexidao helpt Google ook buiten Europa inzicht te krijgen in gebruik van schone energie

Flexidao helpt Google ook buiten Europa inzicht te krijgen in gebruik van schone energie

Flexidao heeft zijn samenwerking met Google uitgebreid, waardoor het nu niet alleen in Europa actief is, maar ook in Noord-Amerika, Latijns-Amerika en Azië. Bij deze samenwerking maakt Google gebruik van Flexidao's Clean Electricity Portfolio Management System voor het nauwkeurig volgen van certificaten voor schone energie. Dat meldt het in Barcel1

Japan test datacenter met hergebruikte waterstof-brandstofcellen

Japan test datacenter met hergebruikte waterstof-brandstofcellen

In Groningen heeft de Nederlandse datacenteroperator NorthC reeds eerder ervaring opgedaan met het gebruik van waterstof-brandstofcellen. Deze trend van duurzame energievoorziening in datacenters krijgt nu ook internationale aandacht, met een nieuw project in Japan.

Nieuwe leiding bij congestiemanagementplatform GOPACS

Nieuwe leiding bij congestiemanagementplatform GOPACS

De Stichting GOPACS, een sleutelspeler in het beheer van netcongestie in Nederland, kondigt een verandering in haar bestuur aan. Vanaf 2024 zal het huidige bestuur plaatsmaken voor een nieuw directieteam, bestaande uit Mike ten Wolde en Ranko Stojakovic.