Nvidia lanceert desktop AI-computer: een gamechanger voor datacenters?

Nvidia zet een nieuwe stap in de AI-hardwaremarkt met de introductie van zijn eerste desktop AI-machine, de DIGITS desktop AI ‘supercomputer’. Deze ontwikkeling kan bijzonder interessant zijn voor datacenters, aangezien AI-workloads tot nu toe vrijwel uitsluitend in datacenters werden uitgevoerd, maar als het aan Nvidia ligt dus richting de desktop gaan verhuizen.

De DIGITS desktop AI-computer is gebaseerd op Nvidia’s nieuwe GB10-chip, die een Blackwell GPU combineert met een Grace CPU met 20 ARM-cores in één pakket. De onderdelen zijn verbonden via Nvidia’s snelle NVLink-interconnect.

Met 128GB DDR5 unified memory kan de desktop AI-frameworks draaien met tot wel 200 miljard parameters lokaal, een stevige prestatie voor een desktopmachine. De rekenkracht van de DIGITS wordt geschat op 1 petaFLOP, hoewel dit met het kleinere 4-bit INT4-formaat wordt bereikt. Daarnaast is er ondersteuning voor maximaal 4TB aan lokale opslag.

Volgens Allen Bourgoyne, directeur productmarketing voor enterprise platforms bij Nvidia, zijn mogelijke AI-workloads onder andere model-experimentatie, fine-tuning, inference-evaluatie, en zelfs het lokaal draaien van AI-modellen. Ook toepassingen in robotica en computer vision behoren tot de mogelijkheden.

De DIGITS-desktop kan via een ConnectX-link worden gekoppeld aan een tweede unit, wat verdere schaalbaarheid mogelijk maakt. Bovendien biedt het apparaat WiFi- en USB-connectiviteit, wat gebruiksgemak toevoegt in een desktopomgeving.

De machine draait op Ubuntu Linux, met Nvidia’s eigen AI DIGITS-besturingssysteem erbovenop. Dit bevat een vooraf geconfigureerde AI-stack die toegang biedt tot AI-frameworks via Nvidia NIMS-microservices. Deze waren voorheen alleen beschikbaar onder een bedrijfslicentie, maar zullen nu ook onder een permissieve licentie beschikbaar zijn.

Hoewel de DIGITS een desktopformaat heeft, benadrukt Nvidia dat het geen traditionele desktop-PC is. “Vandaag de dag is het een Linux-systeem, ontworpen als een supercomputer op een bureau”, aldus Bourgoyne. Dit benadrukt de gespecialiseerde focus op AI-toepassingen, in plaats van algemene productiviteitstaken.

Deze ontwikkeling is relevant voor datacenters, aangezien de DIGITS de mogelijkheid biedt om AI-workloads lokaal uit te voeren in plaats van in een datacenterfaciliteit. Waar AI-frameworks doorgaans rekenen op de enorme capaciteit van datacenters, maakt de DIGITS het mogelijk om bepaalde taken te decentraliseren. Dit kan niet alleen de belasting op datacenters verminderen, maar ook snellere iteraties en lagere kosten voor kleinere organisaties mogelijk maken.

De officiële aankondiging van prijzen en beschikbaarheid volgt tijdens de CES 2025 in Las Vegas. Volgens Nvidia-CEO Jensen Huang zal de DIGITS-desktop vanaf mei 2025 beschikbaar zijn tegen een prijs van 3000 dollar.