AI-hausse brengt volledig nieuwe hardware naar het datacenter

Van ChatGPT tot AutoGPT tot StabilityAI - in razend tempo verschijnen er nieuwe tools op het gebied van kunstmatige intelligentie. Voor wie al moeite heeft de snelheid van deze ontwikkelingen bij te houden, hebben we slecht nieuws: al die nieuwe AI-tools en -ontwikkelingen hebben een ware golf van in AI-hardware gespecialiseerde startups opgeleverd. Deze systemen - van gespecialiseerde chips tot racks voor geoptimaliseerde hardware - zullen binnenkort het datacenter gaan bevolken.

De impact die de komst van deze hardware op de vraag naar elektriciteit en de koelbehoefte gaat hebben, is vaak nog zeer onduidelijk. Daarom is het goed om een aantal van dit soort startups in de gaten te gaan houden, zodat we op termijn ook een beter beeld gaan krijgen wat het gebruik van deze hardware aan impact heeft op de technische infrastructuur van datacenters.

Een eerste speler is Cerebras. Deze firma heeft zijn tweede generatie Wafer-Scale Engine ontwikkeld en geïmplementeerd. WSE-2 levert prestaties op clusterschaal op de grootste chip in productie. De chip telt 850.000 cores, 40 GB SRAM en een on-wafer interconnect die een verbinding van 220 petabyte per seconde tussen de cores kan bieden. Het is speciaal ontworpen voor AI-ontwikkeling en -bewerkingen.

Mythic heeft een AI-processor ontwikkeld die luistert naar de naam Mythic Analog Matrix Processor. Deze M1076-processor is een energiezuinig ontwerp dat schaalbaar is van edge AI-apparaten tot datacenters. In dit laatste geval is de processor geïntegreerd in een server. De processors zijn gebaseerd op de door het bedrijf zelf ontwikkelde Analog Compute Engine (Mythic ACE).

Groq is ook een bekende speler aan het worden. Het bedrijf biedt op AI gerichte hardwareoplossingen, variërend van PCIe-kaarten tot volledige datacenterracks en een eigen cloud. Groq heeft zijn eigen AI-chip genaamd Tensor Streaming Processor (TSP) ontwikkeld, die is geoptimaliseerd voor machine learning-algoritmen. Omdat een TSP is geoptimaliseerd om enorme hoeveelheden data zeer nauwkeurig en met een lage latentie te verwerken, wordt het gezien als een goede keuze voor real-time AI.

Tenslotte de startup Kneron. Deze firma ontwikkelt hardware- en softwareproducten voor wat zij noemen on-device edge AI. Dit zijn machines die hun AI-werk doen op het edge-apparaat dat de resultaten ook daadwerkelijk nodig heeft. De workload wordt dus niet ‘gedraaid’ in het datacenter, alk werkt deze oplossing wel samen met in het datacenter aanwezige hardware en software. Kneron werkt al samen met bedrijven in diverse sectoren, waaronder autonoom rijden, machine vision voor de industrie en semantische analyses.