Meta presenteert Catalina racks voor AI op OCP Global Summit 2024

Tijdens de Open Compute Project (OCP) Global Summit 2024 heeft Meta nieuwe open AI-hardware-ontwerpen gepresenteerd. Deze omvatten een nieuw AI-platform, geavanceerde rack-ontwerpen en verbeterde netwerkcomponenten. Het doel van Meta is om samenwerking binnen de AI-gemeenschap te bevorderen door hun ontwerpen te delen en anderen te inspireren om bij te dragen aan de toekomst van open hardware voor AI-toepassingen.

Meta heeft al jaren AI geïntegreerd in haar producten, zoals het optimaliseren van de nieuwsfeed en advertentiesystemen. De lancering van geavanceerde AI-modellen, zoals Llama 3.1 405B, vraagt echter om nieuwe infrastructuuroplossingen. Llama 3.1, met 405 miljard parameters en een contextvenster van 128k tokens, is Meta’s grootste model tot nu toe. De training van dit model vereiste meer dan 16.000 NVIDIA H100 GPU’s, wat een aanzienlijke schaalvergroting betekende ten opzichte van eerdere AI-ontwikkelingen.

Schaalvergroting van AI-infrastructuur

In 2023 maakte Meta een snelle schaalvergroting door van 1000 naar 16.000 GPU’s om hun AI-workloads te ondersteunen. De verwachting is dat de hoeveelheid benodigde rekenkracht voor AI-trainingen in de toekomst nog verder zal toenemen. Niet alleen GPU’s zijn essentieel voor het bouwen van AI-clusters, maar ook netwerken en bandbreedte spelen een cruciale rol. Meta voorspelt een groei van bandbreedtecapaciteit tot wel een terabyte per seconde per accelerator, wat een grote uitdaging zal vormen voor huidige netwerken.

Om deze groei te ondersteunen, ontwikkelt Meta een multi-tier, non-blocking netwerk dat gebruikmaakt van moderne congestieregeling. Dit zal ervoor zorgen dat de AI-clusters optimaal blijven presteren, zelfs bij zware belasting.

Catalina: Open architectuur voor AI-infrastructuur

Meta kondigde tijdens de conferentie de release van Catalina aan, een nieuw rack-ontwerp speciaal voor AI-workloads. Catalina is gebaseerd op het NVIDIA Blackwell-platform en legt de nadruk op modulariteit en flexibiliteit. Het rack ondersteunt de nieuwste NVIDIA GB200 Grace Blackwell Superchip en kan tot 140 kW aan. Het ontwerp omvat verder een vloeistofgekoeld systeem en diverse trays voor compute, switching en stroombeheer.

Grand Teton-platform met AMD-ondersteuning

Meta breidt haar bestaande Grand Teton-platform uit met ondersteuning voor de AMD Instinct MI300X. Dit platform is oorspronkelijk ontworpen voor AI-workloads die een hoge geheugencapaciteit vereisen, zoals deep learning-modellen en contentbegrip. Door de integratie van AMD-accelerators wordt het platform veelzijdiger, waardoor grotere en complexere AI-modellen sneller kunnen worden getraind.

Open netwerkoplossingen voor AI

Om de prestaties van AI-clusters te blijven verbeteren, zet Meta in op de ontwikkeling van open netwerkoplossingen. Het nieuwe Disaggregated Scheduled Fabric (DSF) biedt schaalbaarheid en flexibiliteit door het netwerk los te koppelen van specifieke hardwareleveranciers. Deze oplossing maakt gebruik van standaarden zoals OCP-SAI en FBOSS, Meta’s eigen netwerkbesturingssysteem.

Samenwerking met Microsoft

Meta werkt al jaren samen met Microsoft aan open hardware-innovaties. Een van de recente projecten is de ontwikkeling van Mount Diablo, een nieuw ontkoppeld stroom-rack dat de efficiëntie van AI-infrastructuren aanzienlijk moet verbeteren.

Meta gelooft sterk in de kracht van open source om de ontwikkeling van AI te versnellen, zeggen Dan Rabinovitsj en Omar Baldonado in een post op de engineering-website van Meta. Open software- en hardware-oplossingen zijn cruciaal om AI toegankelijk te maken voor een breed publiek en om verdere innovatie te bevorderen. Door samen te werken binnen communities zoals OCP hoopt de techgigant de infrastructuur te creëren die nodig is om de volledige potentie van AI te benutten.