Meta släpper AI som kan köras lokalt på en Mac

Muse Spark Open, som släpptes den 15 oktober, har hela 816 miljarder parametrar och är utvecklad för avancerad programmering, problemlösning och självständiga AI-agenter. Modellen kan hantera text, bilder, ljud och video som indata och har ett kontextfönster på upp till en miljon tokens.

Det som gör lanseringen särskilt intressant är att Meta nu släpper modellens vikter för nedladdning. Det innebär att utvecklare kan installera och köra modellen på egen hårdvara, i stället för att vara beroende av Metas servrar.

Det är samtidigt viktigt att skilja Muse Spark Open från Muse Wonder och Muse Wonder Full, som Meta presenterade tidigare i veckan. Wonder-modellerna är företagets mer avancerade, molnbaserade alternativ, medan Spark Open bygger på den snabbare Muse Spark-modellen och kan användas lokalt.

Läs mer: Meta släpper sin starkaste AI hittills – utmanar GPT-6 och Claude

Två Mac Studio arbetar som en enda dator

Meta har samarbetat med Apple för att optimera Muse Spark Open för Apple Silicon. I den officiella lösningen används två Mac Studio med M5 Ultra och 512 GB enhetligt minne vardera, sammankopplade med Thunderbolt 5.

Anledningen är modellens enorma storlek. Enligt Apples tekniska genomgång kräver originalmodellen över 1,6 TB minne enbart för parametrarna. Genom att komprimera vikterna till ett fyrabitsformat, så kallad kvantisering, minskar behovet till omkring 493 GB. Det krävs dessutom ytterligare minne för att faktiskt köra modellen.

Apple använder sitt MLX-ramverk för att fördela arbetet mellan datorerna. Varje Mac hanterar en del av AI-modellen, medan information skickas mellan maskinerna med mycket låg fördröjning. I Apples tester kunde fyra sammankopplade Mac Studio generera över 36 tokens per sekund.

Tekniken påminner om principen bakom större datorkluster, där flera separata maskiner arbetar tillsammans. Skillnaden är att Apple nu kan använda relativt kompakta stationära datorer för en AI-modell som annars skulle kräva betydligt större serverlösningar.

Läs mer: 30 gamla Mac mini blev en fungerande superdator

Det finns faktiskt ett sätt att använda en enda Mac

Den officiella MLX-lösningen kräver minst två datorer, men det finns ett alternativ för den som vill köra modellen på en enda maskin.

AI-verktyget Unsloth har tagit fram en hårdare komprimerad version av Muse Spark Open. Genom att minska precisionen till omkring två bitar per vikt kan modellen enligt utvecklarna köras på en dator med 256 GB tillgängligt minne, exempelvis en tillräckligt utrustad Mac Studio.

Det innebär att AI kan köras genom Unsloth Desktop eller llama.cpp utan någon extern server. Den minsta modellen kräver dock fortfarande enorma mängder minne, och kraftigare komprimering kan påverka kvaliteten i vissa arbetsuppgifter.

Muse Spark Open använder också en teknik som kallas Mixture of Experts. Trots modellens 816 miljarder parametrar aktiveras endast omkring 42 miljarder för varje token som behandlas. Det gör att inte hela modellen behöver arbeta samtidigt, även om samtliga modellvikter fortfarande måste finnas tillgängliga i minnet.

Priset gör lokal AI till en dyr historia

För svenska Mac-användare är det framför allt hårdvaran som sätter gränserna.

Mac Studio med M5 Ultra kostar från 72 995 kronor i Sverige, men grundmodellen har bara 96 GB enhetligt minne. För att köra Muse Spark Open lokalt krävs därför betydligt dyrare minneskonfigurationer.

Apple har dessutom meddelat att Mac Studio med 512 GB enhetligt minne börjar säljas först i slutet av oktober. Den konfiguration som används i företagets demonstration går alltså ännu inte att köpa i Sverige.

Läs mer: Test: Mac Studio M5 Ultra – extrem prestanda till extremt pris

AI kan arbeta direkt med filer och program

Den stora fördelen med lokal körning är inte bara att slippa en extern AI-tjänst. När modellen körs helt på den egna datorn kan själva behandlingen av information ske utan att innehållet behöver skickas till en molnleverantör.

Det kan vara intressant för utvecklare och företag som arbetar med känslig kod, interna dokument eller andra uppgifter de inte vill överföra till externa servrar. Lokal körning innebär däremot inte automatiskt att alla anslutna verktyg eller program fungerar utan internet.

Meta har bland annat demonstrerat hur Muse Spark Open kan användas för att rätta programkod i Mastodon-appen Ice Cubes och arbeta med videoredigering i DaVinci Resolve. I det senare exemplet kunde modellen enligt Meta analysera videomaterial bildruta för bildruta och välja ut sekvenser som skulle beskäras för vertikal video.

Modellens vikter finns nu tillgängliga via Hugging Face under Metas egen licens, som tillåter många användningsområden men också innehåller kommersiella villkor. För utvecklare utan tillräckligt kraftfull dator erbjuds modellen även via externa API-leverantörer.

För den vanliga Mac-användaren innebär lanseringen därför inte att Metas AI plötsligt går att installera på vilken dator som helst. Men den visar att även mycket stora AI-modeller kan köras lokalt på stationär Apple-hårdvara, utan att vara beroende av ett datacenter för själva AI-bearbetningen.