AI bygger AI: nya Flint skapades på under fyra månader

AI används redan flitigt för att skriva kod, testa mjukvara och hjälpa forskare att utveckla nya modeller. Recursive vill ta det ett steg längre.

Företagets nya modell Flint har utvecklats med hjälp av ett automatiserat forskningssystem kallat Eureka Machine. Enligt Recursive deltog systemet i nästan alla delar av arbetet, från träningsdata och träningsmetoder till modellarkitektur, infrastruktur och optimeringar för olika chip.

Resultatet blev en kodmodell som enligt företaget byggdes från grunden på mindre än fyra månader av ett litet team bestående av både människor och AI-agenter.

Läs även: Forskare varnar för AI-agenter på företag

40 miljarder parametrar men bara en bråkdel används

Flint är en så kallad mixture-of-experts-modell, MoE.

Modellen innehåller totalt omkring 40 miljarder parametrar, men bara cirka 2,5 miljarder aktiveras för varje token som behandlas. Det minskar mängden beräkningar som krävs och gör det möjligt att köra modellen på betydligt mindre hårdvara än traditionella modeller av motsvarande totala storlek.

Recursive säger att Flint kan köras lokalt på bland annat Apple Silicon och Nvidia-hårdvara. På en MacBook Pro med M4 Pro uppger företaget en hastighet på över 125 tokens per sekund, medan en Nvidia RTX Spark ska klara över 150 tokens per sekund vid kortare kontext.

Eftersom modellen körs lokalt behöver källkod och andra data inte skickas till externa molntjänster. Den kan dessutom användas offline och laddas ned under Apache 2.0-licens.

Flint är särskilt byggd för agentbaserad programmering. Den kan bland annat undersöka kodbaser, hitta och rätta buggar, implementera funktioner och skriva tester över flera steg.

Recursive säger att AI byggde nästan hela modellen

Det mest uppseendeväckande med Flint är ändå inte storleken eller hastigheten.

Recursive använder lanseringen som ett praktiskt test av vad företaget kallar automatiserad AI-forskning.

Eureka Machine kan enligt bolaget föreslå nya idéer, implementera dem, köra experiment och använda resultaten för att bestämma vilka lösningar som ska testas härnäst. Processen kan sedan upprepas i flera omgångar.

Recursives vd Richard Socher säger till Wired att AI var inblandad i nästan hela modellkedjan. Systemet ska bland annat ha bidragit med nya träningsmetoder, förändringar i modellarkitekturen och specialskriven kod för att få Flint att köra snabbare på specifik hårdvara.

Det är dock fortfarande människor som övervakar arbetet. Flint är alltså inte ett exempel på en helt autonom AI som på egen hand skapar en efterföljare utan mänsklig kontroll.

Läs även: Svensk AI-teknik hittar dolda vapen med wifi

Starka resultat men främst företagets egna tester

Recursive hävdar att Flint presterar bäst bland MoE-modeller under 50 miljarder parametrar på flera tester för agentbaserad programmering.

På SWE-bench Verified uppger företaget ett resultat på 74,2 procent. På SWE-bench Pro v2 anges 89,7 procent och på Terminal-Bench 2.1 når modellen enligt Recursive 54,9 procent.

Resultaten bör däremot läsas med viss försiktighet.

En stor del av jämförelserna är genomförda eller sammanställda av Recursive själva, och benchmarkresultat kan påverkas kraftigt av hur modellerna konfigureras och vilka verktyg de får tillgång till.

Det finns samtidigt tidiga externa tester. Wired testade Flint på en Mac med 48 GB minne och beskriver modellen som både snabb och imponerande kapabel på flera mindre programmeringsuppgifter. Testet är dock långt ifrån en oberoende fullständig benchmarkstudie.

Recursive erkänner också själva att Flint fortfarande kan behöva mer vägledning än betydligt större kommersiella modeller och rekommenderar användare att dela upp komplicerade uppgifter i mindre delar.

För företaget är Flint därför bara första steget.

Den långsiktiga ambitionen är att Eureka Machine ska kunna automatisera allt större delar av forskningen och att varje ny AI-modell i sin tur ska hjälpa till att bygga nästa generation.

Om den utvecklingen fungerar som Recursive hoppas kan Flint vara ett tidigt exempel på något betydligt större: AI-system som inte bara skriver vår kod, utan också hjälper till att bygga nästa AI.