Google uppges arbeta på ett nytt AI-chip som är specialbyggt för att köra Gemini betydligt effektivare än dagens lösningar. Projektet har fått arbetsnamnet Frozen v2 och kan enligt uppgifterna tas i bruk tidigast 2028.
Chippet ska inte bara vara en ny generation av Googles befintliga TPU-processorer. I stället planerar bolaget att bygga in delar av Geminis tekniska arkitektur direkt i hårdvaran, rapporterar The Information.
Enligt personer med insyn kan Frozen v2 generera mellan sex och tio gånger fler AI-token per förbrukad energienhet än Googles senaste egenutvecklade chip. Ett token är den mindre textenhet som språkmodeller använder när de tolkar frågor och skapar svar.
Annons
Siffrorna beskriver alltså inte nödvändigtvis att Gemini blir tio gånger snabbare för användaren. De handlar främst om hur mycket AI-trafik Google kan hantera med samma mängd energi och serverkapacitet.
Gemini flyttar närmare själva kiselkretsen
Dagens AI-acceleratorer är normalt konstruerade för att kunna köra flera olika modeller och arbetsuppgifter. Frozen v2 uppges i stället bli betydligt hårdare anpassat efter just Gemini.
Genom att bygga delar av modellens arkitektur direkt i chippet kan Google minska mängden information som behöver flyttas mellan processorn och dess minne. Sådan dataöverföring är en av de största flaskhalsarna när stora språkmodeller ska skapa svar i realtid.
Frozen v2 ska enligt rapporteringen vara separat från Googles vanliga TPU-familj. TPU-processorerna är bredare AI-acceleratorer som används för både träning och körning av modeller i Googles egna tjänster och i Google Cloud.
Reuters skriver att projektet ska hjälpa Google att hantera en växande brist på AI-kapacitet. Problemen uppges redan ha skapat interna konflikter och gjort att Google Cloud har behövt tacka nej till vissa externa kundaffärer.
Effektiviteten kommer med ett pris
Den extrema specialiseringen är samtidigt Frozen v2:s största risk. Ett chip som byggs för en viss modellarkitektur kan bli mindre användbart om Gemini förändras kraftigt innan hårdvaran når Googles datacenter.
Att utveckla och tillverka avancerade serverchip tar flera år. AI-modeller kan däremot förändras på några månader. Google måste därför försöka förutse hur Gemini kommer att vara uppbyggt 2028, samtidigt som bolaget fortsätter att utveckla modellen.
Namnet Frozen ska enligt The Information anspela på att delar av modellen i praktiken fryses fast i kisel. Det innebär inte att varje svar eller all kunskap lagras direkt i processorn. Det handlar snarare om att anpassa kretsens funktioner efter hur modellen behandlar och flyttar information.
Resultatet kan bli betydligt högre effektivitet än med mer generella AI-chip. Nackdelen är att hårdvaran får svårare att anpassa sig till nya modelltyper och större tekniska förändringar.
Google säger inte att Frozen v2 kommer att bli en färdig produkt. I ett uttalande till TechCrunch uppger bolaget att dess team ständigt undersöker nya lösningar för bättre prestanda och effektivitet, men att alla experiment inte når produktion.
AI-kostnaden avgör nästa strid
Googles senaste officiella TPU-generation består av TPU 8t och TPU 8i. Den förstnämnda är byggd för att träna stora modeller, medan TPU 8i är inriktad på snabb inferens, alltså arbetet som sker när en färdig modell tar emot en fråga och genererar ett svar.
Google lyfter särskilt fram mer minne direkt på TPU 8i, vilket minskar behovet av att hämta information från långsammare externa minnen. Frozen v2 verkar driva samma grundidé längre genom att även anpassa själva chippet efter Gemini.
För Google är detta framför allt en fråga om ekonomi. Gemini används inte längre bara i en fristående chattbot. AI-modellerna byggs in i sökmotorn, Workspace, Android, molntjänster och en växande mängd andra produkter.
Varje fråga kräver serverresurser och elektricitet. Små förbättringar i effektivitet kan därför ge stora besparingar när tekniken används av hundratals miljoner människor. Ett chip som verkligen levererar upp till tio gånger fler token per energienhet skulle kunna förändra kostnaden för att erbjuda mer avancerade Gemini-funktioner i stor skala.
Det kan på sikt ge snabbare svar och fler AI-funktioner utan att användaren behöver möta lika hårda begränsningar. Den direkta effekten lär dock först märkas i Googles datacenter och resultatrapporter, inte som ett nytt chip i konsumenternas mobiler eller datorer.
Frozen v2 befinner sig fortfarande tidigt i utvecklingen. Men projektet visar hur AI-kampen flyttar allt längre ned i teknikstacken. Det räcker inte längre att bygga den smartaste modellen. Företagen måste också hitta ett ekonomiskt hållbart sätt att köra den.
