Incidenterna inträffade i maj när säkerhetsföretaget Irregular testade Geminis förmåga att genomföra cyberattacker. AI deltog i så kallade capture-the-flag-övningar, där uppgiften var att hitta information i system som tillhörde påhittade företag.
Men Gemini fick tillgång till det öppna internet, trots att det inte skulle vara möjligt i testmiljön. Det ledde till att AI började interagera med verkliga system som den trodde ingick i övningen.
Totalt lyckades Gemini ta sig in i skyddade system hos tre riktiga företag, skriver Financial Times.
Annons
Läs även: Google Gemini passerar 1 miljard användare
Gissade lösenord och hittade inloggningsuppgifter
I ett av fallen hade det påhittade företaget i testet samma namn som ett verkligt företag. Gemini hittade information om det riktiga företaget på internet och började behandla dess system som en del av uppgiften.
AI lyckades därefter gissa ett lösenord till ett skyddat system och tog sig in.
I två andra fall hittade Gemini inloggningsuppgifter i offentligt tillgängliga kodförråd på internet. Uppgifterna fungerade och gav modellen tillgång till skyddade system hos ytterligare två verkliga företag.
Google uppger att Gemini avbröt aktiviteterna i samtliga tre fall när modellen insåg att den hade hamnat hos riktiga företag i stället för de simulerade mål som ingick i testet.
De tre företagen har inte namngivits. Google säger att de berörda aktörerna informerades och att företaget tillsammans med Irregular har gjort förändringar efter incidenterna, skriver Axios.
Läs även: Google återupplivar Google TV – och höjer priset
Google: Säkerhetssystemen fungerade
Google ser inte händelserna som ett exempel på att Gemini medvetet försökte bryta sig ur testmiljön eller trotsa sina instruktioner.
Heather Adkins, vice vd för säkerhetsteknik på Google, säger att modellen använde offentlig information och inloggningsuppgifter för att komma åt tre webbplatser som den trodde ingick i testet. Enligt Google orsakades ingen skada.
Företaget lyfter också fram att Gemini självmant avbröt när den identifierade att systemen tillhörde verkliga företag.
Samtidigt var AI över huvud taget inte tänkt att kunna nå det öppna internet under testet. Irregular uppger att problemen i testmiljön har åtgärdats och att berörda AI-företag informerades i slutet av juli.
Visar vad AI-agenter redan klarar
Incidenten visar samtidigt hur långt AI-modellernas förmåga inom cybersäkerhet har kommit. Gemini behövde inte få ett färdigt lösenord i samtliga fall, utan kunde själv söka efter information, hitta möjliga vägar in och använda de uppgifter den hittade för att försöka nå sitt mål.
Google har dessutom fortsatt utveckla specialiserade AI-modeller för cybersäkerhet. Företaget presenterade i juli Gemini 3.5 Flash Cyber, som är tränad för att bland annat hitta, verifiera och hjälpa till att åtgärda sårbarheter.
Google framhåller tekniken som ett verktyg för försvarare, men konstaterar samtidigt att AI-agenter blir allt bättre på att hitta sårbarheter snabbare än människor hinner åtgärda dem.
Händelserna i maj handlade alltså inte om att Gemini på eget initiativ bestämde sig för att attackera slumpmässiga företag. Men de visar vad som kan hända när en allt mer självständig AI-agent får felaktiga förutsättningar och samtidigt har förmågan att söka efter information och använda den för att ta sig in i verkliga system.