Google har gått till domstol mot ett nätverk av cyberkriminella som enligt bolaget använde AI-modellen Gemini för att genomföra och skala upp bedrägerier.
Enligt Google handlade det inte om avancerade hackerattacker eller tekniska intrång. I stället användes Gemini som ett verktyg för att producera innehåll, skapa trovärdiga meddelanden och effektivisera bedrägeriverksamheten.
Ars Technica rapporterar att nätverket ska ha varit kopplat till Kina och använt Googles AI-tjänster i stor omfattning innan kontona stängdes av.
Så användes Gemini i bedrägerierna
Enligt Google användes Gemini bland annat för att skriva och förbättra bluffmeddelanden, översätta innehåll till olika språk och skapa mer övertygande kommunikation med potentiella offer.
Bolaget uppger även att AI:n användes för att skapa innehåll till falska webbplatser och olika typer av investeringsbedrägerier.
I vissa fall ska aktörerna även ha använt Gemini för att generera innehåll till phishing-kampanjer där målet varit att lura användare att lämna ut känslig information.
Google beskriver verksamheten som ett exempel på hur generativ AI kan användas för att öka både hastigheten och omfattningen på bedrägerier.
Tröskeln för bedragare blir lägre
Det oroande är inte att bedragare använder AI. Det är hur lite teknisk kunskap som numera krävs för att genomföra storskaliga bedrägerier.
Tidigare behövde cyberkriminella ofta skriva egna texter, skapa falska webbplatser eller anlita personer som kunde översätta och anpassa innehåll för olika marknader. Med generativ AI kan stora delar av det arbetet automatiseras.
Resultatet blir att bedragare kan producera mer material, på fler språk och mot fler målgrupper än tidigare. Google menar att detta är en utveckling som hela säkerhetsbranschen måste förhålla sig till.
Inte bara ett problem för Google
Problemet är långt ifrån unikt för Gemini. OpenAI, Anthropic och Microsoft har under de senaste åren rapporterat flera fall där deras AI-modeller använts i bedrägerier, påverkansoperationer och phishing-kampanjer.
OpenAI har exempelvis vid flera tillfällen stängt av konton som använts för att skapa bedrägerimeddelanden och automatisera manipulation på nätet.
Gemensamt för fallen är att AI inte nödvändigtvis skapar helt nya typer av brott. I stället gör tekniken befintliga bedrägerier billigare, snabbare och enklare att genomföra.
Google väljer att slå tillbaka
I stället för att bara stänga av konton har Google valt att stämma de misstänkta aktörerna. Bolaget hoppas att rättsprocessen ska göra det svårare för nätverket att använda Googles tjänster framöver och samtidigt avskräcka andra grupper från att använda Gemini på liknande sätt.
Fallet visar också hur AI-bolagen börjar ta en mer aktiv roll i kampen mot cyberbrott.
Under de första åren handlade debatten mest om vad AI kunde göra för användarna. Nu handlar den allt oftare om hur tekniken används av människor med helt andra avsikter. Och enligt Google har bedragarna redan börjat anpassa sig till den nya verkligheten.