Google hann knappt lansera sin nya bildgenerator i Google Earth innan funktionen drogs tillbaka. På mindre än ett dygn hade användare visat hur verktyget kunde skapa falska flyktingläger, bombskador och militära anläggningar på verkliga platser.
Funktionen drevs av Googles bildmodell Nano Banana 2 och lades till i webbversionen av Google Earth. Användaren kunde välja en plats, trycka på ”Create image” och beskriva förändringen med vanlig text.
Google presenterade verktyget som ett sätt att visualisera historia, testa fastighetsidéer och skapa framtidsscenarier. Företagets exempel visade bland annat hur en plats kunde få historiska byggnader eller nya arkitektoniska lösningar.
Annons
Riktiga koordinater blev grunden för falska händelser
Till skillnad från en vanlig AI-bildgenerator utgick verktyget från Google Earths befintliga satellitbilder, flygfoton och 3D-modeller. Den genererade bilden behöll därför många av platsens verkliga byggnader, vägar och geografiska kännetecken.
Det gjorde resultaten betydligt mer trovärdiga än en helt fristående AI-bild. En påhittad katastrof kunde placeras vid rätt koordinater och samtidigt omges av verkliga landmärken.
Det verkliga problemet var därmed inte att ännu en bildgenerator kunde skapa falska bilder. Det var att bilderna byggdes ovanpå Google Earth, en tjänst som många förknippar med dokumentation av den verkliga världen.
Journalisten och OSINT-utbildaren Henk van Ess demonstrerade bland annat hur verktyget kunde skapa ett falskt flyktingläger nära gränsen mellan USA och Mexiko. Andra exempel visade fabricerade översvämningar, bombkratrar och en påhittad kärnteknisk anläggning i Iran.
Enligt The Verge gick det även att skapa motiv som andra av Googles bildverktyg normalt blockerar. Det tyder på att skyddsfiltren i Earth-versionen inte var lika effektiva när modellen arbetade med befintlig geografisk bilddata.
Google drog tillbaka funktionen inom ett dygn
Google stoppade funktionen efter att användare börjat sprida skärmbilder av de manipulerade platserna. Företaget uppgav för Reuters att vissa bilder kunde bryta mot dess policyer och att verktyget skulle få starkare skydd innan det eventuellt återvänder.
De genererade motiven ersatte aldrig de riktiga bilderna i Google Earth. Andra användare kunde alltså inte öppna tjänsten och mötas av en falsk bombkrater eller militärbas.
Det hindrade däremot inte bilderna från att sparas, beskäras och spridas på sociala medier utan sammanhang. När Google Earths gränssnitt eller geografiska detaljer fanns kvar i bilden kunde den samtidigt uppfattas som hämtad direkt från tjänstens ordinarie kartmaterial.
Vattenmärkningen syns inte för betraktaren
Google märkte bilderna med SynthID, företagets osynliga vattenmärkning för AI-genererat innehåll. Tekniken bäddar in en digital signal i bilden och är konstruerad för att tåla vanliga förändringar som beskärning, filter och komprimering.
Märkningen fungerar dock inte som en synlig varningsruta. Den som möter en bild i ett socialt flöde måste aktivt ladda upp den till Gemini eller använda Googles särskilda kontrollverktyg för att undersöka om en SynthID-signal finns.
Geminis verifiering kan dessutom främst identifiera material som har skapats eller redigerats med Googles egna AI-verktyg. Funktionen är därför ingen allmän detektor som med säkerhet kan avgöra om valfri satellitbild kommer från en annan bildmodell.
Det skapar ett tydligt glapp mellan märkning och faktisk användning. En dold signal kan hjälpa redaktioner och analytiker som redan misstänker manipulation, men den varnar inte automatiskt vanliga användare innan en falsk bild delas vidare.
Satellitbilder har en särskild trovärdighet
Manipulerade fotografier är inget nytt, men falska satellitbilder kan få andra konsekvenser än fabricerade porträtt eller produktbilder. Material från ovan används bland annat för att dokumentera krigsskador, följa naturkatastrofer och kontrollera uppgifter från svårtillgängliga områden.
Forskning om AI-genererade satellitbilder visar samtidigt att denna typ av material kräver särskilda detektionsmetoder. Modeller kan leta efter felaktiga strukturer och återkommande texturer, men resultaten beror på vilken bildgenerator som har använts och vilket material detektorn har tränats på.
Google Earth-experimentet visar därför en större konflikt i utvecklingen av generativ AI. Samma teknik som kan hjälpa arkitekter att visualisera ett nytt bostadsområde kan också användas för att skapa falska bevis från en verklig plats.
Google har inte meddelat när funktionen kan återvända. För att ett nytt försök ska lyckas lär det krävas mer än hårdare promptfilter. Verktyget behöver också göra det omedelbart tydligt för varje betraktare att bilden visar en AI-genererad visualisering och inte en dokumentation av verkligheten.
