San Franciscos stadsjurist David Chiu har skickat formella kravbrev till Apple och Google om 13 appar som kan användas för att skapa sexuella deepfakes. Åtta av apparna ska ha funnits i Apples App Store och fem i Google Play.
Apparna marknadsförs främst som verktyg för ansiktsbyte och bildredigering. När de testades gick de däremot att använda för att placera riktiga personers ansikten på nakna kroppar eller skapa bilder där kläder digitalt avlägsnades.
Det handlar inte om ett beslut från en domstol. San Francisco har i stället skickat så kallade cease and desist-brev som kräver att företagen stoppar apparna och bryter sina affärsrelationer med utvecklarna. Om kraven inte följs kan ärendet gå vidare rättsligt.
Annons
Skadliga funktioner göms bakom vanliga AI-verktyg
Den mest svårhanterliga delen av problemet är att apparna sällan beskriver sig själva som verktyg för att skapa falska nakenbilder. De kan i stället presenteras som appar för mode, videoeffekter, ansiktsbyte eller generell AI-redigering.
Tekniken behöver inte digitalt klä av en person direkt. En app kan exempelvis ta ansiktet från ett vanligt fotografi och placera det på en annan kropp. Generativa bildmodeller kan även skapa nya kroppsdelar och miljöer runt ansiktet, vilket gör resultatet mer sammanhängande än ett traditionellt bildmontage.
Det innebär att en app kan se harmlös ut under en ytlig granskning men ändå erbjuda funktioner som enkelt kan missbrukas efter installationen.
Forskare från bland annat Cornell University och Georgetown University identifierade nyligen 420 appar med funktioner för ansiktsbyte. Av 155 appar som testades saknade 70 procent tekniska spärrar som förhindrade användare från att skapa ansiktsbyten med nakenbilder.
Ingen av de testade apparna marknadsfördes uttryckligen som ett verktyg för falska nakenbilder. Forskarna beskriver dem därför som produkter med dubbla användningsområden, där en legitim funktion även kan användas för övergrepp.
Effektiva skydd behöver därför kontrollera mer än appens namn, beskrivning och skärmbilder. Granskningen måste även omfatta vilka bilder som kan laddas upp, vilka instruktioner modellen accepterar och vad tjänsten faktiskt kan producera.
Det kan kräva flera lager av filtrering. En app kan kontrollera både inkommande bilder, användarens instruktioner och det färdiga resultatet. Problemet är att utvecklare snabbt kan byta modell, ändra filtren eller flytta delar av bildbehandlingen till externa servrar efter att appen har godkänts.
Appbutikerna hjälpte användare att hitta verktygen
Apple och Google anklagas inte enbart för att ha distribuerat apparna. En granskning från Tech Transparency Project visade i april att appbutikernas sökfunktioner, annonser och automatiska förslag kunde leda användare vidare till verktyg som skapade falska nakenbilder.
Sökningar på uttryck som ”nudify”, ”undress” och ”deepnude” gav träffar på flera appar som kunde manipulera bilder av verkliga personer. I vissa fall visades sponsrade appar överst i resultaten.
De appar som hittades i granskningen hade tillsammans laddats ned omkring 483 miljoner gånger och uppskattades ha dragit in mer än 122 miljoner dollar. Totalt 31 appar hade samtidigt åldersgränser som gjorde dem tillgängliga för minderåriga.
Det är en viktig skillnad. Apple och Google har inte bara fungerat som neutrala distributionskanaler. Företagens rekommendationssystem och annonsplattformar kan även ha ökat synligheten för apparna, samtidigt som bolagen tagit betalt för köp och abonnemang.
Reglerna fanns redan
Apple förbjuder appar med tydligt pornografiskt innehåll och tjänster som används för att objektifiera, hota eller trakassera verkliga personer. Företaget kräver även att utvecklare redovisar apparnas funktioner och ger granskarna tillgång till hela tjänsten.
Google är ännu tydligare i sina regler för generativ AI. Bland exemplen på förbjudet innehåll finns sexuellt deepfake-material som skapats utan den avbildade personens samtycke. Appar som används för trakasserier eller främst är utformade för sexuell tillfredsställelse omfattas också av förbudet.
Apple uppger att tre av apparna som San Francisco pekat ut har tagits bort och att deras utvecklarkonton håller på att stängas. Ytterligare fyra utvecklare måste åtgärda regelbrott för att få stanna kvar.
Google säger att samtliga fem Android-appar i brevet har stängts av. Företaget uppger också att hundratals liknande appar tidigare har tagits bort och att sökningar på uttryck som ”nudify” har begränsats.
Appbutikernas betalningar hamnar i centrum
San Franciscos juridiska argument handlar även om pengarna. När abonnemang och digitala krediter säljs genom App Store eller Google Play sköter plattformarna betalningen och tar en del av intäkterna.
Enligt Kaliforniens lagstiftning kan även företag som möjliggör den fortsatta driften av en tjänst för deepfake-pornografi hållas ansvariga. Det gäller när företaget har fått tillräcklig information om tjänsten men inte vidtar nödvändiga åtgärder inom 30 dagar.
Lagen öppnar för civilrättsliga sanktioner på 25 000 dollar per överträdelse. Beloppet kan höjas till 50 000 dollar när överträdelsen bedöms ha skett med uppsåt eller medveten likgiltighet inför skadan.
Detta kan bli mer betydelsefullt än själva rensningen av de 13 apparna. Argumentet är att appbutiker inte kan fortsätta behandla betalningar och distribuera en tjänst efter att de fått tydliga bevis på vad den används till.
Att ta bort de utpekade apparna löser samtidigt bara den synliga delen av problemet. Nya versioner kan publiceras under andra namn, medan generella appar för bildredigering kan få samma funktion genom en serveruppdatering utan att en ny app behöver skickas in.
Det verkliga testet blir därför om Apple och Google börjar granska vad AI-appar faktiskt kan skapa, inte bara hur utvecklarna beskriver dem. Annars riskerar nästa verktyg redan att finnas i appbutiken, gömt bakom en till synes vanlig funktion för ansiktsbyte.
