Meta ska ha visat hundratals betalda annonser med AI-genererat material som skildrar sexuella övergrepp mot barn. Flera av annonserna använde dessutom fotografier av verkliga barn som hade manipulerats med AI.
Det visar en granskning från den ideella organisationen Tech Transparency Project, TTP. Organisationen uppger att den hittade 332 annonser på Metas plattformar. Wired, som tagit del av underlaget, skriver att det sammanlagda antalet annonser som upptäckts sedan slutet av förra året överstiger 350.
Annons
Det handlade om betalda annonser
Materialet publicerades inte enbart som vanliga inlägg. Det rörde sig om betalda annonser som distribuerades via Facebook, Instagram, Messenger, Threads och Metas övriga annonsnätverk.
Meta uppger att alla annonser granskas innan de får visas. Trots det tog sig annonserna igenom företagets kontrollsystem och nådde användare i flera delar av världen.
Enligt uppgifter från Metas annonsbibliotek visades annonserna för fler än 29 000 konton inom EU och omkring 7 000 konton i Storbritannien. Det verkliga antalet kan vara högre eftersom motsvarande detaljerad räckviddsdata inte publiceras för alla länder.
Marknadsförde appar som manipulerar bilder
Omkring 300 av annonserna ledde vidare till appar för AI-genererade bilder eller videor. Många av tjänsterna erbjöd funktioner som kunde manipulera fotografier och skapa falskt naket eller sexuellt material utan personens samtycke.
Granskningen kopplar merparten av apparna till utvecklare i Kina. Totalt pekade annonserna mot närmare 50 appar i Apples App Store och Google Play.
Apple uppger för Wired att flera utvecklare först skickade in versioner som följde butikens regler och därefter aktiverade förbjudna funktioner. Företaget säger att samtliga berörda appar har hanterats. Google uppger också att apparna i granskningen har tagits bort.
Bilder på verkliga barn manipulerades
TTP kunde enligt granskningen identifiera fyra verkliga minderåriga vars fotografier hade använts. Bilderna ska bland annat ha hämtats från sociala medier, bildbanker och en officiell webbplats.
Forskarna rapporterade annonserna till amerikanska National Center for Missing and Exploited Children, NCMEC. De använde även Metas egna rapporteringsverktyg när annonserna fortfarande var aktiva.
Trots anmälningarna kunde det enligt TTP dröja upp till en vecka innan vissa annonser granskades. En annons hade nått fyra konton när den rapporterades men hade visats för fler än 330 användare innan den togs bort.
Meta hänvisar till bedragarnas metoder
Meta säger att företaget inte tolererar appar som manipulerar människor till falskt naket material eller någon form av sexuellt utnyttjande av barn. Företaget uppger att många av annonserna redan hade tagits bort och att merparten fick färre än 200 visningar.
Enligt Meta betalade annonsörerna sammanlagt mindre än 5 000 dollar för annonserna. Företaget hävdar samtidigt att aktörerna bakom materialet använder suddiga bilder, korta klipp och andra metoder för att undvika automatiska kontroller.
Meta lanserade nyligen nya AI-system som skulle bli bättre på att upptäcka och stoppa skadliga annonser. TTP hittade dock fler än 250 nya annonser efter att det nya skyddet hade införts.
Annonskontrollen hamnar i fokus
Granskningen väcker frågor om varför betalda annonser med förbjudet innehåll kunde passera Metas system. Till skillnad från vanliga användarinlägg ingår annonser i en kommersiell produkt där Meta både kontrollerar innehållet och tar betalt för att sprida det.
Meta skriver i sin egen information om barnsäkerhet att företaget rapporterar misstänkt exploatering till NCMEC och blockerar länkar till webbplatser som bryter mot reglerna. Företaget säger också att information om sådana länkar delas med andra plattformar.
Att nya och manipulerade bilder kan skapas i stor skala gör uppgiften svårare för automatiska filter. Samtidigt visar granskningen att problemet inte enbart handlar om att upptäcka enskilda bilder. Liknande annonsbudskap, appar och annonsörer kunde återkomma även efter att Meta hade informerats om innehållet.
Meta säger att bolaget fortsätter att övervaka annonser som först undgår kontrollen. Resultatet från TTP pekar däremot på att skyddet fortfarande kan reagera först efter att annonserna redan har betalats, godkänts och visats för tusentals användare.