Apple sätter stopp för AI-appar som klär av människor

Apple gör reglerna för App Store betydligt tydligare när det gäller AI-genererade nakenbilder och andra sexuella bilder som skapats utan personens samtycke.

I en uppdatering av App Review Guidelines skriver Apple uttryckligen att appar med användargenererat innehåll måste förebygga och ta bort så kallat nonconsensual intimate imagery, inklusive material som skapats med AI.

Utvecklare som inte bygger in tillräckliga skydd eller som misslyckas med att åtgärda problem efter att Apple uppmärksammat dem riskerar att bryta mot företagets Developer Code of Conduct och få sina appar borttagna från App Store.

Läs även: Apple förlorar historisk patentstrid om Iphone

Förbjuder appar som gömmer funktionerna

Apple säger att pornografiskt material redan sedan tidigare varit förbjudet i App Store och att reglerna även omfattat så kallade ”nudify”-appar som använder AI för att skapa sexuella bilder av verkliga personer.

Det nya regelverket gör däremot kraven betydligt tydligare.

Apple skärper också reglerna mot så kallade bait-and-switch-appar. Det handlar om appar som visar en till synes harmlös funktion när de granskas av Apple, men som efter godkännandet aktiverar eller lägger till förbjudna funktioner.

Apple nämner uttryckligen ”nudification” som ett exempel på en sådan funktion. Appar med dolda, vilande eller odokumenterade funktioner kan tas bort, och utvecklarens konto kan i vissa fall också avslutas.

Reglerna gäller dessutom inte bara appar som själva genererar bilder. Plattformar med användargenererat innehåll måste ha system för att filtrera olämpligt material, rapportera innehåll och blockera användare som missbrukar tjänsten.

Apple har fått hård kritik

Förändringen kommer efter flera månaders kritik mot både Apple och Google för att den här typen av appar kunnat distribueras via deras appbutiker.

I juli skickade San Franciscos stadsjurist David Chiu kravbrev till företagen med krav på att totalt 13 AI-appar skulle tas bort. Åtta av apparna fanns enligt granskningen i Apples App Store och fem i Google Play.

Apparna marknadsfördes bland annat som verktyg för ansiktsbyte men kunde enligt utredningen användas för att skapa sexuella deepfakes av verkliga personer utan samtycke.

Apple bekräftade senare att man vidtagit åtgärder mot appar som brutit mot reglerna.

Frågan fick ytterligare uppmärksamhet efter att användare av Grok på X tidigare under året skapade sexualiserade AI-bilder av verkliga personer. The Verge rapporterar att även bilder föreställande minderåriga förekom i kritiken mot tjänsten.

Apple tog inte bort X eller Grok från App Store, men sade till amerikanska senatorer att företaget hade varnat för att Grok kunde tas bort om problemen inte åtgärdades.

Läs även: Apple skärper reglerna för AI-musik

Kan även stoppas utanför App Store

Apple skärper samtidigt formuleringarna kring ännu grövre överträdelser.

Appar som underlättar människohandel eller exploatering av barn ska enligt de uppdaterade reglerna inte bara tas bort från App Store. De kan även blockeras från alternativ distribution på Apples plattformar.

Det är särskilt relevant i EU, där Apple numera tillåter fler sätt att distribuera iPhone-appar utanför den traditionella App Store.

Regeländringen innebär däremot inte att Apple introducerar ett helt nytt förbud mot AI-genererade nakenbilder. Företaget betonar själv att pornografiskt material och den här typen av verktyg redan omfattades av tidigare regler.

Skillnaden är att Apple nu skriver ut kraven betydligt mer konkret och kräver att utvecklare själva arbetar förebyggande mot AI-genererat sexuellt material utan samtycke.

Det gör det också svårare för utvecklare att hävda att reglerna varit otydliga om deras appar används för att skapa falska nakenbilder av verkliga personer.