Elon Musks AI-bolag xAI, numera SpaceXAI, har stämts i USA av en kvinna som hävdar att Grok tränats med material från sexuella övergrepp mot barn, så kallat CSAM. Anklagelserna går längre än tidigare processer om vad Grok har kunnat skapa och riktar i stället strålkastaren mot datan som använts för att bygga och förbättra AI-systemet.
Kvinnan, som i stämningen går under namnet Jane Doe, uppger att hon utsattes för sexuella övergrepp som mycket ung och att bilder från övergreppen därefter spridits på internet. Enligt stämningen finns sedan länge digitala fingeravtryck, så kallade hashvärden, för materialet hos organisationer som arbetar med att identifiera känt övergreppsmaterial.
Annons
Grok anklagas för att ha tränats på känt material
Den nya och ännu obevisade anklagelsen är att bilder som föreställer kvinnan ska ha funnits i data som xAI använde för Groks funktioner för bild och videogenerering. Stämningen hävdar också att AI-genererade varianter av övergreppsmaterialet har skapats med Grok.
Det är viktigt att skilja anklagelsen från ett fastslaget faktum. Ars Technica konstaterar att stämningen ger begränsad teknisk bevisning för påståendet att det ursprungliga materialet faktiskt ingick i träningsdatan. Frågan lär därför bli central om processen går vidare och xAI tvingas redovisa mer information om sina dataset.
Det finns däremot en annan del av anklagelsen som går att koppla direkt till hur X och Grok beskriver sin datahantering. X uppger själva att offentlig data från plattformen samt användarnas interaktioner, inmatningar och resultat från Grok kan delas med xAI och användas för träning och finjustering av generativa AI-modeller.
AI-resultat kan bli ny träningsdata
Här finns den tekniskt känsliga delen av fallet. Om ett problematiskt AI-genererat resultat publiceras på X eller ingår bland data som används för framtida träning finns åtminstone i teorin en risk att material som modellen själv hjälpt till att skapa återkommer i dess träningsflöde.
Det betyder inte automatiskt att varje Grok-bild används för att träna nästa modell. SpaceXAI låter användare välja bort att nya konversationer används för modellträning och erbjuder även privata chattar som enligt bolaget inte inkluderas i träningen. Men standardiserade flöden där användarinnehåll används för modellförbättring gör filtreringen av känsligt eller olagligt material extra viktig.
För svenska och andra europeiska användare är frågan också relevant. I SpaceXAI:s europeiska integritetstillägg står att bland annat offentligt tillgänglig information, användarinnehåll, offentliga X-inlägg från personer över 18 år och feedback kan behandlas för att träna och förbättra bolagets modeller.
Problemet blir betydligt svårare om förbjudet material redan har kommit in i ett träningsdataset. Att radera originalfilen från en server innebär inte nödvändigtvis att påverkan från den försvinner ur en färdigtränad modell. Modellens parametrar har redan förändrats under träningen, vilket gör så kallad machine unlearning, alltså att få en modell att glömma specifik träningsdata, till ett betydligt mer komplicerat problem än vanlig filradering.
Groks säkerhet har redan granskats
Den nya stämningen kommer efter månader av kritik mot Groks bildfunktioner. Kanadas integritetsmyndighet granskade tidigare i år X och xAI efter rapporter om sexuella deepfakes och konstaterade att bolagens åtgärder inte hade visats vara tillräckliga för att helt hantera problemet.
X och xAI uppgav i granskningen att CSAM och icke samtyckta intima bilder inte hör hemma på deras tjänster och att flera tekniska och organisatoriska skydd införts. Den kanadensiska myndigheten ansåg samtidigt att bolagen ännu inte hade demonstrerat att åtgärderna fungerade tillräckligt effektivt.
xAI har samtidigt själv agerat mot personer som bolaget anser ha missbrukat Grok. I juli stämde företaget en användare som enligt xAI hade skapat flera konton och försökt kringgå Groks skydd för att generera sexuellt material, inklusive påstått material föreställande minderåriga.
Träningsdatan blir den stora frågan
Jane Doe vill att processen ska få status som grupptalan och att xAI bland annat ska tvingas förstöra olagligt material som företaget eventuellt lagrar. Hon vill också att ytterligare skydd införs för att förhindra att Grok genererar liknande material.
xAI har inte kommenterat de nya anklagelserna. Det finns därför ännu inget offentligt svar från bolaget på det centrala påståendet om att känt övergreppsmaterial faktiskt ska ha ingått i Groks träningsdata.
Oavsett hur domstolen bedömer anklagelserna sätter fallet fingret på ett växande problem för hela AI-branschen. Det räcker inte längre att kunna stoppa farliga instruktioner när modellen används. Företagen måste också kunna visa var träningsmaterialet kommer från, hur olagligt innehåll filtreras bort och vad som händer om förbjudet material trots allt tar sig igenom.
För Grok kan just den frågan bli betydligt större än ännu en diskussion om svaga bildfilter. Om anklagelserna kan styrkas handlar processen i grunden om vad modellen har lärt sig av, inte bara vad användarna lyckats få den att skapa.