Discord har bekräftat att ett fel i plattformens AI-baserade modereringssystem lett till att tusentals användare felaktigt stängts av.
Enligt bolaget har buggen funnits sedan i maj och orsakat att mer än 8 000 konton stängts av trots att användarna inte brutit mot plattformens regler.
Annons
Harmlösa bilder utlöste avstängningar
Buggen gjorde att AI-systemet felaktigt identifierade helt vanliga bilder som otillåtet innehåll.
Bland exemplen som användare delat finns kalkylblad, schackbräden, speltexturer och transparenta bakgrunder, bilder som normalt inte bryter mot Discords användarvillkor.
Enligt Discord inträffade dessutom omkring 200 felaktiga avstängningar under helgen innan problemet upptäcktes och åtgärdades.
Läs även: Tävlingsvillkor för TeknikGeeks utlottning av presentkort från Webhallen
Säkerhetskontroll fungerade inte
Normalt ska innehåll som AI-systemet flaggar granskas av en mänsklig moderator innan ett konto stängs av.
På grund av buggen hoppades den kontrollen över, vilket innebar att användare automatiskt bannlystes utan den manuella granskning som normalt ska fungera som en säkerhetsåtgärd.
Discord har inte närmare förklarat vad som orsakade felet, skriver TechCrunch.
Konton återställs
Discord uppger att buggen nu har åtgärdats och att bolaget arbetar med att återställa de konton som felaktigt stängts av.
Företaget uppmanar samtidigt användare som fortfarande inte fått tillbaka sina konton att kontakta supporten för en manuell granskning.
Läs även: Giveaway: Vinn 3 000 kr presentkort på Webhallen
AI-moderering granskas allt mer
Automatiserad moderering med hjälp av AI används i dag av många stora teknikplattformar för att snabbt upptäcka olagligt eller skadligt innehåll.
Samtidigt visar händelsen på Discord hur fel i systemen kan få stora konsekvenser när automatiserade beslut påverkar tusentals användare. Incidenten väntas därför ge ny näring åt debatten om hur stor roll AI ska ha i innehållsmoderering och vilka säkerhetskontroller som krävs innan åtgärder vidtas.
