Anthropic uppger att amerikanska myndigheter krävt att bolaget omedelbart stänger av AI-modellerna Claude Fable 5 och Claude Mythos 5 världen över. Företaget har följt ordern men hävdar samtidigt att myndigheterna överreagerar.
Enligt företaget mottogs beskedet på fredagseftermiddagen och innebar att modellerna måste göras otillgängliga globalt, inte bara för utländska användare som exportregler normalt riktar sig mot.
Myndigheterna pekar på säkerhetsrisker
Enligt Anthropic hänvisar myndigheterna till nationell säkerhet och exportkontroller.
Bolaget uppger samtidigt att den bakomliggande orsaken ska vara en påstådd metod för att kringgå vissa begränsningar i Fable 5. Anthropic säger dock att myndigheterna hittills endast presenterat muntliga uppgifter om en möjlig och begränsad så kallad jailbreak-metod.
Företaget hävdar dessutom att liknande kapacitet redan finns i andra publikt tillgängliga AI-modeller.
Läs även: Anthropic lämnar in hemlig ansökan inför börsdebut
Anthropic höll själva Mythos borta från allmänheten
Ironiskt nog gäller beslutet även Claude Mythos 5, en modell som Anthropic aldrig släppte till allmänheten.
Bolaget har tidigare beskrivit Mythos som sin mest avancerade AI-modell och hävdat att den visat exceptionella förmågor inom cybersäkerhet. Enligt Anthropic kunde modellen identifiera säkerhetsbrister i samtliga större operativsystem och webbläsare som den testades mot, skriver TechCrunch.
Av den anledningen placerades modellen i ett begränsat program kallat Project Glasswing där endast ett fåtal utvalda organisationer fick tillgång.
Bland deltagarna fanns enligt Anthropic Amazon, Apple, Google, Microsoft och CrowdStrike.
Fable 5 hann bara vara ute i tre dagar
Den andra modellen, Claude Fable 5, lanserades så sent som tidigare i veckan.
Anthropic beskrev modellen som en publik version av Mythos, utrustad med särskilda skyddsmekanismer för att begränsa användning inom känsliga områden som cybersäkerhet och biologisk forskning.
Enligt bolaget bygger de viktigaste säkerhetsfunktionerna dessutom på separata övervakningssystem som fortsätter att fungera även om en användare lyckas kringgå enskilda begränsningar i modellen.
Läs även: Anthropic varnar för ny fas i AI-racet
Anthropic: Regeringen överreagerar
Anthropic är ovanligt öppet kritiskt till beslutet.
Bolaget skriver att man inte anser att en begränsad och potentiell jailbreak-metod motiverar att en kommersiell modell tas ur drift för användare världen över. Företaget varnar också för att samma standard skulle kunna få omfattande konsekvenser för hela AI-industrin.
Om denna standard tillämpades brett skulle den i praktiken stoppa lanseringen av nya modeller hos alla ledande AI-utvecklare, skriver Anthropic.
Sam Altman kritiserade redan i våras Anthropics strategi
Situationen blir extra anmärkningsvärd eftersom Anthropic länge profilerat sig som ett av branschens mest säkerhetsfokuserade AI-bolag.
När företaget tidigare varnade för de potentiella riskerna med Mythos kritiserades det av OpenAI-chefen Sam Altman, som i april beskrev strategin som ”fear-based marketing”.
TechCrunch konstaterar nu att just de säkerhetsvarningar som Anthropic själva lyft fram kan ha bidragit till den myndighetsgranskning som lett fram till beslutet.
Kan bli ett viktigt testfall för AI-reglering
Om konflikten fortsätter kan den få betydelse långt utanför Anthropic.
Frågan handlar inte bara om två specifika modeller, utan också om hur långt myndigheter ska kunna gå när de bedömer att avancerade AI-system utgör en potentiell säkerhetsrisk.
Det gör fallet till ett av de mest uppmärksammade exemplen hittills på den växande konflikten mellan AI-utveckling och statlig reglering.