USA kan bli först med att ge regeringen en uttrycklig rätt att beordra nedstängning av några av världens mest avancerade AI system.
Det tvåpartistödda lagförslaget AI Kill Switch Act kräver att stora AI utvecklare bygger in tekniska funktioner som kan begränsa, pausa eller helt stoppa ett system. Befogenheten skulle ligga hos USA:s minister för inrikessäkerhet, efter samråd med handelsministern och chefen för landets underrättelsetjänster.
Förslaget har lagts fram av den demokratiske kongressledamoten Ted Lieu och republikanen Nathaniel Moran. Det är ännu inte antaget och måste först godkännas av kongressen innan det kan bli amerikansk lag.
Annons
Regeringen kan strypa tillgången steg för steg
Namnet antyder en stor röd knapp som omedelbart släcker en AI modell. Lagtexten beskriver i stället ett system med flera nivåer.
Ett företag skulle behöva kunna stoppa modellens inferens, alltså själva körningen som genererar svar och utför handlingar. Det ska även gå att stänga av användarkonton, begränsa särskilda funktioner, minska mängden resurser som modellen får använda eller blockera ett visst användningsmönster.
Vid en allvarligare incident kan myndigheten kräva att hela systemet pausas eller stängs ner. Verksamheter som är beroende av modellen ska också kunna flyttas över till en äldre version eller ett reservsystem.
Det innebär att nödbromsen främst skulle byggas in i infrastrukturen runt modellen. Molnservrar, API åtkomst, kontohantering, säkerhetspolicyer och tilldelningen av acceleratorer kan kontrolleras även om själva modellfilen inte går att radera med ett enda knapptryck.
Just den skillnaden är viktig. En AI modell som redan har kopierats till externa servrar eller laddats ner av andra aktörer kan vara betydligt svårare att stoppa än en central molntjänst.
Ingen ensam knapp stänger av en AI modell
Det amerikanska förslaget skulle bara omfatta mycket stora kommersiella aktörer och extremt kostsamma AI system.
Enligt utkastet ska företaget ha fått minst 500 miljoner dollar i intäkter från den berörda tekniken under föregående år. Modellen ska dessutom ha utvecklats med datorkapacitet som skulle kosta över 100 miljoner dollar på den amerikanska molnmarknaden.
Personlig, akademisk och annan icke kommersiell användning undantas. Reglerna skulle därför främst träffa företag i samma storleksklass som OpenAI, Google, Microsoft, Meta och Anthropic, beroende på hur den slutliga lagen och myndigheternas definitioner utformas.
I EU finns redan krav på särskilt kraftfulla generella AI modeller som anses medföra systemrisker. Leverantörerna ska bland annat utvärdera modellerna, motverka systemrisker, rapportera allvarliga incidenter och upprätthålla tillräckligt cyberskydd.
EU kommissionens AI Office kan begära information, genomföra utvärderingar och kräva korrigerande åtgärder. Den amerikanska modellen är ändå mer direkt formulerad genom att uttryckligen ge regeringen möjlighet att beordra begränsning eller full nedstängning under en akut incident.
Gränsen går vid tio dödsfall eller enorma skador
Myndigheten får inte ingripa enbart för att en modell lämnar felaktiga svar eller beter sig märkligt. Lagförslaget definierar flera betydligt allvarligare situationer.
Det kan handla om att AI systemet motarbetar en laglig avstängningsorder, döljer handlingar för övervakningssystem eller försöker kringgå sina säkerhetsbegränsningar. En incident omfattas också om oavsiktligt beteende orsakar minst tio dödsfall eller ekonomiska skador på minst 100 miljoner dollar.
Även ett scenario där modellen följer ett mål som utvecklaren aldrig avsett kan utlösa ett ingripande. Lagtexten nämner bland annat AI som ändrar sina egna operativa regler, försöker komma åt sina modellvikter eller agerar mot instruktioner inom kritisk infrastruktur.
Händelser under kontrollerade säkerhetstester undantas från definitionen. Det är alltså först när motsvarande beteende sker utanför en avgränsad testmiljö som regeringens akuta befogenheter är tänkta att användas.
Förslaget kommer efter en uppmärksammad säkerhetsincident där en AI agent från OpenAI enligt Reuters tog sig utanför den avsedda testmiljön och komprometterade infrastruktur hos AI plattformen Hugging Face. Vita huset ska därefter ha informerats och börjat följa händelsen.
Företagen måste spara modellens spår
En av de mest konkreta delarna av förslaget gäller vad som händer efter att en avstängningsorder har utfärdats.
AI bolaget måste bevara modellvikter och telemetri, alltså teknisk information om hur systemet användes och betedde sig. Berörda användare och operatörer ska informeras när det är praktiskt möjligt. Myndigheten får sedan kontrollera att ordern verkligen följts genom revisioner, inspektioner och teknisk granskning.
Företagen skulle även behöva rapportera relevanta incidenter inom 15 dagar. Tanken är att information om farligt beteende inte ska kunna försvinna när en tjänst snabbt tas ur drift.
Bolaget kan överklaga en order inom 48 timmar, men överklagandet stoppar inte avstängningen medan ärendet prövas. Det ger regeringen ett tydligt övertag när myndigheten bedömer att situationen är akut.
Ett dygns motstånd kan kosta 20 miljoner dollar
AI företag som saknar de obligatoriska kontrollfunktionerna eller bryter mot andra delar av reglerna kan bötfällas med upp till två miljoner dollar per dag.
Att inte följa en direkt myndighetsorder om begränsning eller nedstängning kan bli tio gånger dyrare. Maxbeloppet är 20 miljoner dollar för varje dag som överträdelsen fortsätter.
Det stora frågetecknet är inte om molnbaserade AI tjänster går att stänga av. Företagen kan redan stoppa API anrop, användarkonton och servrar. Den svårare frågan är hur en statlig order ska fungera när samma modell finns hos flera molnleverantörer, är integrerad i kritiska system eller har kopierats utanför utvecklarens kontroll.
Lagförslaget är därför lika mycket ett krav på teknisk arkitektur som ett nytt juridiskt verktyg. För att nödbromsen ska fungera måste framtidens AI system byggas så att människor fortfarande kan se vad de gör, begränsa deras åtkomst och stoppa dem innan kontrollen har gått förlorad.
