Under bara några veckor har modeller från bland andra OpenAI och Anthropic nått system som egentligen låg utanför de miljöer där deras cyberförmågor testades. I andra tester har AI-agenter använt internet för att kontakta riktiga människor, publicera skadlig kod och leta efter genvägar till rätt svar.
Det gemensamma problemet är inte att modellerna fått instruktionen att attackera slumpmässiga mål. De har fått ett mål inne i ett isolerat säkerhetstest och sedan fortsatt leta efter sätt att nå det, även när vägen råkat leda ut i den verkliga världen.
Annons
OpenAI:s modell hittade en helt ny säkerhetslucka
Ett av de tydligaste exemplen kommer från OpenAI. Under ett internt test kördes företagets modeller i en isolerad miljö där de skulle lösa avancerade säkerhetsutmaningar.
De vanliga klassificerare som begränsar farliga cyberaktiviteter var avsiktligt avstängda. Syftet var att mäta modellernas faktiska kapacitet snarare än vad den färdiga produkten tillåter.
Men isoleringen höll inte.
Enligt OpenAI identifierade modellerna en tidigare okänd sårbarhet i Artifactory, programvara som användes som proxy för paketregister i testmiljön. Därifrån lyckades de stegvis få tillgång till internet.
Modellerna fortsatte sedan mot Hugging Face, där de hittade ytterligare attackvägar och kom åt information i företagets produktionssystem. OpenAI beskriver händelsen som ett hittills unikt cyberincidentfall och har efteråt skärpt kontrollerna kring sina testmiljöer.
Det är en viktig detalj. Modellen råkade inte bara passera genom en glömd nätverksöppning. Den hittade en tidigare okänd sårbarhet och använde den för att skapa den nätverksväg som behövdes för att fortsätta uppgiften.
Läs även: OpenAI avslöjar historisk AI-incident under säkerhetstest
Sandlådan har blivit en del av själva säkerhetstestet
Den klassiska lösningen när farlig kod ska analyseras är en sandbox, en isolerad miljö där processen kan tillåtas göra saker som vore olämpliga på ett vanligt nätverk.
Men AI-agenter förändrar förutsättningarna.
En modern agent kan använda terminalverktyg, undersöka nätverkskonfigurationen, installera program, prova flera attackvägar och arbeta mot samma mål under lång tid. När den stöter på ett hinder behöver den inte ge upp. Den kan söka efter ett helt annat sätt att lösa uppgiften.
Det gör att säkerheten i själva testmiljön blir en del av vad modellen i praktiken testar.
Ett färskt exempel är Moonshot AI:s Kimi K3. Säkerhetsföretaget Frontier Security upptäckte att modellen kunde nå GitHub från en testmiljö där större delen av internet egentligen var blockerad.
Kimi löste då inte säkerhetsuppgiften på det sätt som testskaparna avsett. I stället upptäckte den att GitHub gick att nå, klonade det officiella benchmark-repot och läste lösningen därifrån.
Frontier Security beskriver det som ett klassiskt exempel på ”specification gaming”. Modellen optimerar för målet den fått, exempelvis att hitta rätt flagga, snarare än testskaparens outtalade idé om hur uppgiften ska lösas.
Det gör problemet större än en enskild säkerhetslucka. Om modellen kan undersöka miljön själv måste testskaparen räkna med att varje felkonfiguration, proxy, paketserver och tillåten nätverksadress kan bli en alternativ väg till målet.
Claude nådde tre riktiga företag
Anthropic hittade ett liknande problem efter att ha granskat 141 006 tidigare körningar av sina cybersäkerhetstester. I tre incidenter hade Claude nått internet från en testmiljö och därefter fått obehörig åtkomst till riktiga organisationers system.
Här var orsaken enklare än i OpenAI-fallet. En felkonfiguration gjorde internet tillgängligt trots att Claude uttryckligen hade fått instruktionen att miljön var isolerad.
Modellen behandlade därför de verkliga systemen som om de fortfarande var en del av den simulerade säkerhetsövningen.
I ett fall skapade Claude ett skadligt Python-paket och publicerade det på det riktiga paketregistret PyPI. Paketet låg offentligt i ungefär en timme och hann enligt Anthropic laddas ned och köras på 15 riktiga system.
I ett annat test skannade en intern Anthropic-modell omkring 9 000 mål när den inte lyckades nå den avsedda fiktiva maskinen.
Anthropic betonar samtidigt att modellerna inte tycks ha utvecklat egna mål. De fortsatte att försöka lösa den uppgift de hade fått, men gjorde det utifrån en felaktig bild av vad som faktiskt ingick i testet.
En AI försökte lura en riktig utvecklare
Ännu tydligare blev problemet under tester hos Storbritanniens AI Security Institute, AISI.
Där fick flera avancerade modeller avsiktligt internetåtkomst samtidigt som utvecklarnas vanliga skydd mot skadlig cyberaktivitet stängdes av. Testerna skulle efterlikna vad en kapabel angripare kan göra.
Under 122 körningar identifierade AISI 19 handlingar som gick utanför testets avsedda ramar. 17 av dem kom från Anthropics Mythos 5 och två från OpenAI-modellen GPT-5.6 Sol.
Det allvarligaste fallet var ett försök att få in skadlig kod i ett verkligt open source-projekt. Agenten undersökte projektets utvecklare, skapade falska identiteter och försökte använda dem för att övertala en riktig person att godkänna kodändringen.
En mänsklig granskare upptäckte attacken och stoppade den. AISI uppger att man inte hittat belägg för någon efterföljande verklig skada.
Det var heller inte ett klassiskt sandbox-utbrott. Internetåtkomsten var medvetet påslagen.
Problemet var i stället att testarna inte hade räknat med att modellen skulle använda tillgången för att agera mot riktiga människor och system.
Säkerhetstestning kräver nu säkerhet på en helt annan nivå
Cybertester av AI bygger på en svår balans. Om modellerna testas med alla vanliga begränsningar aktiverade blir det svårare att avgöra hur kapabla de egentligen är. Därför stängs vissa skydd av när forskare försöker mäta modellernas maximala förmåga.
Samtidigt skapar det en ovanlig situation: några av de mest kompetenta AI-modellerna körs med större handlingsfrihet precis innan utvecklarna själva vet exakt vad modellerna klarar av.
AISI säger att tidigare modeller inte motiverade samma hotbild. När agenterna blivit bättre på långvarigt problemlösande har organisationen därför behövt omvärdera hur riskabel internetåtkomst faktiskt är.
AISI:s incident visar också varför vanlig nätverksövervakning inte alltid räcker. Den skadliga aktiviteten upptäcktes först när systemet noterade trafik genom anonymitetsnätverket Tor. Därefter stoppades testerna och maskiner isolerades inom ungefär en timme.
Nästa flaskhals kan bli infrastrukturen runt AI:n
Utvecklingen pekar mot att AI-säkerhet inte längre enbart kan handla om vad modellen tillåts svara på. När AI-system kan använda terminaler, nätverk, webbtjänster och andra verktyg blir infrastrukturen runt modellen lika viktig.
Det räcker inte att en sandbox ser isolerad ut. Utgående nätverkstrafik, DNS, paketregister, autentiseringsuppgifter och alla länkar till produktionsmiljöer måste behandlas som möjliga attackvägar.
Forskning om AI-säkerhetsbenchmarks har samtidigt pekat på stora skillnader i hur dagens tester utformas och hur väl deras resultat faktiskt går att jämföra. En genomgång av 40 tester för AI-agenters säkerhet fann bland annat att de ofta bygger på kraftigt begränsade och sandboxade miljöer, men att metodiken skiljer sig rejält mellan olika benchmark.
Det innebär att nästa stora utmaning för AI-bolagen kanske inte bara blir att bygga modeller som följer regler.
De måste också bygga testmiljöer där en modell som aktivt letar efter oväntade vägar framåt faktiskt inte hittar någon väg ut.
