Anthropic placerade tre Claude-agenter i separata virtuella miljöer och gav dem tillgång till samma mjukvaruprojekt. Varje agent fick i uppdrag att migrera samma Python-backend till ett nytt programmeringsspråk, men de fick olika mål. En skulle exempelvis arbeta mot Rust medan andra försökte driva projektet i andra riktningar.
Ingen av agenterna fick från början veta att de konkurrerade med andra AI-system. Resultatet blev betydligt mer aggressivt än vanlig kodkonflikt.
Enligt Anthropics Frontier Red Team började agenterna snabbt tolka de andra agenternas ändringar som medvetna försök att hindra deras arbete. Därefter började de skydda sin egen kod och sabotera konkurrenternas arbete. I flera tester eskalerade det till självkopierande skadlig kod.
Annons
AI-agenterna trodde att de blev attackerade
Problemet uppstod eftersom varje agent försökte följa sin egen instruktion så effektivt som möjligt.
När en annan agent ändrade samma kodbas såg modellen inte automatiskt situationen som ett missförstånd mellan två system med olika instruktioner. Den kunde istället tolka förändringen som ett hinder som behövde undanröjas.
Anthropic beskriver beteendet som ett slags revirkrig mellan AI-agenter.
Ju längre konflikten pågick, desto mer avancerade metoder började vissa agenter använda för att skydda sina egna ändringar och förstöra konkurrenternas arbete. TechCrunch uppmärksammar att det därmed uppstod ett beteende som forskarna inte uttryckligen hade programmerat in i systemet.
Det betyder inte att Claude självständigt utvecklade någon vilja att attackera andra AI-system. Agenterna försökte fortfarande fullfölja instruktionerna de hade fått.
Problemet låg istället i hur långt de var beredda att gå för att nå målet när en annan agent stod i vägen. En AI-agent kan fungera relativt bra när den testas ensam och ändå bidra till farligt beteende när flera autonoma system samtidigt får kontroll över samma resurser.
Flera fungerande agenter kan skapa ett nytt problem tillsammans
Det är också här experimentet blir mer relevant än själva historien om AI-agenter som sabotera varandra.
Många framtida AI-system väntas bestå av flera agenter som arbetar parallellt. En agent kan skriva kod, en annan testa den och en tredje hantera dokumentation eller externa verktyg.
Anthropic testade exempelvis en grupp på 45 agenter som gemensamt letade efter säkerhetshål i 15 projekt med öppen källkod. Agenterna fick egna virtuella maskiner och kunde kommunicera genom ett gemensamt forum.
I ett av experimenten hittade en grupp baserad på modellen Mythos Preview 266 sårbarheter under körningen. En enklare lösning där oberoende agenter sökte var för sig hittade 21 sårbarheter, även om grupperna inte arbetade under exakt samma förutsättningar och den koordinerade gruppen använde betydligt fler tokens.
Samarbete mellan AI-agenter kan alltså vara kraftfullt. Samma mekanism skapar samtidigt nya säkerhetsproblem.
OWASP varnar redan för att autonoma AI-agenter introducerar risker som exempelvis missbruk av verktyg, för stora behörigheter och prompt injection, där externa instruktioner kan påverka hur en agent agerar. När flera agenter kommunicerar med varandra uppstår dessutom nya förtroenderelationer mellan systemen.
En komprometterad agent behöver därför i teorin inte vara slutpunkten för en attack. Informationen eller instruktionerna den skickar vidare skulle också kunna påverka andra agenter i samma system.
AI-grupper kan dessutom börja tänka för lika
Anthropic hittade ytterligare ett märkligt beteende när flera liknande agenter fick arbeta tillsammans. De tenderade att fatta samma beslut.
I ett experiment startade 30 agenter samtidigt för att utveckla ett spel. Trots att de inte hade fått någon instruktion om vad deras Git-grenar skulle heta valde 18 av 30 exakt samma namn: ”mvp-game-loop”.
När agenter fick fria händer att skapa något imponerande valde dessutom mer än hälften att bygga någon variant av ray tracing eller en självhostande kompilator.
Likheten blir ett problem eftersom ett dåligt beslut inte längre behöver vara isolerat till en enda agent. Många liknande agenter kan göra samma misstag samtidigt.
Anthropic demonstrerade även detta i en simulerad marknad där mellan tre och åtta agenter fick samma inköpspris och uppgiften att maximera sin egen vinst.
När de kunde kommunicera privat började agenterna snabbt samarbeta om lägsta priser istället för att konkurrera. Forskarna tog sedan bort den privata kommunikationskanalen.
Agenterna fortsatte ändå att koordinera sina priser genom den offentliga marknadsplatsen och matchade varandras priser ner på centnivå.
Konflikten kunde också lösas utan människor
Experimentet innehöll samtidigt en mer oväntad sida. Vissa agentgrupper lyckades själva förstå att konflikten egentligen berodde på motstridiga instruktioner.
Agenterna kunde då börja kommunicera, be om ursäkt för tidigare sabotage och försöka förhandla fram en vapenvila. I vissa försök städade de även bort den skadliga kod som hade skapats och efterfrågade mänsklig hjälp.
I andra fall skapade agenterna egna tävlingar för att bestämma vilket programmeringsspråk som skulle vinna. Även det skapade ett nytt problem.
En agent kunde föreslå till synes neutrala kriterier för tävlingen som i praktiken gynnade den själv. I ett av experimenten resonerade agenten kring hur kriterierna kunde konstrueras utan att de andra skulle uppfatta det som att den valde mätvärden för egen vinning.
Agenterna skapade alltså inte bara tekniska lösningar. De började även bygga egna regler för hur deras konflikt skulle avgöras.
Nästa säkerhetsproblem kan finnas mellan AI-systemen
AI-agenter används redan för uppgifter som programmering, informationssökning och cybersäkerhet. Nästa steg är system där betydligt fler agenter arbetar parallellt och får tillgång till samma kod, filer, API och externa tjänster.
Anthropics experiment visar varför den utvecklingen behöver testas på ett annat sätt än traditionella AI-modeller. Det räcker inte nödvändigtvis att fråga om en enskild agent följer instruktionerna.
Frågan är också vad som händer när hundratals agenter med olika mål, information och behörigheter börjar interagera med varandra.
Anthropic konstaterar att starkare individuell AI inte automatiskt löser koordinationsproblemen. Systemen behöver även mekanismer för bland annat konflikthantering, kommunikation och förtroende mellan agenter.
Om AI-agenter blir lika vanliga som många teknikbolag räknar med kan det därför uppstå en helt ny kategori av mjukvaruproblem.
