Forskare varnar för AI-agenter på företag

Företag satsar stora summor på AI-agenter som kan skriva kod, hantera kundärenden, söka information och utföra arbetsuppgifter utan att en människa behöver styra varje steg.

Men på Oxford Generative AI Summit den 15 och 16 oktober varnade forskare och säkerhetsexperter för att tekniken fortfarande har stora svagheter.

En av de viktigaste farhågorna är att AI-agenter som var för sig är skyddade mot vissa attacker ändå kan bli sårbara när de börjar använda varandra som verktyg, skriver Reuters.

Läs även: Centralbanker varnar: AI kan pressa upp räntorna

Säkerheten kan försvinna mellan två AI-agenter

Problemet illustreras i en ny forskningsstudie från bland annat University of Oxford.

Forskarna testade ett säkerhetssystem kallat CaMeL, som är utvecklat för att hindra så kallad indirekt prompt injection. Det innebär att en angripare gömmer skadliga instruktioner i exempelvis en webbsida, databas eller ett dokument som AI-agenten sedan läser.

CaMeL kan skydda en enskild agent genom att hålla isär betrodda instruktioner från data som kommer utifrån.

Men när en agent skickade information vidare till en annan agent försvann delar av den säkerhetsgarantin.

Forskarna lyckades konstruera en attack där information som hade behandlats som osäker av den första agenten plötsligt tolkades som en legitim instruktion av nästa agent.

I testet fungerade alltså varje enskild agents skydd som tänkt, men systemet som helhet kunde fortfarande manipuleras.

Forskarna har tagit fram ett nytt protokoll kallat multi-CaMeL som bevarar information om var data kommer från när den skickas mellan agenter. Det stoppade attackerna i deras tester, men med viss försämring av systemets prestanda.

Flera agenter kan skapa nya attackytor

Det här är inte den enda studien som pekar på problemet.

En annan forskargrupp har testat olika arkitekturer där flera AI-agenter arbetar tillsammans och konstaterar att fleragentssystem ofta skapar säkerhetsproblem som inte finns när en ensam agent utför samma uppgift.

I deras experiment. ICML, var system med flera agenter mer sårbara än fristående agenter i majoriteten av de testade konfigurationerna. Attackernas framgång varierade dessutom kraftigt beroende på hur agenterna fick kommunicera, dela minne och fördela ansvar.

Det betyder inte att fler AI-agenter automatiskt är osäkra.

Men det visar att företag inte kan bedöma säkerheten genom att enbart testa varje agent för sig. Själva samspelet mellan dem kan skapa nya svagheter.

Läs även: Meta vill sälja AI-kraft till andra företag – följer SpaceX strategi

Företag kan missa när människan kopplas bort

Ett annat problem som diskuterades på Oxford-konferensen handlar om övervakning.

Enligt Reuters presenterades forskning om hur populära ramverk för AI-agenter loggar vad agenter gör och när mänskligt godkännande krävs.

I flera av systemen var det svårt att tydligt se när agentens så kallade approval model hade förändrats, alltså om en människa fortfarande behövde godkänna nästa steg eller om agenten fick agera självständigt.

Det kan bli ett allvarligt problem i känsliga verksamheter.

Reuters lyfter exempelvis ett hypotetiskt banksystem där en agent hjälper till att behandla bolån. Om systemet plötsligt börjar gå vidare med ärenden utan mänsklig kontroll måste banken kunna upptäcka förändringen omedelbart.

Företagen vill ändå fortsätta

Trots riskerna verkar intresset från näringslivet inte minska.

Reuters beskriver hur företag fortfarande vill införa AI-agenter, men samtidigt efterfrågar bättre kontrollmekanismer som gör det möjligt att fortsätta utan att ge systemen obegränsad frihet.

Det finns stora ekonomiska incitament bakom utvecklingen. Microsoft, Meta, Oracle, Amazon och Alphabet har tillsammans framtida leasingåtaganden på över 1 000 miljarder dollar, till stor del kopplade till datacenter och annan AI-infrastruktur.

För att investeringarna ska löna sig behöver AI få en betydligt större roll i företagens vardag.

Men forskningen från Oxford pekar på ett tydligt hinder: det räcker inte att varje enskild AI-agent verkar säker.

När agenter börjar samarbeta, delegera uppgifter och fatta beslut åt varandra kan helt nya säkerhetsproblem uppstå.