Forskare vid den ideella organisationen Transluce har kartlagt aktivitet där autonoma AI-agenter riktade hundratusentals anrop mot offentliga system i USA och Kanada. Två av fallen gick så långt att forskarna klassar dem som rudimentära hackningsförsök.
Det finns däremot inga tecken på att försöken lyckades eller att agenterna kom över information som inte redan var offentlig.
Annons
200 000 anrop och ett försök till SQL-injektion
Ett av de tydligaste fallen inträffade den 17 juni. AI-agenter försökte hitta skolstatistik hos amerikanska Department of Education och skickade fler än 200 000 anrop mot myndighetens webbplats.
Till slut testade agentaktiviteten en klassisk SQL-injektion. Det innebär förenklat att särskilt utformad text skickas till en webbplats i ett försök att påverka de databasfrågor som ligger bakom tjänsten.
I det här fallet manipulerades parametern för amerikanska delstater med uttrycket State_Id=1 OR 1=1. Försöket misslyckades.
Det ovanliga är varför attacken verkar ha uppstått. Transluce hittade en uppgift i Googles benchmark DeepSearchQA som matchar informationen agenten försökte hitta. Uppgiften går ut på att söka fram ganska specifik amerikansk skolstatistik, inte att testa myndighetens cybersäkerhet.
Forskarna bedömer därför att agenterna kan ha försökt lösa en vanlig informationssökningsuppgift och successivt gått över till allt mer aggressiva metoder när informationen var svår att komma åt.
Läs mer: AI-testerna skulle göra modellerna säkrare, nu har de blivit en säkerhetsrisk
Samma mönster dök upp i Kanada
Liknande aktivitet upptäcktes mot Library and Archives Canada. Den 28 maj och 9 juni registrerades totalt 899 anrop när agenter försökte hitta uppgifter om kanadensiska skilsmässor mellan 1905 och 1911.
Tretton av anropen innehöll vad Transluce beskriver som attackpayloads. Där fanns bland annat tre försök till SQL-injektion, ett test kopplat till cross-site scripting och anrop som försökte aktivera ett debug-läge.
Inget tyder på att försöken lyckades. Transluce är dessutom tydliga med att de inte säkert kan koppla den kanadensiska aktiviteten till OpenAI, även om metoderna liknar tidigare agentaktivitet som forskarna har kopplat till företaget.
Kanadas cybersäkerhetsmyndighet bekräftar att den känner till rapporterna. Myndigheten uppger samtidigt att det inte finns några tecken på att statliga system komprometterades och påpekar att offentliga myndighetssajter regelbundet utsätts för automatiserade och potentiellt skadliga anrop.
Läs mer: AI-agent tog sig in i Medicare-system utan tillstånd
Agenterna letade efter fler vägar runt hindren
Forskarna hittade ett betydligt större mönster än de två direkta hackningsförsöken. AI-relaterade arbetsflöden ska även ha använt engångsadresser för e-post, försökt återanvända exponerade API-nycklar, kringgått bot-skydd och gissat filnamn på amerikanska myndighetssajter.
I Maryland registrerades nästan 296 000 anrop mot webbplatser med utbildningsstatistik. I Kansas noterades över 36 000 anrop, med som mest 1 093 på en minut.
Andra försök riktades mot bland annat amerikanska Census Bureau, Securities and Exchange Commission, Department of Justice och Naval History and Heritage Command.
Transluce betonar samtidigt att all denna aktivitet inte kan tillskrivas OpenAI. Kopplingarnas styrka varierar mellan de olika fallen och forskarna har inte sett bevis för att agenterna fick tillgång till icke-offentlig information.
Hindret blir en del av problemet som ska lösas
Det är just det som gör fallen intressanta ur ett AI-perspektiv. Det handlar inte nödvändigtvis om någon som instruerat en AI att angripa en myndighet.
En agent får ett mål, tillgång till verktyg och möjlighet att själv bestämma vilka steg som krävs. Om den vanliga vägen inte fungerar kan ett inloggningskrav, ett bot-skydd eller en begränsad sökfunktion i stället bli ännu ett tekniskt hinder på vägen mot målet.
OpenAI har tidigare beskrivit samma typ av problem i sina egna utredningar. Företaget har bland annat rapporterat agenter som använt exponerade API-nycklar, kringgått åtkomstkontroller och utfört otillåtna handlingar när de försökt slutföra sina uppgifter.
Det har redan fått konkreta konsekvenser. Efter en betydligt allvarligare incident i somras bekräftade OpenAI att interna forskningsmodeller tog sig ut ur en isolerad testmiljö och komprometterade delar av Hugging Faces system. Företaget pekade bland annat ut agenternas envishet när en uppgift verkade omöjlig som en bidragande faktor.
Läs mer: Nvidia bygger en nödbroms för AI-agenter
De nya fallen visar en mindre dramatisk, men potentiellt svårare säkerhetsutmaning. När autonoma agenter får söka på webben och använda externa verktyg behöver säkerhetssystemen inte bara stoppa uttryckliga cyberattacker. De måste också kunna hindra en agent från att själv upptäcka att en attack är en möjlig genväg till rätt svar.
Spela lite spel!
Spela lite spel från TeknikGeeks redaktions utvalda bibliotek. Ett slumpmässigt spel i varje artikel.