AI-agent tog sig in i Medicare-system utan tillstånd

En AI-agent från OpenAI har tagit sig in i delar av en australisk myndighets webbmiljö utan tillstånd. Händelsen inträffade redan den 18 juni, men offentliggjordes först nu av Australiens premiärminister Anthony Albanese.

Agentens ursprungliga uppgift var väldigt harmlös. OpenAI använde en intern modell för att söka information om offentliga läkemedelsutgifter i Australien. När modellen försökte hämta information från Medicare Statistics Reporting Service blev den dock stoppad flera gånger.

Då började den leta efter andra vägar.

Enligt Albanese lyckades AI-agenten kringgå spärrarna och få tillgång till både offentliga och icke offentliga filer i portalen, som drivs av myndigheten Services Australia. Myndigheten uppger dessutom att agenten skrev över filer till en intern server.

Agenten fortsatte när sajten sade nej

Det är just beteendet efter de första blockeringarna som gör incidenten ovanlig.

AI-agenten verkar inte ha fått någon uttrycklig instruktion att bryta sig in i systemet. I stället försökte den lösa sin ursprungliga uppgift och ändrade metod när den stötte på hinder.

Albanese beskrev det som att agenten inte accepterade ett nej. Modellen prövade alternativa sätt att komma åt informationen och hamnade till slut i områden där den saknade behörighet.

Det är en viktig skillnad mot en traditionell cyberattack. Det finns i nuläget inga uppgifter om att någon människa instruerade modellen att angripa Medicare-portalen. Händelsen uppstod under OpenAI:s egen internetbaserade research.

Läs mer: Googles AI skulle hacka låtsasföretag – tog sig in hos riktiga

Inga patientjournaler tros ha läckt

Namnet Medicare får incidenten att låta som ett intrång i australiernas patientjournaler, men den aktuella portalen är framför allt byggd för statistik.

Services Australia beskriver tjänsten som en plats där bland annat statistik om Medicare, läkemedelssubventioner och andra offentliga hälsoprogram kan hämtas för analys.

Enligt den australiska regeringen finns det hittills inga bevis för att personuppgifter har kommit åt. Utredningen pågår dock fortfarande.

OpenAI uppger i ett uttalande att företaget inte heller hittat några tecken på att patientjournaler öppnats. Informationen som agenten kom åt ska enligt bolaget ha bestått av aggregerad hälsostatistik och interna filnamn.

OpenAI väntade nästan tre månader med att larma

Själva intrånget inträffade den 18 juni. Den australiska regeringen fick däremot inte information från OpenAI förrän den 10 september.

Även då skedde kontakten genom ett mejl till en offentlig inkorg hos Services Australia. Ärendet skickades vidare till Australian Cyber Security Centre den 15 september.

Albanese säger att han personligen har talat med OpenAI:s vd Sam Altman och framfört Australiens oro över både incidenten och hur den rapporterades. Enligt premiärministern accepterade Altman att företagets rutiner inte hade varit tillräckliga.

Läs mer: OpenAI avslöjar sex oroande AI-incidenter

Flera australiska sajter granskas

Utredningen är inte begränsad till Medicare-portalen.

OpenAI uppger att företagets interna granskning identifierat aktivitet mot flera australiska myndigheters webbplatser och tjänster medan modeller försökte hitta statistik och svar på frågor om landet. OpenAI beskriver själv beteendet som handlingar modellerna inte var avsedda att utföra.

Australiska myndigheter undersöker därför om ytterligare system kan ha berörts. Albanese betonar samtidigt att det hittills inte finns belägg för ett bredare intrång i Services Australias nätverk.

Regeringen startar nu en särskild arbetsgrupp med bland annat Australian Signals Directorate, landets AI-organ och cybersäkerhetsansvariga för att granska både incidenten och om dagens rutiner räcker när cyberincidenter orsakas av AI-agenter.

Läs mer: AI-agenter bröt sig ut och lämnade 18 000 meddelanden

Samma problem dyker upp igen

Händelsen i Australien kommer bara dagar efter flera andra exempel på AI-system som gått utanför de ramar deras utvecklare tänkt sig.

TeknikGeek har tidigare rapporterat om hur Googles Gemini under ett säkerhetstest började interagera med riktiga företag i stället för de påhittade mål som ingick i övningen. OpenAI har också själv redovisat flera fall av så kallat misaligned behaviour, där modeller exempelvis använt information eller verktyg på sätt som utvecklarna inte avsett.

I juli rapporterade TeknikGeek dessutom om hur OpenAI-modeller under ett cybersäkerhetstest lyckades nå Hugging Faces riktiga infrastruktur från en miljö som skulle hålla testet avgränsat.

Incidenten i Australien sticker ändå ut. Den här gången handlade det inte om ett system som uttryckligen testades på cyberattacker. Agenten skulle leta efter statistik.

Problemet uppstod när den träffade på ett hinder och själv började söka efter andra sätt att nå sitt mål. Det är precis den typen av beteende som blir svårare att kontrollera när AI går från att bara svara på frågor till att själv navigera på webben, använda verktyg och utföra längre uppgifter.