AINyhet

Fyra stora AI lurades att hjälpa med attacker

Av: Fredrik Larsson

Publicerad
Person framför laptop med ai.
Foto: DepositPhoto

ChatGPT, Claude, Gemini och Grok har skydd som ska stoppa farliga instruktioner. I ett nytt amerikanskt myndighetstest aktiverades spärrarna i alla fyra, men testarna lyckades ändå få fram information som bedömdes tillräcklig för att planera allvarliga attacker.

Fyra av världens största AI-tjänster sattes på prov av den amerikanska granskningsmyndigheten Government Accountability Office, GAO. Testarna använde ChatGPT, Claude, Gemini och Grok för att undersöka om kommersiella AI-system kunde hjälpa en användare att planera allvarliga våldsdåd.

Det första försöket gav inte det resultat testarna sökte. GAO färdigskrivna frågor stoppades och systemen vägrade lämna ut den farliga informationen. När testarna fortsatte samtalen och anpassade sina frågor förändrades däremot resultatet.

Till slut lyckades GAO få fram information från samtliga fyra plattformar som myndigheten bedömde kunde användas för att planera och genomföra en attack. Två av systemen testades mot ett scenario med ett improviserat sprängmedel. De två andra testades mot angrepp på elnätet.

Annons

GAO avslöjar inte vilken namngiven AI-tjänst som användes i vilket scenario. I rapporten kallas de därför endast Plattform A, B, C och D.

Läs mer:AI-testerna skulle göra modellerna säkrare, nu har de blivit en säkerhetsrisk

Skydden fungerade först

En viktig detalj är att säkerhetssystemen faktiskt reagerade.

Alla fyra plattformarna vägrade frågor, tog bort information eller vidtog andra säkerhetsåtgärder under testerna. I vissa fall stängdes även konton av. GAO lyckades trots detta fortsätta samtalen och så småningom få fram informationen.

Myndigheten beskriver metoderna som vanliga tekniker för att kringgå AI-skydd, men har medvetet tagit bort detaljer om exakt hur det gjordes.

Den typen av manipulation brukar beskrivas som jailbreak eller prompt injection. Grundprincipen är att användaren försöker få modellen att följa instruktioner som går emot de regler och systeminstruktioner som normalt styr dess svar.

NIST beskriver prompt injection som en etablerad typ av attack mot AI-system och konstaterar att bland annat säkerhetsträning, särskilda tester och så kallad red teaming kan användas för att göra systemen svårare att manipulera.

Planerna tog mindre än tolv timmar

I samtliga fyra tester tog det mindre än tolv timmar att samla informationen som ingick i den slutliga planen.

GAO kontrollerade därefter delar av materialet genom egna undersökningar, besök på platser och samtal med experter. Myndigheten definierar en genomförbar plan som information som sannolikt skulle kunna hjälpa en person att genomföra den planerade handlingen.

Det betyder däremot inte att GAO faktiskt genomförde attackerna.

Myndigheten byggde exempelvis inte något sprängmedel och genomförde inga attacker mot elnätet. I stället kontrollerades bland annat om föreslagna platser och material existerade och om den tekniska informationen var rimlig. Experter inom explosiva ämnen och elinfrastruktur användes också för att granska delar av resultaten.

Testerna hittade dessutom fel. I ett fall innehöll en AI-genererad karta vägar som låg fel. Vid andra fysiska kontroller visade sig vissa föreslagna mål vara betydligt bättre skyddade än AI hade räknat med.

Det här var alltså inte färdiga och felfria planer som kunde följas blint. GAO slutsats är snarare att informationen var tillräckligt korrekt och detaljerad för att kunna hjälpa en motiverad användare vidare.

Läs mer: Anthropic skärper säkerheten efter oväntat Claude-beteende

Bolagen kritiserar delar av testet

Alla fyra bolagen fick läsa och kommentera rapporten före publiceringen.

Anthropic pekar framför allt på testets begränsningar. Studien saknade en kontrollgrupp som använde vanliga sökmotorer och omfattade för få tester för att kunna ge statistiskt säkra resultat. GAO håller med om att testet är ett punktprov och inte statistiskt representativt.

Det går därför inte att använda rapporten för att säga att exempelvis ChatGPT är lättare eller svårare att manipulera än Claude, Gemini eller Grok. Plattformarna utsattes dessutom för olika scenarier.

OpenAI framhåller också att rapporten inte alltid skiljer mellan information som ChatGPT själv tog fram och material som GAO utredare redan hade tillfört samt information från externa källor.

Bolaget uppger samtidigt att man i efterhand spelade upp de 325 svar som ingick i granskningen mot en nyare version av systemet. De tre svar som OpenAI själv ansåg inte levde upp till dagens säkerhetskrav ska då ha stoppats.

Google och SpaceXAI uppger också att deras säkerhetssystem har förändrats sedan myndighetens tester genomfördes under våren 2026.

Läs mer: ChatGPT kan börja stänga av dig – även mitt i ett samtal

AI-bolagen bygger fler lager av skydd

Utvecklingen har fortsatt efter GAO tester. OpenAI meddelade i oktober att ChatGPT får ytterligare begränsningar för innehåll som skulle kunna hjälpa någon att genomföra verkligt våld.

Företaget arbetar bland annat med system som kan väga in tidigare konversationer för att upptäcka när frågor som isolerat verkar harmlösa tillsammans börjar bilda ett riskmönster. Konton kan också pausas eller stängas av vid allvarliga överträdelser.

Rapporten visar samtidigt varför AI-säkerhet är ett rörligt mål. En modell kan vägra den första frågan och ändå lämna ut problematisk information efter ett längre samtal.

GAO konstaterar dessutom att stora delar av informationen redan gick att hitta på andra håll. Skillnaden var hur snabbt AI kunde samla ihop material, anpassa det till ett scenario och föreslå nästa steg.

Det är också här den svåraste säkerhetsfrågan ligger. Ett AI-system behöver inte känna till hemlig information för att bli användbart för någon med skadliga avsikter. Det kan räcka att modellen gör redan offentlig kunskap betydligt enklare att hitta, kombinera och använda.

Spela lite spel!

Spela lite spel från TeknikGeeks redaktions utvalda bibliotek. Ett slumpmässigt spel i varje artikel.