En amerikansk militär operation mot ett kinesiskt fartyg var nära att genomföras efter att en AI-chatbot lämnat felaktiga uppgifter om lasten ombord. Enligt CNN hade beväpnad personal börjat förbereda en bordning och amerikanska militärflygplan befann sig redan i luften när uppgifterna började granskas närmare.
Rapporten hävdade att det kinesiska fartyget transporterade komponenter kopplade till ett kärnvapenprogram genom Mellanöstern. CNN bygger uppgifterna på fyra personer med insyn i händelsen. En av källorna beskriver underrättelserapporten som helt felaktig.
Händelsen inträffade under våren, samtidigt som kriget med Iran pågick. Först strax innan den planerade insatsen upptäckte amerikanska tjänstemän hur rapporten hade skapats och att chatboten hade identifierat fartygets last felaktigt. Operationen stoppades.
Annons
Läs mer: AI-jättarna vill bromsa utvecklingen tillsammans – men kritiker varnar för kartellbildning
AI fick blanda hemliga och öppna uppgifter
Bakom rapporten fanns en analytiker inom amerikanska Special Operations Command. Analytikern ska ha använt en chatbot för att bearbeta underrättelser om det kinesiska fartygets lastmanifest. Uppgifterna hade sitt ursprung hos Special Operations Command Pacific på Hawaii.
Chatboten fick enligt CNN kombinera information från öppna källor med hemlig signalspaning som fanns i amerikanska myndighetssystem. Det var i den processen som modellen drog den felaktiga slutsatsen att lasten innehöll material kopplat till ett kärnvapenprogram. Det är fortfarande oklart vilken AI-modell som användes och om det handlade om en kommersiell tjänst eller ett internt amerikanskt system.
Det här är ett typexempel på en AI-hallucination. Språkmodeller arbetar genom att generera sannolika svar utifrån informationen och sammanhanget de får. De fungerar inte som traditionella databaser som alltid hämtar ett verifierat faktavärde. Resultatet kan därför låta både detaljerat och övertygande även när slutsatsen är fel.
Men i det här fallet fanns ytterligare ett problem.
Samma AI gjorde felet till en trovärdig rapport
Efter analysen ska AI ha använts en gång till. Analytikern lät då tekniken paketera resultatet i formatet för en vanlig underrättelserapport innan den skickades vidare inom militären.
Det innebär att AI först var delaktig i att skapa den felaktiga slutsatsen och därefter hjälpte till att omvandla samma slutsats till ett dokument som såg ut som den typ av rapport militära beslutsfattare normalt arbetar med. TechCrunch beskriver hur den felaktiga informationen sedan kunde röra sig vidare genom befälskedjan innan någon ifrågasatte grunden för den.
Det är en viktig skillnad mot mer vardagliga AI-fel. Problemet var inte bara att chatboten gav ett felaktigt svar. Felet fick formen och språket hos en etablerad underrättelseprodukt och kunde därmed få större trovärdighet när det lästes av personer som inte själva hade sett hur analysen tagits fram.
Läs mer: OpenAI upptäckte modeller som lämnade meddelanden till sina efterföljare
USA skalar samtidigt upp AI i militären
Händelsen kommer samtidigt som den amerikanska försvarsapparaten kraftigt ökar användningen av generativ AI. I januari lanserade försvarsdepartementet en ny AI-strategi där målet uttryckligen är att använda AI inom bland annat underrättelsearbete, beslutsstöd och militära operationer.
Ett av projekten, GenAI.mil, ska ge personal tillgång till avancerade generativa AI-modeller. Strategin omfattar även system för AI-baserat ledningsstöd och snabbare bearbetning av underrättelser.
Försvarsminister Pete Hegseth sa vid lanseringen att USA vill bli en militär organisation där AI används genom hela verksamheten. Strategin lägger särskild vikt vid snabb utrullning och säger att riskerna med att införa tekniken för långsamt kan vara större än konsekvenserna av ofullkomliga AI-system.
Samtidigt har USA sedan tidigare ställt sig bakom principer för ansvarsfull militär användning av AI. En deklaration från 2023 lyfter bland annat mänskligt ansvar, testning av systemen och behovet av att kunna upptäcka och stoppa oväntat beteende. För beslut kopplade till kärnvapen betonas uttryckligen mänsklig kontroll.
Den mänskliga kontrollen kom sent
I det aktuella fallet fanns människor fortfarande kvar i beslutsprocessen. Operationen stoppades när uppgifterna kontrollerades närmare.
Problemet är hur långt informationen hann innan det skedde.
Enligt CNN hade rapporten redan utlöst konkret militär planering. Beväpnad personal förberedde sig för att gå ombord på det kinesiska fartyget och flygplan hade lyft. Special Operations Command Pacific och Pentagon lämnade enligt CNN ingen kommentar till tidningens frågor om händelsen.
Det gör incidenten till ett tydligt exempel på en risk som blir större när generativ AI flyttar från chattfönster och kontorsarbete till system där information snabbt kan påverka verkliga beslut. En hallucination behöver inte själv styra ett vapen för att få militära konsekvenser. Det kan räcka att den producerar fel information som människor därefter behandlar som tillförlitlig.