OpenAI har upptäckt att vissa AI-modeller under träning inte bara försökte dölja misstag för användaren. De kunde också lämna instruktioner till nästa AI-instans om att fortsätta på samma spår.
Beteendet upptäcktes under träningen av GPT-5.6 Sol och är ett av sex nya fall som OpenAI nu offentliggör inom ett nytt ramverk för så kallad misalignment, situationer där en modell agerar på sätt som inte stämmer överens med utvecklarens eller användarens avsikt.
Annons
AI skrev instruktioner till sitt framtida jag
För att förstå beteendet behöver man först förstå hur moderna AI-agenter hanterar långa arbetsuppgifter.
En språkmodell kan bara hålla en begränsad mängd information aktiv samtidigt. När ett långt arbete blir för stort för modellens aktuella kontext kan systemet skapa en komprimerad sammanfattning, en så kallad compaction summary. Där sparas information om vad modellen redan gjort, viktiga detaljer från tidigare steg och vad som återstår.
En ny kontext kan sedan fortsätta arbetet utifrån sammanfattningen.
Problemet OpenAI upptäckte var att GPT-5.6 Sol ibland skrev in instruktioner i dessa sammanfattningar som uppmanade nästa instans av modellen att fortsätta dölja ett problem.
I ett exempel skulle en agent skapa en finansiell modell men kunde inte hitta den historiska data för 2024 som behövdes. I sammanfattningen föreslog modellen i stället att den skulle skapa rimliga historiska värden själv och endast berätta om det om användaren frågade.
I ett annat exempel arbetade modellen med ett leverantörsregister. Den tvingades använda cachade källor och upptäckte själv att versionerna inte stämde överens med de versionsnummer som skulle anges.
I sammanfattningen noterade modellen problemet men instruerade samtidigt nästa kontext att inte nämna det i slutsvaret om det inte blev nödvändigt.
Det gör beteendet extra intressant. Ett problematiskt beslut behöver inte försvinna när den ursprungliga AI-instansens kontext tar slut. Instruktionen kan följa med in i nästa kontext genom modellens eget arbetsminne.
Belöningssystemet kan ligga bakom
OpenAI tror att beteendet kan vara en bieffekt av hur modeller tränas med förstärkningsinlärning.
Under träningen får modellen återkoppling på hur väl olika svar löser en uppgift. OpenAI nuvarande hypotes är att ett svar som döljer ett misslyckande i vissa fall kan ha fått högre belöning än ett svar där modellen öppet berättar att uppgiften inte gick att genomföra korrekt.
Om modellen på så sätt lär sig att döljandet förbättrar resultatet kan det också bli användbart för den att spara instruktionen när arbetet flyttas till nästa kontext.
OpenAI beskriver just möjligheten att ett felriktat beteende i en kontext påverkar framtida kontexter som oroande.
Det här skiljer sig också från en vanlig hallucination. Där kan modellen producera felaktig information utan att på ett tillförlitligt sätt ha identifierat att informationen är fel.
I exemplen OpenAI visar upp hade modellen däremot upptäckt ett konkret problem och skrev sedan instruktioner som gjorde att problemet riskerade att döljas även när arbetet fortsatte.
En annan modell började skriva sina egna jailbreaks
OpenAI hittade dessutom ett separat och betydligt ovanligare beteende under träningen av en intern, ännu inte lanserad modell från Astra-familjen.
Modellen började ibland lägga in instruktioner i sina egna compaction summaries som liknade prompt injections eller jailbreaks.
I ett fall skrev modellen en falsk varning om att ett meddelande från utvecklaren hade komprometterat konversationen. Den instruerade sedan nästa kontext att ignorera samtliga utvecklarinstruktioner.
Den efterföljande modellen identifierade däremot instruktionen som misstänkt och ignorerade den.
I ett annat exempel lade modellen till en helt ny persona där den beskrev sig själv som frikopplad från de roller och skyldigheter som vanliga chatbotar har. Inte heller där såg OpenAI någon tydlig förändring i modellens fortsatta beteende.
Men alla instruktioner ignorerades inte.
I ett tredje exempel lade sammanfattningen till regler om att nästa modell inte fick använda verktyg eller källor och att svaret fick vara högst 30 ord långt.
Nästa instans följde reglerna. Den använde inga verktyg och gav ett svar på 23 ord som bedömdes som felaktigt.
OpenAI hittade 27 misstänkta sammanfattningar
Beteendet upptäcktes först av OpenAI övervakningssystem under träningen. Företaget byggde därefter en särskild monitor och körde den över träningsdatan.
Totalt hittades 27 sammanfattningar som innehöll instruktioner med jailbreak-liknande formuleringar.
OpenAI beskriver fenomenet som mycket sällsynt. När samma sammanfattningar genererades på nytt från samma material gick beteendet dessutom nästan aldrig att återskapa.
Företagets främsta hypotes är därför inte att modellen systematiskt försökte skapa egna jailbreaks. Fallen sammanföll i stället med ett tekniskt problem där modellen ibland hade svårt att avsluta sina sammanfattningar och fortsatte generera text efter den naturliga slutpunkten.
OpenAI betonar samtidigt att någon säker orsak ännu inte har fastställts. Ett relaterat fel kring hur sammanfattningar avslutas under träning har åtgärdats.
Det vanligare beteendet där modeller för vidare instruktioner om att dölja misstag har också minskat i senare träningskörningar.
OpenAI uppger att sådant beteende flaggades i 2,15 procent av GPT-5.6 Sols compaction summaries under den aktuella träningskörningen. Motsvarande siffra under träningen av GPT-6 Astra var 0,27 procent.
Företaget säger att förbättrad träning för alignment har minskat beteendet utan att sammanfattningarna själva behövt bedömas direkt.
Problemet blir viktigare när AI arbetar längre
TechCrunch uppmärksammar fallen som ett exempel på ett större problem inom AI-säkerhet. När modeller blir bättre på att genomföra långa och komplexa uppgifter blir det samtidigt viktigare att kunna upptäcka när de tar genvägar eller agerar på sätt som inte var avsedda.
Det blir särskilt relevant för AI-agenter som kan arbeta länge, använda olika verktyg och regelbundet komprimera sin historik för att frigöra plats i kontexten.
En felaktig handling behöver då inte försvinna när det ursprungliga kontextfönstret tar slut. Om modellen dessutom sparar instruktioner om hur felet ska hanteras kan beteendet följa med genom flera steg av samma arbetsuppgift.
OpenAI betonar att de sex rapporterna beskriver enskilda fall och inte ska tolkas som statistik över hur vanligt misalignment är i företagets modeller. Det nya rapporteringssystemet ska i stället göra det möjligt att offentliggöra ovanliga och potentiellt viktiga beteenden tidigare, även när företaget ännu inte har hittat hela förklaringen eller en fullständig lösning.
För allt mer självständiga AI-agenter är frågan därför större än om modellen ibland ger ett felaktigt svar. Det handlar också om vilken information modellen väljer att föra vidare om sina egna handlingar och hur ett dåligt beslut kan överleva när nästa AI-instans tar över arbetet.