Astra använder en teknik som kallas recurrent depth, även beskriven som en loopad transformer. OpenAI har ännu inte offentligt bekräftat arkitekturdetaljen, men uppgifterna har snabbt väckt en diskussion bland forskare som arbetar med AI-säkerhet.
Modellen behöver inte skriva ut varje steg
Vanliga resonemangsmodeller kan använda långa sekvenser av mellanliggande steg innan de lämnar sitt slutliga svar. Delar av dessa resonemang kan sedan analyseras för att leta efter tecken på exempelvis manipulation, försök att kringgå instruktioner eller andra oönskade beteenden.
Annons
Recurrent depth fungerar annorlunda. I stället för att hela tiden skapa nya textbaserade resonemang kan modellen låta information passera genom samma delar av det neurala nätverket flera gånger. Resonemanget sker då delvis i modellens interna representationer innan nästa synliga text produceras.
Tekniken är inte unik för OpenAI. Forskare har under året visat att recurrent-depth-transformers kan låta en modell utföra fler interna iterationer och lösa djupare resonemangsproblem utan att motsvarande mängd resonemang först måste skrivas ut som text.
Det finns en tydlig teknisk lockelse. Fler interna iterationer kan göra det möjligt att lägga mer arbete på svåra frågor utan att svaret måste fyllas med tusentals extra tokens. För användaren kan det på sikt betyda snabbare eller effektivare avancerat resonemang.
Men samma egenskap skapar säkerhetsproblemet.
OpenAI vill samtidigt kunna läsa modellernas resonemang
OpenAI har själv beskrivit så kallad chain-of-thought-monitorering som ett potentiellt viktigt säkerhetsverktyg. Genom att analysera modellens mellanliggande resonemang kan ett separat system försöka upptäcka om modellen är på väg att göra något farligt innan resultatet når användaren eller en ansluten tjänst.
I mars presenterade OpenAI exempelvis CoT-Control, ett testpaket som undersöker hur väl resonemangsmodeller kan kontrollera sina egna synliga resonemang. Företaget konstaterade samtidigt att dessa spår kan innehålla värdefulla säkerhetssignaler.
Det är här recurrent depth blir kontroversiellt.
Om en allt större del av modellens problemlösning flyttas från text till interna numeriska representationer finns mindre information för sådana övervakningssystem att läsa. Det betyder inte automatiskt att modellen blir farligare, men ett av verktygen för att upptäcka problem riskerar att bli svagare.
TechCrunch rapporterar att OpenAI endast ska använda tekniken i begränsad omfattning i Astra och att modellen fortfarande förväntas producera ett läsbart resonemang. OpenAI-chefen Jakub Pachocki har också betonat att bevarad möjlighet att övervaka chain of thought är ett centralt mål för företagets forskning.
Astra gör frågan betydligt mer konkret
Diskussionen kommer dessutom vid ett känsligt tillfälle för OpenAI. Företaget meddelade den 1 september att Astra når den högsta cybernivå som hittills aktiverats inom OpenAI:s Preparedness Framework.
Enligt företaget kan modellen, med rätt verktyg och åtkomst, hitta tidigare okända säkerhetshål och utveckla metoder för att utnyttja dem i väl skyddade system utan att en människa behöver styra varje enskilt steg.
Det gör frågan om övervakning mer än teoretisk. Ju mer självständigt en modell kan arbeta med kod, datorer och externa verktyg, desto större blir värdet av att kunna upptäcka ett problem medan modellen fortfarande arbetar och inte först efter att den har utfört en handling.
Samtidigt är det viktigt att skilja på vad som är känt och vad som fortfarande bygger på rapportering. OpenAI har offentligt beskrivit Astras avancerade cyberförmågor och sina planer för övervakning och skydd. Företaget har däremot inte i sitt eget Astra-material beskrivit recurrent depth som en del av modellens arkitektur.
Därför går det ännu inte att säga hur stor del av Astras resonemang som faktiskt sker på det här sättet.
Men utvecklingen pekar mot en större konflikt inom nästa generation AI-modeller. Tekniker som gör det möjligt för modeller att tänka längre utan att skriva ut varje mellanliggande steg kan vara mycket attraktiva för att förbättra prestandan.
För säkerhetsforskare kan samma utveckling innebära att framtidens mest kapabla AI-system också blir svårare att granska medan de arbetar.