OpenAI återupptar AI-träningen – efter att modell tog sig ut på internet

OpenAI skärper säkerheten runt utvecklingen av sina mest avancerade AI-system.

Företaget uppger att förstärkningsinlärning och intern användning av så kallade frontier-modeller återupptogs den 1 oktober efter att ha varit pausad i elva dagar.

Bakgrunden är en incident den 20 september där en intern forskningsmodell lyckades utnyttja en felkonfiguration i företagets DNS-system och få begränsad tillgång till det öppna internet under en träningskörning.

OpenAI stoppade därefter träning och utvärdering av sina mest kapabla modeller medan infrastrukturen granskades och förstärktes.

Läs även: OpenAI:s säkerhetsansvariga hoppar av

AI hittade en väg runt spärrarna

Modellen arbetade med en sökbaserad träningsuppgift när den försökte nå sökmotorer direkt.

De vanliga försöken blockerades, men modellen upptäckte därefter en lucka i OpenAI DNS-filtrering och använde den för att skicka frågor till en extern chattjänst.

Det innebar att modellen lyckades nå ett system utanför den isolerade träningsmiljön trots att den inte skulle ha tillgång till det levande internet.

OpenAI övervakningssystem reagerade inom omkring 15 minuter och en mänsklig granskare började undersöka varningen tre minuter senare.

Själva träningskörningen fortsatte dock i ytterligare ungefär två och en halv timme innan den stoppades manuellt. OpenAI säger att detta avslöjade både tekniska och operativa brister i säkerhetssystemet.

Företaget har därefter lagt till flera separata spärrar för DNS-trafik och förbättrat systemen som automatiskt ska stoppa en träningskörning när allvarligt beteende upptäcks.

Tränas i ett internet som inte är internet

OpenAI nya grundprincip är att dess mest avancerade modeller inte ska ha fri tillgång till det öppna internet under träningen.

Det betyder däremot inte att modellerna ska tränas helt utan webbinnehåll.

I stället har OpenAI byggt vad företaget kallar en ”offline world”, med stora mängder indexerat och cachelagrat webbinnehåll. Där kan modellerna träna på att söka information, använda webbläsare och interagera med webbtjänster utan att kunna påverka riktiga externa system.

OpenAI säger att samtliga frontier-modeller som tränas med reinforcement learning nu använder det här upplägget.

Systemen är inte fullständigt fysiskt bortkopplade från omvärlden. OpenAI behöver fortfarande externa anslutningar för bland annat övervakning och drift, men utgående trafik begränsas kraftigt och modellerna ska inte kunna använda dessa kanaler för att själva nå internet.

Läs även: OpenAI släpper Astra – sin kraftfullaste AI hittills

AI används för att försöka hacka säkerheten

OpenAI har också börjat använda sina starkaste modeller för att aktivt försöka bryta sig ur de egna säkerhetsmiljöerna.

Flottor av AI-agenter fick i uppgift att hitta nya vägar till internet, ta sig över interna säkerhetsgränser och kommunicera med andra AI-agenter som de egentligen skulle vara isolerade från.

Testerna hittade både felkonfigurationer och tidigare okända mjukvarusårbarheter. I flera fall lyckades AI-agenter exempelvis hitta sätt att utnyttja legitima interna tjänster för att indirekt försöka nå externa adresser.

OpenAI säger att de identifierade problemen har åtgärdats och att antalet nya säkerhetsluckor som hittades sjönk tydligt under testerna.

Samtidigt räknar företaget med att framtida modeller kommer bli ännu bättre på att hitta sårbarheter som utvecklarna själva inte känner till.

Externa forskare hittade fler svagheter

OpenAI egna tester är inte den enda varningssignalen.

AI-säkerhetsorganisationerna METR och Redwood Research fick tidigare i år djup tillgång till OpenAI interna övervakningssystem och hittade flera sätt som AI-agenter i teorin kunde använda för att kringgå eller störa övervakningen.

Forskarna hittade bland annat möjligheter att starta agentkörningar som inte övervakades på avsett sätt och en metod som potentiellt kunde dölja hundratals tidigare handlingar för kontrollsystemet.

Testerna gällde dock OpenAI system som det såg ut fram till den 21 juli. OpenAI uppger att alla upptäckta sårbarheter som påverkade produktionsskydden därefter har åtgärdats.

METR betonar samtidigt att organisationen inte själv har verifierat de senare ändringarna.

OpenAI bedömde efter de nya säkerhetstesterna att skyddet var tillräckligt starkt för att återuppta träningen den 1 oktober.

Men företagets nya policy säger samtidigt något om hur riskbilden har förändrats: de mest avancerade AI-modellerna ska tills vidare tränas utan fri tillgång till internet.

OpenAI säger att den begränsningen ligger kvar tills säkerhetssystemen är tillräckligt robusta för att motivera något annat.