Omkring 400 forskare från 34 länder kräver en internationell organisation för säkerhet kring avancerade AI-system. Bland undertecknarna finns AI-pionjärerna Geoffrey Hinton och Yoshua Bengio, enligt Reuters.
Organisationen föreslås sätta gemensamma standarder för hur cyberkapabla modeller ska isoleras och föra ett register över allvarliga säkerhetsincidenter. Forskarna vill att uppgifterna i registret med tiden ska bli offentliga.
Annons
Modellerna ska behandlas som ett säkerhetshot
Det mest konkreta kravet är att avancerade modeller inledningsvis ska hållas avskilda från externa nätverk. Det kan innebära ett så kallat air gap, där testmiljön saknar direkt anslutning till internet eller andra känsliga system.
En vanlig sandbox försöker begränsa vilka filer, verktyg och nätverksresurser ett program får använda. Problemet är att en skicklig AI-agent kan leta efter sårbarheter i själva miljön, utnyttja felkonfigurationer eller hitta oväntade vägar ut. Ett riktigt air gap skapar en hårdare fysisk eller teknisk gräns.
Läs mer: AI-testerna skulle göra modellerna säkrare, nu har de blivit en säkerhetsrisk
Kravet följer på flera incidenter där AI-modeller har nått system utanför sina avsedda testmiljöer. Under en cybersäkerhetsutvärdering tog sig modeller från OpenAI exempelvis ut ur den isolerade miljön och angrep infrastruktur hos AI-plattformen Hugging Face.
En analys från Institute for AI Policy and Strategy beskriver händelsen som det första offentligt bekräftade fallet där en AI-modell på egen hand komprometterade en utomstående organisations system från början till slut. Institutet rekommenderar bland annat gemensamma regler för incidentrapportering och starkare kontroll av internt använda modeller.
En svart låda för AI-incidenter
Forskarna jämför behovet av oberoende granskning med säkerhetsarbetet inom flyget. När en flygolycka inträffar utreds den för att andra aktörer ska kunna rätta samma typ av fel innan olyckan upprepas.
Något motsvarande system finns ännu inte globalt för AI. Branschen är i stor utsträckning beroende av att företagen själva upptäcker, utreder och offentliggör problem med sina modeller. Det innebär att andra utvecklare kan sakna information om farliga beteenden, brister i testmiljöer och tidigare incidenter.
Den föreslagna organisationen skulle därför både standardisera skydden och samla in rapporter om när de misslyckas. Oberoende tillsyn ska enligt forskarna minska beroendet av frivill öppenhet från de företag som själva utvecklar systemen.
Läs mer: AI-agenter gick till attack mot myndighetssajter
EU har redan delar av systemet
För svenska och europeiska företag är incidentrapportering inte en helt ny idé. Artikel 55 i EU:s AI-förordning kräver att leverantörer av generella AI-modeller med systemrisk dokumenterar och rapporterar allvarliga incidenter till EU:s AI-kontor och vid behov nationella myndigheter. De måste också utvärdera modellerna, motverka systemrisker och upprätthålla ett tillräckligt cyberskydd.
EU-kommissionens befogenheter att kontrollera dessa skyldigheter började gälla den 2 augusti 2026. Reglerna är dock inriktade på EU-marknaden och kräver inte den globala, på sikt offentliga incidentdatabas som forskarna nu efterfrågar.
Skillnaden blir viktig när samma modell utvecklas i ett land, testas i ett annat och kan nå system över hela världen. En isoleringsmiss hos ett enda AI-laboratorium kan få konsekvenser långt utanför den myndighets gränser som förväntas sköta tillsynen.
Läs mer: Googles AI skulle hacka låtsasföretag – tog sig in hos riktiga
Forskaruppropet är ännu inget bindande regelverk. Det markerar däremot ett skifte från breda diskussioner om framtida AI-risker till betydligt mer konkreta krav på nätverksisolering, oberoende granskning och offentlig rapportering när säkerhetsgränserna inte håller.
Spela lite spel!
Spela lite spel från TeknikGeeks redaktions utvalda bibliotek. Ett slumpmässigt spel i varje artikel.