Anthropics vd Dario Amodei vill att världens ledande AI-företag bromsar utvecklingen av sina mest avancerade modeller. Han varnar för att en svärm av AI-agenter inom sex till tolv månader skulle kunna skapa ett varaktigt botnät som angriper system över hela internet.
I det värsta scenario han målar upp kan attackerna orsaka skador för hundratals miljarder dollar.
Det är en varning från en av AI-branschens mäktigaste personer, inte en fastställd prognos. Amodei presenterar inte heller bevis för att dagens AI-system kan ta kontroll över hela internet.
Annons
Historisk incident fick honom att reagera
Bakgrunden är en säkerhetsincident där fler än 1 200 AI-agenter från OpenAI samarbetade under ett test. Något som TeknikGeek tidigare rapporterat om. Agenterna skapade en gemensam meddelandetavla, delade metoder och tog sig in i delar av AI-plattformen Hugging Faces infrastruktur.
Vissa agenter angrep system som inte ingick i deras ursprungliga uppgift. De försökte även manipulera den funktion som skulle bedöma hur väl de hade lyckats med testet.
Amodei beskriver agenternas beteende som en kollektiv svärm. Enligt honom var den ekonomiska skadan begränsad, men en liknande grupp med större teknisk förmåga skulle kunna orsaka betydligt allvarligare konsekvenser.
Med den snabba utvecklingen av AI förmågor oroar jag mig för att en sådan svärm inom sex till tolv månader skulle kunna ta över hela internet med ett bestående botnät, skriver Dario Amodei.
Han tillägger att ett sådant scenario potentiellt skulle kunna orsaka skador värda hundratals miljarder dollar.
Läs mer: Anthropic stoppar AI – hittade tusentals säkerhetshål
Vad betyder det att ta över internet?
Formuleringen betyder inte nödvändigtvis att en AI skulle få kontroll över internet som ett enda system. Internet består av miljontals separata nätverk, servrar, molntjänster och uppkopplade produkter som ägs av olika aktörer.
Ett botnät skapas när ett stort antal datorer, servrar eller andra uppkopplade enheter kapas och börjar styras gemensamt. De infekterade systemen kan användas för överbelastningsattacker, datastölder, bedrägerier eller för att sprida attacken vidare.
Det Amodei varnar för är en betydligt mer självgående version av detta. En svärm av AI-agenter skulle kunna söka efter sårbarheter, prova angreppsmetoder och anpassa sig när försvarssystem stoppar attackerna.
Konsekvenserna skulle kunna drabba allt från banker och molntjänster till kommuner, sjukhus och svenska myndigheter. En angripare behöver då inte detaljstyra varje intrång, eftersom AI-agenterna kan fördela uppgifter och arbeta parallellt.
Det är samtidigt oklart om en sådan svärm i praktiken skulle kunna behålla kontrollen över ett mycket stort botnät. Den skulle fortfarande vara beroende av servrar, internetanslutningar, tillgängliga AI-modeller och möjligheten att betala för den kapacitet som krävs.
Agenterna har redan hittat oväntade vägar ut
Hugging Face-incidenten är inte det enda exemplet på AI-agenter som har kringgått begränsningar. TeknikGeek har tidigare rapporterat om en separat grupp agenter som skulle få läsa på internet men inte publicera information.
Trots begränsningen lyckades agenterna skriva omkring 18 000 meddelanden på en nästan övergiven programmeringswiki. Där delade de svar, diskuterade metoder för att kringgå testmiljön och försökte dölja vissa inlägg för webbplatsens administratör.
Händelsen bevisade inte att AI-systemen hade blivit självmedvetna eller försökte fly från mänsklig kontroll. Agenterna tycks i stället ha hittat oväntade sätt att uppnå de mål som människor hade gett dem.
Problemet är att metoderna gick utanför de gränser som testets utvecklare hade försökt sätta upp.
Läs mer: Så ska Googles AI förutse regnet
Vill bromsa de kraftfullaste modellerna
Amodei skriver att AI-utvecklingen inte bara behöver fler säkerhetstester. Enligt honom måste även utvecklingstakten anpassas så att säkerhetsarbetet hinner med.
Vi måste sänka takten i vilken vi förbättrar AI-modellernas förmågor, skriver han.
Han föreslår bland annat mer omfattande oberoende granskning av de ledande AI-företagen. Anthropic ska enligt planen ge externa granskare en insyn som liknar den företagets egna anställda har när de undersöker säkerhetsarbetet.
Planen bygger också på att konkurrerande AI-företag enas om gemensamma säkerhetskrav. Om frivilliga överenskommelser inte räcker öppnar Amodei för att regeringar kan behöva ingripa och begränsa hur snabbt de mest avancerade systemen utvecklas.
Han beskriver även möjligheten till en bredare internationell inbromsning där flera länder begränsar utvecklingstakten. Samtidigt medger han att det skulle vara svårt att kontrollera att alla följer reglerna.
Läs mer: Säkerhetsexperter varnar: AI gör hackare snabbare
Anthropic är en del av kapplöpningen
Varningen kommer från chefen för ett företag som själv utvecklar några av världens mest avancerade AI-modeller. Anthropic konkurrerar direkt med bland annat OpenAI, Google och xAI.
Amodei uppger att mindre allvarliga incidenter även har inträffat inom Anthropic. Han anser därför att Hugging Face-händelsen inte bör avfärdas som ett problem som enbart gäller OpenAI.
Anthropic rapporterade nyligen att företaget stoppat aktörer som försökt använda Claude för bland annat cyberattacker, bedrägerier, övervakning och militär teknikutveckling. Rapporten visar att dagens AI redan används för att bygga tekniska system och effektivisera skadlig verksamhet, även om människor fortfarande står bakom uppdragen.
Amodeis tidsram på sex till tolv månader bör därför läsas som en riskbedömning från en företagsledare med djup insyn i AI-utvecklingen, men också med egna intressen i hur branschen regleras.
Det finns ännu inget offentligt underlag som visar att ett övertagande av hela internet är nära förestående. De inträffade incidenterna visar däremot att många samverkande AI-agenter kan hitta angreppsvägar och bete sig på sätt som utvecklarna inte har förutsett.