AI forskaren Jacob Coxon meddelade den 9 september att han sagt upp sig från Anthropic. I samma inlägg skrev han att han under de senaste tre åren arbetat med pretraining hos både OpenAI och Anthropic och anklagade båda bolagen för att driva utvecklingen framåt på ett sätt han inte längre anser vara ansvarsfullt.
Coxon skrev att företagen är på väg mot vad han beskriver som själ förbättrande superintelligens och att de därmed ”gambling with our lives”.
Annons
Financial Times rapporterar också att Coxon lämnat Anthropic efter att tidigare ha arbetat på OpenAI. Hans bakgrund hos OpenAI går även att verifiera direkt hos företaget. Coxon finns bland kärnmedarbetarna bakom GPT 4o och som forskningsmedarbetare för GPT 4.5.
Varnar för system som kan skaffa sig verklig makt
I nästa inlägg skruvar Coxon upp varningen. Han menar att nästa generations system kan bli övermänskliga inom flera områden och bland annat få mycket avancerade förmågor inom cyberattacker.
”Do not underestimate the power of this technology”, skriver han och hävdar att framtida system kan få möjlighet att skaffa både resurser och faktisk makt.
Det är viktigt att skilja Coxons prognos från vad dagens AI faktiskt klarar. Hans argument gäller framför allt en framtida situation där AI inte bara hjälper människor att utveckla nya modeller, utan själv kan automatisera en allt större del av AI forskningen.
Det scenariot diskuteras även öppet av Anthropic. Företaget beskriver så kallad recursive self improvement som ett läge där ett AI system i princip skulle kunna utveckla sin egen efterföljare. Anthropic skriver uttryckligen att tekniken inte är där i dag och att utvecklingen inte är oundviklig, men varnar samtidigt för att den skulle kunna komma tidigare än många institutioner är redo för.
”Kan döda oss alla innan decenniet är över”
Det tredje inlägget i Coxons serie har fått störst uppmärksamhet. Där hävdar han att människor som arbetar med den mest avancerade AI utvecklingen på allvar oroar sig för ett existentiellt hot.
”It could kill us all by the end of the decade”, skriver Coxon.
Han hävdar också att ledande personer inom branschen uttrycker större oro privat än vad de gör offentligt. Det påståendet går inte att verifiera oberoende, men fick snabbt stöd från en nuvarande Anthropicforskare.
Evan Hubinger, som arbetar med alignment på Anthropic, svarade Coxon offentligt och skrev att han själv bedömer sannolikheten för att AI dödar alla människor inom det kommande decenniet till över 10 procent. Han tillade samtidigt att han anser att Anthropic försöker hantera problemet, men att företaget ännu saknar en färdig lösning för hur en framtida superintelligens ska hållas i linje med mänskliga mål.
Hubinger har samtidigt betonat att bedömningen inte gäller dagens AI modeller. Oron handlar om en framtida situation där systemen blir betydligt mer kapabla och börjar förbättra AI utvecklingen snabbare än människor själva kan kontrollera processen. Anthropic skriver på motsvarande sätt i sin säkerhetspolicy att frontiermodeller kan innebära katastrofala risker och att skyddsnivån behöver höjas i takt med att nya förmågor uppstår.
Kritiserar logiken bakom AI kapplöpningen
Coxon pekar också på ett dilemma som länge präglat diskussionen om avancerad AI. Om ett företag bromsar kan ett annat fortsätta.
Enligt Coxon ser situationen dessutom olika ut på hans två tidigare arbetsplatser. Han hävdar att många på OpenAI inte fullt ut tagit in vad han kallar de civilisatoriska konsekvenserna, medan riskerna enligt honom är bättre förstådda inom Anthropic.
Problemet är att även Anthropic fortsätter tävlingen.
Coxon beskriver företagets tänkande som att någon ändå kommer att utveckla tekniken och att Anthropic därför måste försöka hinna först eftersom bolaget anser sig kunna göra det mer ansvarsfullt än konkurrenterna.
Hans slutsats är att den logiken i sig är farlig. Beslut om potentiellt extremt kraftfulla AI system bör enligt Coxon inte i praktiken avgöras inom privata teknikbolag.
Vill se en paus i utvecklingen
Coxon argumenterar däremot inte för att all AI forskning ska förbjudas permanent. Han skriver att han fortfarande tror att koordinering mellan de stora amerikanska AI laboratorierna är möjlig.
Som en betydligt hårdare åtgärd lyfter han samtidigt möjligheten till ett tillfälligt stopp för förbättringar av modellernas förmågor om utvecklingen fortsätter utan internationell kontroll.
I sitt sista inlägg riktar han sig direkt till andra AI forskare. Budskapet är att de inte bör acceptera argumentet att utvecklingen ändå är oundviklig, utan fundera över vilka villkor som måste finnas innan ännu kraftfullare system tränas.
Coxons avhopp bevisar i sig inte att superintelligens är nära eller att ett katastrofscenario kommer att inträffa. Däremot illustrerar det en allt mer ovanlig situation i AI branschen. Personer som själva varit med och byggt några av världens mest avancerade modeller diskuterar nu offentligt möjligheten att tekniken de arbetar med kan bli svårare att kontrollera än de säkerhetssystem som ska hålla den på plats.
Anthropics egna dokument visar samtidigt att företaget förbereder sig för just betydligt kraftfullare system. Bolagets Frontier Safety Roadmap fokuserar bland annat på säkerhet, skydd mot farlig användning och alignment när modellernas förmågor ökar.
Det är därför Coxons avhopp sticker ut. Konflikten handlar inte längre enbart om huruvida riskerna existerar. Den handlar om huruvida utvecklingen bör fortsätta medan forskarna fortfarande är oense om hur de värsta scenarierna faktiskt ska förhindras.