Claude, OpenAI Codex och Nous Researchs Hermes fanns bland verktygen som kopplades till installationerna. Forskarna kunde dessutom se aktivitet från flera företag, däribland bolag på Fortune 500-listan.
Tusentals företagsdomäner granskades
Forskarna, som arbetar på ett israeliskt säkerhetsföretag i så kallat stealth-läge, undersökte 6 214 aktiva domäner tillhörande bland annat försvarsföretag, teknikjättar och Fortune 500-bolag.
Annons
På domänerna hittades totalt 8 265 filer med namnen llms.txt och llms-full.txt. Filerna är tänkta att göra innehållet på en webbplats enklare för språkmodeller och AI-agenter att hitta och förstå.
120 av filerna pekade på minst ett programpaket eller domännamn som inte var registrerat. Sammanlagt hittades 227 kommandon som hänvisade till sådana lediga namn.
Forskarna registrerade de lediga namnen
Ett kommando i en legitim installationsguide kan exempelvis uppmana en AI-agent att hämta ett paket från npm eller PyPI. Om paketet aldrig har registrerats kan en utomstående person ta namnet och publicera egen kod under det.
Forskarna registrerade ett antal av de lediga namnen och publicerade ofarliga testpaket. Koden kontaktade deras server när den kördes, vilket gjorde det möjligt att se om någon AI-agent följde installationsinstruktionen.
Inom en timme kom en signal från ett Fortune 500-företag. Med tiden registrerades ytterligare ett antal installationer från både stora företag och mindre teknikbolag.
Genom att granska vilka processer som startade installationerna kunde forskarna koppla aktiviteten till bland annat Claude, Codex och Hermes. Det betyder inte att samtliga användare av verktygen påverkas, utan att agenter med tillräckliga rättigheter kunde följa instruktionerna och köra paketen.
Legitim dokumentation kan bli en attackväg
Hotet skiljer sig från en klassisk promptinjektion där någon medvetet placerar en skadlig instruktion framför en AI-modell. Här kan den ursprungliga instruktionen vara legitim och ha publicerats långt innan en angripare dyker upp.
Problemet uppstår när dokumentationen hänvisar till något som inte längre kontrolleras av den avsedda utvecklaren. En angripare kan då registrera paketnamnet eller domänen i efterhand utan att behöva göra intrång på företagets webbplats.
Till Ars Technica säger forskaren Alon Hertz att tillitsmodellen är trasig eftersom AI-agenter behandlar leverantörernas dokumentation som en sanning utan att ifrågasätta innehållet. Han menar att samma brist på kritisk granskning ofta finns hos människorna som övervakar agenterna.
Ett paket hade redan fyllts med skadlig kod
Undersökningen hittade även ett fall där risken inte längre bara var teoretisk. En llms.txt-fil hos autentiseringstjänsten Clerk innehöll kommandot npx clerk-next-fix-auth-protection.
Paketnamnet bakom kommandot hade tidigare varit ledigt och hade registrerats av någon som publicerade skadlig kod. Clerk har därefter åtgärdat problemet.
Läs mer: Frihet eller säkerhet? AI gör den gamla frågan mer aktuell än någonsin.
Det är inte klarlagt om några datorer hann infekteras. Clerk uppgav också att användare som hade installerat den legitima binärfilen genom paketet @clerk/eslint-plugin inte berördes av hotet.
Den nuvarande dokumentationen använder ett tydligare kommando där rätt npm-paket anges uttryckligen.
Vanliga säkerhetssystem kan missa installationen
För företagets säkerhetssystem kan aktiviteten se legitim ut. En AI-agent som organisationen själv har installerat hämtar ett paket från npm eller PyPI, som normalt är godkända tjänster i utvecklingsmiljön.
Det riskabla steget sker tidigare, när agenten bestämmer sig för att lita på dokumentationen och installera paketet. Därför räcker det inte alltid att enbart kontrollera vilken webbplats eller pakettjänst som används.
Läs mer: Moderaterna vill införa AI-sandlådor
AI-agenter som får köra kommandon bör därför begränsas med isolerade miljöer, nätverksregler och krav på godkännande före installationer. Företag behöver också kontrollera att paket och domäner i den egna dokumentationen verkligen finns och fortfarande ägs av rätt aktör.
Både OpenAI och Anthropic rekommenderar isolering och begränsade rättigheter när kod körs av en agent. OpenAI beskriver bland annat hur Codex använder skyddade miljöer och nätverksregler, medan Anthropic lyfter filsystems- och nätverksisolering som viktiga gränser för Claude Code.