35 000 AI-appar oskyddade – patientdata låg öppet

Säkerhetsföretaget Claroc undersökte 43 551 webbadresser till appar skapade med Groks Build-funktion. Av de 37 571 appar som fortfarande fanns online kunde 35 578, motsvarande 94,7 procent, öppnas utan att forskarna loggade in.

Det betyder däremot inte att alla innehöll känsliga uppgifter. De flesta var enligt forskarna vanliga spel, landningssidor eller enkla verktyg, men bland de öppna apparna fanns också interna företagsdata och personuppgifter.

Patientdata och lösenord låg i öppna appar

Bland exemplen som Claroc kontrollerade manuellt fanns en sjukhusgrupps personallista med över 3 500 anställda och en intensivvårdsrapport med laboratorieresultat, bilddiagnostik och uppgifter om en patients respiratorbehandling.

Forskarna hittade även ett bemanningssystem hos en brandkår med namn, tjänstenummer och arbetstider. I ett annat företags AI-byggda tidrapporteringssystem låg 18 användarkonton och deras lösenord i klartext i kod som skickades till webbläsaren.

Claroc uppskattar efter stickprov att omkring 650 till 800 av apparna kan ha innehållit privat information. Uppskattningen bygger delvis på automatisk klassificering och ska därför inte läsas som ett exakt antal bekräftade läckor.

Läs mer: Hackare jagar ChatGPT och Claude direkt på datorn

Även företaget bakom Grok hade appar öppna

Problemet drabbade inte bara externa användare.

Claroc hittade 24 öppna appar som enligt forskarna hade skapats av anställda hos SpaceXSI, företaget bakom Grok, och X. Där fanns bland annat en intern introduktionsplan för en nyanställd, en försäljningskarta med 594 strategiska kundkonton och flera reklamförslag.

Ett av dokumenten var ett annonsförslag riktat till en amerikansk federal myndighet och var markerat som konfidentiellt. Forskarna hittade även kampanjbudgetar och interna försäljningsdokument.

SpaceXSI tog enligt Claroc bort de 24 apparna efter att företaget informerats om fynden.

Grok publicerade inte apparna automatiskt

Det är en viktig skillnad.

Apparna blev inte automatiskt offentliga bara för att de byggdes med Grok. Användaren måste själv välja att publicera en app.

SpaceXSI uppger också att appar är privata tills skaparen väljer att dela dem. För företagets egna anställda ska inställningen ”Only you” dessutom vara standard.

Clarocs invändning handlar i stället om vad som händer när en vanlig användare väljer att publicera. På det betalkonto forskarna använde var alternativet ”Anyone with the link” redan markerat när publiceringsdialogen öppnades.

Det gjorde appen tillgänglig för alla som hade länken.

Länkarna gick dessutom att hitta

”Alla med länken” kan låta relativt privat, men konstruktionen skapade ytterligare ett problem.

Varje publicerad Grok-app fick en egen adress under domänen grok.me. Claroc kunde hitta tiotusentals sådana adresser genom tjänster som samlar in historiska DNS-uppslag.

Det innebär att en person inte behövde gissa den slumpmässigt skapade länken. Adresser som redan hade använts kunde dyka upp i kommersiella databaser över domännamn.

Forskarna använde den metoden för att hitta apparna och öppnade endast den första sidan utan inloggning. De uppger att de inte försökte ändra information, använda upphittade lösenord eller testa funktioner inne i andra företags appar.

De byggde en egen app för att testa skyddet

För att förstå hur mycket en utomstående faktiskt skulle kunna göra byggde Claroc två egna testappar med påhittad information.

I den första bad forskarna Grok skapa en kontaktlista där uppgifterna skulle sparas så att alla besökare kunde se dem. Appen fick en databas men ingen inloggning, och från ett privat webbläsarfönster kunde forskarna både läsa och lägga till information.

Den andra appen skulle användas av ett försäljningsteam på fyra personer. Grok lade då själv till inloggning med Google och X, men kontrollen av vilka personer som faktiskt tillhörde teamet fungerade enligt forskarna inte.

Ett Google-konto som aldrig blivit inbjudet kunde därför logga in, läsa kunduppgifterna och ändra eller radera information.

Forskarna testade endast den möjligheten på sina egna appar.

AI gör interna verktyg enklare att bygga

Fallet illustrerar en större förändring som följer med så kallad vibe coding och AI-baserade appbyggare.

En anställd behöver inte längre be IT-avdelningen bygga ett internt system. Personen kan beskriva vad som behövs i vanlig text och få en fungerande webbapp med databas på några minuter.

Det kan vara praktiskt för exempelvis scheman, kundlistor, försäljningsverktyg och interna dashboards. Samtidigt kan samma snabbhet göra att frågor om inloggning, behörigheter och datalagring aldrig passerar en traditionell säkerhetsgranskning.

Läs mer: Elon Musks AI-bolag stämda av tidigare anställd

Företag kan få appar de inte känner till

Claroc beskriver problemet som en form av skugg-IT.

En anställd kan bygga ett verktyg direkt i AI-tjänsten utan att installera programvara eller beställa ett nytt system från företagets IT-avdelning. Appen kan dessutom förändras med varje ny instruktion, så ett enkelt verktyg som från början inte innehåller känslig information kan senare börja lagra kunduppgifter eller personaldata.

Forskarna rekommenderar därför företag att kartlägga vilka AI-baserade appverktyg som används, kontrollera publicerade appar från den egna organisationen och testa om de verkligen kräver rätt typ av inloggning.

För användare av Grok är rådet enklare: kontrollera åtkomstinställningen innan en app publiceras. Interna uppgifter bör inte ligga bakom enbart en länk som alla med adressen kan öppna.

Det är en ny typ av säkerhetsproblem där det svåra inte längre är att bygga appen. Det är att se till att bara rätt personer kommer in.