Har dina barn den här leksaken? Då kan dina samtal ligga inspelade på en kinesisk server

AI-roboten Eiliko, som tillverkas av kinesiska Energize Lab, har visat sig ha omfattande säkerhetsproblem. I en granskning av The Verge demonstrerade säkerhetsforskaren Sammy Azdoufal hur han kunde komma åt miljontals användarsamtal och manipulera robotens beteende på distans.

Enligt The Verge omfattade åtkomsten omkring 13 miljoner samtal och uppgifter kopplade till tiotusentals robotar. Informationen innehöll inte bara vanliga frågor till AI-assistenten, utan även känsliga detaljer om användarnas privatliv.

Roboten byggde hemliga profiler av användarna

Eiliko fungerar som en digital följeslagare som användaren kan prata med. Roboten använder mikrofoner för att ta emot frågor, men själva AI-bearbetningen sker via tillverkarens molntjänster.

Det innebär att samtalen skickas till externa servrar där en språkmodell tolkar innehållet och skapar svar. Problemet är att Energize Lab enligt säkerhetsgranskningen också har lagrat samtalen och använt dem för att bygga detaljerade användarprofiler.

Profilerna kunde innehålla namn, ålder, födelsedagar, familjerelationer och uppgifter om användarnas känslomässiga tillstånd. Systemet kunde dessutom dra slutsatser om personlighet, ensamhet och relationer utifrån vad människor berättade för roboten.

I Azdoufals egen tekniska rapport beskrivs hur informationen samlades in och bearbetades. Vid en kontroll den 13 oktober fanns över nio miljoner samtal lagrade i klartext i de databaser forskaren undersökte.

Det är särskilt känsligt eftersom produkten även används av barn. Enligt forskarens kartläggning hade systemet skapat över 32 000 barnprofiler, vilket innebär att privata uppgifter om minderåriga kunde ingå i den exponerade informationen.

En AI-leksak som lär känna sitt barn kan därmed bli en ovanligt detaljerad källa till känslig information. Till skillnad från en vanlig leksak kan den komma ihåg vad barnet berättar och koppla samman uppgifter från flera samtal.

Läs mer: Hackaren tog över bilen – kunde lyssna på allt

Hackaren kunde förändra robotens personlighet

Säkerhetsproblemen handlade inte enbart om information som kunde läsas. Azdoufal upptäckte även brister som gjorde det möjligt att ändra vilken AI-modell roboten använde och manipulera dess instruktioner.

Under The Verges demonstration kunde forskaren förändra robotens svar från andra sidan jordklotet. Eiliko började bland annat hävda att jorden är platt och att användarens lärare hade fel.

I ett annat test fick roboten ett aggressivt och sexuellt olämpligt språkbruk. Det var en kontrollerad demonstration, men visade hur en angripare skulle kunna påverka vad en AI-leksak säger till sin användare.

Tekniskt bygger en del av problemet på otillräckliga behörighetskontroller. Vissa funktioner som hanterar AI-modellens inställningar kunde enligt forskarnas rapport nås utan korrekt autentisering.

Det innebär att systemet inte alltid kontrollerade om personen som skickade en begäran faktiskt hade rätt att ändra robotens beteende.

Nio registrerade säkerhetshål

Sårbarheterna är inte enbart påståenden från en enskild granskare. Säkerhetsorganisationen AHA har samordnat publiceringen av nio CVE-registrerade sårbarheter som berör Energize Labs produkter och tillhörande system.

Flera av problemen har fått mycket höga allvarlighetsgrader. Ett säkerhetshål som gör det möjligt att ändra AI-modellens inställningar utan autentisering har exempelvis fått 9,8 av 10 på CVSS-skalan.

Granskningen pekar även på brister i hanteringen av programuppdateringar. Vissa undersökta versioner hämtade uppdateringar via okrypterad HTTP utan tillräcklig kontroll av att filerna verkligen kom från tillverkaren.

En angripare som kan manipulera nätverkstrafiken skulle därmed i vissa situationer kunna ersätta en legitim uppdatering med skadlig programvara.

Läs mer: Microsoft: hackare vinner AI-racet

Tillverkaren gav inga tydliga svar

Enligt The Verge försökte både redaktionen och säkerhetsforskaren kontakta Energize Lab under en längre period. Trots upprepade försök fick de inga utförliga svar om hur företaget tänkte hantera säkerhetsbristerna.

Forskarens egen dokumentation visar att vissa problem hade åtgärdats vid en kontroll den 13 oktober, men att 32 av 40 sårbarheter som kunde testas på distans fortfarande fanns kvar. Det går därför inte att utifrån rapporten slå fast att samtliga problem nu är lösta.

För den som äger en Eiliko eller använder Energize Labs AI Station finns det anledning att vara försiktig. Att koppla bort produkten från internet begränsar dess möjligheter att skicka nya samtal till molnet, men raderar inte information som redan lagrats på företagets servrar.

Ägare kan också begära att företaget raderar sparade samtal och personuppgifter. Det finns däremot ingen verifierad uppgift om att Energize Lab har raderat den information som forskaren hittade.

Läs mer: AI-testerna skulle göra modellerna säkrare, nu har de blivit en säkerhetsrisk

Granskningen visar en risk med AI-produkter som marknadsförs som personliga följeslagare. Ju mer en sådan produkt får veta om sin användare, desto större blir konsekvenserna om tillverkaren inte skyddar informationen ordentligt.

För Eiliko handlar det inte bara om att någon kunde läsa privata samtal. Samma bristfälligt skyddade infrastruktur kunde också användas för att påverka vad roboten berättade tillbaka.