Microsofts nya AI krossar läkarna i tester: 83 mot 36 procent

Microsoft har presenterat nya forskningsresultat för sitt medicinska AI-system MAI-DxO, som kan analysera symtom, föreslå undersökningar och stegvis arbeta sig fram till en diagnos. I ett test med 304 komplicerade patientfall från den medicinska tidskriften The New England Journal of Medicine fick systemet rätt i 83 procent av fallen.

Läkarna som deltog i jämförelsen nådde 36 procent när de fick använda medicinsk litteratur och internet. Utan dessa hjälpmedel sjönk deras resultat till 22 procent. Det innebär att Microsofts AI presterade mer än dubbelt så bra som läkarna med tillgång till referensmaterial.

Resultaten presenterades den 22 oktober i samband med att forskningen publicerades i den vetenskapliga tidskriften Science.

Läs mer: Ny AI kan förutsäga cancerpatienters överlevnad med en selfie

Flera AI-läkare samarbetar om diagnosen

Till skillnad från en vanlig AI-chattbot bygger MAI-DxO inte på att en enda språkmodell får en fråga och direkt levererar ett svar.

Microsoft använder i stället ett system med flera AI-agenter som fungerar ungefär som ett digitalt läkarteam. Agenterna föreslår möjliga diagnoser, ifrågasätter varandras slutsatser och bedömer vilka ytterligare undersökningar som behövs.

Om en patient exempelvis uppvisar feber och andningsbesvär kan systemet börja med att samla in mer information om symtomen. Därefter kan det föreslå blodprover eller röntgenundersökningar och använda resultaten för att avgöra vilken diagnos som är mest sannolik.

Tekniken kallas Diagnostic Orchestrator, där en överordnad funktion samordnar de olika AI-agenternas arbete.

Systemet kan använda språkmodeller från flera olika utvecklare. Microsoft har bland annat testat lösningen tillsammans med modeller från OpenAI, Google, Anthropic, Meta och DeepSeek.

Enligt TechCrunch visar resultaten samtidigt att en stor del av systemets diagnostiska förmåga kommer från de underliggande språkmodellerna. Microsofts samordning av AI-agenterna förbättrar resultaten ytterligare, men hur stor förbättringen blir varierar mellan olika modeller och patientfall.

AI:n presterade bättre även på akutfall

Microsoft har inte enbart testat tekniken på ovanliga och särskilt komplicerade sjukdomsfall.

Forskarna använde även patientfall från MIMIC-IV-ED, en databas med information från amerikansk akutsjukvård. Där uppnådde AI-systemet 80 procents diagnostisk träffsäkerhet, jämfört med 47 procent för läkarna i jämförelsen.

Det är en viktig skillnad eftersom många tidigare medicinska AI-tester framför allt har fokuserat på teoretiska kunskapsprov. Där får AI-modeller ofta all information på en gång och behöver bara välja rätt svar.

Microsofts nya testmetod, SDBench, försöker i stället efterlikna själva diagnostiseringsprocessen. Systemet får begränsad information från början och måste själv avgöra vilka frågor och undersökningar som behövs för att komma vidare.

Forskarna har dessutom undersökt hur mycket de föreslagna undersökningarna skulle kosta. I vissa testkonfigurationer kunde AI:n nå hög diagnostisk träffsäkerhet till mindre än halva den uppskattade undersökningskostnaden jämfört med de system som användes som referens.

Det handlar dock om simulerade kostnader, inte dokumenterade besparingar på riktiga sjukhus.

Läs mer: AI kan göra vården dyrare – försäkringsbolag varnar för miljardkostnad

Resultaten betyder inte att AI är bättre än alla läkare

Trots de imponerande siffrorna finns det viktiga begränsningar.

Läkarna i jämförelsen var framför allt allmänläkare och internmedicinare. De mest komplicerade patientfallen hanteras i verkligheten ofta av specialistläkare eller team med flera olika medicinska kompetenser.

Microsoft har alltså inte visat att AI-systemet är bättre än de specialistteam som normalt skulle utreda motsvarande patienter.

En annan begränsning är att testerna bygger på redan dokumenterade patientfall. Det är något annat än att möta en verklig patient, tolka osäkra symtom och fatta beslut under tidspress.

Reuters rapporterar att forskningen är ett steg mot AI-system som kan arbeta mer likt läkare, men att resultaten fortfarande behöver prövas i kliniska miljöer.

Nu ska AI:n testas på riktiga sjukhuspatienter

Microsoft har inlett ett samarbete med Beth Israel Deaconess Medical Center i Boston för att undersöka hur MAI-DxO fungerar i verklig sjukvård.

I den planerade studien ska patienter kunna interagera direkt med AI-systemet samtidigt som de får sedvanlig vård. Forskarna ska sedan jämföra AI:ns bedömningar med läkarnas självständiga slutsatser.

Microsoft arbetar även tillsammans med Mayo Clinic för att utveckla medicinska AI-system som kan hantera mer omfattande patientinformation och stödja vården över tid.

Läs mer: Ny AI kan bli behandling mot vanliga sjukdomen

Microsofts långsiktiga ambition är att utveckla vad företaget kallar medicinsk superintelligens. Det innebär AI-system som inte bara kan ställa diagnoser, utan även bidra till behandlingsbeslut och samordning av vård.

Men innan tekniken kan få en större roll i sjukvården måste forskarna visa att de goda testresultaten också leder till bättre och säkrare vård för riktiga patienter.

Först då går det att avgöra om Microsofts AI kan bli lika imponerande på sjukhuset som den redan är i forskarnas tester.