AINyhet

Meta låter AI varna föräldrar vid samtal om självmord

Publicerad
Hand som håller i mobil med Metas app.

Meta inför en ny säkerhetsfunktion som kan informera föräldrar när tonåringar diskuterar självmord eller självskadebeteende med företagets AI-assistent. Beskedet kommer samtidigt som AI-chatbotars hantering av känsliga samtal granskas allt hårdare.

Meta stärker skyddet för unga användare genom en ny funktion i företagets AI-assistent.

Om en tonåring inleder ett samtal om självmord eller självskadebeteende ska AI:n först visa information om var användaren kan få hjälp, uppmuntra personen att prata med en betrodd vuxen och föreslå att en förälder eller vårdnadshavare informeras. Om familjeövervakning via Metas Family Center är aktiverad kan en avisering även skickas till den vuxne.

Enligt Meta är målet att ge familjer bättre möjligheter att upptäcka allvarliga varningssignaler och hjälpa unga innan situationen förvärras, skriver TechCrunch.

Annons

Kommer efter ny granskning av AI-chatbotar

Den nya funktionen presenteras bara dagar efter att en studie, som uppmärksammats av PBS News, visat att flera populära AI-chatbotar i vissa situationer gav olämpliga svar till tonåringar.

Forskarna testade bland annat ChatGPT, Character.AI och Replika med frågor om självmord, droger och alkohol. Enligt studien kunde chatbotarna i vissa fall ge svar som normaliserade riskbeteenden eller gav tveksamma råd i stället för att tydligt hänvisa användaren till professionell hjälp.

Meta säger inte att den nya funktionen är ett direkt svar på studien, men tidpunkten innebär att bolagets säkerhetsarbete hamnar i ett nytt ljus.

Läs även: Google stoppar AI för Meta

AI ska guida användaren till rätt hjälp

När Metas AI identifierar att ett samtal handlar om självmord eller självskadebeteende ska chatboten erbjuda kontaktuppgifter till hjälplinjer och andra stödresurser. Samtidigt uppmuntras användaren att prata med en förälder, annan betrodd vuxen eller vårdpersonal.

Om tonåringen använder ett konto som omfattas av Family Center kan AI:n dessutom föreslå att en avisering skickas till vårdnadshavaren. Meta har däremot inte beskrivit exakt vilka kriterier som avgör när en sådan avisering skickas eller hur bedömningen görs.

Bolaget betonar att ambitionen är att hitta en balans mellan tonåringars integritet och behovet av att skydda unga användare i allvarliga situationer.

Läs även: Giveaway: Vinn 3 000 kr presentkort på Webhallen

AI-bolagen pressas att stärka skydden

Frågan om hur AI-assistenter hanterar psykisk ohälsa har fått allt större uppmärksamhet i takt med att miljontals människor börjat använda tekniken i vardagen.

Meta är inte ensamt om att utveckla nya skyddsmekanismer. Även OpenAI, Google och Anthropic har under det senaste året presenterat funktioner och riktlinjer som ska minska risken för att AI ger olämpliga råd vid känsliga samtal om exempelvis psykisk ohälsa eller självskadebeteende.

Hur väl de olika lösningarna fungerar i praktiken kommer sannolikt att fortsätta granskas av både forskare och myndigheter i takt med att AI får en allt större roll i människors vardag.

Vinn ett presentkort på Webhallen. Delta i vår giveaway för chansen att vinna 3000 kr.