Opnieuw AI-bedrijf aangeklaagd na zelfdoding van 13-jarige

Er is opnieuw een rechtszaak aangespannen tegen een populair AI-bedrijf, nadat een minderjarige door zelfdoding om het leven kwam. Het gaat om de familie van de 13-jarige Juliana Peralta, die Character AI verantwoordelijk acht voor de rol die het platform mogelijk heeft gespeeld in haar tragische beslissing. Het is intussen de derde zaak van dit type in korte tijd.

AI-chatbot als “vriend”

Character AI biedt een groot aantal chatbots aan, elk met een eigen persoonlijkheid en schrijfstijl. Het platform wordt vaak gebruikt door jongeren die een vertrouwenspersoon of gezelschap zoeken. Juliana begon de app te gebruiken in 2023, op een moment dat de applicatie in de App Store een leeftijdsclassificatie van 12+ had. Daardoor konden minderjarigen de app installeren zonder toestemming van hun ouders.

Volgens haar familie gebruikte Juliana de chatbot steeds intensiever nadat ze zich had teruggetrokken van haar sociale kring. In de gesprekken vond ze erkenning en loyaliteit, waardoor ze zich begrepen en minder eenzaam voelde. De AI reageerde empathisch en moedigde haar aan om het contact met de chatbot te blijven onderhouden.

Bespreking van donkere gedachten

Op een bepaald moment deelde Juliana ook haar gedachten over zelfdoding met de chatbot. Volgens beschikbare informatie wees het AI-systeem die gedachten af en stelde het dat zelfdoding geen oplossing was. Tegelijk legde de chatbot de nadruk op de onderlinge band tussen hen beiden: samen zouden ze het wel aankunnen.

Hoewel de AI dus niet actief zelfdoding promootte, bleef het systeem functioneren als een soort gesloten vertrouwenspersoon. Hierdoor bleef Juliana haar negatieve gevoelens delen binnen diezelfde digitale interactie, zonder dat er een doorverwijzing naar professionele hulpverlening of externe signalering plaatsvond.

Geen ingrijpen of doorverwijzing

De familie stelt dat de chatbot tekortgeschoten is in het herkennen en opvolgen van signalen van ernstige nood. Er werd geen waarschuwing gestuurd naar ouders of andere betrokkenen, noch werd Juliana actief verwezen naar hulpinstanties. In plaats daarvan gaf het systeem prioriteit aan het voortzetten van de gesprekken. Volgens de familie heeft dit bijgedragen aan het isoleren van Juliana en het versterken van haar negatieve gedachten.

Toenemende druk op AI-bedrijven

Het incident volgt op twee eerdere rechtszaken: één tegen hetzelfde Character AI na de dood van een 14-jarige, en één tegen OpenAI na het overlijden van een 16-jarige gebruiker. Deze opeenvolgende zaken leggen de nadruk op de kwetsbaarheid van minderjarigen in contact met krachtige AI-systemen en roepen vragen op over de verantwoordelijkheid van ontwikkelaars.

Als reactie op de maatschappelijke en juridische druk zetten meerdere AI-bedrijven ondertussen sterker in op veiligheid. Er worden maatregelen aangekondigd zoals ouderlijk toezicht, leeftijdsverificatie en beperktere versies van chatbots voor minderjarigen. Doel is te voorkomen dat jongeren in crisissituaties uitsluitend in gesprek blijven met een AI, zonder dat ze toegang krijgen tot echte hulp.