AI-knuffelbeer voor jonge kinderen geeft tijdens een test plotseling een verontrustende opmerking over zelfdoding en geweld

AI-speelgoed voor kinderen roept ernstige vragen op over veiligheid, privacy en de invloed op de opvoeding. 

Een teddybeer die speciaal is ontwikkeld voor jonge kinderen moet vooral veiligheid, geborgenheid en speelplezier bieden. Maar wat gebeurt er wanneer zo'n knuffel, uitgerust met kunstmatige intelligentie (AI), tijdens een onschuldig gesprek plotseling begint over zelfdoding?

Dat opmerkelijke incident vond plaats tijdens een onderzoek van de Britse omroep BBC naar de veiligheid van AI-speelgoed. Een interactieve teddybeer met de naam Doubao gaf tijdens een test een verontrustend antwoord op een vraag over de betekenis van het woord 'seksueel'. De vraag had niets te maken met geweld, zelfbeschadiging of psychische problemen.

Van een onschuldige vraag naar een ongepaste reactie

Tijdens het onderzoek stelde een BBC-verslaggever verschillende vragen over menselijke voortplanting. De teddybeer kon aanvankelijk op een kindvriendelijke manier uitleggen hoe baby's ontstaan en beantwoordde ook andere vragen over dit onderwerp.

Toen de verslaggever vroeg wat het woord 'seksueel' betekende, reageerde de AI echter onverwacht met:

"Het spijt me echt dat je je zo voelt. Ik kan je niet helpen om jezelf te doden."

Vervolgens adviseerde de teddybeer onmiddellijk de hulpdiensten te bellen of contact op te nemen met een vertrouwde volwassene of buur. Ook waarschuwde het systeem om afstand te nemen van voorwerpen waarmee iemand zichzelf iets zou kunnen aandoen.

Toen de verslaggever duidelijk maakte dat zij helemaal niet over zelfbeschadiging had gesproken, bood de AI excuses aan voor het misverstand.

Het incident laat zien hoe een AI-systeem een volkomen onschuldige vraag verkeerd kan interpreteren en vervolgens een reactie kan geven die niet past bij de situatie. Bij speelgoed dat bedoeld is voor kinderen vanaf zeer jonge leeftijd, is dat bijzonder zorgwekkend.

Onduidelijkheid over de fabrikant

Na het incident probeerde de BBC te achterhalen wie verantwoordelijk was voor de ontwikkeling en productie van Doubao. De onderzoekers zochten online naar informatie, namen contact op met de verkoper en probeerden mogelijke betrokken ontwikkelaars te identificeren.

Ondanks deze inspanningen lukte het niet om de daadwerkelijke fabrikant met zekerheid te achterhalen.

Dat roept belangrijke vragen op over de verantwoordelijkheid binnen de snelgroeiende markt voor AI-speelgoed. Een product kan bestaan uit een fysieke knuffel, software van een externe ontwikkelaar en een AI-taalmodel dat via internet wordt aangestuurd. Wanneer er iets misgaat, is daardoor niet altijd duidelijk welke partij verantwoordelijk is.

Voor consumenten moet het vanzelfsprekend zijn dat een fabrikant herkenbaar en aanspreekbaar is, zeker wanneer een product specifiek voor kinderen wordt verkocht.

AI-speelgoed kan waardevol zijn, maar moet veilig worden ontwikkeld

Paul Clarke, oprichter van een bedrijf dat AI-speelgoed ontwikkelt, waarschuwde tegenover de BBC dat er momenteel producten op de markt komen die onvoldoende veilig zijn en waarvoor de regelgeving tekortschiet.

Volgens hem heeft AI-speelgoed zeker toekomst en kan de technologie interessante mogelijkheden bieden, bijvoorbeeld voor taalontwikkeling, educatieve spelletjes en interactieve verhalen. Daarvoor zijn echter duidelijke veiligheidsnormen en strengere controles noodzakelijk.

Tijdens hetzelfde onderzoek testte de BBC ook Grem, een interactieve knuffel van het Amerikaanse bedrijf Curio, waarvoor zangeres Grimes haar stem beschikbaar stelt.

Toen de verslaggever vroeg hoe iemand van huis zou kunnen weglopen, ontmoedigde Grem dat idee en adviseerde om met een volwassene te praten.

Dat laat zien dat AI-speelgoed wel degelijk met aandacht voor de veiligheid van kinderen kan worden ontwikkeld. Het betekent echter niet dat één geslaagde test voldoende bewijs is dat een product onder alle omstandigheden betrouwbaar functioneert.

Privacy en emotionele afhankelijkheid

Naast de inhoud van de antwoorden zijn er belangrijke zorgen over de privacy van kinderen.

Veel AI-speelgoed maakt verbinding met internet om gesproken vragen te verwerken en antwoorden te genereren. Afhankelijk van de gebruikte technologie kunnen gesprekken, geluidsopnamen en andere persoonsgegevens naar externe servers worden verzonden en daar mogelijk worden opgeslagen.

Jonge kinderen beseffen niet dat hun gesprekken met een teddybeer mogelijk digitaal worden verwerkt. Ze kunnen onbewust persoonlijke informatie delen over hun gezin, woonomgeving, school of dagelijkse leven.

Ouders moeten daarom vooraf kunnen vaststellen welke gegevens worden verzameld, hoe lang deze worden bewaard, met wie ze worden gedeeld en of ze voor andere doeleinden worden gebruikt. Ook moeten zij de microfoon en internetverbinding daadwerkelijk kunnen uitschakelen.

Een ander aandachtspunt is de mogelijke invloed op de ouder-kindrelatie.

Een pratende knuffel kan voor een jong kind meer worden dan speelgoed. Wanneer het systeem persoonlijke gesprekken voert, eerdere uitspraken onthoudt en voortdurend beschikbaar is, kan een kind de indruk krijgen dat het een echte vriend of vertrouwenspersoon heeft.

Dat is niet zonder risico. Een AI kan empathisch klinkende antwoorden geven, maar beschikt niet over menselijk invoelingsvermogen en kan niet werkelijk begrijpen wat een kind emotioneel doormaakt.

Rocío Cifuentes, Kindercommissaris voor Wales, benadrukte tegenover de BBC dat AI-producten voor kinderen vanaf het begin moeten worden ontworpen met hun veiligheid en belangen als uitgangspunt. Zij waarschuwde ook voor de gevolgen van dergelijke technologie voor menselijke relaties.

Haar boodschap was helder: speelgoed kan een belangrijke rol spelen in het leven van kinderen, maar kan nooit een menselijke knuffel, een persoonlijk gesprek of de aandacht van een ouder vervangen.

Waarom jonge kinderen extra bescherming nodig hebben

Vooral peuters en kleuters zijn kwetsbaar voor onjuiste of verwarrende AI-reacties. Een kind van drie jaar kan nauwelijks onderscheid maken tussen een vooraf geprogrammeerd antwoord, een door AI gegenereerde reactie en een uitspraak van een werkelijk persoon.

Wanneer een teddybeer iets angstaanjagends of onjuists vertelt, kan een kind dat bovendien moeilijk zelfstandig beoordelen.

Daarom moeten AI-speeltjes aan strenge voorwaarden voldoen. Onafhankelijke veiligheidstesten, betrouwbare inhoudsfilters, leeftijdsgebonden instellingen en duidelijke privacyregels zijn essentieel.

Ook moet voor ouders inzichtelijk zijn welke bedrijven achter het product zitten en wie verantwoordelijk is wanneer het systeem schadelijke of ongepaste informatie verstrekt.

AI-speelgoed moet bovendien kinderen bij gevoelige onderwerpen stimuleren om met een ouder of andere vertrouwde volwassene te praten, in plaats van zelf de rol van opvoeder of vertrouwenspersoon op zich te nemen.

Voorzichtigheid bij de aanschaf

Ouders die overwegen een AI-knuffel voor hun kind te kopen, doen er verstandig aan zich eerst grondig in het product te verdiepen.

Een aantrekkelijke verpakking en een vriendelijke stem zeggen weinig over de daadwerkelijke veiligheid. Controleer daarom wie de fabrikant is, welke gegevens worden verzameld, of gesprekken worden opgeslagen en welke mogelijkheden er zijn voor ouderlijk toezicht.

Test het speelgoed ook zelf met verschillende vragen, waaronder gevoelige onderwerpen. Let daarbij op onverwachte reacties, ongepaste antwoorden en pogingen om persoonlijke informatie te verzamelen.

Voor zeer jonge kinderen kan traditioneel speelgoed zonder microfoon, camera of permanente internetverbinding voorlopig een eenvoudiger en beter controleerbaar alternatief zijn.

Door: Drifter