Microsoft lijkt verborgen identificatiecodes toe te voegen aan AI-afbeeldingen uit Paint en Foto's

Microsoft lijkt AI-gegenereerde afbeeldingen die met Paint en Microsoft Foto's worden gemaakt te voorzien van een onzichtbare identificatiecode. Dat blijkt uit reverse-engineeringonderzoek van beveiligingsonderzoeker Xusheng Li. Het gaat niet om een zichtbaar watermerk, zoals een logo of tekst in de afbeelding, maar om een technisch mechanisme waarmee een unieke identificatie aan de afbeelding kan worden gekoppeld.

De ontdekking is interessant omdat de betreffende identificatie volgens de onderzoeker afkomstig is van Microsofts servers, terwijl bepaalde AI-functies in Paint en Foto's juist lokaal op de computer kunnen worden uitgevoerd. Daardoor ontstaat de vraag welke informatie Microsoft precies aan een gegenereerde afbeelding koppelt en in hoeverre zo'n afbeelding uiteindelijk naar een specifieke generatie, gebruiker of sessie kan worden herleid.

Geen zichtbaar watermerk, maar een unieke code

Het mechanisme waar Li op stuitte maakt gebruik van een GUID (Globally Unique Identifier). Een GUID is een 128-bits waarde van 16 bytes die bedoeld is om een object, gebeurtenis of record uniek te identificeren.

Zo'n code is op zichzelf niet noodzakelijk persoonsgegevens en betekent ook niet automatisch dat Microsoft iemand met een afbeelding kan identificeren. De mogelijke privacygevolgen ontstaan vooral wanneer Microsoft de betreffende code op zijn servers koppelt aan aanvullende informatie, zoals een account, sessie, verzoek of andere gegevens.

Het belangrijke verschil met een traditioneel watermerk is dat de gebruiker de code niet simpelweg in de afbeelding kan zien. De informatie wordt volgens de onderzoeker op een manier in de beeldgegevens verwerkt die voor het menselijk oog onzichtbaar is.

De ontdekking in Microsoft Paint

Li onderzocht de AI-functionaliteit van Microsoft Paint en ontdekte daarbij een component met de naam Watermarker.dll.

Paint beschikt al langer over een optie waarmee een zichtbaar Copilot-logo aan een door AI gegenereerde afbeelding kan worden toegevoegd. De onderzoeker ontdekte echter dat er daarnaast een afzonderlijk watermerkmechanisme bestaat dat niet afhankelijk lijkt te zijn van die zichtbare watermerkoptie.

Dat betekent dat het uitschakelen van een zichtbaar Copilot-logo volgens deze analyse niet noodzakelijk betekent dat de afbeelding helemaal geen watermerkinformatie meer bevat.

Het interessante gedeelte zit vervolgens in de manier waarop Paint met Microsofts servers communiceert.

Wanneer een gebruiker een prompt invoert om een afbeelding te laten genereren, kan de daadwerkelijke beeldgeneratie volgens Microsofts documentatie in bepaalde gevallen lokaal plaatsvinden. Toch kan de ingevoerde prompt eerst naar Microsoft worden gestuurd voor bijvoorbeeld veiligheids- en moderatiecontroles.

Volgens Li ontvangt Paint daarbij niet alleen informatie over de prompt, maar ook een door de server gegenereerde identificatie, die hij aanduidt als een watermarkId.

Paint kan die identificatie vervolgens gebruiken bij het lokaal verwerken van de uiteindelijke afbeelding.

Ook C2PA-gegevens worden toegevoegd

De situatie wordt nog interessanter doordat Microsoft AI-afbeeldingen niet alleen van een verborgen watermerk lijkt te voorzien, maar ook gebruikmaakt van C2PA Content Credentials.

C2PA is een technische standaard waarmee informatie over de herkomst en totstandkoming van digitale content kan worden vastgelegd. Bij een afbeelding kan dergelijke informatie bijvoorbeeld aangeven dat de afbeelding met behulp van AI is gemaakt of gewijzigd.

Volgens Li komt dezelfde watermarkId die in het onzichtbare watermerk wordt gebruikt ook terug in de C2PA-gegevens als een zogenoemde soft-binding value.

Daarmee ontstaat technisch gezien een verband tussen twee verschillende vormen van informatie:

• de onzichtbare identificatie die in de pixels van de afbeelding wordt verwerkt;
• de metadata die informatie over de herkomst van de afbeelding bevat.

Het doel daarvan lijkt te zijn dat de herkomstinformatie niet alleen los in metadata staat, maar ook op een bepaalde manier aan de daadwerkelijke beeldinhoud kan worden gekoppeld.

Microsoft Foto's gebruikt vergelijkbare techniek

Paint blijkt volgens de reverse-engineering niet het enige Microsoft-programma te zijn waarin dit mechanisme voorkomt.

Li vond dezelfde Watermarker.dll ook terug in Microsoft Foto's. Daar wordt de technologie volgens zijn analyse gebruikt bij AI-functies zoals Image Creator en Restyle Image.

Ook bij deze functies zouden gegenereerde afbeeldingen voorzien kunnen worden van een unieke GUID die voor de gebruiker niet zichtbaar is.

Er is wel een belangrijk verschil tussen Paint en Foto's.

Wanneer Paint het onzichtbare watermerk niet aan een afbeelding kan toevoegen, lijkt de applicatie volgens Li de generatie volledig te laten mislukken. Microsoft Foto's gedraagt zich anders: wanneer het watermerken niet lukt, kan Foto's de afbeelding alsnog aan de gebruiker teruggeven.

Dat verschil suggereert dat het watermerk in de twee toepassingen technisch vergelijkbaar kan zijn, maar dat Microsoft verschillende eisen stelt aan wat er moet gebeuren wanneer het proces niet succesvol kan worden afgerond.

Waarom wordt de prompt naar Microsoft gestuurd als de AI lokaal draait?

Een van de meest opvallende aspecten van deze situatie is het verschil tussen lokale AI-verwerking en servercommunicatie.

Een AI-model dat lokaal op een computer draait, hoeft niet noodzakelijk te betekenen dat alle informatie die de gebruiker invoert uitsluitend op die computer blijft.

Microsoft geeft zelf aan dat bepaalde AI-functies veiligheidsmaatregelen gebruiken waarbij prompts naar Microsoft kunnen worden gestuurd voor moderatie. Dat kan ook gebeuren wanneer het model dat uiteindelijk de afbeelding maakt lokaal wordt uitgevoerd.

Er kunnen dus verschillende stappen plaatsvinden:

1. De gebruiker voert een prompt in.
2. De prompt wordt naar Microsoft gestuurd voor veiligheids- of moderatiecontroles.
3. Microsoft verwerkt de aanvraag en verstrekt volgens de analyse van Li onder meer een aangepaste prompt en een unieke identificatie.
4. De daadwerkelijke afbeelding kan vervolgens lokaal worden gegenereerd.
5. De lokale Microsoft-app verwerkt de ontvangen identificatie in de afbeelding.
6. De uiteindelijke afbeelding bevat daardoor zowel zichtbare inhoud als technisch onzichtbare informatie over de herkomst.

Een lokaal AI-model betekent daarmee niet automatisch dat er geen gegevens met de leverancier worden uitgewisseld.

Wat Microsoft hierover wel en niet zegt

Microsoft maakt wel degelijk bekend dat zijn AI-functies verschillende veiligheids- en herkomstmechanismen gebruiken. Daarbij worden onder andere promptmoderatie en C2PA Content Credentials genoemd.

Ook wordt gebruikers uitgelegd dat prompts in bepaalde omstandigheden naar Microsoft kunnen worden verzonden, zelfs wanneer een AI-model lokaal wordt uitgevoerd.

Het opvallende punt in de ontdekking van Li is daarom niet zozeer dat Microsoft helemaal niets over AI-watermerken of servercommunicatie zegt. Het gaat vooral om de specifieke manier waarop de identificatie wordt gebruikt.

Volgens Li wordt namelijk een serveruitgegeven GUID aan de generatie gekoppeld en vervolgens verwerkt in het onzichtbare watermerk. Dat specifieke detail lijkt volgens hem minder duidelijk uit de openbare gebruikersinformatie van Microsoft naar voren te komen.

Daarmee ontstaat een transparantievraagstuk: gebruikers kunnen weten dat er AI-metadata of Content Credentials worden toegevoegd, maar mogelijk niet weten dat er daarnaast een unieke identificatie in de beeldinformatie wordt verwerkt.

Kan zo'n afbeelding naar een persoon worden teruggeleid?

Dat is de belangrijkste privacyvraag, maar hier is voorzichtigheid noodzakelijk.

Het bestaan van een GUID betekent niet automatisch dat een afbeelding naar een persoon kan worden herleid.

Een willekeurige unieke identificatie kan bijvoorbeeld alleen bedoeld zijn om een specifieke generatie of transactie technisch te onderscheiden. Om daadwerkelijk te kunnen achterhalen wie een afbeelding heeft gemaakt, zou Microsoft aanvullende informatie moeten hebben waarmee die GUID aan een gebruiker, account, apparaat, sessie of ander identificeerbaar gegeven kan worden gekoppeld.

Als een dergelijke koppeling op Microsofts systemen bestaat en lang genoeg wordt bewaard, kan de GUID in theorie wel een middel worden om verschillende gegevens met elkaar te verbinden.

Een afbeelding die op het eerste gezicht volledig anoniem lijkt, zou dan bijvoorbeeld een identificatie kunnen bevatten waarmee Microsoft intern kan vaststellen uit welke generatie of welk verzoek de afbeelding afkomstig is.

Daarmee is echter nog niet bewezen dat Microsoft deze techniek daadwerkelijk gebruikt om individuele gebruikers te volgen. De technische mogelijkheid om een afbeelding te identificeren moet worden onderscheiden van bewijs dat Microsoft de identificatie voor persoonsgerichte tracking gebruikt.

Dat onderscheid is belangrijk.

Waarom dit verschilt van een gewoon zichtbaar watermerk

Een zichtbaar watermerk is eenvoudig te begrijpen: de gebruiker ziet bijvoorbeeld een logo, tekst of ander merkteken in de afbeelding.

Een onzichtbaar watermerk werkt anders. De informatie kan onderdeel worden van de beelddata zonder dat iemand dit met het blote oog kan waarnemen.

Dat heeft duidelijke voordelen voor het identificeren van AI-content. Een gebruiker kan een afbeelding immers niet eenvoudig herkennen als AI-content alleen door naar het beeld te kijken, terwijl de software wel naar de verborgen informatie kan zoeken.

Tegelijkertijd roept deze methode privacyvragen op wanneer de verborgen informatie niet alleen aangeeft dat een afbeelding door AI is gemaakt, maar ook een unieke identificatie bevat die ergens buiten de afbeelding aan aanvullende gegevens kan worden gekoppeld.

De bredere discussie over AI-watermerken

De ontdekking komt op een moment waarop de discussie over watermerken en herkomstinformatie voor AI-content steeds belangrijker wordt.

De Europese AI-regelgeving bevat transparantieverplichtingen voor bepaalde vormen van AI-gegenereerde of gemanipuleerde content. Een belangrijk onderdeel daarvan is dat synthetisch gegenereerde content op een machineleesbare manier herkenbaar moet kunnen zijn.

Daarvoor zijn technieken zoals digitale watermerken en metadata bijzonder geschikt.

Het principe daarachter is op zichzelf niet controversieel: wanneer een computer kan vaststellen dat een afbeelding door AI is gegenereerd, wordt het eenvoudiger om bijvoorbeeld desinformatie, gemanipuleerde media of misleidende content te herkennen.

De discussie ontstaat wanneer dezelfde techniek méér informatie bevat dan strikt noodzakelijk is voor het aantonen van de herkomst.

Een machineleesbaar signaal dat simpelweg zegt "deze afbeelding is AI-gegenereerd" heeft een andere privacy-impact dan een verborgen unieke code die bovendien aan een specifieke generatie kan worden gekoppeld.

Niet hetzelfde als bewijs van gebruikersmonitoring

Het is daarom te vroeg om uit deze ontdekking te concluderen dat Microsoft iedere AI-afbeelding persoonlijk traceert.

Wat de reverse-engineering volgens Li laat zien, is vooral dat Microsofts software een technische infrastructuur bevat waarmee een unieke identificatie aan AI-gegenereerde afbeeldingen kan worden gekoppeld.

De volgende vraag is wat Microsoft vervolgens met die identificaties doet.

Daarvoor zijn onder meer de volgende punten relevant:

• Wordt de GUID permanent opgeslagen?
• Hoe lang blijft de koppeling met een generatie bewaard?
• Wordt de GUID aan een Microsoft-account gekoppeld?
• Kan Microsoft daarmee een afbeelding aan een specifieke gebruiker koppelen?
• Wordt de identificatie alleen gebruikt om de herkomst van AI-content te verifiëren?
• Kunnen derden de identificatie uitlezen?
• Kan Microsoft meerdere afbeeldingen van dezelfde gebruiker aan elkaar koppelen?
• Wat gebeurt er met de gegevens wanneer een gebruiker zijn afbeelding deelt?
• Worden de identificaties verwijderd wanneer bepaalde metadata wordt verwijderd?
• En welke informatie wordt precies naar Microsoft gestuurd voordat een lokaal model de afbeelding genereert?

Zonder antwoorden op die vragen kan de privacy-impact niet volledig worden vastgesteld.

Een opvallende parallel

De situatie doet denken aan eerdere discussies over unieke identificatoren binnen Windows.

Ook daar kan een technisch unieke identifier op zichzelf volkomen legitiem en nuttig zijn voor softwareontwikkeling, beveiliging, licentiebeheer of diagnostiek. Het wordt vooral interessant vanuit privacyoogpunt wanneer gebruikers niet duidelijk weten dat zo'n identificator bestaat, welke gegevens eraan worden gekoppeld en hoe lang die koppeling blijft bestaan.

Dat is uiteindelijk de kern van deze kwestie.

Een verborgen identifier is niet per definitie problematisch. Gebrek aan duidelijkheid over de functie en gegevenskoppeling ervan kan dat wel zijn.

Wat betekent dit voor gebruikers?

Voor de gemiddelde gebruiker verandert er voorlopig weinig aan de manier waarop Paint of Foto's wordt gebruikt. De AI-functies kunnen afbeeldingen blijven genereren en de aanwezigheid van C2PA-gegevens en een verborgen identificatie hoeft niet te betekenen dat een afbeelding gevaarlijk of onveilig is.

Wel is het goed om te beseffen dat "lokaal gegenereerd" niet noodzakelijk hetzelfde betekent als "volledig lokaal verwerkt".

Een prompt kan nog steeds naar de servers van de leverancier worden gestuurd voor moderatie of andere controles. Vervolgens kan een server een identificatie terugsturen die in de lokaal gegenereerde afbeelding wordt verwerkt.

Voor gebruikers die met gevoelige of vertrouwelijke informatie werken, is dat een belangrijk onderscheid.

Door: Drifter