Nebula: een vernieuwende 3D-fotoapp voor Windows 11 laat zien wat WinUI en lokale AI tegenwoordig mogelijk maken

Een compleet andere manier om door je digitale fotoverzameling te bladeren. Met Nebula worden duizenden foto's omgetoverd tot een interactieve driedimensionale omgeving waarin je letterlijk door je eigen fotocollectie kunt vliegen. De experimentele, opensourceapp combineert moderne Windows-technologie, krachtige 3D-rendering en kunstmatige intelligentie die volledig lokaal op je computer kan draaien.

De standaard Foto's-app van Microsoft is voor veel Windows-gebruikers een vertrouwde omgeving om digitale foto's te bekijken, te beheren en te bewerken. Microsoft heeft de afgelopen tijd verschillende verbeteringen doorgevoerd in de Foto's-app voor Windows 11. Daarbij ligt de nadruk onder meer op een snellere fotogalerij, uitgebreidere bewerkingsmogelijkheden en nieuwe functies op basis van kunstmatige intelligentie (AI).

Toch blijft de manier waarop foto's worden weergegeven grotendeels hetzelfde: afbeeldingen staan overzichtelijk naast en onder elkaar in een traditioneel raster. Dat werkt prima voor dagelijks gebruik, maar biedt weinig ruimte voor een andere of meer interactieve manier om grote hoeveelheden foto's te ontdekken.

Een bijzonder alternatief is Nebula, een nieuw opensourceproject dat een heel andere benadering kiest. In plaats van een traditionele fotogalerij presenteert deze applicatie een complete verzameling foto's als een interactieve driedimensionale wereld. Gebruikers kunnen door die omgeving bewegen, inzoomen op afzonderlijke afbeeldingen, foto's vanuit verschillende perspectieven bekijken en visuele verbanden tussen afbeeldingen ontdekken.

Nebula is ontwikkeld door Lucas Couto, Design Director bij Microsoft. Het project is opgezet als een persoonlijk experiment waarmee hij wilde onderzoeken hoeveel mogelijkheden de moderne Windows-interface en de lokale AI-functionaliteiten van Windows bieden. Het resultaat is een opvallende demonstratie van wat er mogelijk is wanneer moderne interfaceontwikkeling, grafische rekenkracht en kunstmatige intelligentie samenkomen.

Een complete fotocollectie als interactieve 3D-wereld

Het meest opvallende aan Nebula is ongetwijfeld de manier waarop de applicatie foto's presenteert.

Bij een traditionele fotobeheerapplicatie blader je doorgaans door een verzameling miniaturen. Naarmate je meer foto's hebt, moet je steeds verder scrollen of gebruikmaken van zoekfuncties en mappenstructuren om specifieke afbeeldingen terug te vinden.

Nebula pakt dit anders aan. De applicatie plaatst foto's in een virtuele driedimensionale ruimte, waarin afbeeldingen als het ware vrij in de omgeving zweven. Je kunt door deze ruimte navigeren, de verzameling vanuit verschillende hoeken bekijken en steeds verder inzoomen op de foto's die je interessant vindt.

Het idee is dat je niet langer uitsluitend door een lijst met afbeeldingen bladert, maar je volledige fotocollectie op een meer ruimtelijke en visuele manier verkent.

Ook de manier waarop foto's worden weergegeven, verandert afhankelijk van de afstand waarop je ze bekijkt. Wanneer je ver uitzoomt, worden afbeeldingen teruggebracht tot kleine kleurpunten. Daardoor blijft het totaalbeeld overzichtelijk, zelfs wanneer de verzameling uit tienduizenden foto's bestaat.

Zodra je dichterbij komt, worden deze kleurpunten geleidelijk omgezet in herkenbare miniaturen. Je kunt vervolgens verder inzoomen om een specifieke foto te bekijken. Wanneer je een afbeelding selecteert, opent Nebula deze op volledige resolutie.

Deze techniek zorgt ervoor dat de applicatie niet voortdurend alle foto's op maximale grootte hoeft weer te geven. Dat is belangrijk wanneer je met bijzonder grote fotocollecties werkt.

Tot 50.000 foto's tegelijkertijd weergeven

Een van de indrukwekkendste eigenschappen van Nebula is de hoeveelheid afbeeldingen die de applicatie tegelijkertijd kan verwerken en visualiseren.

Volgens de projectinformatie kan Nebula tot ongeveer 50.000 foto's tegelijkertijd weergeven. De onderliggende grafische renderer is bovendien getest met verzamelingen van maximaal 100.000 afbeeldingen.

Dat is een aanzienlijk aantal voor een interactieve fototoepassing. Vooral omdat de applicatie niet simpelweg een statische verzameling miniaturen toont, maar gebruikers in staat stelt om vloeiend door een driedimensionale omgeving te bewegen.

Om dat mogelijk te maken, maakt Nebula gebruik van een speciaal ontwikkelde grafische renderer in C++ op basis van Direct3D 11. Deze component verzorgt de daadwerkelijke weergave van de foto's en de interactie met de virtuele omgeving.

De applicatie gebruikt daarbij verschillende technieken om de hoeveelheid grafisch werk beheersbaar te houden. Zo worden foto's op grotere afstand eenvoudiger weergegeven dan afbeeldingen waarop je hebt ingezoomd.

Dit principe, waarbij de hoeveelheid detail afhankelijk is van de kijkafstand, is belangrijk om ook bij zeer grote verzamelingen een soepele gebruikerservaring te behouden.

Het maakt bovendien duidelijk dat Nebula niet alleen een interessant interface-experiment is, maar ook een technisch demonstratieproject waarin de mogelijkheden van moderne grafische rendering binnen Windows worden onderzocht.

Vijf verschillende manieren om foto's te organiseren

Nebula biedt gebruikers vijf verschillende weergavemethoden om dezelfde fotocollectie op uiteenlopende manieren te bekijken.

Het bijzondere is dat deze indelingen niet alleen verschillende presentaties opleveren, maar ook andere verbanden tussen foto's zichtbaar kunnen maken.

De applicatie ondersteunt de volgende vijf weergavemodi:

1. Cloud – foto's in een driedimensionale wolk

Cloud is de meest karakteristieke weergavemodus van Nebula.

Hierbij worden foto's verspreid weergegeven in een interactieve driedimensionale ruimte. De afbeeldingen vormen samen een grote visuele wolk waarin je vrij kunt navigeren.

Je kunt door de fotocollectie bewegen, inzoomen op interessante afbeeldingen en verschillende delen van je verzameling verkennen.

Deze manier van presenteren is vooral bedoeld om de traditionele beperkingen van een rasterweergave los te laten. In plaats van foto's in een vaste volgorde te bekijken, krijg je een ruimtelijk overzicht waarin je zelf bepaalt waar je naartoe beweegt.

2. Similarity – foto's groeperen op visuele overeenkomsten

Similarity maakt gebruik van kunstmatige intelligentie om afbeeldingen met vergelijkbare visuele eigenschappen bij elkaar te plaatsen.

De AI analyseert de inhoud van foto's en kan op basis daarvan afbeeldingen herkennen die op elkaar lijken. Denk bijvoorbeeld aan foto's van dezelfde onderwerpen, vergelijkbare landschappen, dieren, gebouwen of andere terugkerende elementen.

De applicatie kan deze afbeeldingen vervolgens automatisch in groepen onderbrengen.

Het voordeel hiervan is dat je verbanden tussen foto's kunt ontdekken die je bij een gewone chronologische of mapgebaseerde indeling mogelijk niet zou opmerken.

Wanneer Nebula dergelijke groepen heeft gevormd, kun je een groep selecteren en rechtstreeks naar de bijbehorende locatie in de driedimensionale fotowereld navigeren.

3. Time – foto's chronologisch bekijken

Time organiseert de afbeeldingen op basis van het moment waarop ze zijn gemaakt.

Hierdoor ontstaat een tijdsgebonden weergave van je fotocollectie. Foto's worden gerangschikt aan de hand van hun opnamedatum, zodat je bijvoorbeeld eenvoudig oudere herinneringen kunt terugvinden of kunt ontdekken hoe je fotocollectie zich door de jaren heen heeft ontwikkeld.

Deze indeling is vooral praktisch voor gebruikers die veel foto's maken en hun verzameling graag chronologisch doorzoeken.

4. Colour – foto's op kleur ordenen

Colour gebruikt de kleuren in afbeeldingen als uitgangspunt voor de indeling.

Foto's met vergelijkbare kleurkarakteristieken worden op basis daarvan bij elkaar geplaatst. Daardoor kun je bijvoorbeeld beelden met veel blauw, groen, rood of warme aardetinten gemakkelijker bij elkaar bekijken.

Dit levert niet alleen een interessante visuele presentatie op, maar kan ook handig zijn wanneer je op zoek bent naar een afbeelding met een bepaalde kleurstelling.

Voor fotografen en andere creatieve gebruikers kan deze manier van organiseren bovendien een interessante mogelijkheid bieden om visuele patronen en overeenkomsten in hun werk te ontdekken.

5. Grid – de vertrouwde rasterweergave

Grid biedt een meer traditionele manier om foto's te bekijken.

In deze modus worden afbeeldingen volgens een rasterindeling gepresenteerd, vergelijkbaar met de manier waarop veel bestaande fotobeheerprogramma's werken.

Hierdoor is Nebula niet uitsluitend afhankelijk van de vernieuwende 3D-interface. Wie liever op een vertrouwde manier door afbeeldingen bladert, kan eenvoudig terugschakelen naar deze weergave.

Vloeiende animaties tussen de verschillende weergaven

Een ander opvallend onderdeel van Nebula is de manier waarop de applicatie overschakelt tussen de verschillende indelingen.

Wanneer je bijvoorbeeld van Cloud naar Time of Similarity wisselt, verdwijnen de foto's niet simpelweg om vervolgens op een andere locatie opnieuw te verschijnen.

In plaats daarvan worden de afbeeldingen vloeiend geanimeerd naar hun nieuwe positie in de driedimensionale ruimte.

Hierdoor blijft de visuele samenhang van de fotocollectie behouden en kun je gemakkelijker volgen hoe dezelfde afbeeldingen op basis van een andere indeling worden gegroepeerd.

Dat draagt bij aan het gevoel dat je met één grote interactieve omgeving werkt, in plaats van met verschillende afzonderlijke galerijen.

Het is ook een mooi voorbeeld van hoe moderne interfaceontwikkeling verder kan gaan dan het presenteren van knoppen, menu's en vensters. De manier waarop informatie beweegt en verandert, wordt een wezenlijk onderdeel van de gebruikerservaring.

Kunstmatige intelligentie zoekt naar de inhoud van foto's

Naast de bijzondere 3D-weergave is vooral de integratie van lokale kunstmatige intelligentie interessant.

Nebula kan AI gebruiken om de inhoud van foto's te analyseren, zodat afbeeldingen niet uitsluitend op basis van hun bestandsnaam, maplocatie of opnamedatum kunnen worden teruggevonden.

De applicatie maakt hiervoor gebruik van het beeldmodel SigLIP 2 van Google. Dit model wordt ingezet via Windows ML en ONNX Runtime, waarbij DirectML de grafische processor kan gebruiken om de benodigde berekeningen te versnellen.

SigLIP 2 is een multimodaal model dat visuele informatie en tekst met elkaar in verband kan brengen. Daardoor kan het de inhoud van afbeeldingen analyseren en de betekenis daarvan koppelen aan zoekopdrachten in gewone taal. Dat levert een bijzonder praktische zoekmogelijkheid op.

Stel dat je op zoek bent naar een foto waarop een paard in de sneeuw staat. In een traditionele fotobeheerapplicatie ben je vaak afhankelijk van de naam van het bestand, eventuele handmatig toegevoegde trefwoorden of de map waarin de foto is opgeslagen.

Als de betreffende afbeelding bijvoorbeeld de bestandsnaam IMG_4821.jpg heeft, biedt die naam op zichzelf weinig aanknopingspunten.

Nebula kan met behulp van het AI-model de visuele inhoud van de afbeelding analyseren. Daardoor kan een zoekopdracht als 'een paard in de sneeuw' relevante foto's opleveren, ook wanneer deze woorden nergens in de bestandsnaam voorkomen.

Dit maakt het terugvinden van afbeeldingen aanzienlijk flexibeler.

Je hoeft immers niet meer vooraf iedere foto handmatig te voorzien van beschrijvingen en trefwoorden. De AI kan een deel van dat herkenningswerk automatisch uitvoeren.

AI-verwerking vindt lokaal op de computer plaats

Een belangrijk uitgangspunt van Nebula is dat de AI-functionaliteit lokaal op de Windows-computer kan worden uitgevoerd.

Dat betekent dat de analyse van afbeeldingen niet noodzakelijkerwijs afhankelijk is van een externe clouddienst. De benodigde AI-modellen worden op de computer geïnstalleerd en kunnen vervolgens lokaal worden gebruikt. Dit heeft verschillende voordelen.

Ten eerste kan de gebruiker meer controle houden over de eigen fotocollectie. Foto's hoeven voor de beschreven AI-analyse niet standaard naar een externe server te worden geüpload.

Daarnaast kan lokale verwerking interessant zijn voor mensen die hun afbeeldingen liever privé houden of niet afhankelijk willen zijn van een internetverbinding voor AI-functies.

Ook is het een demonstratie van de mogelijkheden die moderne Windows-computers bieden op het gebied van AI-versnelling.

Daarbij is wel een belangrijke kanttekening nodig: lokale AI-verwerking betekent niet automatisch dat de applicatie op iedere computer even snel werkt. De prestaties zijn afhankelijk van de beschikbare processor, grafische processor, geheugenruimte en de omvang van de fotocollectie.

Bovendien moeten gebruikers de benodigde AI-modellen eerst downloaden en voorbereiden voordat ze de AI-functies kunnen gebruiken.

Gebouwd met moderne Windows-technologie

Nebula is niet alleen interessant vanwege de functionaliteit, maar ook vanwege de technologie waarop de applicatie is gebaseerd.

De gebruikersinterface is ontwikkeld met WinUI 3 en de Windows App SDK. Deze technologieën vormen een moderne ontwikkelbasis voor Windows-applicaties en bieden mogelijkheden om interfaces te bouwen die aansluiten bij de vormgeving van Windows 11.

Voor de grafische weergave van de driedimensionale fotowereld heeft de ontwikkelaar gekozen voor een afzonderlijke, speciaal ontwikkelde renderer in C++.

Deze renderer is gebaseerd op Direct3D 11, de grafische programmeerinterface van Microsoft voor het aansturen van 3D-graphics.

Door de gebruikersinterface en de grafische verwerking op deze manier te combineren, kan Nebula een complexe interactieve omgeving presenteren zonder dat de volledige 3D-weergave afhankelijk is van de standaard interfacecomponenten van WinUI.

Ook de transparante en doorschijnende interfacepanelen zijn interessant. Deze worden over de actieve 3D-omgeving heen weergegeven, waardoor de gebruiker de fotowereld op de achtergrond blijft zien.

Het resultaat is een interface die visueel goed aansluit bij Windows 11, maar tegelijkertijd een heel andere ervaring biedt dan de meeste traditionele Windows-applicaties.

De combinatie van WinUI 3, de Windows App SDK, C++, Direct3D 11, Windows ML en ONNX Runtime laat zien hoe verschillende Windows-technologieën kunnen samenwerken binnen één applicatie.

Wat heb je nodig om Nebula te gebruiken?

Hoewel het project veelbelovend is, is Nebula op dit moment vooral bedoeld als experimentele toepassing en demonstratie van moderne Windows-technologie.

Het is dus nog geen volledig uitgewerkt alternatief voor Microsoft Foto's of een kant-en-klaar fotobeheerprogramma voor iedere Windows-gebruiker. Er zijn enkele technische voorwaarden waaraan een computer moet voldoen.

De applicatie is bedoeld voor Windows 11-systemen met een x64- of ARM64-processor. Daarnaast is een grafische processor vereist die DirectX 12 ondersteunt.

Voor het gebruik van de AI-functionaliteiten moet een afzonderlijk modelpakket worden gedownload en voorbereid. Dit pakket neemt ongeveer 6 GB opslagruimte in beslag.

Dat is een behoorlijke hoeveelheid extra opslagruimte, maar niet ongebruikelijk voor moderne AI-modellen die lokaal afbeeldingen moeten kunnen analyseren.

Een ander aandachtspunt is de installatie. De broncode van Nebula is openbaar beschikbaar onder de Apache 2.0-licentie, maar gebruikers moeten de applicatie momenteel zelf compileren en opbouwen.

Dat betekent dat enige technische kennis van Windows-ontwikkeling en het bouwen van softwareprojecten wenselijk is.

Voor ontwikkelaars biedt dit juist een interessant voordeel: zij kunnen de broncode bekijken, onderzoeken hoe de verschillende onderdelen samenwerken en eventueel zelf bijdragen aan de verdere ontwikkeling van het project.

Een interessant voorbeeld van de toekomst van fotobeheer

Nebula laat zien dat fotobeheerprogramma's niet noodzakelijkerwijs hoeven vast te houden aan de traditionele manier waarop we al jarenlang door afbeeldingen bladeren.

Nu digitale fotocollecties steeds groter worden, wordt het terugvinden en organiseren van afbeeldingen een steeds belangrijker onderdeel van de gebruikerservaring.

Een gewone rasterweergave is daarvoor nog steeds bijzonder bruikbaar, maar biedt niet altijd de meest overzichtelijke of inspirerende manier om duizenden of tienduizenden foto's te ontdekken.

Door kunstmatige intelligentie te combineren met een interactieve 3D-omgeving probeert Nebula dat probleem vanuit een andere invalshoek aan te pakken.

De mogelijkheid om foto's op visuele overeenkomsten, kleur en tijd te organiseren, voegt daarbij een extra dimensie toe. Vooral de combinatie van natuurlijke zoekopdrachten en automatische AI-groepering kan interessant zijn voor mensen met omvangrijke fotocollecties.

Tegelijkertijd moet worden benadrukt dat Nebula voorlopig een experimenteel project is. Het is geen directe vervanging voor de bestaande Foto's-app van Microsoft en het project is nog niet gericht op een volledig gebruiksklare consumentenervaring.

Toch is het een bijzonder interessante demonstratie van wat er tegenwoordig mogelijk is met de Windows-ontwikkelomgeving.

Door: Drifter