Windows Taakbeheer krijgt uitgebreid inzicht in AI-workloads

Microsoft breidt Taakbeheer in Windows uit met ondersteuning voor het monitoren van AI-workloads. Op recente systemen die over geschikte hardware en stuurprogramma’s beschikken, kunnen gebruikers voortaan niet alleen de belasting van de CPU en reguliere GPU volgen, maar ook zien hoeveel werk wordt uitgevoerd door de NPU (Neural Processing Unit) en de AI- of neural engines in de GPU.

Daarmee vult Microsoft een belangrijke blinde vlek in Taakbeheer. AI-toepassingen worden namelijk steeds vaker niet meer uitsluitend op de CPU of traditionele GPU uitgevoerd. Moderne processors beschikken over speciale rekeneenheden die zijn ontworpen voor machine-learningtaken, zoals inferentie, beeldherkenning, lokale spraakverwerking en generatieve AI. Tot voor kort was voor de gebruiker echter nauwelijks zichtbaar waar die berekeningen daadwerkelijk plaatsvonden.

Nieuwe AI-kolommen in het tabblad Processen

In het tabblad Processen kan Taakbeheer op ondersteunde systemen extra informatie tonen over AI-versnellers. Microsoft voegt daarvoor onder meer kolommen toe voor:

• NPU – geeft de belasting van de NPU weer.
• NPU engine – laat zien welke NPU-engine door een proces wordt gebruikt.
• GPU – toont de GPU-belasting die aan het proces is toe te schrijven.
• GPU engine – geeft aan welke specifieke GPU-engine wordt aangesproken.

Deze kolommen worden niet noodzakelijk standaard weergegeven. Gebruikers kunnen ze zelf inschakelen door met de rechtermuisknop op een kolomkop te klikken en de gewenste kolommen te selecteren.

Dat is vooral interessant bij programma’s die lokaal AI-modellen uitvoeren. In plaats van alleen te zien dat bijvoorbeeld een applicatie enkele procenten CPU gebruikt, kan de gebruiker controleren of het zware rekenwerk daadwerkelijk naar de daarvoor bedoelde AI-hardware wordt doorgestuurd.

Ook het tabblad Prestaties wordt uitgebreid

De informatie blijft niet beperkt tot individuele processen. In het tabblad Prestaties kan Taakbeheer het totale gebruik van de NPU weergeven.

Net als bij de CPU en GPU ontstaat daardoor een grafisch overzicht van de belasting. Dat maakt het eenvoudiger om te bepalen wanneer een AI-versneller daadwerkelijk actief is en wanneer een toepassing de NPU nauwelijks of helemaal niet gebruikt.

Voor systemen met meerdere AI-engines is dat onderscheid belangrijk. Een computer kan immers over zowel een afzonderlijke NPU als AI-versnellende hardware binnen de GPU beschikken. Het feit dat een programma AI gebruikt, betekent daardoor niet automatisch dat de afzonderlijke NPU wordt belast.

Details-tabblad krijgt informatie over NPU-geheugen

Microsoft breidt daarnaast het tabblad Details uit met informatie over het geheugen dat door de NPU wordt gebruikt. Daarvoor komen twee aanvullende kolommen beschikbaar:

• Dedicated NPU memory
• Shared NPU memory

Deze gegevens geven meer inzicht in de geheugenbron waaruit een AI-workload zijn benodigde capaciteit haalt.

Bij systemen met NPU-hardware die over een eigen geheugenpool beschikt, kan een deel van het NPU-geheugen als dedicated geheugen worden toegewezen. Wanneer die capaciteit onvoldoende is, kan het systeem in bepaalde configuraties terugvallen op gedeeld systeemgeheugen.

Dat onderscheid is relevant omdat dedicated en shared geheugen niet noodzakelijk dezelfde prestaties bieden. Zodra een workload meer geheugen nodig heeft dan lokaal beschikbaar is en daardoor gebruikmaakt van gedeeld geheugen, kan dat extra overhead en mogelijk lagere prestaties veroorzaken.

Bij geïntegreerde NPU’s ligt dat anders. Een geïntegreerde NPU beschikt doorgaans niet over een afzonderlijke, fysiek afgescheiden geheugenpool. In zulke gevallen blijft de kolom voor dedicated NPU-geheugen leeg of is deze niet van toepassing, terwijl het systeemgeheugen als gedeelde geheugenbron wordt gebruikt.

Vooral nuttig voor het opsporen van CPU-fallbacks

Een van de interessantste toepassingen van deze uitbreiding is het herkennen van situaties waarin een AI-model niet daadwerkelijk op de bedoelde AI-versneller wordt uitgevoerd.

Frameworks zoals ONNX Runtime en DirectML kunnen verschillende execution providers gebruiken om berekeningen naar geschikte hardware te sturen. Afhankelijk van de configuratie kan een model bijvoorbeeld gebruikmaken van de CPU, GPU of NPU.

In de ideale situatie wordt een workload die voor de NPU is bedoeld ook daadwerkelijk door de NPU uitgevoerd. In de praktijk kunnen er echter problemen ontstaan. Denk bijvoorbeeld aan een niet-ondersteund datatype, een ontbrekende functionaliteit, incompatibiliteit met een bepaalde operator of een ontbrekende of onjuiste driver.

Een framework hoeft in zo’n situatie niet altijd direct te stoppen met een foutmelding. Afhankelijk van de gebruikte software en configuratie kan een gedeelte van de berekening worden uitgevoerd door een andere beschikbare processor. Een veelvoorkomende fallback is de CPU.

Dat kan voor de gebruiker bijzonder moeilijk te herkennen zijn. De applicatie blijft immers gewoon werken, terwijl de prestaties aanzienlijk lager kunnen zijn dan verwacht.

Taakbeheer maakt zo’n fallback zichtbaar

De nieuwe NPU-statistieken kunnen daarbij helpen.

Stel dat een applicatie een AI-model zou moeten uitvoeren op de NPU. Als Taakbeheer vervolgens laat zien dat de NPU-belasting vrijwel nul blijft, terwijl tegelijkertijd het CPU-gebruik duidelijk toeneemt, kan dat een aanwijzing zijn dat de workload niet op de NPU wordt uitgevoerd.

Dat vormt geen absolute diagnose op zichzelf — CPU-gebruik kan immers ook door andere onderdelen van de applicatie worden veroorzaakt — maar het geeft ontwikkelaars en gebruikers wel een veel betere manier om het gedrag van een AI-workload te onderzoeken.

Voor ontwikkelaars is dit vooral waardevol tijdens het testen en optimaliseren van lokale AI-toepassingen. Zij kunnen sneller controleren of de gekozen execution provider en hardwareversnelling daadwerkelijk effect hebben.

GPU heeft tegenwoordig meerdere soorten rekenwerk

De uitbreiding is bovendien relevant omdat een moderne GPU meer doet dan alleen traditionele grafische berekeningen.

Veel recente GPU’s beschikken over speciale hardware voor machine-learningberekeningen, zoals matrixbewerkingen. Die AI-versnellende onderdelen kunnen worden gebruikt voor bijvoorbeeld neurale netwerken en inferentietaken.

Daarom maakt Taakbeheer onderscheid tussen de GPU als geheel en de specifieke GPU-engine die wordt gebruikt.

Een AI-workload kan dus op een GPU draaien zonder dat daarmee automatisch de volledige grafische capaciteit van de chip wordt aangesproken. Omgekeerd kan een systeem ook een afzonderlijke NPU hebben die parallel met de GPU actief is.

Door deze onderdelen afzonderlijk zichtbaar te maken, krijgt de gebruiker een nauwkeuriger beeld van waar de rekenbelasting terechtkomt.

NPU en GPU neural engine zijn niet hetzelfde

Hoewel een NPU en een neural engine in een GPU hetzelfde soort probleem proberen op te lossen — het efficiënt uitvoeren van bepaalde AI- en machine-learningberekeningen — zijn het verschillende hardwarecomponenten.

Een NPU is specifiek ontworpen als gespecialiseerde AI-accelerator en is vooral gericht op efficiënte uitvoering van neurale-netwerktaken met een laag energieverbruik.

Een GPU neural engine of vergelijkbare AI-versneller bevindt zich daarentegen binnen de GPU. Moderne GPU’s combineren algemene grafische rekeneenheden met gespecialiseerde hardware voor bijvoorbeeld matrixvermenigvuldigingen en andere bewerkingen die veel voorkomen in AI-modellen.

Welke eenheid uiteindelijk wordt gebruikt, hangt af van de applicatie, het model, de gebruikte API of het framework, de beschikbare hardware en de ondersteuning van de betreffende driver.

Meer transparantie voor lokale AI

De uitbreiding van Taakbeheer past in een bredere ontwikkeling waarbij steeds meer AI-berekeningen lokaal op Windows-pc’s worden uitgevoerd.

Voorheen was het bij veel toepassingen relatief eenvoudig om te kijken naar CPU- en GPU-gebruik. Met de komst van NPU’s is dat beeld ingewikkelder geworden. Een moderne pc kan een AI-taak verdelen over verschillende typen rekenhardware, terwijl de gebruiker daar in de standaard Windows-interface nauwelijks iets van ziet.

Met de nieuwe statistieken wordt die verdeling transparanter. Gebruikers kunnen beter vaststellen:

• of een NPU daadwerkelijk wordt gebruikt;
• welk proces de NPU belast;
• welke GPU-engine voor een AI-taak wordt ingezet;
• hoeveel NPU-geheugen een proces gebruikt;
• of er gebruik wordt gemaakt van dedicated of shared geheugen;
• en of een workload mogelijk onverwacht op de CPU terechtkomt.

Daarmee wordt Taakbeheer niet alleen een hulpmiddel om te zien waarom een pc traag is, maar ook een steeds bruikbaarder instrument voor het analyseren van lokale AI-workloads.

Hardware- en softwareondersteuning blijft noodzakelijk

De nieuwe functies betekenen overigens niet dat iedere Windows-pc automatisch NPU-statistieken zal tonen. Daarvoor moeten de hardware, Windows-versie en stuurprogramma’s de benodigde rapportage ondersteunen.

Ook moet de betreffende applicatie de AI-hardware daadwerkelijk kunnen gebruiken. Het simpelweg beschikken over een NPU betekent dus niet dat iedere AI-toepassing daar automatisch gebruik van maakt.

De precieze ondersteuning kan bovendien per hardwareplatform verschillen. Vooral bij nieuwe NPU-implementaties en verschillende GPU-architecturen zijn de beschikbare engines, geheugenmodellen en ondersteunde AI-bewerkingen niet identiek.

Van onzichtbare AI-versnelling naar controleerbare belasting

De belangrijkste verandering is uiteindelijk dat AI-versnelling minder een onzichtbaar proces wordt.

Wanneer een applicatie beweert een AI-model lokaal en hardwarematig versneld uit te voeren, kan Taakbeheer straks veel beter laten zien waar die berekeningen plaatsvinden. Dat is nuttig voor zowel consumenten als ontwikkelaars.

Voor consumenten biedt het een eenvoudige manier om te controleren of de AI-functies van een moderne pc daadwerkelijk worden benut. Voor ontwikkelaars vormt het een praktisch hulpmiddel bij het opsporen van configuratiefouten, ontbrekende hardwareondersteuning en onverwachte CPU-fallbacks.

Met de toevoeging van NPU-, NPU-engine-, GPU-engine- en NPU-geheugeninformatie maakt Microsoft Taakbeheer daarmee geschikt voor een nieuwe generatie pc’s waarin AI-versnelling een steeds belangrijker onderdeel van de hardware wordt.