Explainable AI and Interpretable Computer Vision - From Oversight to Insight
Meike Nauta is promovenda in de vakgroep Data Management & Biometrics. Promotors zijn dr.ir. M. van Keulen van de faculteit Elektrotechniek, Wiskunde en Informatica, en Prof.dr. C. Seifert van de Universiteit van Marburg / Hessian.AI.
In de afgelopen decennia heeft er een enorme ontwikkeling plaatsgevonden op het gebied van machinaal leren (ML), een deelgebied van artificiële intelligentie (afgekort AI, en in het Nederlands ook wel kunstmatige intelligentie genoemd). Deze modellen presteren erg goed maar zijn tegelijkertijd “zwarte dozen” (black boxes) vanwege hun grootte en complexiteit. Hierdoor kunnen gebruikers niet beoordelen of het geleerde gedrag overeenkomt met verwachtingen en intenties. In dit proefschrift wordt gesteld dat enkel focussen op de correctheid van voorspellingen onhoudbaar is, aangezien een ML model juiste voorspellingen kan maken op basis van onjuiste redenen. Het onderzoeksveld van uitlegbare of verklaarbare AI (explainable AI, kortweg XAI) pakt dit probleem aan door verklaringen te genereren die (bepaalde aspecten van) de redenering van een model uitleggen in termen die voor de mens te begrijpen zijn. Dit proefschrift laat zien dat uitlegbaarheid gebruikt kan worden om het hele ML proces inzichtelijk te maken: van de trainingsdata, tot het voorspellingsmodel en de resulterende verklaringen.
Wanneer verklaringen gebruikt worden om het redeneerproces van een model te beoordelen, is het belangrijk dat de gegenereerde verklaringen relevant, juist en begrijpelijk zijn. Deel I van dat proefschrift richt zich daarom op de evaluatie van de kwaliteit van verklaringen en identificeert twaalf wenselijke eigenschappen waaronder compactheid, compleetheid en correctheid. Bovendien biedt het een uitgebreid overzicht van kwantitatieve XAI evaluatiemethoden en analyseert hun beschikbaarheid in open source toolkits.
Als alternatief voor de gebruikelijke post-model uitlegbaarheid, waarbij XAI wordt toegepast op een reeds getraind voorspellingsmodel, presenteert Deel II van dit proefschrift ML modellen die van zichzelf al interpreteerbaar zijn: in-model uitlegbaarheid. Deze modellen classificeren afbeeldingen door automatisch prototypes te leren die corresponderen met een bepaald deel van een afbeelding. De prototypes worden vervolgens gebruikt door een simpel, interpreteerbaar classificatiemodel, zodat het besluitvormingsproces inzichtelijk wordt gemaakt. Hun redenering is daarom vergelijkbaar met het spel “Wie is het?” waarbij de uiteindelijke voorspelling afhangt van de aan- of afwezigheid van bepaalde visuele kenmerken.
Deel III van dit proefschrift laat zien dat ML, dat snel grote hoeveelheden data kan analyseren, ook gebruikt kan worden om verborgen patronen in de onderliggende data te onthullen. Dit kan bijdragen aan het valideren en mogelijk zelfs ontdekken van domeinkennis, en maakt het mogelijk om vroegtijdig vooroordelen en andere biases te ontdekken.
Concluderend, het voorspellingsmodel, noch de data noch de XAI-methode moeten als black box behandeld worden. Het proefschrift sluit af met een toekomstvisie: krachtige modellen ontwikkelen die voor de mens begrijpelijke concepten leren, die vervolgens gebruikt kunnen worden in een interpreteerbaar geautomatiseerd besluitproces dat gebruikers kunnen valideren en aanpassen. Met zulke in-model uitlegbaarheid, zoals de part-prototype modellen uit Deel II, zouden modellen kunnen worden ‘heropgevoed’ met onze gewenste normen, waarden en redeneringen. Mensen in staat te stellen om ongewenst gedrag van een model te detecteren en te corrigeren draagt bij aan een effectief maar ook betrouwbaar en verantwoord gebruik van AI.
Het proefschrift kan hier gedownload worden.
