Alle IT-kennis onder één wereldwijd dak
Werken bij de beste IT dienstverlener van Nederland?
Resultaat door passie voor IT
Start typing keywords to search the site. Press enter to submit.
Generative AI
Cloud
Testing
Artificial intelligence
Security
September 10, 2024
Steeds meer software maakt gebruik van artificial intelligence (AI) en in het bijzonder machine learning (ML). AI-algoritmes overtreffen de mens op steeds meer vlakken, waardoor risico’s vermeden en kosten gereduceerd worden. Ondanks de vele succesvolle AI toepassingen is AI echter nog niet foutloos. Mensen maken ook fouten, dus waarom is het zo kritiek als een AI-toepassing een fout begaat?
In 2016 introduceerde Microsoft een Twitter bot genaamd Tay. Het duurde nog geen 24 uur voordat Tay racistische tweets genereerde, omdat onverlaten ultra-rechtse voorbeelden naar de Twitter bot stuurden, waarop Microsoft besloot de bot offline te halen. Dit voorbeeld zit nog niet in kritieke domeinen, maar AI-algoritmes worden in steeds risicovollere omgevingen geïmplementeerd. Toepassingen in healthcare, transport en rechtspraak hebben grotere consequenties wanneer er iets fout gaat. Daarnaast geldt: met meer AI-toepassingen neemt ook de invloed op het dagelijkse leven van mensen toe. Denk bijvoorbeeld aan een zelfrijdende auto die in een complexe verkeerssituatie een beslissing moet nemen of een diagnose die gesteld moet worden.
Waarom zijn de fouten van AI-toepassingen dan zo kritiek? Een mens kan fouten toelichten. Een AI-algoritme kan dat niet. Zelfs de ontwikkelaar van het algoritme kan niet toelichten waarom een bepaalde keuze gemaakt is. Tijd dus voor Explainable AI (XAI).
Het niet kunnen uitleggen van beslissingen van AI wordt ook wel het ‘black box’ probleem genoemd. Mensen vertrouwen AI niet zolang ze niet weten hoe het tot een beslissing is gekomen. Het openen van de ‘black box’ is noodzakelijk om te achterhalen waarom een algoritme een bepaalde beslissing maakt. Daarnaast is het van belang welke data verzameld wordt en hoe deze data gebruikt wordt door het algoritme. Welke gegevens worden wel of niet gebruikt en hoe wordt dat bepaald? Het beantwoorden van deze vragen is extra urgent geworden door de GDPR. Deze privacy-wetgeving bevat namelijk het recht van informatie. dit Een institutie of bedrijf moet in staat zijn om een redelijke uitleg te geven aan een door AI gemaakte beslissing of risicobeoordeling.
Bij het beoordelen van de kwaliteit van een informatiesysteem wordt het ISO25010 model met kenmerken van productkwaliteit toegepast. In ons boek ‘Testing in the digital age; AI makes the difference‘, hebben wij enkele kwaliteitskenmerken toegevoegd die speciaal van toepassing zijn op systemen met AI. Één van die kwaliteitskenmerken is ’Transparancy of choices‘. In principe zijn ‘black box’ AI modellen zo complex dat het niet is uit te leggen. Daarom is de toepassing van Explainable AI (XAI) noodzakelijk.
Het toepassen van XAI is niet voor alle AI-toepassingen nodig. Stelt een AI-algoritme een verkeerde film voor op Netflix, dan kijk je vervolgens een saaie film. Het is dan niet noodzakelijk te weten waarom Netflix de verkeerde film heeft voorgesteld. Hoe meer sociale, politieke, wettelijke of economische gevolgen echter verbonden zijn aan de beslissingen door een AI-algoritme, des te noodzakelijker de transparantie en verduidelijking..
XAI (eXplainable Artificial Intelligence) is een machine learning technologie die op individueel niveau een voorspelling nauwkeurig kan verklaren, zodat mensen het begrijpen en vertrouwen. XAI is geen vervanging van de ‘black box’ maar een toevoeging aan het model. Deze technologie geeft de volgende inzichten:
De lijst met XAI technieken die toegepast kunnen worden, wordt steeds langer. De XAI technieken zijn op te delen in ante-hoc en post-hoc technieken. Ante-hoc technieken zorgen voor uitlegbaarheid van het model vanaf het begin. Bij post-hoc technieken is het mogelijk om het model normaal te trainen en bij het testen van het model wordt de verklaarbaarheid opgenomen.
Bayesian Deep Learning (BDL) is een voorbeeld van een ante-hoc techniek. Met BDL wordt de mate van zekerheid van voorspellingen door het neurale netwerk weergegeven. Aan de verschillende voorspellingen en klassen worden gewichtsverdelingen toegekend. Dit geeft inzicht in welke kenmerken leiden tot welke beslissingen en het relatieve belang ervan.
Een post-hoc techniek is bijvoorbeeld Local Interpretable Model-Agnostic Explanations (LIME). LIME wordt met name gebruikt voor beeldclassificatietaken en werkt met behulp van een lineair interpreteerbaar model. Om te achterhalen welke delen van de input bijdragen aan de voorspelling verdelen we de input. Bij het interpreteren van een foto wordt de foto in stukken verdeeld en deze ’verstoorde‘ stukken worden opnieuw aan het model blootgesteld. De output van het model geeft aan welke stukken van de foto invloed hebben op het correct interpreteren van de foto. Daarnaast wordt inzicht verkregen in de redeneringen achter de algoritmebeslissingen.
Vanuit AI testing implementeren we XAI als auditlaag in Machine Learning modellen. Deze auditlaag zorgt voor transparantie van het model, zodat er voldaan wordt aan de GDPR richtlijnen. XAI kan worden toegepast voor bijvoorbeeld spraak-, tekst- en beeldherkenning. De implementatie van XAI is een onderdeel van onze end-to-end AI oplossing die we dagelijks bij klanten realiseren.
Het thema komt ook aan bod in één van de sessie van de QX Day op 1 oktober, dus wil je meer weten, meld je ook direct aan.
Ben je benieuwd naar XAI en de mogelijkheden voor jouw organisatie? Neem dan contact met ons op via onderstaande gegevens.
