Home Innovatie & Strategie Testen van AI: vol vertrouwen of vol valkuilen?

Testen van AI: vol vertrouwen of vol valkuilen?

117

De afgelopen jaren is er veel gedacht en geschreven over het testen van Artificial Intelligence. Ook neemt binnen bedrijven en overheden het aantal toepassingen met AI snel toe. Toch hebben de meeste testers er nog niet mee te maken gehad in de praktijk. Salves vond het dus een mooi moment om een poll te houden met de vraag: zijn we er wel klaar voor?

De reacties op de poll zijn enthousiast en optimistisch. Testers blijken vol vertrouwen. De meesten antwoorden dat ze er klaar voor zijn om AI te gaan testen, terwijl een aanzienlijk deel van de deelnemers antwoordt dat ze het gaan proberen en wel zien hoe ver ze komen.

Testen AI is echt anders

Die antwoorden komen niet als een verrassing. We zijn als testers inmiddels wel gewend om uitdagingen aan te gaan in onzekere omstandigheden. Requirements die pas tijdens het project duidelijk worden, constante verandering in specificaties als gevolg van de agile denkwijze, werken met onvoorspelbare testomgevingen en testdatasets, enzovoort.

Toch lijkt het testen van AI en machine learning écht anders dan het testen van software op basis van geprogrammeerde beslisregels. Denk bijvoorbeeld aan het volgende.

  • Testen van datakwaliteit. Dit is een wereld op zich, waar op dit moment alleen de Business Intelligence-testers al mee te maken hebben. Je test of de invoerdata er logisch uitziet en of de uitschieters (outliers) verklaarbaar zijn. Maar er komt ook statistiek bij kijken om te controleren op statistisch logische verhoudingen in de dataset.
  • Blackbox testen van een applicatie waarvan je de regels niet kent. Zeker bij heel complexe AI-modellen (zoals deep learning) heb je deze blackbox testen nodig. Denk als oplossing aan technieken zoals mutation testing: het aanbrengen van kleine wijzigingen in de invoerdata om te zien of uitkomst op een logische manier verandert.
  • Testen op ethische uitgangspunten. Welke ethische overwegingen moet je sowieso maken en beschrijven volgens de wet en hoe denk je zelf op een praktische manier en met de juiste vertegenwoordiging na over je data en je AI-model?

We denken dus dat het goed is om je in te lezen in AI-testen! Geen dikke boekwerken, maar een praktische introductie. De whitepaper van TestNet is een prima beginpunt. Dit is een veelomvattende beschrijving op hoofdlijnen van alles wat je zou willen weten: wat is AI? Wat zijn de risico’s van AI? En welke testen heb je daarvoor nodig? Voor meer algemene informatie kun je natuurlijk ook starten met de Nationale AI-cursus.

Bij Salves schrijven we al een tijdje blogs over testen en AI. We hebben regelmatig een nieuwe blog over de laatste ontwikkelingen, dus blijf ons volgen!

 

LAAT EEN REACTIE ACHTER

Vul alstublieft uw commentaar in!
Vul hier uw naam in