Er zijn gespecialiseerde testers nodig voor Apps!

De mobiele app markt is groot, en groeiende. Hoe groot? De twee populairste mobiele platformen op dit moment, iOS en Android, laten tezamen de volgende cijfers zien:
* 1.250.000 downloadbare apps (85% groei afgelopen jaar)
* 63.000 nieuwe apps per maand (worden niet allen goedgekeurd)
* 2 miljard downloads per maand
* 765.000.000 actieve iOS en Android gebruikers
* 70.000 gespecialiseerde app ontwikkelaars.

Indrukwekkende cijfers. En waar ontwikkeld wordt, moet getest worden! In dit blog probeer ik de volgende vraag te beantwoorden: Is voor het testen van apps gespecialiseerde testkennis nodig, of is het een kwestie van het gebruik van je boerenverstand? Laten we eens bekijken of de teststrategie voor mobiele apps afwijkt ten opzichte van een “reguliere” teststrategie.

Verschuiving in de teststrategie
Een goede teststrategie is natuurlijk gebaseerd op de productrisico’s. In een reguliere teststrategie blijkt vaak dat 80% van de testinspanning op functionaliteit van de software komt te liggen. Laten we ons boerenverstand eens aanspreken en bekijken of dit voor mobiele apps ook geldt.

Usability
Waarom zijn mobiele app’s zo populair? Juist omdat ze makkelijk en snel in gebruik zijn. Ten behoeve van de gebruiksvriendelijkheid worden in app’s zelfs vaak functionaliteiten geschrapt. Dit in tegenstelling tot desktop software die vaak uitblinkt in allerlei (ongebruikte) functies. Usability prevaleert dus boven functionaliteit. Logischerwijs vormt een usability test dus een belangrijk onderdeel binnen de teststrategie.

Portabiliteit
Apps worden vaak beschikbaar gesteld op meerdere platformen (iOS, Android, Windows, RIM). Van deze platformen zijn vervolgens diverse versies in omloop welke draaien op een diversiteit aan smartphones. Door het testen op portabiliteit zorg je ervoor dat de app ook daadwerkelijk goed functioneert op deze combinaties van hard- en software.

Security
In tegenstelling tot desktop applicaties wordt de data van een smartphone meestal over een onbeveiligd draadloos netwerk gestuurd (3G, WiFi spots). Dat betekent natuurlijk dat er grotere risico’s bestaan met betrekking tot de security. Denk bijvoorbeeld aan mobiel internetbankieren. Een security test vormt hier dus een absolute noodzaak.

Zuinigheid, performance en continuïteit
Tegenwoordig worden databundels steeds verder beperkt. Voor gebruikers is het dus van belang dat apps zuinig omspringen met het dataverbruik. Tevens vormt het 3G netwerk vaak de bottleneck in de performance van een app. Daarom is het testen op zuinigheid en performance belangrijk binnen het testtraject.
Ook hebben we in de praktijk vaak te maken met wisselende kwaliteit en interrupties van de dataverbinding. Wat gebeurt er met je data die op dit moment wordt verstuurd? Afhankelijk van de risico’s zou het testen op continuïteit van de dataverwerking ook onderdeel uit moeten maken van de teststrategie.

Kortom, naast het testen van functionaliteit zijn diverse andere kwaliteitsattributen van belang bij het testen van apps. Dit brengt ons al weer een stapje dichter bij het beantwoorden van de vraag: is hier dan ook specialistische testkennis voor nodig?

De app-tester
Voor het testen van performance en security zijn we inmiddels gewend dat er experts worden binnen gevlogen om deze onderdelen te testen. Dit zal voor het testen van apps dan ook niet anders zijn. Minder bekend zijn we met de usability-experts binnen ons vakgebied. Maar omdat dit onderdeel zo belangrijk is in de app-wereld zal deze specialistische kennis en het gebruik van bijvoorbeeld usability labs zeer waardevol zijn in het testtraject.Portabiliteit is geen onbekend begrip in de testwereld. Webapplicaties worden namelijk vaak op verschillende browsers getest. Het uitvoeren van dergelijke testen voor apps is echter een verhaal apart. Hoe test je een app op zo’n grote diversiteit aan platformen en toestellen? Het emuleren van toestellen lijkt interessant, maar levert in de praktijk vaak geen betrouwbare resultaten. Gelukkig worden hier nieuwe initiatieven voor opgezet zoals de Testdroid Cloud van Bitbar waarmee geautomatiseerd fysieke toestellen getest kunnen worden.

Kennis van dit soort oplossingen maken het mogelijk om op efficiënte wijze te testen op portabiliteit. Daarnaast zal er kennis nodig zijn om testgevallen uit te voeren waarin bijvoorbeeld interrupties in de ontvangst worden getest. Ook dit vormt geen alledaags werk van een normale tester.

Het antwoord op de vraag
Door een goede risicoanalyse zal de testmanager of testcoördinator met zijn boerenverstand een heel eind komen met het opstellen van de teststrategie. Het uitvoeren van deze teststrategie is een heel ander verhaal. Daarom is mijn antwoord op de eerder gestelde vraag als volgt: Ja, er is gespecialiseerde kennis nodig voor het testen van apps.

Is there a tester for that?

Japser Sens, Testmanager UMC Utrecht
www.salves.nl