‘Lies, damned lies and statistics.’ Ondanks deze kwalijke reputatie van statistiek, kunnen we er geen genoeg van krijgen. Elke steekproef, ongeacht representativiteit en validiteit wordt moeiteloos opgeklopt tot een ‘nationaal beeld’, met soms een hoge mate van self fulfilling prophecy. Dat merken we binnenkort vooral weer in de aanloop naar de verkiezingen.
Maar ook in de IT kunnen we er wat van. En ik zeg bewust ‘we’, want ook ik heb (en meer dan eens) in persberichten wel ‘onderzoeksresultaten’ gepresenteerd die de DiederikStapel-Toets met terugwerkende kracht niet zouden halen. (Of wellicht díe toets juist wél…).
Waar ik me al vaker aan geërgerd heb, zijn de zogenaamde ranglijsten die als kapstok dienen voor het uitbrengen van bepaalde redactionele specials. Afgelopen weken weer twee mooie staaltjes van gezien. Ik ben een trouw lezer van Management Team, en vind ze vooral online erg goed, maar de MT500 “De Top 500 bedrijven met het beste imago in Nederland” is een volstrekt onzinnige lijst. Het bestaat niet dat imago’s van organisaties in dit land zo snel wisselen dat er dit jaar meer dan 200 nieuwe organisaties in de lijst staan (en dus ook 200 bedrijven zijn verdwenen). Met 1637 respondenten, en 500 bedrijven die blijkbaar genoemd zijn in een categorie, kun je niet anders concluderen, dat in de onderste regionen sprake moet zijn van zeer incidentele vermeldingen.
En wat is de waarde van een ranglijst waar in de top 500 maar liefst 180 bedrijven ex-aequo eindigen op de 381e plaats? De enige zinnige rangschikking is dan nog de alfabetische. Toen ik nog in de PR werkte kregen we na publicatie van zo’n lijst ook altijd wel van een klant de vraag: “Vorig jaar stonden we nog op 160, en dit jaar op 320, hoe kan dat?” ”Tja, eh… dat kan als er vorig jaar drie mensen je naam noemden, en er dit jaar in de minimale steekproef maar twee mensen zaten dat hebben gedaan…” En dat alles wordt dan uitgevoerd door een gerenommeerd onderzoeksbureau als MWM2. Die zichzelf overigens ook beschrijft als een ‘Fast50 Company’, dus het eigen geloof in ranglijstjes zit blijkbaar diep.
Mijn wantrouwen in dergelijke onderzoeken werd verder nog bevestigd door een onderzoek dat Motivaction (ook niet de minste, toch?) online uitvoert in opdracht van Computable: “U als lezer van Computable kunt in een korte enquête uit de belangrijkste Nederlandse ICT-bedrijven en ICT-consultancybureaus díe bedrijven kiezen die naar uw mening op een aantal punten het beste zijn.” Die krachtigste ICT-bedrijven worden vervolgens gerangschikt in de Computable 100.
De mail om mee te doen bereikte mij op de 9e juli, terwijl er een deadline in staat van 8 juli. De respons was blijkbaar nog niet hoog genoeg? Vervolgens krijg ik dan een lijst met bedrijfsnamen waar ik uit kan kiezen om mijn ranglijstjes compleet te maken. Steeds vijf kiezen. “Met wie doet u het liefste zaken?” Dat is toch eigenlijk een onzinnige vraag? Dat hangt er toch vanaf wat ik wil aankopen? Zet ik Apple bovenaan omdat ik graag naar de Apple store ga? Of kies ik voor Surfnet, omdat ze zo verschrikkelijk ter zake kundig zijn? En dan blijken partijen als Oracle, XS4all en Dell helemaal niet in het keuzelijstje voor te komen, dus niet te kiezen te zijn. Welke waarde heeft de uitkomst dan nog?
Nou ja, ik ben dan wel weer heel blij dat ik nu weet dat het imago van het Kadaster precies even goed is als dat van de Sligro en van LinkedIn…
Ward van Beek is actief als zelfstandig communicatie-adviseur, vanuit zijn bedrijf GotContent? Daarvoor was hij meer dan tien jaar eigenaar en directeur van PR-bureau Whizpr
Ward heeft “bijna” helemaal gelijk. Een misvatting in de tekst, en dat weet Ward als geen ander, is dat het helemaal geen redactionele specials meer zijn, maar commerci√´le. Hoewel de lezer dat in eerste instantie anders ervaart – dat geef ik toe. Want ‘het kwaliteitsstempel’ van het A-merk’ van de uitgave staat er immers op, dus ‘ervaart de lezer het als betrouwbaar,’ is ten onrechte de opvatting van de uitgevers en marketeers.
Even wat historie. Een inhoudelijke ranking is met Pierre Wind oliebollen of haringen testen of na 52 bezoeken van Johannes van Dam een top 10 Amsterdamse restaurants maken. Daar wordt echter geen advertentie op verkocht.
Gek gemaakt door het enorme succes van de (eerste edities van) de Quote-toplijst, wilde elke salesmanager zijn lijstjesuitgave. ‘Adverteerders vragen erom’, en, zeker in het begin, lezers ook.
Het is alleen gierend uit de hand gelopen. Elk jaar twee extra categorie√´n bij de CRN Channel Awards, met dus 2 x 5 extra genomineerden, dus nog meer potenti√´le adverteerders en nog meer betalende bezoekers. Of neem CRF-beste werkgever. Beste werkgever? ja, m’n neus, je mag kiezen tussen die werkgevers die voor deelname betalen.
Stem online op de beste broadline distributeur. Hoe beoordeel je dat?
Nee, de tijd dat Johan Doruiter (Oracle) briesend zijn ongenoegen uitte vanwege een (terecht) veel te ongunstige positie op de Computable ranking ligt ver achter ons.
Geen award gewonnen? Toch een mooie avond gehad met een lekkere babe als presentatrice. Foute plek op de toplijst? Schouders ophalen en smalen dat de redactie er niets van snapt en dat ‘de grootste adverteerder wint’. Bedrijven zijn klaar met die lijsten.
Adverteerders overigens ook. ‘De special past niet in ons communicatieplan voor dit jaar.’ Lezers nemen het al lang niet meer serieus. Alleen de pr-bureau’s, beste Ward, die bellen in de weken voor de verschijning van zo’n ranking de redactie plat. ‘Mag je al iets over de uitslag zeggen’ ‘de directeur van onze relatie komt alleen als er een prijs op te halen valt’. En natuurlijk de PR-waterval na de onthulling van de winnaars. ‘waarom heeft onze cli√´nt niet gewonnen’ ‘hoeveel mensen hebben er dan eigenlijk gestemd’ ‘is er wel op IP-adres gefilterd’?
Dit alles uit liefde voor de klant? Natuurlijk! Maar, Ward, er konden mooi weer kwartiertjes gedeclareerd worden, toch?
Lijstjes? Alleen de PR-bureau’s profiteren ervan!
Ha die Ward,
Mooie column. Je zegt dus eigenlijk dat ik vroeger van jou persberichten kreeg waarin totale onzin stond? Haha. Wat zal jij gelachen hebben als we daar dan een stukkie van maakten. Enfin, je hebt wel gelijk. Maar lijstjes-maken is nu eenmaal inherent aan bladen-maken. Gisteren, vandaag en waarschijnlijk morgen ook nog wel. Al heb ik ooit op een bladenmakerscursus geleerd dat zo’n lijstje nooit uit aantal als 10, 100 of 500 deelnemers zou mogen bestaan. Dat moet dus 9, 101 of 476 zijn. Klinkt meteen ook veel geloofwaardiger toch? ‘De 476 bedrijven met het beste imago in Nederland’. Ben je gelijk minder geneigd om naar het aantal respondenten te kijken. Ik zie uit naar je volgende column!
Groet
Wiegert van Dijk (www.vandijkcm.nl)
Wiegert, Mels, dank voor deze reacties! Ik heb in elk geval iets geraakt, maar hoop alleen dat het geen open zenuw was…
@Wiegert, totale onzin heb je niet van mij gehad, denk ik. Maar vast wel onderzoeken die de stelligheid van de geponeerde conclusies statistisch niet geheel zouden kunnen waarmaken.
@Mels, de woordkeus ‘redactionele specials’ is inderdaad onjuist. Het gaat inderdaad om commerci√´le specials, waarvan de redactie overigens vaak wel degelijk een aantal pagina’s vult. Ik ontken niet dat zulke lijstjes werk aan de winkel betekenen voor PR-mensen. Maar ik denk alleen wel dat het niet het soort werk is waar ze blij van worden, op zitten te wachten of echt toegevoegde waarde op kunnen leveren. Het is een opgetuigd circus waar bedrijven vaak in mee moeten, of ze willen of niet. Ik denk dat heel veel goede PR-mensen graag deze kwartiertjes zouden besteden aan zinniger communicatiewerk dan het bellen van redacties over lijstjes waarvan jij net duidelijk aangeeft dat de redactie er niets mee te maken heeft.
Gek eigenlijk dat die redacties dan niet even aan die bureaus laten weten dat ze er niets me te maken hebben…
Dus, Lijstjes PR-bureaus profiteren daar niet van.
Verder blij dat jullie de onzinnigheid ervan niet betwisten… 😉
.
Ha Ward,
Nee hoor, helemaal geen open zenuw. Ik ben met je eens dat het een circus is. Ik deel wel de mening van Mels dat PR-bureaus vaak degenen waren die er het meeste belang aan leken te hechten. Ik heb vaak genoeg voorgesteld om gewoon ‘een gezellige avond met iedereen’ te organiseren ipv een award-gala, maar daar kreeg ik de handen niet voor op elkaar. Verkoop meende dat ‘daar niks op verkocht kon worden’ en potenti√´le bezoekers zeiden ‘dat ze hun tijd wel beter konden besteden als er niets te halen viel’. Van de weeromstuit dus maar zo’n lijstje (dat inderdaad steeds groter moest worden) om het geheel aan op te hangen. Hetzelfde geldt denk ik voor de specials van de bladen. Zonder een, zelfs onzinnig, lijstje helemaal geen special.
PS Die bel-minuten konden toch gewoon gefactureerd worden, of niet 😉
Wiegert
Ik ben het (natuurlijk) helemaal met mijn wederhelft Van Dijk eens, en ik ken eigenlijk maar een iemand die persoonlijk slechter is geworden van een dergelijk onderzoek: communicatieman Klaas K. die destijds de toorn van Doruiter over zich heen kreeg.
En de lezers, natuurlijk. Die worstelen zich, in het geval van Management Team, zo snel mogelijk naar de column van Hans Verstraaten – Bob de Manager.
Dat maakt een hoop goed.
Goed verhaal, goede reacties.
En zo gaat het met bijna al die lijstjes. Uit ervaring weet ik dat de foutste de lijst met de beste werkgevers is. De aantoonbaar slechtste werkgever van dit land hing haar top vermelding naast de voordeur. In de hoop personeel te trekken denk ik.
Vreselijk!
Beste geïnteresseerden,
Als ik dit zo allemaal lees, deel ik de frustratie/ het ongenoegen dat ‘feitenkennis’ geposteerd wordt als waarheid in verschillende media en dat daar veelal een commercieel belang bij zit. Waar dit in principe niet kwalijk is, vind ik wel dat er nodig nuancering plaats moet vinden bij de rapportage van deze ‘feiten’. Binnen de statistiek is alles significant te maken (of juist niet) als je maar de steekproefgrootte gunstig be√Ønvloedt. Daarover rapporteren lijkt me onzinnig omdat voor de leek zonder statistische achtergrond dit niet te doorgronden is (power vermelding zal ook het effect niet bereiken). We moeten op zoek naar handige en begrijpelijke aanvullende informatie die voor de leek de juiste nuancering van de ‘feiten’ meegeeft.
http://nos.nl/artikel/394789-links-verliest-in-peiling.html (laatste alinea) is een mooi voorbeeld van een 95% confidence interval (neem even aan dat het 95% is, kan uiteraard ook 99% zijn, wordt afgespiegeld als een 100%….), die mijns inziens de mensen wat betere in laat zien wat de peiling concreet voor resultaat op zal leveren op 12 september.
Ik hoop dat de trend door zet en we meer van dit en gelijksoortige aanvullende informatie mogen ontvangen over de ‘feiten’ die ons in staat stellen ze in het ‘juiste’ perspectief te plaatsen.
De trend is gezet. Hopelijk kunnen we die doorzetten.
Damn. Jij bent niet trots op je verleden Ward! 😉