Leissl/Bloomberg)
Zoals Mark Twain beroemd maakte in het publieke bewustzijn, “Er zijn drie soorten leugens: leugens, verdomde leugens, en statistieken.” Of het nu komt door kwaad opzet, slechte opleiding of eenvoudige onwetendheid, “slechte statistieken” hebben een rijke erfenis die teruggaat tot de tijd dat mensen dingen tellen. Talloze boeken, artikelen en blogs vertellen over de talloze manieren waarop gegevens en statistieken worden misbruikt om argumenten te onderbouwen, variërend van de academische wereld tot het overheidsbeleid. Aangezien gegevensgestuurde journalistiek in opkomst is en de roep om meer op bewijs gebaseerde “fact checking” blijft groeien, is het de moeite waard om een stapje terug te doen en je af te vragen hoeveel van het “nepnieuws” dat ons vandaag omringt, ten minste gedeeltelijk is gebaseerd op slechte statistieken.
Er gaat geen dag voorbij zonder een vlaag van datagestuurde memes die mijn Facebook-nieuwsfeed passeren, voorbij zeilen op mijn Twitter-stream of landen als waarschuwingen in mijn e-mail inbox die citeren wat gerenommeerde datasets lijken te zijn en ze gebruiken om verrassende conclusies te bieden, meestal verpakt in een betoverende infographic. Toch, als ik een van deze memes willekeurig uitkies en me erin verdiep, merk ik dat het de zeldzame meme is die de statistische toets doorstaat.
Sommige memes die ik tegenkom zijn gemakkelijk af te doen als regelrechte verzinsels, waarbij niet-bestaande datasets, niet-bestaande auteurs, niet-bestaande tijdschriften worden aangehaald of echte (meestal zeer prominente) onderzoekers en instituten in het veld worden aangehaald, maar die, als er contact met hen wordt opgenomen, zeggen dat ze nog nooit van het onderzoek hebben gehoord waarvan ze de auteur zouden zijn. Tekstuele memes zijn de meest voorkomende in deze categorie, omdat het zo weinig moeite kost om een tweet te versturen in de trant van “Een recente Gallup poll stelt dat 80% van de Amerikanen gelooft dat klimaatverandering niet waar is.” Dergelijke memes kunnen er gezaghebbender uit komen te zien door een snelle grafiek te maken in Excel. Voor dergelijke visuele memes is het soms voldoende om met de rechtermuisknop op de grafiek in de Google Chrome-browser te klikken en “Search Google for image” te selecteren, om fact checking sites of academische blogs te vinden die de grafiek hebben onderzocht en hebben bevestigd dat het een verzinsel is.
Ik heb zelfs een paar memes gezien die een legitieme “wetenschapsachtig uitziende” grafiek uit een artikel op een bepaald gebied hebben genomen en deze hebben gebruikt als illustratie voor een bewering op een ander gebied. Onlangs nog zag ik in mijn Facebook-feed een meme voorbij komen met een grafiek van een exponentiële curve met allerlei statistische maatstaven op de achtergrond, die werd gebruikt om een bewering te illustreren over de opwarming van de aarde in de afgelopen 50 jaar. Het vreemde was dat de X- en Y-assen waren afgesneden en dat sommige annotaties op de grafiek betrekking hadden op de medische sector. Na enig zoekwerk kon ik ontdekken dat de auteur van de meme blijkbaar gewoon een mooie exponentieel lijkende grafiek uit een volledig ongerelateerd medisch artikel had gehaald (misschien gevonden via een snelle Google Scholar search).
De opkomst van preprints, postprints en academische publicaties via blogs heeft een gevaarlijk effect gehad op het wetenschappelijk vertrouwen, doordat het grote publiek gewend is geraakt aan een nieuwsartikel over een nieuwe wetenschappelijke vooruitgang dat linkt naar een preprint van het artikel op de persoonlijke blog van het lid van de faculteit, in plaats van op de website van het tijdschrift. Dit betekent dat wanneer iemand een meme ziet waarin een wetenschappelijk artikel wordt aangehaald dat in de laatste uitgave van Nature zou zijn gepubliceerd, maar de link naar een PDF op een willekeurige website gaat die de persoonlijke blog van een Harvard-professor beweert te zijn, veel lezers niet met hun ogen zullen knipperen en er gewoon op vertrouwen dat het artikel echt een voordruk is van een nieuw Nature-artikel van een Harvard-professor.
Om de zaak nog verder te vertroebelen, betekent de opkomst van roofzuchtige uitgevers en ‘fly-by-night’ tijdschriften dat een meme kan linken naar een artikel op een website van een echt professioneel uitziend tijdschrift met een prestigieus klinkende naam en met veel prominente faculteiten in de redactieraad (die zich er misschien niet eens van bewust zijn dat hun naam wordt gebruikt). Normen voor peer review zijn bij dergelijke tijdschriften vaak vrijwel onbestaande, wat betekent dat bijna elke inzending wordt geaccepteerd.
Er is tegenwoordig dus niet veel meer nodig dan een snelle Google-zoekopdracht om een academisch artikel te vinden dat is gepubliceerd in een prestigieus klinkend tijdschrift en dat elk argument aanvoert dat je maar wilt en beweert de gegevens, statistieken en citaten te hebben om dat argument rigoureus en zonder twijfel te ondersteunen. Voor het gemiddelde publiek is “peer review” een onbekend concept en een artikel gepubliceerd in Nature is niet meer gerenommeerd dan een artikel gepubliceerd in The Journal Of Prestigious And World Changing Research.
Hoewel, de grootste bijdrage aan data-gedreven “fake news” zijn de talloze statistische denkfouten die zo gemakkelijk zelfs academici overkomen in vakgebieden die geen rigoureuze statistische training benadrukken (hoewel zelfs vakgebieden met veel statistiek niet immuun zijn voor statistische argumenten). Naast de voor de hand liggende kandidaten zoals suggesties van correlatie die oorzakelijk verband impliceert en onjuist gebruik van statistische technieken, is misschien wel een van de grootste aanjagers van nepnieuws in de memes die ik tegenkom steekproefvooringen en selectieve definities.
Een voorbeeld: definities van wat precies een “terreuraanslag” is, zijn berucht om de controverse. Was iets een “massale schietpartij”, een “terroristische aanslag”, of een “daad van geestesziekte”? Onlangs zag ik een meme die beweerde dat er sinds 9/11 nooit meer een terreurdaad op Amerikaans grondgebied was geweest, omdat alle volgende aanslagen in de VS het gevolg waren van geesteszieke individuen, in plaats van terrorisme. Een andere recente meme die ik zag, beweerde dat geen enkele Amerikaan gewond of gedood was door een in het buitenland geboren aanvaller op Amerikaans grondgebied en alleen in kleine lettertjes in een kleine voetnoot stond een verklaring die het tijdskader van de analyse beperkte, zodat de aanslagen van 9/11, de aanslag in San Bernardino en andere gevallen er niet onder vielen. Een nationale opiniepeiling die ik tijdens de presidentscampagne zag, maakte gewaagde beweringen over de nationale steun voor Clinton, maar onthulde in haar methodologie dat meer dan 80% van de steekproef bestond uit Democraten en Onafhankelijken. Dit roept de cruciale vraag op – zouden we deze als “nepnieuws” bestempelen, als “feitelijk accuraat maar misleidend” of als “absoluut waar?”
Daarin ligt een van de grote uitdagingen van het “nepnieuws”-debat – veel van de datagestuurde memes (en nieuwsartikelen) die ronddwarrelen zijn, op puur technische merites, feitelijk accuraat op basis van de zorgvuldig samengestelde bevolkingssteekproef die ze gebruiken. De vraag is of iets dat feitelijk accuraat is ook als “nepnieuws” kan worden bestempeld als het gaat om het misleiden van het publiek, aangezien de resultaten van zelfs de best uitgevoerde experimenten maar al te snel worden gescheiden van de talloze voorbehouden die deze conclusies temperen. Een verrassende opiniepeiling die duidelijk wijst op een overweldigende vertekening van de steekproef ten gunste van de Democraten wordt uiteindelijk omgevormd tot een krantenkop zonder enige vermelding van partijdige vertekening. Een bewering dat er sinds 9/11 nooit meer een terreuraanslag op Amerikaanse bodem is geweest, verspreidt zich via de sociale media en verliest zijn voetnoot om duidelijk te maken dat het slechts om een klein deel van die periode van 15 jaar gaat.
Hoe gaan we om met statistische denkfouten in een wereld waarin maar weinig burgers (en zelfs academici) zelfs maar een basiskennis hebben van statistiek of data? Nog verontrustender, hoe gaan we om met feitelijk ware beweringen die gebruik maken van zo’n zorgvuldig geconstrueerde bevolkingssteekproef dat hun argument bijna betekenisloos is? Technisch gezien kunnen ze niet als “nepnieuws” worden bestempeld omdat ze feitelijk correct zijn, maar het is ook waarschijnlijk dat die voetnoten verloren zullen gaan naarmate ze zich verspreiden. Als een feit wordt gedeeld zonder het oorspronkelijke voorbehoud, maakt dat het dan onwaar? Als een meme simpelweg stelt “Er is sinds 9/11 nooit meer een terreuraanslag op Amerikaans grondgebied geweest” en de voetnoten die de tijdsperioden en de definitie van “terreuraanslag” verduidelijken zijn allang verloren gegaan, maakt dat de meme dan onwaar of is de meme nog steeds waar omdat hij feitelijk correct is onder de specifieke aannames en bevolkingsopbouw die door de oorspronkelijke auteur zijn gebruikt?
Dit zijn fascinerende vragen nu we worden geconfronteerd met de dualiteit van een enorm toegenomen toegang tot gegevens en een gegevens-analfabete bevolking die de statistische opleiding ontbeert om te begrijpen hoe die gegevens op de juiste manier kunnen worden gebruikt om conclusies te trekken. De sociale media zorgen ervoor dat zelfs het meest scheve feit uit een dataset kan worden gehaald en viraal kan gaan, waarbij het snel het verband verliest met de talloze definitorische voorbehouden die het in staat stelden zich vast te klampen aan waarachtigheid.
Zelfs bij gebruik van eenvoudige technieken zoals tellingen in de tijd, zijn kwesties zoals datanormalisatie en de unieke nuances van datasetconstructie bijzonder verbijsterend, zelfs voor degenen met een diepe statistische achtergrond, wat betekent dat zelfs doorgewinterde datajournalisten regelmatig bevindingen publiceren die diep gebrekkig zijn en leiden tot verdere valse en misleidende koppen en interpretaties.
Dit alles bij elkaar genomen, zoals ik in december heb betoogd, kunnen we niet beginnen met het bestrijden van nepnieuws totdat we ons richten op het vergroten van de gegevens- en informatievaardigheden van de samenleving.