Retrospectieve vertekening betekent dat je met de kennis van achteraf een oordeel velt over een incident of een situatie. Het wordt ook wel hindsight bias genoemd. Deze vertekening speelt een grote rol bij het onderzoek naar ongevallen en rampen. Achteraf voorspellen (want dat is retrospectieve vertekening) houdt namelijk de mythe van maakbaarheid in stand. En dat is een venijnig probleem.
In de week dat ik dit blog zat te schrijven gebeurde er een ernstig treinongeluk bij Voorschoten. Toen al wist ik dat dit blog met retrospectieve vertekening een andere lading zou gaan krijgen dan zonder die aanrijding. Uiteindelijk vond ik het toch geen reden om er mee te stoppen, omdat het wel degelijk een venijnig probleem is dat ook nog eens lastig te beschrijven is.
Een deel van het venijn zit in de aard van de retrospectieve vertekening zelf. Als je kritiek levert op een rapport door te zeggen dat het aan hindsight bias lijdt, kun je je er als onderzoeker haast niet tegen verdedigen.
Een beetje zoals Freudianen anderen betichten van het hebben van afweermechanismen en zodra je daar tegenargumenten op geeft triomfantelijk roepen: zie je wel!
Dat is, enigszins paradoxaal, tegelijk ook het grootste verdedigingsmechanisme dat je hebt om het verwijt van hindsight bias naast je neer te leggen.
Daarmee blijft het wel een ongemakkelijke olifant in de kamer.
Onderzoeksraad
Zo ook bij het rapport van de Onderzoeksraad naar de moorden op Peter R. de Vries en Derk Wiersum. Daarvan werd direct door journalisten gezegd dat die voorkomen hadden kunnen worden. Hoe heftig die situatie ook is, het is maar de vraag of dat ook echt zo is.
Want de hindsight bias in het rapport laat weliswaar zien wat er nu mis is gegaan, maar vertelt niet wat er anders zou zijn gebeurd. Taleb benoemt dit argument in zijn boek ‘Misleid door toeval’ ook, onder de noemer alternatieve geschiedenis en steekproefpaden. Ik schreef daar in een eerder blog al wat over.
Voor nu volsta ik met te zeggen dat als er bepaalde elementen uit het rapport van de Onderzoeksraad in de werkelijkheid te voorkomen zouden zijn geweest, er onherroepelijk iets anders zou zijn gebeurd. En niet noodzakelijkerwijs beter. Want dat weten we dus niet, wat er in de toekomst gebeuren zal.
Vrijwel tegelijkertijd verscheen er in Engeland een rapport over de aanslagen tijdens het concert van Ariane Grande in Manchester op 22 mei 2017. Ook daarover zei men dat die aanslagen voorkomen hadden kunnen worden.
Net als bij het rapport van de OvV roep ik dan terug dat er sprake is van hindsight bias. Je kan niet zeggen dat de aanslagen voorkomen hadden kunnen worden, vanwege het bestaan van alternatieve geschiedenissen en steekproefpaden.
Misschien was er dan een aanslag gepleegd op een andere plek, een andere plaats. We weten het niet.
Je kan wel zeggen dat op de manier waarop de boel nu georganiseerd is, het in ieder geval niet gelukt is om de ongewenste gebeurtenis te voorkomen. Hoe meer de cognitieve, organisatorische en politieke factoren falen, hoe voorspelbaarder een ongewenste gebeurtenis is; alleen de aard, omvang en tijdstip zijn niet voorspelbaar. En dus eigenlijk ook niet te voorkomen.
Zelfs over 9/11 wordt gezegd dat het voorkomen had kunnen worden, maar daarvoor geldt hetzelfde. En zelfs nog eerder, over Pearl Harbor, waren er stemmen die zeiden dat de aanval tegengehouden had kunnen worden. Alhoewel de onderzoekers daar zich wel bewust waren van de retrospectieve vertekening, al kende men de term toen nog niet.
Pearl Harbor
In zijn boek The Drunkard’s Walk beschrijft Leonard Mlodinow welke signalen door de Amerikanen zijn gemist voor de aanval op Pearl Harbor. Niet dat het er zo veel zijn, dat niet. Maar het is ook niet zo dat alles geheim is gehouden, wat je wellicht zou verwachten in een oorlog.
Zo informeerde een Japanse spion zich over de positie van de schepen in de haven, met bijzondere aandacht voor de oorlogsbodems. De Japanse zendercodes werden opeens per maand veranderd, in plaats van eens per half jaar, zoals de gewoonte was. En er bleek een ambtsinstructie te zijn afgegeven om geheime stukken te verbranden.
Maar al deze signalen kregen pas achteraf betekenis, na de aanval. Vooraf waren het loze signalen in een enorme brei van ruis; duizenden berichtensnippers die met elkaar concurreren om aandacht. Je weet niet eens dat je zoekt naar een speld in een hooiberg. Hoe kan je dan iets vinden?
En als je wel iets vindt, hoe weet je dan dat het waar is en geen afleidingsmanoeuvre?
Roberta Wohlsetter was één van de historici die onderzoek deed naar Pearl Harbor. Over die gemiste signalen zei zij in 1962 al het volgende:
After the event, of course, a signal is always crystal clear; we can now see what disaster it was signaling….But before the event it is obscure and pregnant with conflicting meaning.
roberta wohlsetter
Retrospectieve vertekening dus. David Hand schaart deze bias in zijn boek over het Onwaarschijnlijkheidsprincipe onder de Wet van de selectie. Oftewel, pas achteraf geven mensen betekenis en een kans aan een gebeurtenis. Daardoor wordt de kans op het voorval groter ingeschat.
Anders gezegd: omdat Pearl Harbor is gebeurd, zal men achteraf de kans op Pearl Harbor groter inschatten dan als het niet was gebeurd.
Taleb
Ook Taleb schrijft over retrospectieve vertekening, in The Black Swan. Het houdt kennelijk veel mensen bezig die zich verdiepen in kleine kans, groot gevolg incidenten. Volgens Taleb is het niet goed mogelijk om precies te achterhalen welke processen tot welk resultaat hebben geleid. Daarom noemt hij de geschiedenis opaak, ondoorzichtig.
Je ziet wel de dingen die gebeurd zijn, maar niet hoe ze gebeurd zijn. Zoals je ook kan zien wat je eet, maar niet hoe ze het in de keuken gemaakt hebben. Je ziet wel een resultaat, maar niet hoe het proces verlopen is. Dat is wat de opaciteit van geschiedenis betekent.
Die opaciteit bestaat uit drie elementen, schrijft Taleb. Retrospectieve vertekening is er één van.
Gebeurtenissen in het verleden interpreteren met kennis achteraf, waardoor de waangedachte ontstaat dat deze gebeurtenissen te voorspellen waren
nicholas taleb
Een andere is de illusie van kennis, waardoor we in een enorm complexe wereld menen te weten hoe de dingen zullen gaan. De laatste van het triplet benoemt hij als de overwaardering van feitelijke informatie en de handicap van geleerde mensen om categorieën te bedenken waardoor de werkelijkheid er opeens logisch en voorspelbaar uitziet. Terwijl dat helemaal niet zo is, vindt Taleb.
Als je net als Taleb meent dat de causaliteit tussen hoe iets gebeurd is en wat er gebeurd is mede veroorzaakt wordt door toeval, krijg je twee variabelen die je los van elkaar in een tabelletje kunt zetten. Dat ziet er dan zo uit:
Omdat er vrijwel nooit een onderzoekscommissie wordt ingericht op een goed resultaat, vallen er twee mogelijke uitkomsten van alternatieve geschiedenissen en steekproefpaden gelijk al af. Wat overblijft is pech gehad of fout gedaan.
Complexiteit
De retrospectieve vertekening zorgt er vervolgens voor dat men meent dat een foute uitkomst ook het gevolg zal zijn van een fout proces met foute besluiten. Na uitgebreide studie zal het college van wijze mensen ook daadwerkelijk allerlei signalen vinden en die met backward tracking construeren tot een keten of een netwerk van met elkaar samenhangende stapjes die uiteindelijk hebben geleid tot het noodlottig voorval. Dat voorkomen had kunnen worden.
Zoals je ook kunt zien op onderstaand plaatje; een logische reconstructie achteraf.
Wat het plaatje ook laat zien is de situatie voor het ongeval, voor de schade. Als je op basis van de informatie die je dan hebt moet bedenken wat er zal gebeuren, sta je eigenlijk voor een onmogelijke opdracht. Allerlei signalen en variabelen verschijnen en interacteren met elkaar en zorgen voor een onvoorspelbare uitkomst. Dat is wat complexiteit is, onvoorspelbaarheid.
Je hebt geen idee hoe het zal aflopen. Het is VUCA: volatiel, onzeker, complex en ambigu. Het is, zoals gezegd, een hooiberg waarin je niet weet wat je zoekt. Waarvan je achteraf de speld kunt laten zien die je had moeten ontdekken, inclusief het pad om ‘m te vinden.
Dat is vooraf, dus zonder hindsight, natuurlijk niet te doen. Anders dan door toeval. Voorspellen is erg moeilijk, vooral als het om de toekomst gaat, zei Niels Bohr al. Een klein rijtje foute voorspellingen ter illustratie.
Dit principe, de onvoorspelbaarheid van de toekomst, raakt de kern van het venijnige probleem van retrospectieve vertekening: als we voordat er een ongeval gebeurt zeggen dat de toekomst onvoorspelbaar is, hoe kun je dan na dat ongeval zeggen dat de toekomst wel voorspelbaar was?
Mythe
De manier waarop onderzoekscommissies nu werken houdt de mythe in stand dat als je maar het juiste proces volgt, het resultaat voorspelbaar goed zal zijn. Dat wijst het onderzoek namelijk uit, gedaan door knappe koppen. Dus het moet wel waar zijn. Dat is de mythe van maakbaarheid.
Terwijl iedereen die een beetje logisch en non-egocentered nadenkt weet dat het niet zo is. Zeker als een gebeurtenis grotendeels wordt veroorzaakt door een boef. Als die een aanslag wil plegen zal hij dat doen, linksom of rechtsom. Welke acceptabele maatregelen je ook neemt.
Acceptabel in de zin dat het moet passen bij onze democratische rechtsstaat en mensenrechten. Natuurlijk kun je op de minste verdenking iedereen oppakken en opsluiten. Dat zal de kans op een aanslag onherroepelijk kleiner maken. Maar die tactiek botst enorm met de vrijheden die we in onze samenleving verworven hebben. En ja, die schuren soms met veiligheid.
Het lijkt mij dus logisch dat onderzoekscommissies en journalisten zich bescheiden opstellen en niet meer roepen na een ongevalsrapport dat het te voorkomen was geweest. Hetgeen niet betekent dat je geen zaken kunt verbeteren, want dat kan natuurlijk wel. Maar dan moet je HRO gaan organiseren, dat kan ik zonder ongevalsonderzoek vooraf voorspellen.
Al heb je ook dan geen garantie dat er geen Black Swan bij je neer zal strijken.
Dit is de tweede spin off van Het Onwaarschijnlijkheidsprincipe. De eerste ging over regressie naar het gemiddelde in de oefenpraktijk. Nauw gelieerd aan dit onderwerp is het blog over Taleb’s Toeval. Andere blogs over ongevalsonderzoek zijn De Barmhartige Onderzoeker, Elk ongeval heeft zijn eigen verhaal, je moet het alleen nog zien te vinden en Over het gelijk van de Onderzoeksraad voor Veiligheid
