Leestijd: 11 minuten

Voorspellen is moeilijk, vooral als het om de toekomst gaat. Deze uitspraak wordt algemeen toegeschreven aan Niels Bohr, de Deense natuurkundige. Toch meent Philip Tetlock dat het wel degelijk mogelijk is over bepaalde onderwerpen een adequate toekomstvoorspelling te doen. Sterker nog, sommige mensen kunnen dat zo goed dat hij ze supervoorspellers noemt. Omdat supervoorspellen mij een heel handige vaardigheid in het crisismanagement lijkt, las ik Tetlock’s boek. Eens checken of er iets af te kijken valt.

En ja, dat is er. Supervoorspellers gaat zowel over de techniek van het voorspellen als wel de persoonlijke eigenschappen die daar bij horen. Daar steek je altijd iets van op als crisismanager. Ik heb daarom geprobeerd de rode lijn uit het boek te filteren en hier samen te vatten.

Dat viel niet mee. Tetlock gooit op z’n zachtst gezegd alles door elkaar. Hij maakt er een soort puzzel van, wier stukjes weliswaar allemaal aanwezig zijn maar niet persé in een logische volgorde. Hij lardeert dat dan weer wel met tal van voorbeelden en anekdotes uit zijn onderzoekspraktijk, wat het een levendig boek om te lezen maakt.

Dus zeker geen verloren tijd, al helemaal niet als hij tussen de regels door over de controverse tussen Klein en Kahneman begint (failure to disagree, eerder besproken in dit blog) en zijn gedachten laat varen over Black Swans en Taleb’s mening over Supervoorspellers. Dat vind ik persoonlijk leuke extra’s die dit boek verbindt met blogs als Kahneman’s Ruis, Het Onwaarschijnlijkheidsprincipe, Taleb’s Toeval en The Black Swan.

Onzekerheid

Maar we beginnen met de gasvoorraden in Nederland. Want toen Rusland Oekraïne binnenviel, werd de leveringszekerheid van aardgas opeens heel laag. Daarom kreeg Energie Beheer Nederland de opdracht om de leegstaande ondergrondse ruimte zo veel als mogelijk te vullen. Daarbij werd ingecalculeerd dat het de Nederlandse Staat wel eens 7 miljard zou kunnen gaan kosten.

Maar dat viel totaal anders uit. Er werd zelfs 9,8 miljard mee verdiend.

Kennelijk is het lastig om de gasprijs goed te voorspellen, omdat die markt soms bijzonder volatiel kan zijn. Het is dan een aleatorische onzekerheid, schrijft Tetlock, iets wat je niet weet en het kan ook niet geweten worden. Net als het weer van volgend jaar; beter dan het seizoensgemiddelde wordt zo’n voorspelling niet.

Daartegenover staat epistemische onzekerheid. Dat zou in theorie weetbaar kunnen zijn, als je de onderliggende mechanismen weet te vinden en uiteen te rafelen. Supervoorspellers weten heel goed het verschil tussen die twee typen onzekerheid en wat ze wanneer moeten doen.

Als ze aanvoelen dat een vraag – over de valutamarkt bijvoorbeeld – met onherleidbare onzekerheid is beladen, weten ze dat ze voorzichtig moeten zijn door hun eerste inschattingen binnen de misschienzone tussen 35 en 65 procent te houden en die alleen heel behoedzaam te verlaten

philip tetlock

Voorspelbaarheid

Want ze weten dat er sowieso iets moet gebeuren, maar dat het vooral toeval is wat het dan uiteindelijk wordt. Taleb noemt dat alternatieve geschiedenissen als het al is gebeurd en steekproefpaden als het nog moet komen. Hij schaart het onder de opaciteit van de geschiedenis, zie ook dit blog over de retrospectieve vertekening.

Helderziende Gerard Croiset heeft de plek aangewezen, waar volgens hem de drie in januari 1966 van het strand van Glanelg (Australië) verdwenen kinderen liggen onder een 7,5 cm dikke betonlaag van een nieuw warenhuis in Adelaide. Gerard Croiset in contact met de moeder van de verdwenen kinderen. Het warenhuis werd gedeeltelijk afgebroken om de plek te vinden, maar zonder resultaat. De zaak is nooit opgelost en de kinderen zijn nooit gevonden. Foto ANP

Tetlock is het daar maar ten dele mee eens. Volgens hem lopen stochastische en deterministische processen gewoon door elkaar heen. “Onvoorspelbaarheid en voorspelbaarheid leven ongemakkelijk met elkaar samen in de complex met elkaar vervlochten systemen die onze lichamen, onze samenlevingen en het heelal vormen. Hoe voorspelbaar iets is, hangt ervan af wat we proberen te voorspellen, hoe ver het zich in de toekomst bevindt en onder welke omstandigheden we die voorspelling doen.”

Voor crisismanagers en incidentbestrijders is het goed om te beseffen dat in de werkelijkheid die voorspelbare en onvoorspelbare processen zich als een soort verstrengelde eenheid aandienen. Er zijn daardoor altijd scenario’s die je met grotere stelligheid kunt voorspellen dan andere. Het is dus zaak die te herkennen en uit elkaar te houden.

Oftewel, van Situation Awareness Level 2 naar 3 te springen.

Waar het op neer komt is dat je bewust bent van de betrouwbaarheid van je voorspelling dan wel scenario; hoe verhoudt zich het voorspelbare met het onvoorspelbare?

Hoe minder betrouwbaar je inschatting is, hoe meer opties en redundantie je moet inbouwen om onverwachte wendingen te kunnen managen. Dan treedt je dus defensiever op. Hoe zekerder je bent, hoe offensiever je kunt zijn. Omdat je dan namelijk altijd opties hebt om af te wijken, je hebt een plan plus. Misschien zelfs nog wel meer.

Als je onzeker bent over je voorspelling heb je die opties waarschijnlijk niet. Defensief optreden is dan de manier om redundantie en ruimte creëren om tegenvallers op te kunnen vangen. Het levert misschien minder op en duurt langer, maar het kost ook minder als het fout gaat.

Het is van de andere kant soms niet eens zo heel relevant, als je midden in een crisis zit, of je de toekomst wel of niet kan voorspellen. Ook in die gevallen moet je nu eenmaal een besluit nemen en dat doen aan de hand van een scenario, een hypothese, een voorspelling. Mogelijk kan de techniek van supervoorspellers dan behulpzaam zijn. Zoals de oplossing van Fermi.

Fermi

Enrico Fermi ergens tussen 1943 en 1949. Foto van Wikipedia

Om een vraagstuk te kunnen managen is het belangrijk het te zagen in lagen en te hakken in vakken, om het daarna weer op te bouwen tot een antwoord. Precies zoals veel brandweermensen en crisismanagers een incident aanpakken. Fermiëren noemt Tetlock dat, naar de Italiaans Amerikaanse fysicus Enrico Fermi

Die heeft een grofmazige methode bedacht, nog voordat er zoiets bestond als internet en Google, om ‘orde van grootte’ problemen op te lossen. Onder het motto: beter ongeveer goed dan precies fout.

Uiteindelijk is niet intelligentie doorslaggevend, maar hoe je ermee omgaat, is zijn stelling. Het oplossen van Fermi-problemen vraagt dan ook om een combinatie van logica, redenering en schatting. Daarvoor doorloop je de volgende stappen:

  1. Identificeer het probleem: Begrijp wat je wil oplossen en wat er aan je wordt gevraagd. Wanneer ben je succesvol met je antwoord?
  2. Stel de belangrijkste gegevens en parameters vast.
  3. Formuleer de juiste vragen: vraag jezelf af welke gegevens belangrijk zijn voor het probleem en welke aannames je kunt maken.
  4. Vraag jezelf ook af welke beperkingen er zijn en wat er mogelijk over het hoofd wordt gezien. Denk aan de Regel van Hermans.
  5. Maak schattingen van de gegevens die je nodig hebt. Gebruik logica en redenering om te bepalen welke schattingen het meest waarschijnlijk zijn.
  6. Controleer en reviseer: Controleer je schattingen en beoordeel of ze redelijk zijn. Herhaal de stappen totdat je een antwoord hebt dat goed genoeg is.

Het doel van het oplossen van Fermi-problemen is niet om een precies antwoord te krijgen, maar om een idee te krijgen van wat een realistische schatting zou kunnen zijn. Door regelmatig met Fermi-problemen te oefenen, kun je je logische en redeneervaardigheden verbeteren en je intuïtie ontwikkelen voor het oplossen van complexe problemen.

Dat maakt het ook een mooie training voor incidentbestrijders en crisismanagers. Wanneer is deze bosbrand verdubbeld in omvang? Wat als we een offensieve communicatiestrategie hanteren? Moeten we een deel van het bedrijfsproces stil leggen, of juist doorgaan? Dat soort vragen.

Eén van de beroemdste opgaven van Fermi gaat over het aantal pianostemmers in Chicago. Om die vraag te beantwoorden heb je minimaal de volgende feiten nodig:

  1. Het aantal piano’s in Chicago
  2. Hoe vaak een piano gestemd moet worden per jaar
  3. Hoe veel tijd je nodig hebt om een piano te stemmen
  4. Wat de gemiddelde arbeidstijd van een pianostemmer is.

Volgens Tetlock zijn het er 63. In Supervoorspellers legt hij precies uit hoe hij daartoe komt.

Vraagstukken

Voor de gemiddelde crisismanager die niet over een ontstemde piano beschikt is het natuurlijk een nauwelijks relevant vraagstuk. Maar in het verlengde van de Toekomstverkenning Crisisbeheersing zijn er wel wat vragen over bijvoorbeeld bottlenecks in de kritieke infrastructuur te verzinnen die het rapport een stuk concreter kunnen maken. Ik zet er een paar onder elkaar ter illustratie:

  • Hoe vaak zal de stroom uitvallen per jaar in 2050?
  • Wat is de hoeveelheid water dat een gemiddeld gezin te beschikking heeft in 2050 per dag?
  • Hoeveel significante hacks met ransomware zullen er per week plaatsvinden in 2050? En ja, die van de KNVB past daar in.
  • Kunnen in 2050 alle reizigers in de spits vervoerd worden met het OV?
De egel weet één groot ding, maar de vos weet vele kleine dingen. En de aap gooit pijltjes op goed geluk. Dat zijn de drie smaken in het voorspellen, volgens Tetlock. En ze sluiten elkaar niet eens uit.

Supervoorspellers vinden dus niet alleen emplooi tijdens repressie, maar ook in de preparatiefase en toekomstverkenningen.

Tetlock geeft nog een leuk voorbeeld van een techniek om te leren voorspellen. Deze keer gaat het over de familie Renzetti.

De Renzetti’s zijn omstreeks 40 en hebben een kind van vijf, Tommy. Ze hebben een klein huis aan de Chestnut Avenue. Vader is boekhouder en moeder werkt in een kinderdagverblijf. Oma Camilla woont bij hen in. De vraag is: hoe waarschijnlijk is het dat de Renzetti’s een huisdier hebben?

Volgens Tetlock gaan de meeste mensen nu inschattingen maken over die informatie. Wat betekent het dat het een Italiaanse naam is (gezelligheid en veel familie), hoe beoordeel je een klein huis (weinig ruimte), wat zou Tommy er van vinden (jottum) en niet te vergeten Oma Camilla (al die haren).

Elk feitje kan de waarschijnlijkheid groter of kleiner maken of de Renzetti’s wel of geen huisdier hebben. Conform Kahneman noemt Tetlock deze invalshoek het binnenaanzicht van het vraagstuk.

Maar daar zullen supervoorspellers niet mee beginnen, zo gaat hij door. Die beginnen met het buitenaanzicht en zoeken een anker, een basispercentage: wat is het percentage Amerikaanse huishoudens met een huisdier?

Dat blijkt 62% te zijn en dat is het startpunt om het antwoord verder te preciseren met het binnenaanzicht, zoals hiervoor beschreven. Dat leidt tot een nieuwe inschatting, bijvoorbeeld 67%.

Waarzegster op de markt in Petticoat Lane, Londen 1947. Foto ANP

Maar dan ben je nog niet klaar. Want je kunt het antwoord nog verder tweaken.

Vossen, egels en apen

Bijvoorbeeld door anderen om advies en raad te vragen, je eigen aannames kritisch te bevragen, meer informatie te zoeken en open te staan voor verbeteringen en twijfel. Wat heb ik over het hoofd gezien? Kan ik buiten mijn tunnel kijken? Hoe zou X dit probleem aanpakken?

Deze eclectische instelling vergelijkt Tetlock met de vos, naar de allegorie van Archilocus.

De vos weet vele dingen, maar de egel weet één groot ding

archilocus

Egels weten één groot ding en dat is hun ideologie, die ze halsstarrig blijven verdedigen en uitleggen. Vaak kunnen ze een goed verhaal vertellen, dat logisch is geconstrueerd en vol staat met woorden als ‘daarenboven’ en ‘bovendien’.

Vossen daarentegen gebruiken veel meer woorden als ‘echter, maar en aan de andere kant.’ Ze zijn genuanceerder en daardoor niet mediageniek. De egels komen dus op TV en presenteren zich als de expert. Zij weten het namelijk zeker.

De experimenten van Tetlock met zijn Good Judgement Project wezen echter heel wat anders uit. Gedurende enkele tientallen jaren vergeleken ze de juiste score op voorspellingen tussen de egels en de vossen.

De egels deden het niet beter dan een pijltjes gooiende aap. Maar onder de vossen bleken zich enkele supervoorspellers te bevinden, die significant beter scoorden dan het toeval. Op epistemische onzekerheidsproblemen, vanzelfsprekend.

Supervoorspellers hanteren dus niet alleen diverse technieken, maar zijn ook als persoon eclectisch. Hun ego is klein, ze durven te twijfelen en stellen zichzelf kritische vragen. Net als de bij de Stoa en Prohairesis gaat het er niet om hoe slim je bent of wat je overkomt, maar om wat je er mee doet.

Wat voor de lezers van deze website geen verrassing zal zijn, maar wel een bevestiging.

Supervoorspellers

Tetlock verwerkt doorheen zijn boek allerlei eigenschappen van supervoorspellers, veel daarvan ben je ook al in dit blog tegen gekomen. Dan op bladzijde 184 en 185 somt hij opeens dit rijtje op dat ik te mooi vond om niet te plaatsen.

Voor de liefhebbers van Klein, Kahneman en Taleb is dit een prima boek. Het raakt veel onderwerpen die ook door hen worden beschreven. Is je intuïtie betrouwbaar, hoe ga je om met onvoorspelbare gebeurtenissen en wat is de beste manier om ingewikkelde problemen aan te pakken? Om er maar eens een paar te noemen.

Want er komt nog veel meer voorbij, zoals gezegd creatief verpakt in een amalgaam van anekdotes, voorbeelden en verwijzingen naar andere theorieën. Dat maakt dit boek uitermate geschikt als vakantielectuur. Zit je toch in het zonnetje en doe je nog iets nuttigs ook.

Wat wil een mens nog meer?


Tetlock heeft de tien geboden voor de aankomende supervoorspeller als bijlage in zijn boek opgenomen. Enkelen daarvan spreken voor zich, helemaal na lezing van dit blog. Voor de rest zul je Supervoorspellers toch echt zelf moeten lezen.

Tien geboden van Tetlock

  1. Triage. Kies dan wel definieer het juiste vraagstuk
  2. Deel schijnbaar onoplosbare problemen op in kleinere, oplosbare subproblemen
  3. Vind het juiste evenwicht tussen buitenaanzicht en binnenaanzicht
  4. Vind het juiste evenwicht tussen overreageren en ondereageren op nieuwe feiten
  5. Zoek bij elk probleem de met elkaar strijdige causale krachten
  6. Streef ernaar net zo veel gradaties van twijfel te onderscheiden als het probleem toelaat, maar niet meer
  7. Vind het juiste evenwicht tussen te veel en te weinig zelfvertrouwen, tussen behoedzaamheid en besluitvaardigheid
  8. Zoek de fouten achter je vergissingen, maar wees op je hoede voor retrospectieve vertekening en hindsight bias
  9. Breng het beste in anderen naar boven en laat anderen het beste in jouw naar boven brengen
  10. Leer rijden op de fouten balancerende fiets
  11. Behandel geboden niet als geboden