Expertise is een raadselachtig begrip en lastig te definieren. Daarom gebruiken mensen het ook graag, en sommigen vooral om zichzelf als expert aan te wijzen. Dan heb je ook nog zoiets als snelle expertise, misschien is dat wel hetzelfde als intuïtie. Maar hoe betrouwbaar is dat?
Op 18 oktober 2017 organiseerde het IFV een congres over omgevingsbewuste commandovoering. Eigenlijk was deze dag een vehikel om Rich Gasaway te horen spreken, de goeroe van de situational awareness uit Amerika. De ochtend stond helemaal in het teken van zijn geoliede voordracht die hij volledig uit het hoofd en precies binnen de tijd presenteerde. In de middag deed hij nog eens drie rondes van een verdiepende workshop er overheen, die ik echter niet gezien heb omdat ik zelf ook twee keer een workshop gaf.
En dat is waar dit blog verder over gaat, over mijn workshop. Daarin deed ik een poging om met de deelnemers uit te zoeken hoe onbetrouwbaar snelle expertise in sommige omgevingen kan zijn, geïnspireerd door een artikel van Gary Klein en Daniel Kahneman over besluitvorming onder tijdsdruk.
Ik zal nu eerst kort ingaan op de theoretische achtergrond van dat artikel, daarna de resultaten uit de workshop bespreken en afsluiten met de conclusie dat een expert niet het juiste antwoord geeft, maar de goede vragen stelt.
Gary Klein: Recognition Primed Decisionmaking
Wie deze website vaker bezoekt heeft al diverse blogs kunnen lezen over de kracht van intuïtie bij besluitvorming onder tijdsdruk. Intuïtie is patroonherkenning, en herkenning ontstaat door ervaring. Hoe meer ervaring je hebt, hoe beter je besluitvorming vervolgens zal zijn. De kennis van experts is in die opvatting dus betrouwbaar. Dat is heel in het kort de theoretische kern van RPD.
Klein heeft er diverse boeken en artikelen over geschreven, waarin hij overtuigende voorbeelden schetst uit onder andere het leger en de brandweer. Ook ik ben gecharmeerd van het RPD, hoewel ik me wel altijd afgevraagd heb waarop je je besluitvorming baseert als je ergens geen ervaring mee hebt. Wat ga je dan doen?
Deze vraag heeft aan de basis gelegen van de blogs over de Sturingsdriehoek. Als je ergens geen ervaring in hebt, maar je moet het voor de uitoefening van je taak wel hebben, dan betekent het dus dat je een goed vakbekwaamheidsprogramma moet hebben. Daarmee bouw je (virtuele) ervaring op en als dat zeldzame scenario in de praktijk dan toch opeens voor je neus ligt, doet de RPD alsnog zijn werk. De collega’s die ik sprak na de Poldercrash zeiden allemaal dat het wel een oefening leek. Hun expertise had gewerkt.
Daniel Kahneman: Heuristics en Bias (HB)
Wie daar in eerste instantie heel anders tegen aankijkt is Daniel Kahneman. Kahneman is Nobelprijswinnaar en heeft samen met Amos Tversky aan de basis gestaan van veel onderzoek en kennis over menselijke besluitvorming. Onlangs publiceerde hij daar een kloeke studie over: ons feilbare denken.
De mens is van nature een luie denker, zo zegt Kahneman. Als je makkelijk een antwoord weet te verzinnen, dan gaan we het niet moeilijk maken. En die makkelijke antwoorden komen uit wat hij systeem 1 noemt. Een hele snelle automatische en welhaast onbewuste manier van besluitvorming, waar allerlei fouttypen voorspelbaar doorheen lopen.
Bias heet dat op zijn Engels, in het Nederlands zou je dat vertalen met vooringenomenheid of standaardafwijking. En een ander woord voor heuristiek is vuistregel. Kahneman heeft nogal wat van die heuristieken beschreven, zoals information bias, bandwagon effect en confirmation bias. Een aantal van die heuristieken zie je als en ter illustratie in dit blog opgenomen.
Vooral onder tijdsdruk zullen deze heuristieken opgeld doen, en als je goed kijkt bij oefeningen met crisisteams zie je ze zomaar in het wild voorbijkomen. Dat is onder andere de reden om met de (Dikke) BOB te werken tijdens crisis: structureer je informatie, maak een afgewogen oordeel en neem een SMART besluit. Volgens Kahneman komt deze manier van besluitvorming uit systeem 2: langzamer, vermoeiender, maar wel betrouwbaarder dan systeem 1.
Het zal duidelijk zijn dat Kahneman snelle expertise dus helemaal niet zo betrouwbaar vindt. Daarmee lijken Kahneman en Klein dus lijnrecht tegenover elkaar te staan in hun opvatting over de betrouwbaarheid van expertise. Wie heeft er nu gelijk?
Condities voor snelle expertise
In 2009 kwamen beide heren bij elkaar om deze tegenstelling voor eens en altijd te beslechten. Grappig genoeg lukte het ze niet om van mening te verschillen en bleken ze het uiteindelijk volledig met elkaar eens te zijn. Vandaar dat de ondertitel van het artikel ‘A failure to disagree’ is.
Klein en Kahneman concluderen dat intuïtieve besluitvorming zoals beschreven in RPD, voldoet aan de kenmerken van systeem 1. “They are automatic, arise effortlessly, and often come to mind without immediate justification”.
Dat lijkt te impliceren dat snelle expertise meestal onbetrouwbaar is. Maar Klein en Kahneman komen met een intervenierende constructie: de validiteit van de omgeving waarin de besluitvorming plaats vindt. In een hoog valide omgeving vertonen de genomen acties en de daarbij horende effecten een voorspelbaar gedrag. Elke keer als je een brandende papiercontainer verzuipt gaat het vuur uit. Dat is betrouwbare kennis en kun je dus automatisch toepassen.
In een laag valide omgeving is er nauwelijks sprake van voorspelbaarheid, zoals in veel economische vraagstukken. Niemand weet hoe de economie er over een jaar of drie bijstaat en of je al je aandelen in fossiele brandstoffen moet verkopen.
“Skilled intuitions will only develop in an environment of sufficient regularity, which provides valid cues to the situation (training and feedback are important). This we call high validity environments: cues will most of the time lead to the same consequences.”
Onzekerheid is de tweede variabele.
Nu zou je misschien denken dat omgevingen met een hoge validiteit ook altijd een zekere uitkomst geven. Helaas is dat ook niet waar, net zoals laag valide omgevingen niet altijd een hoge onzekere uitkomst hebben. Onzekerheid en validiteit zijn dus twee onafhankelijke variabelen die tegelijkertijd voorkomen.
Hoge onzekerheid zegt overigens ook weinig over de grootte van het effect. Het is niet zo dat hoge onzekerheid altijd catastrofaal hoort te zijn. Veiligheidshalve is het wel verstandig om hoog valide situaties met mogelijk catastrofale effecten toch vanuit system 2 te benaderen en niet te veel vertrouwen op je snelle expertise.
Je kan van de 2 variabelen validiteit en onzekerheid een kwadrantenmodelletje maken, zoals ik op de workshop gepresenteerd heb. Ik heb geprobeerd elk kwadrant te illustreren aan de hand van een spelvoorbeeld, om een beetje gevoel te krijgen wat de combinatie van de twee variabelen in de praktijk betekent.
Roulette is bij uitstek onvoorspelbaar en laag valide. Hoe vaak je ook met je systeem 1 hier probeert te slagen, de conclusie zal steeds zijn dat je geluk of pech hebt. Invloed op de uitkomst heb je niet. Of je met systeem 2 verder komt is weer een hele andere discussie waar ik hier niet verder op in ga.
Ook flipperen kent een onzekere uitkomst. Je weet nooit precies hoe de machine zal reageren op het balletje of hoeveel punten je totaal gaat krijgen. Het is wel zo dat je beter kunt worden in flipperen, je kan het leren. Daarmee is de omgeving wel hoog valide: snelle expertise is er betrouwbaar.
Schaken is een sport waar de expertise betrouwbaar is, ook de intuïtieve variant zoals je wel bij snelschaken ziet. De uitkomst van schaken is nauwelijks onzeker te noemen: je wint, verliest of speelt gelijk. Meer smaken zijn er niet.
Klaverjassen wordt sterk bepaald door de kaarten die je krijgt. Dat kans aspect maakt de validiteit laag, tenzij je zit te steken bij het delen natuurlijk. Maar daar gaan we even niet van uit. De uitkomst is ook niet heel erg onzeker.
De validiteit van verschillende brandtypen
In de workshop heb ik aan de deelnemers gevraagd in kleine groepen uiteen te gaan en te bespreken welke brandtypen er zouden passen in de vier kwadranten. Als we namelijk weten welke branden hoog valide zijn, weten we ook in welke omgevingen je snelle expertise betrouwbaar is.
Andersom is dan ook bekend welke brandtypen laag valide zijn, en kun je eerder risico beperkende maatregelen nemen met bijvoorbeeld een stoeptegel of een stopbord. Of dit idee gaat werken wist ik niet, zo zei ik er eerlijk bij. Het was dus een experiment, een uitprobeersel. Wat is daaruit gekomen? Hieronder zie je de brandtypen die uit de verschillende groepen gekomen zijn.
Bespreking
Laat ik er mee beginnen dat het geen gemakkelijke opdracht was. Het vergt nogal wat hoofdbrekens om de combinatie van variabelen te vertalen naar de praktijk. Los daarvan was er niet heel veel tijd beschikbaar, de workshop duurde inclusief theorie slechts drie kwartier.
Verder is onzekerheid als variabele lastig te gebruiken als het niet verder gedefinieerd is. Onzekerheid zegt namelijk alleen iets over de voorspelbaarheid van de uitkomst, niet over de grootte van het effect zelf. Voor sommige deelnemers was de vraag begrijpelijkerwijs dan ook een brug te ver.
Gelukkig leverde deze complexiteit voor anderen juist een uitdaging op, zodat er toch enkele resultaten te noteren vielen, zoals je in bovenstaande tabel kunt zien. Ik ga hier niet alle resultaten bespreken, maar wil wel mijn vier archetypische branden kort aanstippen.
De oude binnenstadsbrand is voor mij exemplarisch als ‘roulettebrand’. De onvoorspelbare preventieve staat van dergelijke panden leidt elke keer weer tot plotselinge branduitbreiding met gevaarlijke situaties voor bewoners en brandweerpersoneel. Zie de rapporten over Harderwijk en De Kelders. Niet vertrouwen op je expertise dus, en systeem 2 bijschakelen: controlelampjes en stoeptegels.
Bosbrand is volgens mij bij uitstek een flipperkastbrand. Je kunt prima uitrekenen hoe zo’n brand zich modelmatig ontwikkelt en welke variabelen daarbij een rol spelen en je kunt er zelfs een expert in worden. Maar je weet nooit welke combinatie van factoren op het moment X van kracht zijn en dat geeft toch een hoog onzekere uitkomst. Denk dan bijvoorbeeld aan de roemruchte bosbrand van het Roozendaalse veld in 1976 en de Veluwebrand van 20 april 2014.
Atmosferische tankbranden zijn mijns inziens schaakbranden: ze branden in hoge mate modelmatig en als je over de juiste expertise beschikt is de uitkomst niet onzeker, hooguit ongewenst. Ik denk wel dat de meeste brandweerkorpsen weinig ervaring hebben opgebouwd met tankbrandbestrijding en daarom kun je misschien beter toch niet vertrouwen op systeem 1.
Als ik puur naar de praktijk kijk, denk ik dat alle standaardbranden tot en met middelbrand onder systeem 1 betrouwbaar afgehandeld kunnen worden. Feitelijk is dat het skillbased deel van de Sturingsdriehoek. Welke brandtypen daar onder vallen kan per verzorgingsgebied verschillen. Om mijzelf maar eens te citeren: iedereen is specialist van zijn eigen verzorgingsgebied.
De laatste categorie, lage validiteit en lage onzekerheid is misschien wel de meest lastige variant. Welke brandtypen zouden daaronder vallen? Ik dacht onder andere aan vrachtwagenbrand. Niemand heeft daar echt veel ervaring in, toch is de uitkomst zelden onzeker. Het voorstel vanuit de werkgroepjes, brand in een parkeergarage, past er wellicht ook in, hoewel ik zelf denk dat de onzekerheid van bijvoorbeeld ondergrondse parkeergarages hoog is.
Conclusie
De vraag over validiteit en onzekerheid is een relevante factor voor omgevingsbewuste commandovoering. De operationalisatie van de twee variabelen in vier modeltypes blijkt echter niet zo eenvoudig. Daar gaat nog wel wat denkwerk aan te pas komen.
Het is de vraag of dat denkwerk tijdens incidentbestrijding heel zinvol zal zijn, daarvoor blijkt het te lastig. Wel denk ik dat inzicht in brandtypes, validiteit en onzekerheid een belangrijke factor is in de preparatie van brandweerkorpsen. Het bepaalt bijvoorbeeld voor welke incidenten je ondersteunende plannen wilt maken, welke procedures je nodig acht en misschien belangrijker nog, welke maatregelen uit de vergevingsgezinde infrastructuur je toe wilt passen: welke stopborden, richtingaanwijzers en stoeptegels ga je activeren?
De alarmcentrale kan hier een belangrijke rol in spelen: als zij monitoren bij welke incidenten de validiteit en onzekerheid een rol spelen, kunnen ze aanvullende maatregelen organiseren ter ondersteuning van de eenheden ter plaatse.
De grote waarde van deze exercitie is voor mij dat je er toch weer eens op gewezen wordt hoe onbetrouwbaar snelle expertise eigenlijk is en hoe feilbaar mensen zijn. Weliswaar zijn er brandtypen waarbij door een hoge validiteit de expertise betrouwbaar kan zijn, maar het is wel de vraag in hoeverre de betrokkenen dan ook voldoende ervaring hebben. Ik wil je deze waarschuwing van Klein en Kahneman dan ook niet onthouden.
“True experts know when they don’t know. However, nonexperts (whether or not they think they are) certainly do not know when they don’t know. Subjective confidence is therefore an unreliable indication of the validity of intuitive judgments and decisions.”
Wie echter niet zeker is of zijn antwoorden wel betrouwbaar zijn, kan altijd nog de goede vragen stellen en daarmee zijn expertise etaleren, zegt Eli Goldratt ter afsluiting.
“An expert is not someone that gives you the right answer, it is someone who asks you the right question.”
Dit blog is onderdeel van het thema ‘human factors’. Laatste update is van 5 juni 2020
Je hebt vaak het belang, nut en risico van intuïtie behandeld in het thema besluitvorming. Wellicht interessant in deze is ‘The Righteous Mind’ van Jonathan Haidt.
Wellicht ken je het al, maar ik vond het interessant om dit te projecteren op het BOB-proces van de individuele commandant of dat van de groep in bijvoorbeeld het CoPI.