Kahneman’s ruis is de opvolger van zijn bestseller ‘Ons feilbare denken’ over systeem1 en systeem 2. Dit boek gaat opnieuw over besluitvorming, deze keer is de spreiding van oordelen door experts het onderwerp. Hoe betrouwbaar zijn experts eigenlijk? Wat heb je nodig om een respect-expert te worden? En wat is beslissingshygiëne? Vragen zat, nu nog de antwoorden. Met zo min mogelijk ruis.
Altijd als ik een boek lees, kijk ik wat anderen voor mij ervan vonden. Nogal eens is dat niets, dat wil zeggen, ik vind niet zo gauw een recensie over het betreffende boek. Omdat ik te vroeg ben, te laat, dan wel is het boek te obscuur en heeft nog niemand er iets over geschreven. En soms omdat de review achter een betaalmuur zit.
Bij boeken als ‘Ruis’ van Kahneman is dat anders. Daar zijn voordat ik er iets over blog al allerlei stukjes geschreven en meningen gegeven. Die bij bestudering blijken te variëren van ‘geweldig boek’ tot k*t. De ruis in het oordeel van al die experts is dus groot.
Expert judgement
Kahneman moet daar zeer tevreden over zijn. Het bewijst immers zijn stelling dat experts er zonder duidelijke regels en richtlijnen van alles uit hun eigen ervaring bij betrekken om een oordeel te vellen. Een gedegen oordeel waar de expert trots op kan zijn, gepresenteerd als de waarheid. Het is expert judgement, hun unieke vaardigheid om in grijs gebied tot een duidelijk besluit te komen.
Maar ze maken er in de praktijk een potje van.
Uit één van Kahneman’s onderzoeken bij een verzekeringsmaatschappij bleek het oordeel van de experts een spreiding te hebben van maar liefst 55%. Dat is vijf keer zo veel als de leidinggevenden van dat bedrijf verwacht hadden. En kostte de verzekeraar miljoenen, variërend van te goedkope polissen tot te dure uitkeringen.
Waarop één van de managers zei, in totale ontkenning, dat de plussen en minnen elkaar wel zouden opheffen. Maar dat is natuurlijk niet zo, die plussen en minnen zijn twee onafhankelijke variabelen die elkaar net zo makkelijk kunnen versterken. Dat wil zeggen dat de inkomstenkant mogelijk nog lager werd door verkeerde besluiten, net als de uitkeringen nog hoger konden worden door foute inschattingen.
Min maal min is geen plus, maar dubbelmin. Soms. De kunst is te weten wanneer dat is.
Ruis en bias
Fouten kunnen elkaar namelijk net zo goed versterken als dat ze elkaar opheffen. Dat is nou precies wat het random karakter van ruis is. Ruis betekent een willekeurige spreiding van resultaten of oordelen, waar bias wijst op een systematische afwijking. Zoals vooroordelen, of tunnelvisie.
Spreiding betekent dus niet automatisch dat antwoorden fout zijn, alleen dat ze heel erg van elkaar verschillen. Er zijn dus kennelijk heel veel waarheden naast elkaar actief. Als je daar niet bewust van bent, presteert je organisatie dus anders dan je denkt. En dat is wel fout, natuurlijk.
Kahneman licht het toe aan de hand van een schietschijf. Vier teams worden uitgenodigd voor een schietwedstrijd. Het is de bedoeling dat de deelnemers zo veel mogelijk in de roos schieten. Dat is de norm. De uitslag laat echter een diffuus beeld zien.
Team A heeft het beste resultaat behaald. Daar schoten de experts dichtbij in de buurt van de roos. Team B daarentegen heeft een systematische afwijking, een bias. Misschien wijkt hun vizier af, of is de loop niet helemaal recht. Team C laat echte ruis zijn. Een willekeurige spreiding. Team D tenslotte heeft zowel last van bias als ruis. De spreiding zit verdeeld op dezelfde plek en niet random over de hele schijf.
Dit voorbeeld is exemplarisch voor het hele vraagstuk over ruis. Kahneman komt met veel voorbeelden die het probleem van deze spreiding duidelijk moet maken. Krijgen mensen wel het juiste advies van hun arts? Is de rechtspraak eigenlijk wel eerlijk als er een grote spreiding in veroordelingen zit? Zijn de uitslagen van examens wel terecht?
En, niet onbelangrijk, kloppen de besluiten van een scheidsrechter wel? Wordt er terecht wel of geen penalty gegeven in de finale van een EK, WK of Champions League? Om over de handsbal van Messi op het WK 2022 nog maar te zwijgen.
Dit kan om miljoenen gaan. Als je de groepsfinale van de Champions Leuague haalt, verdient een club bijna 16 miljoen euro. De winnaar vangt 20 miljoen. Daarnaast levert winst in de groepsfase € 2,8 miljoen op en een gelijkspel € 0,93 miljoen. De juistheid van een besluit doet er dus echt toe.
De implicaties van ruis zijn enorm, blijkt, en op vele vlakken. Maar het wordt in de praktijk nauwelijks onderkend. Omdat het om experts gaat. Zoals artsen, rechters, verzekeraars en docenten.
Dilemma’s
Kahneman geeft geen voorbeelden uit de wereld van brandweer en crisismanagement. Dus daar zocht ik er een paar van bij elkaar.
Zoals voor de brandweer. Die moeten nogal eens lastige dilemma’s oplossen in complexe situaties. Kiest de bevelvoerder voor een defensieve binnenaanval of een defensieve buitenaanval? Wanneer trek je je terug? Ga je een aangestraalde tank koelen of neem je afstand? Laat je een flat ontruimen of zit iedereen wel veilig binnen? Denk maar aan Grenfell Towers.
Als ook bij de brandweer een spreiding van 55% bestaat, dan is het korps misschien minder veilig dan iedereen dacht. Of zijn sommige bevelvoerders juist veel daadkrachtiger dan anderen. Het betekent hoe dan ook dat de burger niet overal dezelfde (brand)veiligheid krijgt in vergelijkbare situaties.
Want ruis voltrekt zich bij gelijke gevallen, niet bij verschillen. Die kun je namelijk niet met elkaar vergelijken. Wat je wel kunt vergelijken is of de ruisverdeling bij verschillende cases vergelijkbaar is. Dan is er sprake van patroonruis. Of bias.
Hetzelfde type dilemma’s zie je ook bij bedrijven. Laat ik het treinverkeer / vliegverkeer zo veel mogelijk doorgaan bij een stroomstoring? Kies je voor een offensieve benadering in de pers of laat je het juist lopen als je ergens van beschuldigd wordt? Moet je die populaire disfunctionerende manager laten zitten of gooi je hem eruit? Lastig, lastig. Vragen voor experts, mensen met kennis en ervaring, maar die zijn het volgens Kahneman dus zelden eens.
Nou maakt het natuurlijk wel uit of je experts vraagt naar een besluit over een resultaat (zoals een gerechtelijke uitspraak) of over een methode (kies ik voor een binnenaanval of buitenaanval). Ruis is met name vervelend bij eindoordelen over een resultaat. Bij oordelen over de manier waarop je een doel wilt behalen is de ruis meestal minder van belang; er zijn altijd meerdere wegen die naar Rome leiden. Ruis is dus niet altijd slecht. Maar je moet je er wel bewust van zijn.
Respect-experts
Om beter te kunnen oordelen zijn er drie zaken van belang, schrijft Kahneman. “Goede oordelen zijn afhankelijk van wat u weet, hoe goed u kunt nadenken en op welke manier u nadenkt.”
Veel weten alleen is niet genoeg, gaat Kahneman door. Het gaat er ook om dat je kennis wordt geaccepteerd in de gemeenschap van deskundigen, dat je erkend wordt als expert. Respect-experts, noemen de schrijvers het. Met name in gebieden en situaties waar oordelen moeilijk geverifieerd kunnen worden gaan we makkelijker af op oordelen van experts met een glimmend blazoen.
Vaak hangt aan een respect-expert een lange staat van dienst. De ervaring van zo iemand is een maatstaf voor deskundigheid. Je geloofwaardigheid wordt in die zin letterlijk opgebouwd. Daar hoort ook een goed zelfvertrouwen bij. “De zelfvertrouwen heuristiek wijst op het feit dat mensen met zelfvertrouwen in een groep meer invloed hebben dan anderen, zelfs als dat zelfvertrouwen nergens op gestoeld is.”
Respect-experts zijn tenslotte goed in het vertellen van samenhangende verhalen. Dat komt omdat ze door hun ervaring snel patronen herkennen, analogieën kunnen presenteren op basis van eerdere ervaringen en zodoende gemakkelijk onderbouwde hypotheses opstellen. Precies die kwaliteiten die Gary Klein beschrijft in zijn Snapshots of the Mind.
De wereld van brandweer en crisismanagement is ook sterk gebaseerd op de positie van respect-experts. Ik heb dat ooit wel vergeleken met de jager-verzamelaars cultuur. Daarin is de leider degene die de belangen van de groep moet vertegenwoordigen en dat mag omdat ie door de rest als het beste geschikt wordt gezien. De leider is de top-expert.
De overige groepsleden zijn ondertussen allemaal expert op een deelgebied en worden daarin serieus genomen door de collega’s. Om de onderlinge verhoudingen te bevestigen en verstevigen vormt verhalen vertellen een belangrijk onderdeel van zo’n cultuur. Die bepalen de onderlinge pikorde. Het waarheidsgehalte van een verhaal wordt zodoende bepaald door wie het vertelt.
Iedereen moet hard werken om dat beeld over zichzelf in stand te houden en gezichtsverlies is dan ook zeer pijnlijk. Een goede reputatie (als respect-expert) komt te voet en gaat te paard.
Intelligentie
Om expert te worden moet je niet alleen veel weten en gerespecteerd zijn, je moet ook intelligent zijn. Er is een onweerlegbaar verband tussen algemene mentale vaardigheden (dat wat een IQ test meet) het beroepsniveau en de prestaties in je vakgebied. Hoe complexer een vakgebied is, hoe groter de impact van intelligentie op het resultaat is.
Als professionele oordelen niet verifieerbaar zijn en er dus op een ‘onzichtbare’ roos geschoten moet worden, zullen de oordelen van cognitief superieure mensen toch dichter bij die roos zitten
daniel kahneman
Dan is er nog een derde component om een goede expert te worden, naast kennis en intelligentie, en dat is kritisch denken of actief onbevooroordeeld denken. Wie actief onbevooroordeeld is, gaat zelf op zoek naar informatie die zijn hypothese of oordeel tegenspreekt. Een soort van zelf-falsificatie dus. Als je kritisch denkt heb je geen moeite om een andere mening over te nemen en denk je ook niet dat je je bij het nemen van een besluit vooral naar je intuïtie moet luisteren.
Eigenlijk ben je dus kritisch over je eigen kennis en intelligentie. Dat ondermijnt de andere twee pijlers van een goed oordeel niet, maar versterkt ze juist. Zo maak je dus betere besluiten met minder ruis.
Beslissingshygiëne
Maar daarmee ben je er nog niet. Om ruis te verminderen moet je je houden aan zes regels van beslissingshygiëne.
- Het doel van beoordelen is nauwkeurigheid, niet individuele expressie. Individuele verschillen (benoemd als patroonruis) moet je zo klein mogelijk houden. Bedenk wat andere experts in jouw geval zouden beslissen.
- Denk statistisch en kijk met een externe blik. Benader kwesties niet als een unieke zaak maar zie ze als onderdeel van een referentieklasse met vergelijkbare zaken. Let dus meer op overeenkomsten en minder op de verschillen.
- Structureer oordelen door ze onder te verdelen in afzonderlijke taken. Hakken in vakken en zagen in lagen is zo’n manier. Maar ook het gebruik van regels en richtlijnen als ankerpunt is een manier om betere besluiten te nemen.
- Geef niet toe aan premature intuitie. Dat wil zeggen, je mag best gebruik maken van intuïtie, maar onderzoek het wel en bevestig wat je als eerste dacht met feiten en argumentatie. Snelle expertise is immers onbetrouwbaar.
- Win onafhankelijke oordelen in van meerdere beoordelaars. Bij wijze van contra expertise. Zie ook de negen momentopnamen van de geest voor tacit knowledge van Klein.
- Geef de voorkeur aan relatieve schalen en oordelen. Zoals veiligheidskundigen bijvoorbeeld doen met relative ranking bij risico analyses. Mensen zijn beter om kwesties paarsgewijs te matchen dan om een absoluut oordeel te vellen.
Kahneman schreef met zijn makkers Cass Sunstein (ja, die van die ramp voorkomen) en Olivier Sibony een interessant boek. Het gaf mij enerzijds nieuwe inzichten over de schade die ruis veroorzaakt, maar ik zag ook veel bevestiging van wat ik op de één of andere manier al wist of deed. Zoals met de Sturingsdriehoek.
Grappig genoeg schreef ik er onbewust over in de inleiding van dit blog. Door naar andere recensies te kijken bij de beoordeling van een boek hanteer ik eigenlijk de regels twee en vijf van de beslissingshygiëne.
Tegelijkertijd heb ik geprobeerd om tijdens het lezen de voorbeelden die de schrijvers aandragen te vertalen naar kwesties die ik ken uit het veld van brandweer en rampenbestrijding. Enkelen daarvan heb ik opgenomen in dit blog.
Mijn conclusie is dat ruis best wel eens een majeur probleem kan zijn voor de veronderstelde veiligheid van brandweermensen en burgers. Daarom denk ik ook dat dit een relevant boek is voor iedereen die in dat veld werkt en op de een of andere manier te maken heeft met besluitvorming in complexe situaties.
Dat wil niet zeggen dat het lezen van dit boek alleen maar een onverdeeld genoegen is. Er zit veel herhaling in en de lezer wordt wel heel erg aan het handje meegenomen. Van wat ik aan andere recensies las ben ik daar niet de enige in die dat vindt. Overigens is daar een eenvoudige remedie voor, zo schreef ik in het blog over de lezende mens: scannend lezen. En pas de diepte in als het echt relevant wordt.
Al met al zou ik je aanraden dit boek te lezen met je eigen werkveld in het achterhoofd en je af te vragen: waar zit bij ons allemaal die ruis?
Toch wederom mooi geschreven !
Thnx!
Ziet Kahneman ook ruis in het antwoord op de vraag wie een expert is?
Jazeker. En hoe minder verifieerbaar een expertise is, hoe groter de ruis zal zijn. Kijk alleen maar hoe Taleb de IYI definieert als Intellectual Yet Idiots met Sunstein als zijn grootste steen des aanstoots. Waarop diezelfde Sunstein een boek schrijft met Kahneman, de grote held van Taleb. Enfin, het kan verkeren tussen de experts. Hetwelk overigens extremer zal worden onder het afkalvend respect voor wetenschap en de toenemende gedachte dat een mening ook expertise is.
Boek ga ik zeker bestellen! All models are wrong, but some are usefull . Zou daar de term “out of the box” vandaan komen? Kan je dan zeggen dat sommige experts bruikbaar zijn? Leuk om over na te denken! Dank voor de recensie!
Ik lees zelf de meeste (wetenschappelijke) boeken met de scanner op wat ik er in de praktijk van zou kunnen gebruiken voor crisismanagement. Dus experts zijn zeker onmisbaar. Alleen moet je er zelf voor zorgen om het werkend te krijgen in het echie. Dat is dus ook hoe ik de meeste boekrecensies inricht: wat kan ik er mee?