De limiet van expertise en ervaring

Ed Oomes, 20 mei 2014

Veel experts denken dat ze op basis van hun ervaring alle problemen eigenlijk wel aan kunnen. Dat hun vakmanschap en improvisatie ze door lastige situaties heen helpt. Vaak is dat ook zo, maar niet altijd, zo toont R.Key c.s. aan in een heronderzoek naar de fouten van piloten. En het is letterlijk een heronderzoek: Key onderwierp 19 rapporten van de NTSB aan een heranalyse, om met de kennis van vandaag te bezien of er andere resultaten uit komen. Daarbij stonden twee vragen centraal:

1) Why do highly skilled professional pilots make errors with consequences potentially fatal to themselves as well as to their passengers?
2) How should we think of the role of these errors when we seek to prevent future accidents?

De onderzoekers benadrukken expliciet dat ze de rapporten hebben bezien zonder hindsight bias. “In our analyses, we have tried to describe events as they unfolded around the pilots, and we have tried to identify the factors that might have influenced the pilots’ responses, given the situation as they understood it at the moment.”

Eén van de conclusies die de onderzoekers trekken is dat human error niet zozeer deterministisch als wel probabilistisch van aard is en dat de grootte van de faalkans ruwweg wordt bepaald door de volgende vier factoren:
1) the characteristics and limitations of human cognitive and perceptual processes;
2) the demands of tasks being performed;
3) events in the environment in which tasks are performed;
4) social and organizational factors that influence how experts typically approach their tasks.

Safety Margin 9-13
De afbeelding komt van http://www.dynamicflight.com

De onderzoekers geven aan dat er zoveel vliegverkeer is, met zoveel mogelijkheden tot fouten, dat ook betrouwbare systemen en piloten af en toe random falen met grote gevolgen. In dat verband citeerde James Reason in zijn boek ‘Human Error’ de psycholoog Ernst Mach: “Knowledge and error flow from the same mental sources, only succes can tell the one from the other”.

Een andere conclusie die ze trekken is dat andere piloten in dezelfde situaties hoogstwaarschijnlijk ook op de één of andere manier gecrashed zouden zijn. Een soortgelijke conclusie werd getrokken bij het onderzoek naar het ongeval in De Punt. Daar waren we als onderzoekscommissie van mening dat gezien de algemene staat van opleiding en oefening in brandweer Nederland andere ploegen hetzelfde zouden hebben gedaan . Het ging daarom niet om verwijtbaarheid van fouten, maar om vermijdbaarheid: hoe moeten we het systeem verbeteren om dergelijke ongevallen te voorkomen?

Er spelen bij complexe taakomgevingen onder tijdsdruk namelijk allerlei cognitieve en psychologische processen die voor iedereen hetzelfde zijn. Key stelt dan ook dat human error nooit de oorzaak van ongevallen is, maar dat het hooguit een factor is die de kans op een ongeval beïnvloedt. In die zin is een human error altijd een organizational error: de kwetsbaarheden in het mens-machinesysteem zijn onvoldoende geïnventariseerd of er is (on)bewust gekozen voor oplossingen die misschien niet helemaal afdoende zijn in uitzonderlijke situaties.

Key concludeert ook dat elk ongeval een unieke samenloop van omstandigheden is, waaruit je per situatie eigenlijk onvoldoende maatregelen kunt halen om calamiteiten in de toekomst te voorkomen. Het is dus niet zozeer interessant wat een ongeval uniek maakt, maar wat een ongeval nu juist niet uniek maakt: wat is de overeenkomst tussen ongevaltypen? Is er een rootcause in het systeem aan te wijzen, iets wat we bij de leerarena’s ook doen en waar we zoeken naar de tweede orde leerpunten? Een van die rootcauses is de beperking van de menselijke informatieverwerking en besluitvorming (de cognitieve processen). Die cognitieve processen leggen een limiet aan de performance van mensen: je kan er niet meer uithalen dan er in zit. Ook al zou je het willen. Key noemt een aantal van dergelijke limieten.

Overbeladen vliegtuig

Task saturation
Voor task saturation bestaat eigenlijk geen ‘lekker’ Nederlands woord. Als je het letterlijk vertaalt, dan kom je op taakverzadiging. Hoewel dat precies aangeeft wat er gebeurt, klinkt het toch of je net je werk opgegeten hebt. Ik hou het daarom maar op taaksaturatie. Maar wat is taaksaturatie nou eigenlijk? Taaksaturatie ontstaat wanneer je zo vol met informatieverwerking zit dat er niets meer bij kan. Je bent letterlijk verzadigd. Allerlei duidelijke en onduidelijke clues ontsnappen aan je aandacht, je vergeet stappen uit checklists en procedures en je hebt onvoldoende oog voor nieuwe gebeurtenissen. “Task saturation is insidious because once pilots become task-saturated they have no free cognitive resources to recognize that they are task-saturated and to evaluate the potential outcome of their situation.” Taaksaturatie is dus een duidelijke en gevaarlijke limiet op expertise en komt niet alleen bij piloten voor, maar ook bij de brandweer. Alleen is dat voor zover ik weet nog nooit zo benoemd. Het is wel een reden waarom brandweermensen afwijken van regels, procedures en plannen in het heetst van de strijd. Zonder dat ze het zelf weten.

Plan continuation bias
In 9 van de 19 onderzochte cases was er op één of andere manier sprake van plan continuation bias. Meestal als de landing al was ingezet en de crew niet meer wilde afwijken van dat plan, ook al veranderden de omstandigheden tijdens het proces. Er zijn allerlei redenen te benoemen voor plan continuation bias, zoals de sunk cost heuristic die uitgelegd wordt in dit blog. Ik ga daar niet verder op in, anders dan te zeggen dat deze bias ook bij de brandweer voorkomt. Naarmate men meer onzekerheden ervaart is men minder geneigd om van het plan af te wijken, ook als het operationele plan afwijkt van de aanvalsplannen of crisisbestrijdingsplannen. De plan continuation bias is bovendien gevoelig voor sociale en culturele aspecten: eergevoel en vaktrots zijn ook elementen die leiden tot het vasthouden aan plannen, ook al zijn er duidelijke aanwijzingen dat aanpassing van koers een goed idee zou zijn.

Brandweercanon
Eén van de onderdelen die we willen gaan doen bij de brandweercanon is het heranalyseren van ongevalsrapporten, naar analogie van het boek van Key zoals beschreven in dit blog. We zijn benieuwd of daar vergelijkbare resultaten uit gaan komen en of er nog andere lessen te leren zijn uit het verleden voor de toekomst. Van één ding zijn we in ieder geval al wel zeker: er is een limiet aan expertise en ervaring. Ook bij de brandweer.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Deze website gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.