Rizoomes

Wanderings

Tag: Veiligheid

De veiligheid van de zelfrijdende auto

Leestijd: 6 minuten

Koen Hindriks stond dit jaar op het NVVK-congres met een intrigerend verhaal over artificiële intelligentie en veiligheid. Welke fundamentele problemen liggen er op de weg van de zelfrijdende auto? En wat is de huidige status in de ontwikkeling van autonome voertuigen?

Nachtmerrie

Je hebt een nieuwe auto gekocht. Halfautomaat met stuurflippers, virtual cockpit, automatische rijsystemen. Alle instrumenten bedien je via een beeldscherm. Het is even wennen, maar volgens de dealer kun je er zo in en karren maar. Op naar de snelweg, daar is de oprit al. Je geeft vol gas om in te voegen, het toerental stijgt en blijft continu stijgen. 4000, 5000, 6000 toeren, de motor draait steeds harder maar schakelt niet door.

Je begint aan de stuurflippers te duwen en trekken; niets. 7000 toeren, het stinkt naar verbrand rubber en metaal. De virtual cockpit valt uit, het scherm wordt zwart. Tegelijkertijd flikkeren alle waarschuwingslampjes op je dashboard. Achter je toeteren automobilisten, ze seinen met hun lichten. Het is een kakafonie van herrie, hitte, signalen en stank. Dan slaat opeens je stuurwiel in het slot, muurvast. Je ziet de vangrails nog net op je af schieten….

Autonomous driving in Bracelona. Foto van Eshenzweig onder CC 4.0.

Sommige dingen zijn eigenlijk nauwelijks voor te stellen, ook al schrijf je het nog zo realistisch op. Voor veel mensen is het verlies van controle over hun voertuig een nachtmerrie. Die angst wordt steeds realistischer, naarmate auto’s verder uitgerust worden met automatische systemen die de bestuurder ondersteunen of helemaal vervangen. Hoe groot is de kans dat auto’s straks alleen nog maar passagiers hebben en geen bestuurders? En hoe veilig is zo’n zelfrijdende auto?

Artificiële intelligentie

Koen Hindriks is hoogleraar artificiële intelligentie aan de VU in Amsterdam en doet onderzoek naar intelligente robots. Hij heeft grote twijfels bij de haalbaarheid van zelfrijdende auto’s waarbij menselijk ingrijpen niet meer noodzakelijk is. “Onder welke condities is zo’n hoge mate van autonomie mogelijk? Op snelwegen kan al veel, maar in het centrum van Amsterdam niet. De problemen waar een voertuig in die situatie voor komt te staan, kunnen we nog lang niet met softwaresystemen oplossen. Ook niet met behulp van artificiële intelligentie.”

Menselijke interventie tijdens het rijden blijft volgens hem dus noodzakelijk. Dat roept gelijk weer een nieuwe lastige vraag op. “Is de bestuurder nog wel voldoende in staat zijn rijvaardigheid op peil te houden om in te grijpen? Als het computersysteem faalt, waarom zouden mensen het probleem dan wel kunnen oplossen? Zeker als ze geen ervaring meer hebben met autorijden. We moeten dus ook naar deze vaardigheidscomponent kijken.”

Eigenlijk is het een paradox: je ontneemt de mens zijn praktische ervaring door het routine rijden aan autonome systemen over te laten, totdat de artificiele intelligentie het niet meer aan kan. De mens moet het dan opeens beter weten dan een systeem terwijl hij er geen ervaring meer mee heeft.

Neo Cargo. Foto van Giorgi Tedoradze onder CC 4.0

Ongevallen

In 2018 vond er een dodelijk ongeluk plaats met een Tesla die met autopilot reed. De chauffeur kwam daarbij zelf om het leven. Uit de black boxes kon worden afgeleid dat de bestuurder niet had ingegrepen, terwijl het systeem daar wel om vroeg. Het was het tweede dodelijke ongeval met een zelfsturende auto in dat jaar, reden voor de Amerikaanse Safety Board een onderzoek in te stellen. Die legde de oorzaak van het ongeval zowel bij de chauffeur als bij het ontwerp van de Autopilot van Tesla.

Hindriks zegt dat dit soort ongevallen niet meehelpen in het draagvlak voor zelfrijdende auto’s. “En die crash met die Boeings trouwens ook niet”, voegt hij toe. “Het zijn wel heel andere kwesties, maar je ziet toch dat mensen er terughoudend van worden. Zeker nu blijkt dat Boeing er met zijn pet naar gegooid heeft en bewust veiligheidsrisico’s heeft gebagatelliseerd.”

Afbakening

Het sentiment in de auto-industrie is ondertussen ook gaan verschuiven. Tijdens een bijeenkomst van de Detroit Economic Club, begin april 2019, zei directeur Jim Hackett van Ford dat de zelfrijdende auto langer op zich laat wachten dan gedacht. De marketingmachine ging sneller dan de techniek kon bijbenen. Volgens een hoofdonderzoeker van Nissan in Silicon Valley komt het er zelfs helemaal niet meer van: “een autonoom systeem zonder mens erbij is een nutteloos systeem.”

Neo Cargo Dashboard. Foto van Giorgio Tedoradze onder CC 4.0

Ook Uber staakte na een dodelijk ongeval hun zelfrijdende experiment en rijdt nu in een beperkt afgebakend gebied met voertuigen onder toezicht van twee chauffeurs. Volgens Uber is het niet meer de vraag wanneer er autonome voertuigen zijn, maar waar: voor welke gebieden is een voertuig geschikt? En onder welke voorwaarden kan dat gebied dan (langzaam) uitgebreid worden?

Dat is precies de vraag die Hindriks ook stelt: Onder welke condities kan een auto zelfrijdend zijn? “We weten hoe moeilijk dat is met piloten en vliegtuigen, maar met auto’s hebben we gewoon nog te weinig ervaring. We weten het dus niet.”

Vijf vragen over zelfrijdende auto’s

1. Is er een definitie van zelfrijdende auto?

Er is niet één vaste definitie van wat een zelfrijdende auto is. Het hangt er een beetje van af aan wie je het vraagt. Vaak wordt gesproken van autonoom rijdende voertuigen. Een volledig autonoom voertuig is in staat om zelfstandig te sturen, remmen en versnellen onder alle omstandigheden in alle reguliere omgevingen, zoals stad en snelweg, zonder ingreep van een mens. Maar er zijn ook minder autonome systemen, waarbij een menselijke ingreep nog wel noodzakelijk is.

2. Bestaat er een indeling in zelfrijdende systemen?

De mate van autonomie van voertuigen is onderverdeeld in 6 niveaus door de Society of Automotive Engineers (SAE). Van nul tot en met vijf, dus niet van één tot en met zes. Dat is wel eens verwarrend in de praktijk, zes niveaus die eindigen op level vijf. In niveau nul zit geen enkel ondersteunend rijsysteem en niveau 5 is volledig autonoom in alle omstandigheden op alle plekken.

De zes niveaus van autonoom rijden volgens de SAE

3. Zijn er al veel zelfrijdende voertuigen op de weg?

Op dit moment worden auto’s al uitgerust met bijvoorbeeld adaptive cruise control, een typisch niveau-2 systeem. De chauffeur blijft dynamische taken zelf uitvoeren. Denk aan sturen, versnellen en afremmen. Op niveau 3 neemt het voertuig die taken van de bestuurder over in bepaalde gebieden, zoals bij het stationair rijden op snelwegen. Zodra het mis gaat grijpt de chauffeur in. Op niveau 3 is er dus nog een actieve veiligheidsrol voor de bestuurder weg gelegd. Met dit soort voertuigen wordt nu in de praktijk geëxperimenteerd, onder andere door Tesla en Uber.

4. Wanneer is de mens niet meer nodig?

Bij level 4, volgens de indeling van de Society of Automotive Engineers (SAE). Daar voert de auto in sommige gebieden zoals snelwegen alle rijtaken uit. Als de chauffeur wil kan hij het overnemen, maar nodig is het niet. Bij problemen zal het systeem de auto zonder menselijk ingrijpen veilig laten stoppen. De stap van level 3 naar 4 wordt cruciaal in het aanvaarden van de zelfrijdende auto. Daarbij is niet zozeer de technische complexiteit een drempel voor succes, maar vooral de menselijke acceptatie om bij dergelijke vernieuwingen de controle uit handen te geven.

5. Heeft de SAE de ultieme indeling gemaakt?

Nou nee, want een belangrijke vraag is niet beantwoord: als level 4 en 5 systemen zonder mensen kunnen rijden, is er dan ook echt geen interventie meer mogelijk? Dat vraagstuk is met deze technische indeling van de SAE niet opgelost en zal waarschijnlijk ook niet snel duidelijk zijn vanwege alle juridische vragen die spelen over de aansprakelijkheid van autonome voertuigen bij ongevallen.

De Rijksdienst voor het Wegverkeer (RDW) onderzoekt hoe de wetgeving uit 1968 aangepast moet worden om zelfrijdende voertuigen mogelijk te maken. Op dit moment moet een bestuurder een rijbewijs hebben om de weg op te mogen en dat sluit dus level 4 en 5 voertuigen uit van deelname aan het verkeer. Wel mag de RDW een ontheffing verlenen voor experimenten.

Dit artikel verscheen ook in het eerste nummer van NVVK info februari 2020

Fundamental Risk

Leestijd: 3 minuten
3 januari 2020

De Israëlische veiligheidsexpert Zvi Lanir schreef in 1983 een belangwekkend boek over het verschil tussen situational en fundamental surprise. Om dat onderscheid te illustreren gebruikte hij een anekdote over de heer Webster. Inderdaad die van de woordenboeken.

webster’s surprise

Op zekere dag komt Webster vroeger thuis dan normaal en treft daar zijn vrouw in bed met een andere man. ‘’I’m surprised”, zegt ze met gevoel voor understatement. “I’m astonished”, is het antwoord, waarmee hij de kern van het verschil tussen die twee duidelijk maakt. Fundamental surpise is namelijk de overtreffende trap van ellende, omdat het grondvesten doet schudden. Zou dat, zo vroeg ik me af, vertaalbaar zijn naar de veiligheidskunde? Ik doe hier een kleine poging.

 https://www.britannica.com/biography/Noah-Webster-American-lexicographer#/media/1/638653/118239
Noah Webster, steel engraving, c. 1867. Image from Encyclopedia Brittanica

Situational risk staat voor de veiligheidsrisico’s uit de vanzelfsprekendheid van alledag. Ze variëren van werken op hoogte en je hand verbranden aan de oven tot emissies van gevaarlijke stoffen. Situational risk betekent niet dat het louter eenvoudige huis-, tuin- en keukenrisico’s betreft. Het kan gaan om zeer complexe situaties.

risico regel reflex

Belangrijk kenmerk ervan is dat de beheersmaatregelen over de bron en effect van het veiligheidsrisico zelf gaan. Vrijwel altijd is de risico-regel-reflex erop van toepassing. Uitgegleden? Regel voor een stroevere vloer. Van de trap gevallen? Voorschrift om voortaan de trapleuning vast te houden. Explosie in een fabriek? Verplichten tot een veiligheidsmanagementsysteem. Allemaal risico’s waar de veiligheidskundige nu al over adviseert.

groot ego

Fundamental risk daarentegen ontstaat doordat het juiste zicht op de werkelijkheid verdwenen is bij de besluitvormers. Soms komt dat door psychologische factoren en hebben mensen zo’n groot ego gekregen dat ze denken dat de wereld om hen draait. Zoals bij dieselgate van Volkswagen, de drang om het grootste autobedrijf ter wereld te worden was genoeg reden om te sjoemelen met uitstootgegevens.

economische argumenten

Maar meestal komt het door ‘het systeem’, waarin louter korte termijn economische argumenten worden gebruikt om besluiten te nemen, met onverantwoorde risico’s tot gevolg. Zo zijn bijvoorbeeld veel medicijnen niet meer verkrijgbaar in Nederland omdat ze alleen nog worden gemaakt in lagelonenlanden. En wordt de consumenten banaan met uitsterven bedreigd door de Panamaziekte, het gevolg van een wereldwijde monocultuur van gekloonde bananenplanten. Klinkt geinig, maar voor 400 miljoen mensen in de tropen is de banaan het belangrijkste voedsel.

Kabinet Röell (1894-1897). S. van Houten, minister van Binnenlandse Zaken, van 9 mei 1894 tot 27 juli 1897
kinderwet van Van Houten

Het meest klassieke voorbeeld van een fundamental risk werd door de Kinderwet van Van Houten beteugeld. Al in 1863 hadden Leidse fabrikanten de koning verzocht om een wet die kinderarbeid moest verbieden. Zelf konden ze dat niet doen, omdat hun prijzen anders te hoog werden en ze de concurrentie zouden verliezen. Pas in 1874 zou kinderarbeid onder 12 jaar in fabrieken en werkplaatsen verboden worden.

Het illustreert treffend dat kapitalistische systemen, in hun race naar de bodem van de laagste prijs, fundamental risks veroorzaken die alleen te beheersen zijn door regelgeving van een centrale overheid. Gebaseerd op advies van deskundigen. Dat lijkt mij een mooie uitbreiding van het vakgebied veiligheidskunde.

Dit is de derde column die ik schreef voor het verenigingsblad van de NVVK, de Nederlandse Vereniging voor Veiligheidskunde. De vorigen vind je hier: De veiligheidsbril van Ed en hier: Vooral Doorgaan.

Meer lezen? Dit blog over de helikopters van de Kustwacht is een eerste uitwerking van fundamental risk aan de hand van een concreet voorbeeld.

De Veiligheidsbril van Ed

Leestijd: 2 minuten
25 mei 2019
De veiligheidsbril van Ed is een column die ik voor de NVVK Info schrijf, het vakblad voor veiligheidsprofessionals. Dit is de eerste: de vanzelfsprekendheid van alledag.

Ik denk dat ik voor het eerst bewust met veiligheid werd geconfronteerd tijdens mijn studie organisatiepsychologie. Weliswaar had mijn moeder mij daarvoor al meermaals op het hart gedrukt voorzichtig te zijn, maar dat zag ik meer als een afscheidsgroet dan een aansporing om het eens extra veilig aan te doen. Ik deed indertijd een onderzoek naar kwaliteit van de arbeid bij automatisering in de zuivel en mijn studiebegeleider zei dat ik maar eens in de Arbowet moest kijken. Daarvan was de eerste tranche net in werking getreden. Misschien dat er wat aanknopingspunten in zouden staan.

En inderdaad, daar kwam van alles naar boven over veiligheid, gezondheid en welzijn op het werk. Vooral door het veiligheidsdeel was ik gefascineerd. Helaas kon ik er niet zo veel mee voor mijn afstudeeronderzoek. Dat ging meer over welzijn, zo concludeerde ik. Met mijn veiligheidsbril van nu op, denk ik dat het toch ook over veiligheid ging. Organisatorische veiligheid, weliswaar, maar ook dat is veiligheid. Je moet alleen goed kijken voor je het ziet.

Toen ik enkele jaren later bij de brandweer ging werken, het was inmiddels 1991, kwam ik in aanraking met wat ik in die tijd als echte veiligheid zag: brandbestrijding, technische hulpverlening en ongevalsbestrijding gevaarlijke stoffen. Het waren enerverende jaren daar in Amsterdam. Tot die dag in april 1995, toen drie collega’s uit mijn Sectie hun leven verloren bij een inzet aan de Motorkade. Daar leerde ik over de zwarte rand van veiligheid, die ze op de Brandweeracademie hadden vergeten te vertellen. Met mijn veiligheidsbril van nu op, weet ik dat veiligheid meer is dan een RIE en een veiligheidsmanagementsysteem. Het gaat ook over hoe je er met je collega’s weer bovenop komt nadat het zo mis ging, dat je niet ontkent hoe het zo ver kon komen en dat je ook niemand de schuld ervan geeft. Want je moet wel door met zijn allen, maar dat moet je eerst zien voor je het kan doen.

Helaas was de Motorkade niet het laatste fatale ongeval waar ik mee te maken kreeg. Via het Begrafenis Bijstandsteam raakte ik betrokken bij onder andere de Vuurwerkramp en de Koningskerkbrand in Haarlem. En als Lector Brandweerkunde deed ik onderzoek naar de rampzalige brand in De Punt. De rode draad in al die ongevallen is dat het niet zozeer de harde veiligheid is die er aan ten grondslag lag, maar vooral het onbewuste web van aannames en gewoontes die iedereen standaard met zich mee draagt. Het is de vanzelfsprekendheid van alledag die ons veiligheid en onveiligheid brengt en die je pas ziet als je weet waar je moet kijken. Graag neem ik je mee in een serie verhalen over mijn blik op ons mooie vak door de veiligheidsbril van Ed.

© 2020 Rizoomes

Thema gemaakt door Anders NorenBoven ↑