‘We moeten statistischer leren denken’

2021 is een productief jaar voor Olivier Sibony. De HEC Paris-hoogleraar en oud-McKinsey partner bracht niet alleen de Nederlandse vertaling van zijn eigen boek Storing uit, maar publiceerde ook met Princeton-psycholoog Daniel Kahneman en Chicago Law School-professor Cass Sunstein het langverwachte RUIS. Anders dan de titels misschien doen vermoeden overlappen de twee onderwerpen elkaar niet. ‘Storing gaat over bias, cognitieve illusies die op een systematische manier tot denkfouten leiden,' zegt Sibony. ‘Ruis is daarentegen een variabiliteit in oordelen die eigenlijk identiek zouden moeten zijn. Dat is een fundamenteel ander probleem.'

In zijn woning in Parijs, waar hij ook namens zijn medeauteurs de Europese media te woord staat, zoekt Sibony naar een voorbeeld om het verschil duidelijk te maken. ‘Stel dat ik met mijn team een bepaalde prognose moet maken, bijvoorbeeld over de omzet van ons bedrijf. Als die voorspellingen consequent hoger uitvallen dan het uiteindelijke cijfer, dan hebben we te maken met bias. We maken ons in dat geval allemaal schuldig aan dezelfde denkfout, namelijk overmatig optimisme. Maar als de schattingen van het team alle kanten opgaan en geen enkele onderlinge samenhang hebben, dan is er sprake van ruis.'

Anders dan vaak gedacht, wordt deze ongewenste variabiliteit in beoordelingen niet gecompenseerd doordat de willekeurige fouten elkaar opheffen, zegt Sibony. ‘Positieve en negatieve fouten kun je alleen tegen elkaar afstrepen als het gaat om beoordelingen van dezelfde zaak. In systemen met ruis is dat juist niet het geval. Als je een verzekeringsmaatschappij hebt waarin de ene schade-deskundige een te dure, en de andere een te goedkope polis afsluit dan is de prijs gemiddeld genomen misschien correct, maar daarmee heb je nog steeds twee kostbare fouten gemaakt.'

Statistisch denken
Het probleem beperkt zich niet tot het bedrijfsleven, aldus Sibony. Ook in het dagelijks leven wemelt het van beslissingen die vol zitten met schokkende hoeveelheden ruis. Hij somt op: artsen die bij dezelfde röntgenfoto tot compleet verschillende diagnoses komen, forensische wetenschappers die van mening verschillen of een vingerafdruk bij een bepaalde verdachte hoort of niet, asielaanvragen die door één ambtenaar in 88 procent van de zaken worden gehonoreerd en door een andere slechts vijf procent. Ruis komt misschien nog het meest pijnlijk tot uiting in de Amerikaanse rechtspraak, waar het verschijnsel al sinds de jaren zeventig bestudeerd wordt. Sibony geeft een notoir voorbeeld van twee vergelijkbare verduisteringszaken waarbij de ene man werd veroordeeld tot 117 dagen gevangenisstraf en een andere tot twintig jaar. ‘Ruis vreet op die manier aan het fundament van de samenleving. Het is oneerlijk als mensen in vergelijkbare zaken verschillend worden beoordeeld. Zo'n systeem verliest op den duur alle geloofwaardigheid.'

Complicerende factor is dat ruis zich, anders dan bias, voornamelijk onder de radar afspeelt. ‘Bias maakt ons weliswaar irrationeel, maar doet dat op een volstrekt voorspelbare manier,' zegt Sibony. ‘Ruis is daarentegen een onzichtbare vijand. Het probleem wordt niet alleen onderschat, veel mensen weten niet eens dat het überhaupt bestáát. Dat maakt het erg moeilijk om het achteraf te corrigeren.'

Dit heeft volgens Sibony alles te maken met de beperkte manier waarop we naar de wereld kijken. ‘We concentreren ons vaak op individuele gevallen, en laten daarbij zaken als gemiddelden, variantie, en correlaties buiten beschouwing. Als we iets beslissen staan we doorgaans bijvoorbeeld niet stil bij wat een collega in die situatie zou hebben gedaan. Of we denken dat ieder ander competent persoon tot dezelfde conclusie zou zijn gekomen, omdat we ervan overtuigd zijn dat ons besluit het enige juiste is. We kunnen ons simpelweg niet voorstellen dat er meer dan één werkelijkheid is. Terwijl ruis pas zichtbaar wordt als we op een statistische manier gaan denken.'

Met een ruisonderzoek kan de kwaliteit van professionele oordelen in een organisatie echter vrij makkelijk gemeten worden. Zo'n audit is een experiment waarin verschillende personen onafhankelijk van elkaar over dezelfde zaak oordelen, waarmee de variabiliteit in hun benadering aan het licht komt. Om de mate van ongelijkheid van vonnissen te bepalen, kan bijvoorbeeld een aantal hypothetische zaken worden samengesteld waarin de verdachte na schuldig te zijn bevonden een bepaalde straf moet krijgen. Door de uitspraken van de verschillende rechters naast elkaar te leggen en vervolgens statistisch door te rekenen kan een analyse worden gemaakt van de ruis in de rechtspraak. ‘In een ideale wereld zijn alle rechters die zich over een bepaalde strafzaak buigen het met elkaar eens,' zegt Sibony. ‘Maar uit ruisonderzoeken blijkt keer op keer dat rechtbanken, net als tal van andere organisaties, een illusie van overeenstemming in stand houden, en dat hun oordelen in werkelijkheid enorm van elkaar afwijken.'

Radertje
De reden voor dit zelfbedrog laat zich raden: organisaties houden niet van conflict. ‘Ruis is onenigheid, en onenigheid leidt tot gedoe,' zegt Sibony. Hij haalt een voorbeeld uit het boek aan van een psycholoog die een school hielp bij het analyseren van aanmeldingsformulieren. Hij adviseerde dat het beter zou zijn om de score van de beoordelaar af te dekken, zodat de tweede beoordelaar daardoor niet zou worden beïnvloed. ‘Het antwoord luidde: "Dat deden we vroeger ook, maar dat leverde zoveel meningsverschillen op dat we daarmee maar zijn gestopt." Dat geeft al aan dat veel organisaties meer hechten aan consensus en harmonie dan aan het vinden van het juiste antwoord.'

Vandaar dat een ruisonderzoek zo belangrijk is, zegt Sibony: ‘Als ik als verzekeringsdeskundige pleit voor een schade-uitkering van 100.000 euro terwijl jij vindt dat het 150.000 moet zijn, dan val je mijn competentie aan. Maar als we erkennen dat ruis nu eenmaal voorkomt en dat dat niets zegt over onze individuele expertise, dan is het makkelijker om een gesprek te beginnen. Helemaal als we uiteindelijk besluiten om onze oordelen te middelen.'

Sibony benadrukt dat een dergelijke aanpak is niet voor elke organisatie is weggelegd. ‘Het wegen van ramingen is duur en tijdrovend, want je hebt voor elke zaak minstens twee experts nodig.' Een goedkopere en efficiëntere manier om ruis te bannen, is door beoordelingen te vervangen door regels of algoritmes. ‘Die zijn per definitie ruisloos. Als je voor een bepaald strafrechtelijk vergrijp een bindende richtlijn hebt, dan maakt het eigenlijk niet uit wie de rechter is. Het zal een algoritme een worst zijn of de verdachte op die zwager lijkt met wie je zo slecht kunt opschieten. In dat opzicht zijn regels superieur.'

Maar ook deze oplossing heeft haar beperkingen, aldus Sibony: ‘Anders dan je misschien zou vermoeden, is de ideale hoeveelheid ruis niet altijd nul. Soms zijn er goede redenen waarom een mens het laatste woord moet hebben. Een algoritme houdt bijvoorbeeld geen rekening met verzachtende omstandigheden. Daarnaast wordt het moreel van mensen ondermijnd als ze het gevoel krijgen slechts een radartje in een machine te zijn. En ook al is een algoritme ruisvrij, het nog wel een bias hebben.' Het beperken van ruis is daarmee altijd een kwestie van afwegen, aldus Sibony. ‘Maar zolang je dat tenminste maar bewust doet, is er niets aan de hand.'