Founder Performance Onderzoeksartikel

Wat betekent 'waarschijnlijk'? Vraag het vijf mensen en je krijgt vijf getallen

Een gedeeld woord is geen gedeeld getal. De CIA ontdekte dat in 1951; de meeste teams nog steeds niet.

Vijf identieke glazen op een houten bar in het ochtendlicht, elk met hetzelfde amberkleurige drankje tot een andere hoogte gevuld
Hetzelfde woord, hetzelfde glas, vijf verschillende streepjes.

Direct antwoord

'Waarschijnlijk' heeft geen vast getal. In een Nederlands onderzoek uit 2020 onder 881 mensen was het gemiddelde 75 procent, maar negen op de tien deelnemers kozen iets tussen 57 en 91 procent. Twee collega's kunnen het er dus over eens zijn dat iets waarschijnlijk is en toch heel andere kansen bedoelen. Gaat het ergens om, noem dan het getal, met de gebeurtenis, de datum en hoe je vaststelt of het is uitgekomen: 'We gaan waarschijnlijk (zo'n 70 procent) uiterlijk 30 juni live.'

Waarschijnlijk is niet één getal. Het is het getal dat de luisteraar al in zijn hoofd had, en dat verschilt per persoon. In een Nederlands onderzoek onder 881 mensen kozen negen op de tien voor waarschijnlijk iets tussen 57 en 91 procent. Vraag het vijf collega’s en je hoort zomaar 60, 70, 75, 80 en 90. Hangt een beslissing van dat verschil af, noem dan het getal.

Hieronder lees je wat Nederlanders onder kanswoorden verstaan, waar het probleem voor het eerst aan het licht kwam, en hoe je met een oefening van vijf minuten de spreiding in je eigen team zichtbaar maakt.

Wat verstaan Nederlanders onder ‘waarschijnlijk’?

In 2020 publiceerden Sanne Willems, Casper Albers en Ionica Smeets een onderzoek naar 29 Nederlandse kansuitdrukkingen. Ze kozen woorden die vaak in berichten op nu.nl staan. De 881 deelnemers zagen elke uitdrukking in een neutrale zin, zoals ‘Het is waarschijnlijk dat dit plan slaagt’, en gaven er een percentage bij.

UitdrukkingGemiddeldNegen op de tien antwoorden tussen
zeker96%82 en 100%
bijna zeker88%71 en 98%
zeer waarschijnlijk86%70 en 95%
grote kans78%60 en 92%
waarschijnlijk75%57 en 91%
vermoedelijk67%41 en 86%
mogelijk47%22 en 70%
misschien41%17 en 60%
kleine kans17%5 en 32%
onwaarschijnlijk16%3 en 36%

Bron: Willems, Albers en Smeets (2020). De middelste kolom is het gemiddelde, de rechterkolom loopt van het 5e tot het 95e percentiel.

Drie dingen vallen op. Vermoedelijk ligt lager dan waarschijnlijk en loopt veel verder uiteen. Waarschijnlijk en onwaarschijnlijk tellen samen op tot 91 procent, niet tot 100. En gemiddeld lazen statistici de uitdrukkingen vrijwel net als de rest: het grootste verschil tussen de gemiddelden van beide groepen was vier procentpunten.

Waar kwam dit probleem voor het eerst aan het licht?

Bij de CIA, in 1951. In maart van dat jaar concludeerde een National Intelligence Estimate, een formele voorspelling van de Amerikaanse inlichtingendiensten, dat een aanval op Joegoslavië in 1951 moest worden gezien als een “serious possibility”, een serieuze mogelijkheid.

Een paar dagen later vroeg de voorzitter van de beleidsplanningsafdeling van het Amerikaanse ministerie van Buitenlandse Zaken aan Sherman Kent, lid van de Board of National Estimates van de CIA, welke kans die woorden eigenlijk uitdrukten. Kent schatte de kans zelf op ongeveer 65 tegen 35 in het voordeel van een aanval. Zijn gesprekspartner en diens collega’s hadden het als een veel kleinere kans gelezen.

Kent legde de vraag daarop voor aan zijn collega’s in de Board, precies de mensen die de formulering hadden goedgekeurd. De laagste inschatting was ongeveer 20 tegen 80, de hoogste 80 tegen 20. Hij beschreef het voorval in 1964 in het essay Words of Estimative Probability, dat de CIA nu zelf publiceert. Zijn diagnose past nog steeds op veel vergaderingen: “We did not use the numbers, however, and it appeared that we were misusing the words.” Getallen gebruikten ze niet, en de woorden gebruikten ze kennelijk verkeerd.

Kent stelde daarna een tabel op die elke uitdrukking aan een kansband koppelde: “almost certain” rond 93 procent, “probable” rond 75 procent, “chances about even” 50 procent, “probably not” rond 30 procent en “almost certainly not” rond 7 procent. Die tabel is nooit een algemene standaard geworden. De diagnose bleef staan: een gedeelde formulering is geen gedeeld getal.

Wat laten Engelstalige enquêtes zien?

In 2018 vroegen Andrew en Michael J. Mauboussin het publiek 23 Engelse kanswoorden om te zetten in getallen. Harvard Business Review publiceerde de uitkomsten van 1700 respondenten. “Always” lazen de meesten, maar niet iedereen, als 100 procent. De lezingen van “real possibility” liepen uiteen van ongeveer 20 tot 80 procent.

Eén bevinding is vooral nuttig als je in het Engels werkt. Moedertaalsprekers van het Engels zetten “slam dunk” gemiddeld op 93 procent, niet-moedertaalsprekers op 81 procent. De auteurs raden daarom af om cultuurgebonden uitdrukkingen en vooral sportbeelden te gebruiken als je duidelijk wilt zijn.

De auteurs zetten hun ruwe data online. Wij rekenden daarmee de cijfers voor “likely” na: het middelste antwoord was 70 procent, en de meest gekozen antwoorden waren 75, 70, 60 en 80 procent. Ongeveer één op de negen antwoordde 55 procent of lager, ongeveer één op de vijf 80 procent of hoger. Kents eigen formulering zit er ook in. “Serious possibility” had als middelste antwoord 66 procent, bijna precies Kents 65 tegen 35. Toch zat een derde van de antwoorden op 55 procent of lager, en ruim een kwart op 80 procent of hoger. Bijna zeventig jaar na Kents rondvraag lopen de lezingen van die uitdrukking nog altijd ver uiteen.

WoordMiddelste antwoordMiddelste 80% van de antwoorden
almost certainly90%80 tot 99%
likely70%55 tot 80%
probably70%51 tot 80%
serious possibility66%30 tot 86%
real possibility60%20 tot 80%
maybe50%25 tot 50%
possibly45%15 tot 60%
unlikely20%5 tot 30%

Onze herberekening uit de openbare ruwe data van de Mauboussins. Lees de tabel als beeld van de spreiding, niet als norm.

Kun je een getal ook verkeerd lezen?

Ja, als niet duidelijk is waar het getal over gaat. Onderzoekers rond Gerd Gigerenzer vroegen in het najaar van 2002 aan 750 voorbijgangers in vijf steden wat “morgen 30 procent kans op regen” betekent. In Amsterdam deden 117 mensen mee.

Ze konden kiezen uit drie lezingen: het regent morgen in 30 procent van het gebied, 30 procent van de tijd, of op 30 procent van de dagen zoals morgen. De laatste is wat meteorologen bedoelen. Alleen in New York koos een meerderheid die lezing. In Amsterdam, Berlijn, Milaan en Athene was “30 procent van de tijd” het populairst. Amsterdammers leken het getal bovendien het vaakst op te vatten als een uitspraak over de hoeveelheid regen, terwijl het Nederlandse publiek al sinds 1975 kansen op regen te horen krijgt.

Het getal zelf klopte. Wat ontbrak, was een gedeelde afspraak over waar het over ging.

Waarom gaat dit mis in teams?

Instemming die geen instemming is. Vijf mensen tekenen voor “waarschijnlijk” met vijf verschillende getallen in hun hoofd. Kents Board deed precies dat, over een mogelijke oorlog.

Een woord sluit het gesprek dat een getal zou openen. Stel dat een engineer een release “laag risico” noemt en daarmee ongeveer 80 procent veilig bedoelt. De productmanager hoort 95 procent en zet de release live. Had de engineer “80 procent” gezegd, dan had iemand gevraagd hoe die andere 20 procent eruitzag.

Woorden beschermen de spreker. Voorspellingsonderzoeker Phil Tetlock wordt in hetzelfde HBR-stuk geciteerd: “vague verbiage gives you political safety.” Vage taal geeft je politieke dekking. Gebeurt het, dan had je het voorspeld. Gebeurt het niet, dan zei je alleen “waarschijnlijk”.

Wat helpt wel?

Noem het getal. Zeg daarna waar het over gaat.

Een kaal percentage is een halve bewering. “70 procent dat de migratie klaar is” kan betekenen dat de code is overgezet, dat het laatste oude systeem uitstaat of dat de financiële afdeling de slotfactuur heeft goedgekeurd. Zet drie dingen naast het getal: de gebeurtenis, de datum en hoe je vaststelt of het is uitgekomen. “70 procent dat elke dienst uiterlijk 30 juni op de nieuwe stack draait, af te lezen aan de deploylog.”

Wil je het woord houden, zet het getal er dan direct naast: “waarschijnlijk (zo’n 70 procent)”. In een experiment uit 2019 met 924 deelnemers testten Bonnie Wintle en collega’s vier manieren om lezers de getallen achter kanswoorden te laten zien. Alleen getallen tussen haakjes in de zin zelf hielpen duidelijk. De overeenstemming met de bedoelde betekenis was gemiddeld 66 procent, tegenover 32 procent zonder hulp. Een tabel die je apart moest openklikken, hielp niet wezenlijk. Een latere heranalyse door David Mandel en Daniel Irwin, met een eerlijkere scoringsmethode, kwam tot dezelfde conclusie over welke vorm werkt.

Hoe pakt CALIBRATE woorden als ‘waarschijnlijk’ aan?

CALIBRATE is een systeem in negen stappen om je zekerheid af te stemmen op wat je bewijs kan dragen. Het komt uit De gekalibreerde geest van Len P. van der Hof, verkrijgbaar in het Nederlands en het Engels. In de Nederlandse editie heet het systeem KALIBREER. Je hebt het boek niet nodig om ermee te werken.

  1. Kalibreer vertrouwen. Zet een gevoel van zekerheid om in een getal dat je later kunt toetsen.
  2. Analyseer aannames. Zet de verborgen premissen onder je oordeel op een rij en test de zwakste.
  3. Leun op waarschijnlijkheden. Vervang woorden als “waarschijnlijk” door getallen en bandbreedtes.
  4. Onderzoek alternatieven. Bedenk de sterkste argumenten tegen je eigen standpunt.
  5. Bouw bijstellingsregels. Leg vooraf vast hoe ver nieuw bewijs je oordeel mag verschuiven.
  6. Registreer en evalueer. Houd een voorspellingsdagboek bij en bereken je score.
  7. Handel met passende onzekerheid. Stel een handelingsdrempel vast in plaats van op zekerheid te wachten.
  8. Leer anderen en breid uit. Leg je getallen uit aan iemand anders; de gaten worden snel zichtbaar.
  9. Ontwikkel je model verder. Evalueer op een vast ritme, want zonder onderhoud glijdt je kalibratie weg.

Stap 3 is waar dit artikel over gaat. Neem een hypothetische verkoopprognose: “We sluiten de deal met Acme waarschijnlijk nog dit kwartaal.”

  • Zet het op een vaste schaal. Het boek legt de schaal vast zodat iedereen hem hetzelfde leest: 10 procent is heel onwaarschijnlijk, 50 procent een afgewogen inschatting, 90 procent heel waarschijnlijk, en 100 procent bewaar je voor logische waarheden. Je komt uit op 70 procent.
  • Pin de gebeurtenis vast. “70 procent dat Acme uiterlijk 30 september tekent, af te lezen aan een door beide partijen getekend contract.”
  • Zeg de foutkans hardop. “Bij 70 procent verwacht ik bij dit soort inschattingen drie van de tien keer ongelijk te krijgen.”

Die laatste zin doet meer dan je denkt. Hij laat de zaal horen dat het getal een echte bewering is, en hij haalt de angel eruit op de dag dat je in die drie terechtkomt.

Een oefening van vijf minuten: het kanswoordenboek van je team

Doe dit aan het begin van je volgende planningsoverleg.

  1. Twee minuten stilte. Iedereen vult alleen de kolom “Mijn getal” in. Nog niet overleggen. Zegt de eerste spreker 80, dan kan de rest richting 80 schuiven, en dan verlies je precies de spreiding die je wilde meten.
  2. Twee minuten hardop. Ga woord voor woord langs. Noteer het laagste en het hoogste getal in het team.
  3. Eén minuut afspraak. Voor elk woord met meer dan 20 procentpunten spreiding spreek je af dat het in geschreven stukken altijd een getal tussen haakjes krijgt.
UitdrukkingMijn getalLaagste in teamHoogste in teamOnze afspraak
bijna zeker
grote kans
waarschijnlijk
vermoedelijk
misschien
onwaarschijnlijk

Waarom een afspraak en geen teamwoordenlijst? Kents tabel werd nooit gemeengoed, en in Wintles experiment hielp een aparte tabel niet wezenlijk. Het getal tussen haakjes reist mee met de zin.

Probeer dit vandaag

Open het laatste stuk dat je verstuurde waarin “waarschijnlijk”, “vermoedelijk”, “mogelijk” of “onwaarschijnlijk” staat. Zet achter elk van die woorden een getal tussen haakjes, en een datum als de bewering er een heeft. Dat kost je een minuut of tien.

Lukt het je niet om een getal te kiezen, dan heb je een bewering gevonden die je eigenlijk nog niet had gedaan. Wat betekent kalibratie? legt uit wat je dan doet: schrijf de bewering op, het bewijs en een percentage waarop je zou durven wedden. Voor vijf gewoontes die je getallen een week lang eerlijk houden, zie kalibratietechnieken voor founders.

Citeer deze pagina:Wat betekent 'waarschijnlijk'? Vraag het vijf mensen en je krijgt vijf getallen.Len P. van der Hof. https://lenvanderhof.com/nl/blog/wat-betekent-waarschijnlijk/ ·

Bronnen

  1. Variability in the interpretation of probability phrases used in Dutch news articles: a risk for miscommunication · Journal of Science Communication (JCOM)
  2. Words of Estimative Probability (Sherman Kent) · Central Intelligence Agency, Center for the Study of Intelligence
  3. If You Say Something Is 'Likely,' How Likely Do People Think It Is? · Harvard Business Review
  4. probability-survey: data and code behind probabilitysurvey.com · Andrew Mauboussin en Michael J. Mauboussin (GitHub)
  5. 'A 30% chance of rain tomorrow': How does the public understand probabilistic weather forecasts? · Risk Analysis (Max-Planck-Institut für Bildungsforschung, auteursversie)
  6. Verbal probabilities: Very likely to be somewhat more confusing than numbers · PLOS ONE
  7. On measuring agreement with numerically bounded linguistic probability schemes: A re-analysis of data from Wintle et al. (2019) · PLOS ONE
  8. De gekalibreerde geest
  9. CALIBRATE (framework)
  10. Wat betekent kalibratie?

Verder lezen

Markdown voor LLMs