Een plan beschrijft hoe je het werk wilt doen. Voor een voorspelling heb je bewijs nodig van hoelang zulk werk werkelijk duurt, en dat bewijs zit niet in het plan. Het zit in je eerdere, vergelijkbare projecten. De planning fallacy is de verwachting dat dit project volgens plan loopt, terwijl je weet dat vergelijkbare projecten uitliepen. Kijk daarom eerst hoelang die projecten echt duurden, en toets daaraan de datum die je wilt toezeggen.
Wat is de planning fallacy?
In Nederlandse teksten zie je meestal gewoon de Engelse term. Je komt ook planningsfout en planningsdrogreden tegen. Het gaat om hetzelfde verschijnsel.
Een plan zet de stappen, de mensen en de volgorde van het werk op een rij. Een schatting die je daarop baseert, gaat er stilzwijgend van uit dat het werk ongeveer zo verloopt als het op papier staat. Door al die details is de schatting makkelijk uit te leggen. Realistisch wordt de datum er niet van.
Daniel Kahneman en Amos Tversky gebruikten de term planning fallacy in een technisch rapport uit 1977 over intuïtief voorspellen. Hun voorbeeld: wetenschappers en schrijvers, die erom bekendstaan dat ze de duur van een project onderschatten, ook als ze hun planning al vaak niet hebben gehaald.
Kenmerkend is dat je relevante ervaring niet laat meetellen. Een project kan uitlopen door iets wat niemand redelijkerwijs had kunnen voorzien; dat alleen is nog geen planning fallacy. De drogreden zit in de schatting die je maakt terwijl je al bewijs hebt dat vergelijkbare plannen te optimistisch waren, en dat bewijs vervolgens opzijschuift.
Wat bleek uit het scriptieonderzoek?
In een artikel uit 1994 beschrijven de psychologen Roger Buehler, Dale Griffin en Michael Ross een onderzoek onder 37 psychologiestudenten van de University of Waterloo in Canada. De studenten zaten in het laatste semester van hun scriptievak en voorspelden telefonisch wanneer ze hun scriptie zouden inleveren; de coördinator van het vak noteerde wanneer dat werkelijk gebeurde. Elke student gaf een beste schatting, een optimistische (als alles zo goed mogelijk zou gaan) en een pessimistische (als alles zo slecht mogelijk zou gaan).
| Schatting | Gemiddeld voorspeld | Gemiddeld werkelijk |
|---|---|---|
| Beste schatting | 33,9 dagen | 55,5 dagen |
| Optimistische schatting | 27,4 dagen | 55,5 dagen |
| Pessimistische schatting | 48,6 dagen | 55,5 dagen |
Het werkelijke gemiddelde kan alleen gaan over studenten die klaar waren: vier van de 37 hadden nog niets ingeleverd toen de onderzoekers twee semesters later stopten met bijhouden. Minder dan een derde van de studenten (29,7%) was klaar binnen de eigen beste schatting, en minder dan de helft (48,7%) binnen de pessimistische.
Zelfs het pessimistische gemiddelde lag onder de gemiddelde werkelijke tijd. Waardeloos waren de schattingen niet: wie een langere tijd voorspelde, deed er meestal ook langer over. Voorspellingen kunnen lange klussen goed van korte onderscheiden en toch over de hele linie te optimistisch zijn.
Het verhaal dat Kahneman over zichzelf vertelde
Kahneman beschreef hoe hij zelf dezelfde fout maakte. McKinsey Quarterly publiceerde een fragment uit zijn boek Thinking, Fast and Slow, in het Nederlands verschenen als Ons feilbare denken. Daarin vertelt hij over een team dat hij in de jaren zeventig in Israël leidde en dat voor de middelbare school een lesprogramma en een leerboek over oordelen en beslissen schreef.
Toen het team ongeveer een jaar wekelijks bijeen was gekomen, vroeg hij iedereen om voor zichzelf op te schrijven hoelang het nog zou duren tot er een complete versie lag. De schattingen lagen dicht bij elkaar, rond de twee jaar. Daarna vroeg hij Seymour Fox, de curriculumdeskundige van het team, hoelang vergelijkbare teams erover hadden gedaan. Fox schatte dat ongeveer 40 procent van die teams het werk nooit afmaakte. Hij kon geen team bedenken dat binnen zeven jaar klaar was, en ook geen team dat er meer dan tien over deed. Hun eigen team zat volgens hem iets onder het gemiddelde.
Het leerboek was acht jaar later af en is nooit gebruikt. Kahneman trekt de les voorzichtig: de cijfers van Fox kwamen uit een informele rondvraag, niet uit wetenschappelijk onderzoek, en dat de voorspelling uitkwam, was volgens hem ongetwijfeld toeval. Eén verhaal bewijst niets over voorspelmethoden. Het laat wel een vraag zien die niemand had gesteld. Fox kende de geschiedenis van andere teams, maar die speelde geen rol in zijn eigen schatting tot Kahneman ernaar vroeg.
Waarom gebeurt het?
Kahneman en Tversky onderscheidden twee manieren van voorspellen, de inside view en de outside view. De gekalibreerde geest noemt ze de binnenblik en de buitenblik:
- De binnenblik begint bij jouw project: de stappen, de mensen, de planning.
- De buitenblik begint bij een groep vergelijkbare eerdere projecten, een referentieklasse, en kijkt eerst hoe die uitpakten. Pas daarna komt aan bod wat dit project bijzonder maakt.
Van binnenuit zie je het plan beter dan de obstakels. Toen Buehler en zijn collega’s studenten hardop lieten denken terwijl ze een voorspelling deden, ging het vooral over hoe het werk zou verlopen. In een latere studie uit hetzelfde artikel beschreef 93,5% van de deelnemers plannen voor de taak, en noemde maar 9,8% iets wat in de weg zou kunnen zitten.
Ook schoven de studenten eerdere vertragingen meestal af op externe, tijdelijke en specifieke oorzaken. Als elke vertraging een uitzondering is, lijkt het verleden nooit van toepassing op de volgende schatting, hoe vaak vertragingen ook terugkeren.
Wat vraag je voordat je een datum toezegt?
Vraag: hoelang duurden de laatste vergelijkbare projecten echt? Neem dat antwoord als vertrekpunt. Vraag je daarna af welk bewijs voor dit project een ander getal rechtvaardigt.
De onderzoekers testten een verwante aanpak in hun vierde studie. Daarin voorspelden 123 studenten wanneer ze een korte computeropdracht af zouden hebben. Eén groep moest terugdenken aan eerdere, vergelijkbare opdrachten. Een tweede groep deed dat ook en koppelde die ervaring daarna aan de nieuwe taak, door na te gaan wanneer ze klaar zouden zijn als ze te werk gingen zoals ze gewend waren. In die tweede groep kwamen de gemiddelde voorspelling en de gemiddelde werkelijke tijd allebei afgerond uit op 7,0 dagen, en was 60% klaar binnen de voorspelde tijd, tegenover 29,3% in de controlegroep.
Alleen terugdenken nam de optimistische vertekening niet weg. De koppeling aan de nieuwe taak verkleinde die wel, voor de groep als geheel. Volgens de onderzoekers waren die voorspellingen minder vertekend, maar niet nauwkeuriger: het groepsgemiddelde kwam dichter bij de werkelijkheid, terwijl afzonderlijke voorspellingen niet dichter bij de werkelijke tijden lagen. Het gaat om onderzoek onder studenten. Het ondersteunt het toetsen van een schatting aan ervaring, maar laat niet zien dat deze vraag je volgende voorspelling juist maakt.
Een werkblad om over te nemen
Kies drie tot vijf vergelijkbare projecten voordat je kijkt hoe ze afliepen. Noteer per project de oorspronkelijke schatting en de werkelijke doorlooptijd. Gebruik waar het kan je agenda, facturen of tickets, en meet elk project op dezelfde manier: vanaf hetzelfde soort startpunt tot het moment dat je steeds als klaar telt.
| Vergelijkbaar eerder project | Schatting bij de start | Werkelijk | Werkelijk ÷ schatting |
|---|---|---|---|
| 1. | |||
| 2. | |||
| 3. | |||
| 4. | |||
| 5. | |||
| Mediane verhouding |
Daarna:
- Bereken de mediaan van de verhoudingen in de laatste kolom.
- Vermenigvuldig je nieuwe schatting met die mediaan. Dat geeft een voorlopige schatting op basis van je eigen staat van dienst.
- Schrijf elke concrete reden op waarom dit project anders is, met het bewijs erbij. Stel alleen bij voor zover dat bewijs reikt.
Dit is een vuistregel van deze pagina, geen methode die in de onderzoeken hierboven is getest. De mediaan is de middelste waarde als je de verhoudingen sorteert, of het gemiddelde van de twee middelste bij een even aantal. Eén uitschieter verschuift de mediaan minder dan het gemiddelde. Ook de mediaan staat of valt met de keuze van vergelijkbaar werk.
Een hypothetisch voorbeeld: een Utrechts bureau van twee mensen schat een nieuwe website op zes weken. De laatste vier websites waren geschat op 5, 6, 8 en 4 weken en kostten er 9, 8, 13 en 7. De verhoudingen zijn ongeveer 1,8; 1,33; 1,63 en 1,75, dus de mediaan ligt rond 1,7 en de voorlopige schatting op ongeveer tien weken. Stel dat de klant de teksten deze keer al heeft goedgekeurd. Kijk dan eerst hoeveel vertraging het wachten op goedkeuring van de teksten bij eerdere websites veroorzaakte, voordat je er iets van aftrekt.
Twee valkuilen uit De gekalibreerde geest spelen hier mee. Overleversvertekening: een lijst met afgeronde projecten laat de afgeblazen projecten weg. Noteer die apart; ze hebben geen doorlooptijd voor de kolom met verhoudingen. Een gunstige referentieklasse uitzoeken: de vergelijkingsgroep kiezen die je de gewenste datum geeft. Leg je criteria vast voordat je kijkt. En vind je geen vergelijkbaar werk, zeg dat dan. Het werkblad is nooit beter dan de vergelijking.
Wat CALIBRATE ermee doet
CALIBRATE, uit De gekalibreerde geest, is een reeks van negen vaardigheden om je zekerheid af te stemmen op het bewijs. Je hebt het boek niet nodig voor het werkblad, dat vooral steunt op de tweede en de derde vaardigheid:
- Kalibreer vertrouwen: behandel hoe zeker je je voelt als een meting die je kunt controleren.
- Analyseer aannames: schrijf de verborgen premissen op waarop een oordeel rust.
- Leun op waarschijnlijkheden: zet getallen bij je inschattingen en begin bij hoe vergelijkbare gevallen uitpakten.
- Onderzoek alternatieven: toets een overtuiging aan de sterkste concurrerende verklaring.
- Bouw bijstellingsregels: bepaal vooraf hoe ver nieuw bewijs je oordeel mag verschuiven.
- Registreer en evalueer: houd een voorspellingsdagboek bij en bereken je score.
- Handel met passende onzekerheid: leg een handelingsdrempel vast in plaats van op zekerheid te wachten.
- Leer anderen en breid uit: leg je redenering aan iemand anders uit om de gaten te vinden.
- Ontwikkel je model verder: merk op waar je langzaam afwijkt en corrigeer dat.
Om de aannames van het bureau te analyseren, schrijf je ze op: de klant reageert snel, het team is beschikbaar, de teksten zijn definitief. Leunen op waarschijnlijkheden betekent vervolgens dat je die aannames toetst aan wat er bij eerdere projecten gebeurde. Lagen dezelfde aannames onder eerdere schattingen die te optimistisch bleken, benoem dan wat er veranderd is voordat je er opnieuw op bouwt. Dit is een toepassing van het raamwerk; de onderzoeken hierboven hebben die niet getest.
Op de CALIBRATE-pagina staan alle negen vaardigheden. Kalibratietechnieken voor founders laat zien hoe je het basispercentage vóór het verhaal zet, een van vijf praktijken die je deze week kunt toepassen. Wat betekent kalibratie? geeft de korte definitie.
Wat de planning fallacy niet is
- Een gemiste deadline bewijst nog geen planning fallacy. De vraag is of de schatting relevant bewijs uit vergelijkbaar werk heeft opzijgeschoven.
- Een vaste buffer van 20% is geen bewezen correctie. Een buffer op gevoel negeert je eigen staat van dienst volledig. Kijk of de marge past bij wat vergelijkbare projecten werkelijk duurden.
- Je project kan echt anders zijn. Benoem dan de verschillen en het bewijs ervoor. “Deze keer is het anders” is op zich geen reden voor een kortere schatting.
Probeer dit vandaag (15 minuten)
Kies één deadline die je deze maand hebt toegezegd. Zoek in een kwartier drie tot vijf vergelijkbare projecten op en vul het werkblad in. Leg de voorlopige datum naast de datum die je hebt beloofd. Valt de voorlopige datum later, kijk dan wat het verschil verklaart en laat degene die op die deadline rekent weten wat je eigen cijfers zeggen. Gebruik je eigen verhoudingen, niet de 1,7 van het bureau. Bewaar het blad en vul de werkelijke tijd in zodra het werk af is. Je volgende schatting begint dan bij een langere reeks.
Citeer deze pagina:Planning fallacy: een plan is geen voorspelling.Len P. van der Hof. https://lenvanderhof.com/nl/blog/planningsdrogreden/ ·