Kalibratie versus Brier-score: wat elke maatstaf mist

Kalibratie en de Brier-score beantwoorden verschillende vragen, dus een goed cijfer op de ene maatstaf staat niet garant voor de andere. Kalibratie vraagt of je uitspraken van 70% ook ongeveer zeven op de tien keer uitkomen, klasse voor klasse. De Brier-score vat al je afgewikkelde ja/nee-voorspellingen samen in één getal en beloont twee dingen tegelijk: kansen die kloppen met hoe vaak iets gebeurt, en kansen die onderscheid maken tussen wat uitkomt en wat uitblijft. Een lage score kan dus samengaan met een overmoedige klasse. En wie elk geval dezelfde kans geeft, kan keurig op de kalibratielijn liggen en toch slechter scoren.

In het hypothetische kwartaal hieronder scoren de gedifferentieerde voorspellingen 0,205. Een vaste voorspelling van 70% op dezelfde uitkomsten scoort 0,210 en valt precies samen met het totale trefferpercentage. De lagere score is van de voorspeller wiens uitspraken van 90% maar acht van de tien keer uitkwamen. Geen van beide is fout: ze vangen elk iets wat de ander mist.

Het bredere idee, vertrouwen afstemmen op bewijs, staat in het stuk over wat kalibratie betekent. Hier begint het werk zodra de ja/nee-uitkomsten binnen zijn: wat laat elke maatstaf zien, en wat blijft buiten beeld?

Wat ziet kalibratie dat de Brier-score mist?

Kalibratie toetst per zekerheidsklasse of je uitgesproken kansen kloppen met hoe vaak iets werkelijk gebeurt. Komen uitspraken van 70% over genoeg vergelijkbare gevallen ongeveer zeven op de tien keer uit, dan is die klasse zo goed als gekalibreerd. Komen je uitspraken van 90% maar in 80% van de gevallen uit, dan zakt die klasse op de kalibratiecurve onder de diagonaal: je uitgesproken zekerheid lag in die reeks te hoog.

De Brier-score perst alle afgewikkelde binaire voorspellingen samen tot één gemiddelde gekwadrateerde fout. Hij beloont kansen die dicht bij de uitkomst liggen. Hij beloont ook scheidend vermogen: hogere kansen voor gevallen die vaker uitkomen en lagere voor gevallen die vaker uitblijven. Eén punt op de kalibratielijn laat dat niet zien. Hoofdstuk 8 van De gekalibreerde geest zegt het zonder omwegen: de Brier-score “beoordeelt je binaire voorspellingen als geheel; hij isoleert kalibratie niet uit zichzelf.”

Aflezing	Welke vraag beantwoordt ze?	Wat leg je ernaast?
Kalibratiecurve of klassentabel	Kwam elke zekerheidsklasse ongeveer zo vaak uit als je zei?	Per klasse de gemiddelde uitgesproken kans, het trefferpercentage en het aantal.
Brier-gemiddelde	Hoe ver lagen je kansen in totaal van de binaire uitkomsten af?	Het aantal en de mix van afgewikkelde voorspellingen, plus de score van een vooraf gekozen referentie op dezelfde voorspellingen.

Hoe bereken je een Brier-score?

Schrijf bij één afgewikkelde ja/nee-voorspelling de kans als getal tussen 0 en 1, en de uitkomst als 1 (gebeurd) of 0 (niet gebeurd). Kwadrateer het verschil: (kans - uitkomst)^2. Neem het gemiddelde over alle afgewikkelde binaire regels. Op dezelfde reeks vragen geldt: hoe lager, hoe beter. Een perfecte regel scoort 0; een uitspraak van 100% die misgaat, scoort 1.

Hoofdstuk 8 geeft een snelle controle. Een voorspelling van 80% die uitkomt, scoort (0,8 - 1)^2 = 0,04. Blijft de uitkomst uit, dan scoort dezelfde regel (0,8 - 0)^2 = 0,64: zestien keer zoveel. Staat de zekerheid in je spreadsheet als heel percentage, gebruik dan per afgewikkelde binaire regel =POWER(zekerheid/100 - uitkomst, 2). In een Nederlandstalige Excel heet die functie MACHT: =MACHT(zekerheid/100 - uitkomst; 2). Regels die nog lopen, laat je leeg.

Wie op elke binaire vraag 50% zegt, scoort op elke regel 0,25, wat er ook gebeurt. Het boek noemt dat een oriëntatiepunt, geen populatiegemiddelde, en een voldoende is het evenmin. Gebeurt iets historisch veel vaker of veel minder vaak dan de helft van de tijd, dan is een relevante historische basiskans een eerlijkere vergelijking dan een muntworp.

Rekenvoorbeeld: een hypothetisch kwartaal van een oprichter

Elke voorspelling, uitkomst en berekening in dit voorbeeld is hypothetisch. Een oprichter legt twintig vergelijkbare ja/nee-voorspellingen vast: wordt elke gekwalificeerde offerte vóór de afgesproken datum getekend? Elke kans en elke beslisregel staat op papier voordat die datum aanbreekt. Tien offertes krijgen 90%, tien krijgen 60%.

Zekerheidsklasse	Afgewikkeld	Op tijd getekend	Trefferpercentage	Som gekwadrateerde fouten	Brier-gemiddelde per klasse
90%	10	8	80%	8 × 0,01 + 2 × 0,81 = 1,70	0,170
60%	10	6	60%	6 × 0,16 + 4 × 0,36 = 2,40	0,240

Tel de regelfouten op: 1,70 + 2,40 = 4,10. Deel door twintig afgewikkelde voorspellingen: de totale Brier-score is 0,205. De offertes van 90% werden vaker getekend dan die van 60%, acht op tien tegen zes op tien, dus deze reeks laat scheidend vermogen zien. Maar de klasse van 90% kwam uit op 80%: daar lag het uitgesproken vertrouwen te hoog. De klasse van 60% kwam uit op 60%.

Ook de score registreert die overschatting. Reken dezelfde uitkomsten opnieuw door met 80% voor de eerste tien: 8 × 0,04 + 2 × 0,64 = 1,60, en (1,60 + 2,40) / 20 = 0,200. De te hoge zekerheid kostte 0,005. Zie dat als controle achteraf, niet als correctie om over te nemen: tien voorspellingen zijn veel te weinig om een klasse te herijken.

Stel nu dat eerdere, vergelijkbare offertes de oprichter ertoe brachten om vóór dit kwartaal een referentievoorspelling van 70% vast te leggen. Pas die 70% toe op dezelfde twintig offertes. Veertien werden getekend en zes niet, dus de referentie scoort (14 × 0,09 + 6 × 0,49) / 20 = 0,210. Haar enige klasse, die van 70%, valt precies samen met het trefferpercentage van 14 op 20. Toch scoort ze iets slechter dan 0,205, omdat de inschattingen per offerte de twee groepen uit elkaar hielden en de vlakke referentie dat niet kon. Dat het in één kleine steekproef klopt, bewijst niet dat de referentie betrouwbaar gekalibreerd is, en een verschil van 0,005 bewijst geen vaardigheid.

Zet de drie getallen naast elkaar: 0,200 met scheidend vermogen en een bovenste klasse die klopt, 0,205 met scheidend vermogen en een te hoge bovenste klasse, 0,210 zonder enig scheidend vermogen. Het Brier-totaal beweegt met beide eigenschappen mee en kan je dus in zijn eentje niet vertellen waar een verschuiving vandaan komt. De klassentabel kan dat wel. Daarom horen ze op één pagina.

Waarmee vergelijk je een Brier-score?

Kies een referentievoorspelling voordat de uitkomsten binnen zijn, bij voorkeur een historische basiskans voor echt vergelijkbare vragen, en reken die door op dezelfde afgewikkelde voorspellingen. Kies je de 70% pas nadat je veertien treffers hebt geteld, dan beschrijf je achteraf de uitkomst; een eerlijk vergelijkingspunt is dat niet. Een historische basiskans kan bovendien verouderen als de onderliggende gevallen veranderen. Leg daarom ook vast welk cohort je gebruikte en volgens welke regel je de referentie koos.

Hoofdstuk 8 haalt een vergelijking aan uit een studie naar betrouwbaarheidsdiagrammen van Dimitriadis, Gneiting en Jordan. Het gaat om 86 dagelijkse kansverwachtingen voor neerslag, telkens 24 uur vooruit, voor één locatie in één seizoen: Niamey in Niger, juli tot en met september 2016. Het toonaangevende ensemble van het European Centre for Medium-Range Weather Forecasts, met 52 leden (ENS), scoorde 0,266. Een referentievoorspelling op basis van klimatologie (EPC) scoorde 0,234 en versloeg het. Een statistisch nabewerkte versie van hetzelfde ensemble (EMOS) haalde 0,232, en een puur datagedreven statistische voorspelling die de studie Logistic noemt, scoorde het best: 0,206. De scoredecompositie in het artikel, met voor alle vier dezelfde onzekerheidsterm (0,244), laat zien waarom het ensemble van de klimatologische referentie verloor. Het onderscheidde natte van droge dagen beter (scheidend vermogen 0,044 tegen 0,032), maar kreeg een drie keer zo hoge straf voor miskalibratie (0,066 tegen 0,022). Eén Brier-totaal vertelt wie won; kalibratie en scheidend vermogen vertellen waar de fout vandaan kwam. Neerslagverwachtingen voor één plek zeggen niets over de offertes van een oprichter. Daarom heeft je eigen dagboek een referentie uit je eigen praktijk nodig.

Voor je eigen dagboek is een lagere score dan een vooraf gekozen referentie een bevinding over precies die voorspellingen. Wil je weten of je voorspelpraktijk beter wordt, vergelijk dan periodes met soortgelijke vragen en blijf uitkomsten verzamelen. Een kwartaal met makkelijkere gevallen kan het gemiddelde drukken zonder dat je oordeel ook maar iets scherper werd.

Hoeveel zegt een dunne kalibratiecurve?

Schrijf 8 van 10 naast 80%. Bij tien uitspraken in een klasse verschuift het percentage flink zodra één uitkomst anders valt. Hoofdstuk 3 van De gekalibreerde geest geeft de werkregel: onder de pakweg twintig vergelijkbare afgeronde voorspellingen lees je de cijfers als een verslag, niet als een vonnis. Ook twintig is geen garantie; de mix van vragen en de manier waarop voorspellingen in je dagboek belandden, tellen nog steeds mee.

Leg je klassen vast voordat je de uitkomsten bekijkt, en houd de grenzen van evaluatie tot evaluatie gelijk: 50–60%, 60–70%, 70–80%, 80–90% en 90–99%, waarbij een grenswaarde bij de hogere klasse telt. Vergelijk per klasse het trefferpercentage met het gemiddelde werkelijk uitgesproken vertrouwen, niet met het midden van de klasse. Een klasse van 70–80% waarvan de uitspraken gemiddeld op 74% liggen, toets je tegen 74%. De studie naar betrouwbaarheidsdiagrammen laat zien dat een klassiek ingedeeld diagram van vorm kan veranderen met de keuze van de klassen, en dat dunbezette klassen een grote schattingsonzekerheid hebben. Vaste klassen houden je kwartaalevaluaties vergelijkbaar; de ruis in een klasse met een handvol uitspraken nemen ze niet weg.

Kijk ook wat er in je dagboek terechtkwam. Noteerde je alleen de uitspraken die veilig voelden, dan beschrijft geen van beide aflezingen je beslissingen. Reconstrueer geen kans uit je geheugen als de uitkomst al bekend is. Houd lopende voorspellingen gedateerd en buiten beide berekeningen tot ze zijn afgewikkeld.

Horen numerieke bandbreedtes in het Brier-gemiddelde?

Nee. “De lancering levert uiterlijk vrijdag minstens 100 betalende klanten op” is binair, mits je vooraf hebt vastgelegd wie als betalende klant meetelt en op welk moment je kijkt. “De lancering levert vrijdag 80 tot 140 betalende klanten op” is een numerieke bandbreedte. Een bandbreedte beoordeel je op dekking, het aandeel uitkomsten dat binnen de grenzen valt, en, als je ook breedte en afstand buiten de grenzen wilt laten meewegen, op een intervalscore. Hoofdstuk 8 houdt die resultaten gescheiden van de binaire Brier-regels.

Een Brier-score is een gekwadrateerde fout op een kans en ligt altijd tussen 0 en 1. Een intervalscore staat in de eenheid die je voorspelde, zoals klanten, en kent geen bovengrens. Een gemiddelde van die twee heeft geen betekenisvolle eenheid. Wie elke bandbreedte terugbrengt tot “binnen of buiten”, gooit bovendien weg hoe breed het interval was. De 90%-test is een oefening met zulke marges; houd die uitkomsten in een eigen kolom.

Wat hoort er in de evaluatie na het rekenwerk?

Houd vier dingen bij elkaar: het Brier-gemiddelde van je afgewikkelde binaire voorspellingen, de klassentabel met aantallen, de score van de vooraf gekozen referentie op dezelfde voorspellingen, en de bevroren onderbouwingen met procesnotities. Elk onderdeel heeft een eigen taak. De score geeft de totale fout. De klassen wijzen aan waar je mogelijk te hoog of te laag zat. De referentie toetst of je oordeel op deze reeks iets toevoegde. De notities helpen een patroon van missers te onderzoeken.

Forceer geen oorzaak achter één mislukte voorspelling van 70%. Een gekalibreerde uitspraak van 70% hoort ongeveer drie op de tien keer mis te gaan. Delen meerdere missers dezelfde aanname, toets die dan aan wat je wist toen je de voorspellingen deed. Vind je geen kapotte aanname en geen gemist signaal, schrijf dan “niets gevonden”. Het besluitjournaal in vijf regels laat zien hoe je je redenering vastlegt vóór een ingrijpende keuze; het voorspellingsdagboek voegt de kansen en uitkomsten toe die deze evaluatie nodig heeft.

Probeer dit vandaag (20 minuten)

Pak tien afgewikkelde ja/nee-voorspellingen uit gedateerde notities, met kansen die je opschreef voordat de uitkomst bekend was. Heb je die niet, schrijf dan nu tien toetsbare voorspellingen op, elk met een kans, een afwikkeldatum en een ja/nee-regel. Bewaar de oorspronkelijke getallen en doe deze test pas als de uitkomsten binnen zijn. Een zekerheid die je je achteraf herinnert, kun je niet als voorspelling scoren.

1. Scoor de binaire regels. Zet een 1 naast elke gebeurtenis die plaatsvond en een 0 naast elke gebeurtenis die uitbleef. Bereken per afgewikkelde regel =POWER(zekerheid/100 - uitkomst, 2) (in een Nederlandstalige Excel: =MACHT(zekerheid/100 - uitkomst; 2)) en neem het gemiddelde van de tien scores.
2. Lees de klassen. Verdeel de voorspellingen over de vooraf vastgelegde klassen uit hoofdstuk 8: 50–60%, 60–70%, 70–80%, 80–90% en 90–99%, waarbij een grenswaarde bij de hogere klasse telt. Noteer voor elke gevulde klasse het aantal, de gemiddelde uitgesproken zekerheid en het aandeel dat uitkwam. Laat dunne klassen zichtbaar staan en markeer ze als dunbezet; maak van tien regels geen diagnose.
3. Voeg een eerlijke referentie toe als je die hebt. Neem een relevante historische basiskans die al bestond vóór deze voorspellingen en reken die door op dezelfde tien uitkomsten. Lag er niets vast, schrijf dan “geen vooraf gekozen referentie” en kies niet alsnog een gunstig getal.
4. Noteer de verrassing. Leg het Brier-gemiddelde naast de klassentabel. Welk getal verraste je? Open bij elk terugkerend soort misser de oorspronkelijke onderbouwing, en noteer één vraag om te toetsen bij de volgende reeks vergelijkbare voorspellingen.

Deze eerste ronde laat zien wat de twee aflezingen over een klein verslag zeggen. Bewaar de oorspronkelijke regels en herhaal de vergelijking naarmate de klassen vollopen.

Citeer deze pagina:Kalibratie versus Brier-score: wat elke maatstaf mist.Len P. van der Hof. https://lenvanderhof.com/nl/blog/kalibratie-versus-brier-score/ · Gepubliceerd 3 november 2026.