Een KPI kan verbeteren terwijl de uitkomst waarvoor hij staat verslechtert. De wet van Goodhart benoemt dat risico: een statistisch verband heeft de neiging te bezwijken zodra je erop gaat sturen.
Een KPI (kritieke prestatie-indicator) is een meting waarmee je prestaties beoordeelt. Meestal is een KPI een proxy: iets telbaars dat staat voor een uitkomst die lastiger te tellen is, zoals klantvertrouwen of productkwaliteit. Een meting vertelt hoe het gaat. Een doel vertelt mensen welk getal ze moeten halen. Hang je beloning of druk aan dat doel, dan kunnen mensen manieren vinden om de proxy op te krikken zonder dat de uitkomst meebeweegt.
De vraag is dus niet of het getal is gestegen, maar of het je nog vertelt wat je moet weten.
Wie zei eigenlijk “when a measure becomes a target”?
Goodhart maakte zijn punt over monetaire sturing in 1975. De zin die de meeste mensen citeren, komt van Marilyn Strathern, uit 1997.
Charles Goodhart, 1975. In zijn essay uit 2013 vertelt Goodhart hoe centrale banken begin jaren zeventig monetaire doelen gingen hanteren, als tussenstap om de inflatie te beheersen. Elk land koos meestal de geldmaatstaf die tot dan toe het stabielste verband leek te hebben met het nominale inkomen, en daarmee met de inflatie. In 1975 waren veel van die verbanden ingestort, en het hardst leken ze te breken juist bij de maatstaven die als doel waren gekozen.
Die waarneming bracht hem, schrijft hij, op een conferentie van de Reserve Bank of Australia in Sydney in 1975 tot de opmerking dat die ineenstorting paste bij “Goodhart’s Law, that any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes”. Vrij vertaald: elk waargenomen statistisch patroon heeft de neiging in te storten zodra je erop gaat sturen. Hij voegt eraan toe dat het “was intended as a humorous, throw-away line”: bedoeld als grappige, terloopse opmerking. Deze weergave volgt het essay uit 2013; het conferentiestuk zelf is niet geraadpleegd.
Goodhart wijst ook op iets wat snel over het hoofd wordt gezien: een nieuw doel kan niet alleen het gedrag veranderen van wie gereguleerd wordt, maar ook dat van de toezichthouder. Wie het doel stelde, heeft zijn geloofwaardigheid aan het halen ervan verbonden, en kan zijn eigen werkwijze daarop afstemmen.
Donald Campbell, 1976. De sociaal wetenschapper betoogde iets verwants over indicatoren zoals toetsscores en politiestatistieken: hoe meer je een indicator gebruikt voor maatschappelijke beslissingen, hoe groter de druk om hem te vervalsen, en hoe groter de kans dat hij de activiteit vertekent die hij moest bewaken.
Marilyn Strathern, 1997. De populaire zin staat in het artikel van deze antropoloog over audits aan Britse universiteiten: “When a measure becomes a target, it ceases to be a good measure.” Vrij vertaald: zodra een maatstaf een doel wordt, is het geen goede maatstaf meer. Daarna geeft ze een voorbeeld: hoe meer een 2.1 (in het Verenigd Koninkrijk het op een na hoogste afstudeerpredicaat) de verwachting wordt, hoe slechter dat cijfer individuele prestaties van elkaar onderscheidt. Ze schrijft dat Keith Hoskin dit “Goodhart’s law” noemt. Goodhart citeert op zijn beurt haar formulering in zijn essay uit 2013.
| Wie | Jaar | Vakgebied | Het punt |
|---|---|---|---|
| Charles Goodhart | 1975 | Monetair beleid | Een statistisch patroon heeft de neiging in te storten zodra je het gebruikt om te sturen. |
| Donald Campbell | 1976 | Beleidsevaluatie | Hoe meer een indicator beslissingen stuurt, hoe meer hij vervalsing en vertekening uitlokt. |
| Marilyn Strathern | 1997 | Antropologie van audits | ”When a measure becomes a target, it ceases to be a good measure.” |
De versie van Goodhart en die van Strathern zeggen niet hetzelfde. Bij Goodhart gaat het om sturen: ga je op een statistisch verband sturen, dan heeft dat verband de neiging te bezwijken, en kan ook wie stuurt zijn gedrag aanpassen. Bij Strathern gaat het om meten: hoe meer een resultaat de verwachting wordt, hoe minder het prestaties van elkaar onderscheidt. Een KPI kan op beide manieren tegelijk tekortschieten.
Een gemeten percentage is dit allemaal niet. Volgens Goodhart zelf rustte zijn opmerking op beperkte empirische waarneming, niet op diepere analyse, en niets hiervan vertelt je hoe vaak of hoe snel een KPI faalt.
Hoe ziet de wet van Goodhart eruit in een bedrijf?
Bij Wells Fargo raakte een verkoopaantal los van de klantbehoefte die het moest weerspiegelen.
In september 2016 legde het Consumer Financial Protection Bureau (CFPB), de Amerikaanse toezichthouder op consumentenfinanciën, de bank een boete op van 100 miljoen dollar. Het CFPB schreef dat medewerkers, aangejaagd door verkoopdoelen en beloningsprikkels, hun verkoopcijfers opkrikten door heimelijk rekeningen te openen, gevuld met geld dat ze zonder medeweten of toestemming van de klant van diens eigen rekeningen overboekten. Volgens de eigen analyse van de bank openden medewerkers ruwweg 1,5 miljoen betaal- en spaarrekeningen en vroegen ze ruwweg 565.000 creditcards aan, in beide gevallen mogelijk zonder toestemming van de klant. Daarnaast zou de bank volgens het persbericht 35 miljoen dollar betalen aan het Office of the Comptroller of the Currency en 50 miljoen dollar aan de City and County of Los Angeles.
In februari 2020 maakte het Amerikaanse ministerie van Justitie bekend dat Wells Fargo 3 miljard dollar zou betalen om strafrechtelijke en civiele onderzoeken af te sluiten naar een praktijk die van 2002 tot 2016 liep: medewerkers onder druk zetten om onrealistische verkoopdoelen te halen. Het persbericht beschrijft miljoenen rekeningen of producten die onder valse voorwendselen of zonder toestemming aan klanten werden verstrekt. In de overeengekomen feitenverklaring die het persbericht samenvat, erkende de bank dat haar “onerous sales goals and accompanying management pressure”, zware verkoopdoelen met de bijbehorende druk van het management, duizenden medewerkers tot onrechtmatig gedrag brachten. Ook erkende ze dat veel van die praktijken intern “gaming” heetten.
Drie details uit het persbericht van Justitie doen ertoe bij een KPI-review:
- De proxy raakte los van de uitkomst. De proxy was het aantal verkochte producten. De bank wilde bestaande klanten meer producten verkopen, terwijl ze publiekelijk zei dat ze begon “with what the customer needs”, bij wat de klant nodig heeft. Zodra beloning en druk aan het aantal waren gekoppeld, liet een hoger aantal niet meer zien dat een klant beter geholpen was.
- De controle liep via dezelfde handen. Medewerkers wijzigden volgens het persbericht contactgegevens van klanten, zodat die niets hoorden over rekeningen die zonder hun toestemming waren geopend en collega’s hen niet konden bereiken voor klanttevredenheidsonderzoek. Een tegenmeting beschermt weinig als wie gemeten wordt de weg naar de respondenten kan afsluiten.
- De leiding gaf individuen de schuld, niet het model. Een interne onderzoeker noemde het probleem in 2004 een “growing plague”, een om zich heen grijpende plaag; een ander zei in 2005 dat het steeds verder uit de hand liep (“spiraling out of control”). Het senior management schilderde het volgens het persbericht af als individueel wangedrag, niet als een gevolg van het verkoopmodel zelf. Ik lees dat als Goodharts punt over de toezichthouder, binnen één bank.
De KPI-check in vijf vragen
Kies één getal waarmee mensen worden betaald, geprezen of gerangschikt, en schrijf op voor welke uitkomst het hoort te staan. De middelste kolom is mijn voorgestelde norm; de kolom over Wells Fargo gebruikt alleen de aangehaalde persberichten.
| Vraag | Wat je opschrijft | Wells Fargo, zoals vastgelegd |
|---|---|---|
| 1. Aan welke tegenmeting is hij gekoppeld? | Een tweede meting, samen met de KPI besproken, die verborgen schade kan blootleggen. | Er was klanttevredenheidsonderzoek, maar contactgegevens werden gewijzigd zodat klanten onbereikbaar waren. |
| 2. Wie kan hem manipuleren, en wie controleert hem? | Wie baat heeft bij het getal, wie de onderliggende gegevens beheert, en wie die gegevens onafhankelijk kan controleren. | De medewerkers die rekeningen zonder toestemming openden, konden ook de contactgegevens van klanten wijzigen. |
| 3. Welk gedrag beloont hij? | De makkelijkste handeling die het getal de goede kant op duwt zonder de uitkomst te verbeteren, in één zin. | Producten openen, ongeacht of de klant ze nodig had of wilde. |
| 4. Wat verbergt hij? | Een kostenpost of schade die buiten het getal valt, en wie die draagt. | Kosten waarop de bank geen recht had, beschadigde kredietwaardigheid, misbruikte persoonsgegevens. |
| 5. Wanneer schaf je hem af? | Een evaluatiedatum, plus een voorwaarde om hem bij te stellen of af te schaffen, zoals “als hij verlengingen niet meer voorspelt”. | Waarschuwingen in 2004 en 2005; de leiding wees individueel wangedrag aan, niet het verkoopmodel. |
Behandel een ontbrekende tegenmeting, een controle in handen van het gemeten team of een KPI zonder stopvoorwaarde als een gat dat je dicht vóór de volgende review. Een tweede getal helpt niet als dezelfde mensen beide kunnen beïnvloeden. De vragen helpen je een KPI te toetsen; ze garanderen niet dat hij bruikbaar blijft.
Waar komen de kosten van een gemanipuleerde KPI terecht?
Niet in het rapport waarin de KPI staat. Het verkoopaantal registreerde de schade voor klanten niet, en evenmin de boete en de schikking die in 2016 en 2020 volgden. Dat noemt deze site een stroomafwaarts effect: een kostenpost die pas na het besluit opduikt, op een plek waar niemand in de vergadering naar keek, en zonder eigenaar aan tafel.
DOWNSTREAM is mijn framework in tien stappen om die kosten op te sporen voordat je je vastlegt. Het komt uit De stroomafwaartse effecten, een boek dat in productie is en niet te koop. Het is een operationele heuristiek, geen gevalideerd risico-instrument. De stappen zijn Detect, Observe, Weigh, Navigate, Stream effects, Trace, Review, Effects on stakeholders, Assess systemic risk en Mitigate.
Stap 8, Effects on stakeholders, benoemt wie er echt betaalt. De stakeholdermap uit het boek kent vijf klassen: klanten, team, partners, toezichthouders en je toekomstige zelf. Leg je de verkoopdoelen naast de aangehaalde persberichten, dan ziet die kaart er zo uit:
- Klanten: kosten en rente waarop de bank geen recht had, schade aan de kredietwaardigheid van een deel van de klanten, misbruikte persoonsgegevens.
- Team: duizenden medewerkers die onder verkoopdruk tot onrechtmatig gedrag kwamen.
- Partners: de aangehaalde persberichten beschrijven geen afzonderlijke schade voor partners.
- Toezichthouders en overheden: het CFPB, de Comptroller of the Currency, de City and County of Los Angeles, het ministerie van Justitie en de Securities and Exchange Commission (SEC).
- Toekomstige zelf: de latere schikking van de bank, inclusief 500 miljoen dollar die de SEC onder beleggers zou verdelen.
Deze kaart is achteraf getekend; ze laat niet zien dat elk gevolg te voorspellen was. Vraag je af wie een kostenpost kan dragen die buiten de KPI valt, voordat je een doel vaststelt. Het volledige DOWNSTREAM-framework behandelt de andere negen stappen.
Voer de check deze week uit
Trek vijftien minuten uit voor één KPI. Schrijf de beoogde uitkomst bovenaan een vel papier, beantwoord de vijf vragen en markeer wat je nog niet kunt beantwoorden.
Spreek in je volgende teamoverleg de tegenmeting af, wijs een controleur aan wiens beloning of beoordeling niet van de KPI afhangt, en leg de evaluatiedatum en de stopvoorwaarde schriftelijk vast. Vergelijk bij de evaluatie beide metingen en de gegevens erachter met bewijs van de uitkomst zelf. Spreken ze elkaar tegen, laat dan eerst iemand uitzoeken waarom, voordat de verbetering een succes heet.
Voor besluiten die geen meting zijn, loopt de tweede-orde-denken-audit in vier checks de latere gevolgen na.
Citeer deze pagina:De wet van Goodhart: als een KPI de uitkomst niet meer meet.Len P. van der Hof. https://lenvanderhof.com/nl/blog/wet-van-goodhart/ ·