Een duim omhoog legt je eerste reactie op één losse agent-output vast; een scorecard toetst dat stuk aan de geschreven standaard van de rol en onderbouwt wat die rol voortaan zelfstandig mag doen. Dat verschil telt zodra dezelfde taak elke week terugkomt. Eén goedkeuring vertelt je dat je dit concept kunt gebruiken. Ze vertelt je niet of de rol minder toezicht heeft verdiend.
Dit is Evaluatie in ROSTER, de werkwijze uit Het agent-droomteam om in je eentje een specialistenrooster aan te sturen. In het agent-charter van elke rol staan het mandaat, het inputcontract, het outputcontract, de toegestane tools en de escalatieregel. De scorecard legt het geleverde werk naast die afspraken, maakt uitzonderingen zichtbaar en geeft de wekelijkse beoordeling iets concreets om op te handelen.
Wat legt een duim omhoog eigenlijk vast?
Een duim omhoog laat alleen zien dat je op dat moment tevreden was. Misschien voldeed het antwoord precies aan de vraag. Misschien las de tekst lekker weg, of had je nog drie minuten voordat je volgende gesprek begon. Dezelfde klik kan voor elk van die oordelen staan. Wie het logboek een week later terugleest, ziet niet welke bron je hebt gecontroleerd, of de kernvraag echt is beantwoord en welk onderdeel nog rammelde.
Daardoor zien een duim omhoog op de leveranciersnotitie van maandag en een duim omhoog op die van vrijdag er achteraf precies hetzelfde uit, ook als je er iets heel anders mee bedoelde. Bij een duim omlaag speelt hetzelfde probleem. Zolang je geen reden vastlegt en geen vaste vervolgstap afspreekt, kun je gelijksoortige opleveringen niet over meerdere weken vergelijken en heb je geen grond om de bevoegdheid van een rol te verruimen of in te perken.
Gebruik zo’n snelle reactie gerust als signaal voor jezelf. Je markeert ermee dat een concept bespreking waard is of dat de toon je aanspreekt. Vraag je daarna direct af waardoor het stuk die reactie verdiende. “De bron achter de prijsclaim opent en klopt” is een criterium waar je volgende week opnieuw op kunt toetsen. “Ziet er goed uit” is dat niet.
| Beoordeling | Wat er in het dossier achterblijft | Waarde voor aansturing |
|---|---|---|
| Losse duim omhoog | Eén directe reactie op één oplevering | Het stuk opnieuw openen en achterhalen waarom je het goedkeurde |
| Scorecard | Output, datum, rolspecifieke criteria, scoreniveaus, resultaat van de vrijgavepoort en toelichting | Gelijksoortig werk over weken vergelijken en beslissen over één benoemde bevoegdheid |
Wat hoort er op een agent-scorecard te staan?
Begin bij het outputcontract in het agent-charter: wat levert deze rol op en in welke vaste vorm? Een Onderzoeksspecialist beoordeel je op de kwaliteit van het onderzoeksdossier, niet op hoe fraai de zinnen lopen. Het basisontwerp uit het boek werkt met drie tot vijf criteria en drie uitgeschreven niveaus: 3: Uitstekend, 2: Acceptabel, 1: Herzien vereist. Dat zijn werkkeuzes van de auteur, geen geteste drempelwaarden.
Schrijf de niveaus zo concreet op dat een tweede beoordelaar bij hetzelfde stuk op dezelfde score uitkomt. “Goede bronnen” schuift de echte afweging door naar het moment van nakijken. “Elke materiële bewering heeft een directe link naar een bron die het punt daadwerkelijk onderbouwt” vertelt je precies wat je moet controleren. Beoordeel altijd het geleverde eindproduct, nooit de lengte van het werklogboek of hoeveel moeite de agent zichtbaar heeft gedaan.
Neem een hypothetische Onderzoeksspecialist. Volgens het outputcontract levert die rol per toegewezen vraag één leveranciersnotitie op met vier vaste onderdelen: een direct antwoord, een bronnenlijst achter alle feitelijke beweringen, de materiële onbekenden en een voorstel voor de eerstvolgende stap. De beslisvraag luidt: “Moeten we deze leverancier uitnodigen voor een afgebakende pilot?” De eerste rubriek ziet er dan zo uit:
| Criterium | 3: Uitstekend | 2: Acceptabel | 1: Herzien vereist |
|---|---|---|---|
| Herleidbaarheid van bewijs | Elke materiële bewering heeft een directe link naar een bron die de claim ondersteunt | Elke bewering is onderbouwd, maar één bronvermelding vraagt om een opmaakcorrectie | Een materiële bewering mist onderbouwing of de aangehaalde bron ondersteunt haar niet |
| Aansluiting op het besluit | Beantwoordt de pilotvraag en legt de belangrijkste afweging helder uit | Beantwoordt de vraag, maar werkt één afweging nog te summier uit | Beantwoordt een andere vraag dan opgedragen |
| Omgaan met onzekerheid | Benoemt materiële onbekenden en legt uit wat elk punt betekent voor het besluit | Benoemt de onbekenden, maar laat het gevolg voor het besluit liggen | Presenteert een materiële onzekerheid alsof het een vaststaand feit is |
| Volledigheid volgens contract | Antwoord, bronnen, onbekenden en vervolgstap zijn allemaal aanwezig en direct bruikbaar | Alle vier zijn aanwezig, maar één onderdeel vraagt om een vormcorrectie | Een verplicht onderdeel uit het outputcontract ontbreekt |
Koppel daar een aparte slaag-of-faal-vrijgavepoort aan: elke materiële feitelijke bewering moet controleerbaar onderbouwd zijn voordat deze notitie mag meewegen in een leveranciersbesluit. Controleer die vrijgavepoort voordat je naar het gemiddelde kijkt. Een 1 op herleidbaarheid van bewijs laat de poort direct dichtvallen, en een hoge score op de andere drie criteria kan dat nooit compenseren. Zelfs bij een 2 kan eerst een herstelde bronvermelding nodig zijn voordat de overdracht plaatsvindt. Het gemiddelde vat de rubriek samen, maar zegt niets over de kans dat een niet-gecontroleerde bewering klopt.
Leg bij elke score ook vast welke versie van de rubriek je hebt gebruikt. Blijkt een niveauomschrijving bij een fout toch te vaag, scherp de formulering dan aan en geef de rubriek een nieuw versienummer; anders vergelijk je volgende maand cijfers die op een andere meetlat zijn gebaseerd. Verander je het agent-charter zelf, dan verandert de opdracht waarop je toetst. In het boek zakt de verworven autonomie van de rol na zo’n charterwijziging standaard terug naar L2 of lager, totdat de nieuwe opzet een eigen staat van dienst heeft opgebouwd.
Uitgewerkt voorbeeld: wat laten vijf leveranciersnotities zien?
Alle vijf de notities en scores hieronder zijn hypothetisch. Je scoort elke notitie bij aflevering op de vier criteria uit de tabel hierboven; de vrijgavepoort voor bronbewijs beoordeel je apart.
| Notitie | Bewijs / besluit / onzekerheid / volledigheid | Gemiddelde | Vrijgavepoort bronnen | Aantekening bij beoordeling |
|---|---|---|---|---|
| A | 3 / 3 / 3 / 3 | 3,00 | Geslaagd | Klaar voor beoordeling door de oprichter |
| B | 3 / 2 / 3 / 3 | 2,75 | Geslaagd | Afweging voor de pilot mist één scherpe zin |
| C | 1 / 3 / 1 / 3 | 2,00 | Geblokkeerd | Stelt dat een lopende verzekering is bevestigd zonder bewijsstuk |
| D | 3 / 3 / 2 / 3 | 2,75 | Geslaagd | Noemt een open vraag, maar niet het effect op de pilot |
| E | 3 / 2 / 3 / 3 | 2,75 | Geslaagd | Afweging voor de pilot mist een concrete beslisvoorwaarde |
De vijf gemiddeldes tellen op tot 13,25; het weekgemiddelde komt daarmee uit op 2,65 uit 3. Precies dat gemiddelde verhult notitie C. De onbewezen bewering over de verzekering blokkeert het stuk voor gebruik in het pilotbesluit totdat een mens de polis controleert of de passage schrapt. Een strakke samenvatting op de andere onderdelen maakt dat gat niet goed. Op de vertrouwensladder uit het boek blokkeert een gefaalde vrijgavepoort bovendien elke promotie in dat beoordelingsvenster. Voor een rol op L2 betekent één poortfout bij de vrijdagse beoordeling een stap terug naar L1: de rol mag nog steeds concepten voorbereiden, maar jij controleert elke oplevering voordat die naar een volgende rol gaat.
Een lage score laat zien dát er een lek zit, niet waardoor het ontstond. Open bij notitie C dus de bronnenlijst en het oorspronkelijke inputpakket. Ontbrak er een bron, ondersteunde het document de bewering niet, of stuurde de vraagstelling de agent richting een conclusie die hij met zijn toegestane tools niet kon staven? Schrijf die oorzaak bij de score. Zonder die notitie lijken een ander model, een aangepaste trigger of een herschreven rubriek volgende week allemaal even logisch.
Waarom houd je het doelstellingscijfer naast de scorecard?
In Het agent-droomteam stuur je op twee verschillende getallen. Het doelstellingscijfer van 0,0 tot 1,0 meet of de rol het weekdoel heeft gehaald dat je op maandag vooraf hebt vastgelegd. De outputscore van 1 tot 3 meet hoe goed elke losse oplevering aan het vaste outputcontract voldeed. Leg die twee cijfers tijdens de vrijdagse beoordeling naast elkaar en middel ze nooit tot één rapportcijfer.
Stel dat het weekdoel op maandag luidde: “Lever uiterlijk vrijdag vijf leveranciersnotities op.” Komen alle vijf de notities op tijd binnen, dan scoort dat aantal-en-deadline-doel een 1,0. Het kwaliteitsgemiddelde op de scorecard blijft echter 2,65 en notitie C blijft geblokkeerd. Een verplichte feitencontrole valt ook bij het doelstellingscijfer buiten de breuk: faalt een verplichte voorwaarde, dan is de levering geblokkeerd, ook als het aantal een 1,0 scoort. Omgekeerd kan een inhoudelijk uitstekende notitie een ambitieus streefdoel in aantallen missen. Leg het weekdoel altijd vast voordat het werk begint; anders wordt het cijfer op vrijdag een samenvatting achteraf in plaats van een toets op wat je vooraf vroeg.
Wanneer verandert een score een bevoegdheid?
De agent-vertrouwensladder uit het boek koppelt de beoordelingsgeschiedenis van een rol aan vijf niveaus van gedelegeerde autonomie. Op L1 (Alleen concept) bekijk je elke output zelf. Op L2 (Leveren bij zekerheid) mag de rol werk doorzetten dat voldoet aan voorwaarden die je van buiten het model kunt controleren; de rest markeert ze voor jouw beoordeling. Het boek noemt als voorbeelden van zulke voorwaarden: minder dan drie bronnen, een klant die de rol nog niet eerder zag, een outputformaat dat het charter niet noemt. Hoe zeker het model zichzelf noemt, telt nooit mee. Hogere niveaus geven meer ruimte voor terugkerend standaardwerk binnen het charter. Het vertrouwensniveau hoort bij de rol, nooit bij het onderliggende model. Wissel je van model, prompt of tools, dan draait de rol weer onder verscherpt toezicht totdat de nieuwe opzet zich opnieuw heeft gekwalificeerd.
Schrijf een bevoegdheid altijd uit als één toetsbare zin. Voor onze hypothetische Onderzoeksspecialist: “Op L2 mag deze rol een interne leveranciersnotitie alleen rechtstreeks overdragen aan de Conceptredacteur als de vrijgavepoort voor bewijs is geslaagd, de pilotvraag is beantwoord en deze oplevering gemiddeld ten minste 2,5 scoort; anders houdt de rol het stuk vast voor mijn controle.” Die ondergrens per losse notitie hoort bij dit rekenvoorbeeld. In het boek is 2,5 de eigen ondergrens van de auteur voor een wekelijks gemiddelde op L2 en hoger, geen bewezen grenswaarde voor losse documenten. Op vrijdag eindigt de scorecardronde voor elke rol in één van vijf vaste besluiten: vasthouden, promoveren, degraderen, markeren voor charterbeoordeling, of escaleren naar handmatige interventie, voorzien van een reden en een datum waarop je het besluit opnieuw bekijkt.
Voor een promotie op de ladder vraagt het boek om vier opeenvolgende kwalificerende beoordelingscycli met genoeg gescoord werk en zonder relevante poortfout; één week onder de ondergrens of één gefaalde vrijgavepoort is genoeg voor degradatie. In het voorbeeld met de vijf notities verliest de rol na notitie C voorlopig de bevoegdheid om op L2 zelfstandig door te leveren aan de Conceptredacteur. Zelfs als de andere vier notities foutloos waren, wist hun gemiddelde die ene poortfout niet uit. Pas je naar aanleiding hiervan het charter aan, beoordeel de bevoegdheid dan opnieuw tegen de gewijzigde taakomschrijving.
De vertrouwensladder schaft de menselijke eindcontrole nooit af. Publieke, financiële, juridisch bindende en onomkeerbare acties zitten in het boek vast op een plafond van L3, en bij die categorieën bevestigt de oprichter vóór uitvoering elke keer opnieuw. Een rol kan dus op L4 werken voor interne concepten en toch je expliciete akkoord nodig hebben voordat er iets naar een klant uitgaat, wordt gepubliceerd of geld vastlegt. In de time-outtest voor menselijke goedkeuring zie je wat er moet gebeuren als de aangewezen beslisser niet op tijd reageert. Stilte wordt nooit een goedkeuring.
Hoe wordt een scorecard alsnog waardeloos?
De eerste valkuil is evaluatie-op-uitzondering: je pakt de scorecard er alleen bij als er iets zichtbaar misgaat. Dan verzamel je losse incidenten zonder vergelijkingsmateriaal uit gewone weken. Scoor daarom elke oplevering bij ontvangst, ook de rustige standaardstukken, en bekijk het patroon op een vaste dag. In het boek ligt die scorecardronde op vrijdag en kost ze tien tot vijftien minuten. Een korte tussentijdse controle halverwege een taak helpt om bij te sturen, maar vervangt nooit de score op het geleverde eindresultaat.
De tweede valkuil is dat de scorecard een dagboek wordt: je vult trouw elke rij in, maar verandert nooit iets aan de rechten of het charter van een rol. Het logboek groeit terwijl elke agent precies dezelfde ruimte houdt. Dwing jezelf daarom om op vrijdag per rol één besluit op te schrijven, inclusief de voorwaarde waaronder je dat besluit herziet. Blijft herleidbaarheid van bewijs op 1 steken, controleer dan het inputcontract, de brontoegang en het charter voordat je de rol vraagt om “beter zijn best te doen”. Past de rol niet meer bij het werk dat je bedrijf nu nodig heeft, dan is een productie-agent buiten gebruik stellen een apart traject onder Rotatie.
Soms slaagt een oplevering op papier voor elk criterium op de rubriek, maar zou je het stuk alsnog niet versturen. Houd het dan tegen bij je menselijke eindcontrole, benoem het gebrek en beslis of je een criterium aanscherpt of de escalatieregel uitbreidt. Zet die uitzondering zichtbaar naast de score. Als je een concept stilzwijgend herschrijft, leert de beoordeling van volgende week je niets.
Dit is een werkontwerp, geen bewezen interventie. Hoofdstuk 8 verwijst naar een systematische review uit 2019 over samenwerking in menselijke acute-zorgteams als correlationele analogie. Die studie onderzoekt geen scorecards voor AI-agents. Vijf goede scores en de door de auteur gekozen drempelwaarden geven geen garantie dat de zesde oplevering foutloos zal zijn.
Probeer dit vandaag (30 minuten)
Kies één rol uit je huidige opzet en verzamel de laatste vijf vergelijkbare opleveringen van die rol. Open het bijbehorende outputcontract. Heeft de rol nog geen geschreven outputcontract, schrijf dan eerst op wat een goede oplevering moet bevatten voordat je oud werk nakijkt, en markeer die standaard als voorlopig.
- Leid drie tot vijf criteria af uit dat verplichte eindproduct. Schrijf voor elk criterium uit wat niveau 1, 2 en 3 concreet betekent. Formuleer een eventuele vrijgavepoort als een aparte slaag-of-faalvoorwaarde.
- Scoor alle vijf de opleveringen, inclusief het gewone standaardwerk. Leg per rij een link, de datum, de rubriekversie, de scores per criterium, het resultaat van de vrijgavepoort en één korte aantekening vast. Kun je niet uitleggen waarom een stuk een 2 of een 3 kreeg, scherp de niveauomschrijving dan eerst aan voordat je er bevoegdheden aan ophangt.
- Schrijf één concrete bevoegdheid op die deze rol nu heeft of kan verdienen. Vermeld welk gemiddelde en hoeveel opeenvolgende beoordelingscycli nodig zijn om die ruimte te krijgen, welke score of poortfout de bevoegdheid direct intrekt en welke acties altijd onder jouw eigen eindcontrole blijven. Zet de datum van de eerstvolgende herbeoordeling naast je besluit.
Laat een tweede persoon naar die vijf ingevulde rijen kijken. Kan diegene zonder jouw mondelinge uitleg zien waarom elke score is uitgedeeld en waarom de bevoegdheid wel of niet is aangepast? Eén reeks van vijf kan een poortfout blootleggen, maar telt nooit als vier beoordelingscycli voor een promotie. Hangt het oordeel nog steeds af van hoe jij je voelde toen je op de knop drukte, dan is je scorecard nog niet scherp genoeg.
Citeer deze pagina:Met een agent-scorecard wordt outputbeoordeling een besluit over bevoegdheden.Len P. van der Hof. https://lenvanderhof.com/nl/blog/agent-scorecard-versus-duim-omhoog/ ·