Founder Performance Onderzoeksartikel

Diagnostisch bewijs versus passend bewijs: wanneer stel je een overtuiging bij?

Een warme reactie in de eerste week kan echt zijn en toch weinig zeggen over je omzetdoel. De nuttige vraag: zie je hetzelfde signaal ook bij campagnes die hun doel missen?

Een besneeuwd berkenbos in bleekblauw, berkenwit en houtskoolgrijs, waar een pad zich in tweeën splitst en over elk van de twee takken een spoor van voetstappen loopt
Over beide takken lopen voetstappen. Ze passen bij allebei de routes, dus op zichzelf vertellen ze je niet welke kant de wandelaar op ging.

Direct antwoord

Passend bewijs strookt met een bewering, maar je zou het net zo goed, of zelfs eerder, tegenkomen wanneer die bewering niet klopt. Diagnostisch bewijs is waarschijnlijker onder de ene afgebakende verklaring dan onder een relevant alternatief, en geeft je dus reden om je oordeel in die richting bij te stellen. Vergelijk dezelfde waarneming onder beide verklaringen, controleer of ze betrouwbaar is gemeten en vergeet je oorspronkelijke kansverhouding niet. Kun je geen getallen verdedigen, noteer dan de richting van de bijstelling en wat nog onbekend is.

Bewijs dat bij je overtuiging past, zegt weinig als je het net zo vaak zou zien wanneer je ongelijk hebt. De waarneming kan kloppen en voor iets anders best bruikbaar zijn. Op zichzelf geeft ze je weinig reden om déze overtuiging bij te stellen.

Stel: een oprichter twijfelt of ze meer geld in een nieuw verkoopkanaal moet steken. In de eerste week stuurt een potentiële klant een warme reactie. Dat past bij haar overtuiging dat het kanaal binnen 90 dagen het omzetdoel haalt. Het past net zo goed bij een kanaal dat wel belangstelling wekt, maar het doel mist. Die reactie moet ze zeker opvolgen. Een hogere omzetverwachting rechtvaardigt ze nog niet.

Het verschil zit tussen passen bij en onderscheid maken. Een waarneming past bij een bewering als ze daarmee te verenigen is. Ze maakt onderscheid wanneer de ene verklaring haar waarschijnlijker maakt dan een relevant alternatief. Iets kan dus bij je overtuiging passen en er tóch tegen pleiten, namelijk als het alternatief die waarneming nog waarschijnlijker maakt. De vraag is niet of een signaal bemoedigend aanvoelt, maar wat elke verklaring vooraf liet verwachten.

Waarom legt “past bij” de lat zo laag?

Stel dat het aantal aanvragen stijgt nadat de oprichter met het nieuwe kanaal is begonnen. Die stijging past bij het verhaal dat het kanaal werkt. Ze past ook bij een seizoenspiek in de vraag, of bij een team dat die maand meer mensen heeft benaderd. Elk van die verklaringen kan met dezelfde uitkomst uit de voeten. Als ze allemaal een stijging voorspelden, kan de stijging op zichzelf niet aanwijzen welke verklaring klopt.

Begin daarom met een scherpe formulering van de bewering. “Het kanaal werkt” kan betekenen dat het aanvragen oplevert, dat het tot getekende orders leidt, of dat het omzet brengt die er anders niet was gekomen. Elk van die beweringen vraagt om een andere vergelijking. Voor een voorspelling heeft “dit kanaal haalt uiterlijk op dag 90 het afgesproken omzetdoel” een heldere tegenhanger: het haalt dat doel niet. Een causale bewering als “het kanaal veroorzaakte de stijging” vraagt om een alternatief als “de vraag nam in dezelfde periode in alle kanalen toe”.

Beschrijf daarna de waarneming zonder je oordeel erin te verstoppen. “Potentiële klanten leken geïnteresseerd” valt nauwelijks te toetsen. “Minstens één potentiële klant stuurde binnen zeven dagen een positieve reactie” is scherper, mits je vooraf hebt vastgelegd wat als positief telt en alle reacties die meetellen ook echt hebt bijgehouden. Pas dan kun je vragen hoe vaak je diezelfde waarneming zou zien als het doel wordt gehaald, en hoe vaak als het wordt gemist.

Het bewijsbewuste leven houdt twee controles gescheiden die je al snel op één hoop gooit. Hoofdstuk 2 vraagt wat voor onderbouwing je hebt en hoe het zit met de striktheid, onafhankelijkheid en relevantie ervan. Hoofdstuk 5 stelt een vervolgvraag zodra je een waarneming hebt: hoe waarschijnlijk is ze als je bewering klopt, en hoe waarschijnlijk onder een relevant alternatief? Een signaal dat beide verklaringen voorspellen, maakt nauwelijks onderscheid, hoe nauwkeurig je het ook vastlegt.

Wat maakt bewijs diagnostisch?

Hoofdstuk 5 leent een kernvraag uit het bayesiaanse denken: hoe waarschijnlijk zou dit bewijs zijn als de bewering waar is, vergeleken met hoe waarschijnlijk het zou zijn als de bewering onwaar is? Is “onwaar” te breed om direct in te schatten, benoem dan de belangrijkste concurrerende verklaring en stel de vraag in twee delen:

  1. Hoe waarschijnlijk is het dat ik deze waarneming zie als mijn bewering klopt?
  2. Hoe waarschijnlijk is het dat ik dezelfde waarneming zie als mijn bewering niet klopt, of als het belangrijkste alternatief klopt?

De aannemelijkheidsverhouding is het eerste antwoord gedeeld door het tweede. Ligt die verhouding dicht bij één, dan geeft de waarneming je weinig reden om de ene verklaring boven de andere te verkiezen. Boven één pleit ze voor je bewering, onder één voor het alternatief. Hoe verder de verhouding van één af ligt, hoe sterker de waarneming je naar één kant trekt. Geen van beide antwoorden is al de kans dat je bewering klopt nadat je de waarneming hebt gezien.

Daarvoor heb je ook de oorspronkelijke kansverhouding nodig: hoe aannemelijk de concurrerende uitkomsten waren voordat het nieuwe signaal opdook. Een signaal kan bij successen veel vaker voorkomen dan bij mislukkingen en toch een mislukking waarschijnlijker laten dan een succes, als mislukkingen om te beginnen veel talrijker waren. Hoofdstuk 5 maakt dat onderscheid en waarschuwt dat een formeel ogende berekening zonder verdedigbare invoer vooral een schijn van precisie geeft.

Controleer ook de waarneming zelf voordat je gaat rekenen. Lag de maatstaf vast voordat iemand de uitkomst kende? Staan ook de campagnes die het doel misten in je overzicht, of alleen de campagnes die iemand zich herinnerde? Lijken de eerdere gevallen echt op de beslissing die nu voorligt? Een dubbel geteld contact, een definitie van “gekwalificeerd” die gaandeweg verschoof, of drie rapportages die dezelfde gebeurtenis herhalen: ze laten een signaal al snel sterker lijken dan het is. De controles op striktheid, relevantie en onafhankelijkheid uit hoofdstuk 2 blijven gewoon gelden.

Uitgewerkt voorbeeld: het ene signaal past, het andere maakt onderscheid

Neem een hypothetisch archief van 1.000 vergelijkbare campagnes. Twintig haalden uiterlijk op dag 90 hun omzetdoel; 980 haalden het niet. Het doel en twee signalen uit de eerste week lagen vast voordat de campagnes begonnen, en elke campagne is volgens dezelfde regels vastgelegd, de mislukkingen inbegrepen.

Het eerste signaal is minstens één warme reactie binnen zeven dagen. Het tweede is minstens tien gekwalificeerde potentiële klanten die binnen zeven dagen om een tweede gesprek vragen. De twee kunnen overlappen, dus de kolommen hieronder zijn afzonderlijke tellingen die je niet bij elkaar optelt.

Hypothetische uitkomstWarme reactieTien verzoeken om een tweede gesprekAlle campagnes
Doel gehaald191820
Doel gemist93198980
Totaal9501161.000

De warme reactie past bij succes, maar onderscheidt succes niet van mislukking. Ze kwam voor bij 19 van de 20 campagnes die het doel haalden en bij 931 van de 980 die het misten: 95% in beide groepen. Voor deze voorspelling is haar aannemelijkheidsverhouding dus één. Van de 950 campagnes met een warme reactie haalden er 19 het doel: dezelfde 2% als in het hele archief. De reacties waren echt, maar ze konden de twee groepen niet uit elkaar houden.

Het tweede signaal gedraagt zich anders. Het kwam voor bij 18 van de 20 successen (90%) en bij 98 van de 980 missers (10%). In dit verzonnen archief kwam dat signaal negen keer zo vaak voor bij campagnes die het doel haalden als bij campagnes die het misten. Dat geeft de oprichter reden om haar verwachting naar boven bij te stellen.

Maar hoeveel? Over het hele archief slaagden 20 van de 1.000 campagnes: 2%. Van de 116 campagnes met tien verzoeken om een tweede gesprek haalden er 18 het doel, ongeveer 15,5%. Een sterk onderscheidend signaal tilde de schatting flink op, en toch misten 98 van die 116 campagnes het doel alsnog. De oorspronkelijke kansverhouding is niet verdwenen.

Deze getallen illustreren alleen de vergelijking. Het zijn geen marktcijfers en geen voorspelling voor een bestaand bedrijf. De nette uitkomst veronderstelt een archief dat ook de mislukkingen bevat, één doel en één termijn hanteert en lijkt op de beslissing die nu voorligt. Had de oprichter de drempel van tien verzoeken pas gekozen toen ze al wist welke campagnes slaagden, of veranderde onderweg wat “gekwalificeerd” betekende, dan zou het percentage steviger ogen dan de basis toelaat. Ze moet overlappende signalen ook niet als losse steun tellen: de verzoeken om een tweede gesprek kunnen komen van dezelfde potentiële klanten die al warm reageerden.

De tabel beantwoordt bovendien een voorspellende vraag, geen causale. In een geschikt archief kan een signaal uit week één voorspellen of het doel later wordt gehaald, zonder aan te tonen dat het kanaal de omzet veroorzaakte. Wie de oorzaak wil onderzoeken, heeft een vergelijking nodig waarin alternatieven als een verschuivende vraag of extra acquisitie een eerlijke kans krijgen om zich te laten zien.

Wat als je geen percentages kunt verdedigen?

Heb je geen vergelijkbaar archief, verzin dan geen voorwaardelijke frequenties om je bijstelling exact te laten lijken. Hoofdstuk 5 stelt een bescheidener notitie voor: leg vast welke kant de waarneming op wijst, en waarom de omvang van die verschuiving onzeker is. Zo kun je dat bijhouden:

Je beste vergelijkingWat je noteert
Ongeveer even waarschijnlijk onder de bewering als onder het alternatiefPast bij allebei; op zichzelf weinig reden om bij te stellen
Waarschijnlijker onder de beweringPleit voor de bewering; omvang onzeker
Waarschijnlijker onder het alternatiefPleit tegen de bewering; omvang onzeker
Je kunt de vergelijking nog niet makenDiagnostische waarde onbekend; benoem welke gevallen of metingen ontbreken

Bij één warme reactie zonder vergelijkbare eerdere campagnes noteert de oprichter dus: past bij succes; diagnostische waarde onbekend. Twee dagen radiostilte kan onder beide uitkomsten even gewoon zijn. Een gemiste mijlpaal later in de afgesproken verkoopcyclus kan wél tegen het doel pleiten, maar alleen als die mijlpaal nodig is om het doel te halen en potentiële klanten genoeg tijd hebben gehad om zover te komen. Leg die voorwaarden vast voordat je stilte gaat duiden.

Weegt een signaal zwaar genoeg om je investeringsbesluit te veranderen, leg dan de uitkomst en de beoordelingsdatum vast. Hoofdstuk 3 vraagt om een voorspelling die iemand anders later kan beoordelen met de regel en de datum die je opschreef. Een gedateerd doel voorkomt dat “succes” na afloop stilletjes iets anders gaat betekenen. De inzet bepaalt vervolgens hoeveel je investeert en hoeveel extra onderzoek de moeite waard is. Aan de kans dat de bewering klopt, verandert de inzet niets.

Hoe kom je aan een waarneming die wel onderscheid maakt?

Vraag je af wat je zou verwachten te zien als je overtuiging niet klopt. Voor haar voorspelling kan de oprichter een mijlpaal benoemen die gehaald moet zijn voordat het omzetdoel binnen bereik komt, daar een peildatum aan koppelen en vastleggen of die mijlpaal is gehaald. Is die mijlpaal echt nodig, dan blijft hij op de peildatum veel vaker uit bij een campagne die het doel gaat missen dan bij een campagne die het gaat halen. De oprichter haalt die mijlpaal uit haar eigen verkoopproces, niet uit het verzonnen voorbeeld op deze pagina.

Voor de causale bewering heeft ze een andere vergelijking nodig. Stijgen de aanvragen in oude én nieuwe kanalen terwijl er niet meer mensen worden benaderd, dan kan het nieuwe kanaal de hele stijging moeilijk voor zich opeisen. Stijgen de aanvragen alleen via het nieuwe kanaal, dan zegt dat meer, al kunnen er nog andere verschillen meespelen. Bepaal wat je vastlegt voordat je naar de uitkomst kijkt. Een bruikbare vergelijking geeft het alternatief een eerlijke kans, in plaats van de proef zo in te richten dat elke uitkomst als steun kan worden uitgelegd.

Eén waarneming geeft zelden de doorslag in een hele beslissing. Een kleine, omkeerbare proef kan prima verantwoord zijn op basis van een ruwe inschatting van de richting. Een verplichting die je moeilijk terugdraait, vraagt om betere gegevens of een kleinere eerste stap. De LEVEL-check, stap voor stap uitgelegd in Wat is LEVEL?, verbindt de bewering en het bewijs met wat er op het spel staat. De stappen Value en Expose zijn de logische plek om deze vergelijking en de gaten erin vast te leggen. LEVEL is het geheugensteuntje van het boek voor deze vragen, geen gevalideerde schaal en geen belofte van betere uitkomsten.

Waarin verschilt deze toets van de andere bewijstoetsen?

Casestudy versus bewijs vraagt wat één gedocumenteerde casus kan laten zien, en waarom die je niet vertelt hoe vaak vergelijkbare bedrijven hetzelfde resultaat halen. Vertrouwd versus waar vraagt of meerdere vermeldingen die op één oorspronkelijke waarneming teruggaan, zijn aangezien voor onafhankelijke onderbouwing. Die toetsen helpen je te zien wat je werkelijk in handen hebt en dat eerlijk te tellen. Deze toets vraagt of een waarneming, hoe goed ook vastgelegd, onder de ene verklaring meer te verwachten is dan onder de andere.

Een bewijsregister legt per bewering vast welke bron haar draagt, hoeveel gewicht die bron aankan en wanneer je haar intrekt. Een rij in zo’n register is een goede plek om deze vergelijking te bewaren, maar het zijn twee verschillende taken. Het register legt bewijs vast; deze toets vraagt of een bewijsstuk überhaupt onderscheid maakt tussen concurrerende verklaringen. Een keurig ingevulde rij kan nog steeds een signaal bevatten dat bij beide verklaringen past.

Probeer dit vandaag (15 minuten)

Kies één overtuiging die nu een beslissing stuurt. Schrijf haar op als een controleerbare uitkomst, zo mogelijk met een datum, en benoem een relevant alternatief. Zet daarna de drie bewijsstukken waar je het meest op leunt onder elkaar. Schrijf bij elk stuk op hoe waarschijnlijk je het zou zien als je overtuiging klopt, en hoe waarschijnlijk als ze niet klopt.

Overtuiging en datum: _________________________________
Relevant alternatief: _________________________________

Bewijsstuk 1: _________________________________________
Te verwachten als het klopt? _______  Als het niet klopt? _______
Bewijsstuk 2: _________________________________________
Te verwachten als het klopt? _______  Als het niet klopt? _______
Bewijsstuk 3: _________________________________________
Te verwachten als het klopt? _______  Als het niet klopt? _______

Eén waarneming die ik alleen, of vooral, verwacht als ik ongelijk heb:
_______________________________________________________
Waar en wanneer ik dat controleer: ____________________

Laat als onderbouwing alleen de stukken staan waarbij je een duidelijk verschil in het voordeel van je overtuiging kunt uitleggen. Een stuk dat waarschijnlijker is wanneer je ongelijk hebt, is bewijs tégen je; noteer het ook zo. Schrijf “onbekend” waar je de vergelijking niet kunt maken, in plaats van er toch een getal op te plakken. Vul tot slot de laatste twee regels in: één waarneming die je alleen of vooral zou verwachten als je ongelijk hebt, en waar en wanneer je ernaar gaat kijken. Misschien blijft je overtuiging gewoon staan. Je redenen zijn dan wel beter te toetsen.

Citeer deze pagina:Diagnostisch bewijs versus passend bewijs: wanneer stel je een overtuiging bij?Len P. van der Hof. https://lenvanderhof.com/nl/blog/diagnostisch-bewijs-versus-passend-bewijs/ ·

Bronnen

  1. Het bewijsbewuste leven
  2. LEVEL-check
  3. Casestudy versus bewijs: wat één succesverhaal je vertelt
  4. Vertrouwd versus waar: waarom herhaalde beweringen juist aanvoelen
  5. Wat is een bewijsregister?

Verder lezen

Markdown voor LLMs