AI-systemen Onderzoeksartikel

Wat is TRACE? In vijf stappen onderzoek controleren voordat je handelt

Drie links kunnen één bron zijn. Met TRACE ontdek je dat voordat het besluit valt.

Drie manillamappen op een leeszaaltafel met rode draden die van elk naar dezelfde gesloten envelop lopen
Drie dossiers, één herkomst. Tel bronnen, geen kopieën.

Direct antwoord

TRACE is een methode in vijf stappen om onderzoek te controleren voordat iemand erop handelt: Target (koppel de vraag aan een besluit), Retrieve (haal de bronnen zelf binnen), Assess (beoordeel wat elke bron voor deze ene claim kan bewijzen), Cross-check (vergelijk de bronnen per claim en herleid ze tot hun oorsprong) en Export (lever een memo die scheidt wat onderbouwd is en wat nog open staat, met een eigenaar). TRACE komt uit De geverifieerde research-loop. Het laat zien wat het bewijs onderbouwt, maar bewijst geen conclusie.

TRACE is een methode in vijf stappen om onderzoek te controleren voordat iemand erop handelt: Target, Retrieve, Assess, Cross-check, Export. Je koppelt de vraag aan een besluit, haalt de bronnen zelf binnen, beoordeelt wat elke bron kan bewijzen, vergelijkt de bronnen per claim en levert een korte memo op: wat is onderbouwd, wat staat nog open en wie beslist er nu.

TRACE komt uit De geverifieerde research-loop van Len P. van der Hof, verkrijgbaar in het Nederlands en het Engels. In de Nederlandse editie heten de stappen richt de vraag, verzamel, beoordeel bronnen, cross-check en exporteer de besluitmemo. Je hebt het boek niet nodig om TRACE te gebruiken. Alles hieronder lukt met een notitieblok en de links die je al hebt.

Waarom heb je hier een methode voor nodig?

Omdat een onderzoekssamenvatting er al af uitziet, lang voordat iemand weet wat ze bewijst. Met AI-assistenten en zoekmachines verzamel je in een paar minuten tien links en schrijf je er een stellige alinea bij. Die alinea leest prettig. Niemand controleert of de tien links zeggen wat de alinea zegt.

Stel: in een memo staat dat een concurrent een nieuwe functie heeft uitgerold voor al zijn betalende klanten. De memo verwijst naar de aankondiging van de concurrent en naar twee nieuwsberichten. Alle links werken. Maar beide berichten herhalen de aankondiging, en die aankondiging beschrijft een preview op uitnodiging.

Drie documenten, één oorsprong, en een claim die breder is dan elk van de drie. TRACE is gemaakt om dat gat te vinden voordat het uitmondt in een aangepaste roadmap, een nieuwe vacature of een update aan investeerders.

Wat zijn de vijf stappen?

Elke stap beantwoordt één vraag en geeft één stuk werk door aan de volgende.

StapDe vraag die de stap beantwoordtWat je doorgeeftTerug of stoppen als
TargetVoor welk besluit is dit, en wat moeten we precies weten?Een korte onderzoeksopdracht: besluit, eigenaar, deadline, de precieze claim, wat erbuiten valtNiemand kan zeggen welk besluit het onderzoek dient
RetrieveWelke bronnen hebben we echt binnen?Een bronnenlijst: titel, datum of versie, en hoeveel je van elke bron kon lezenJe hebt alleen zoekfragmenten of een AI-samenvatting
AssessWat kan deze bron over deze claim bewijzen?Per bron een notitie: rol, methode, grenzen voor deze claimDe bron gaat over een andere groep, plek of periode
Cross-checkWat voegt elke bron toe, wat spreekt ze tegen, wat herhaalt ze?Een claimregister: per claim één rij per bron, met een statusMeerdere bronnen blijken dezelfde oorsprong te hebben
ExportWat mag de eigenaar van het besluit nu doen?Een gedateerde memo: onderbouwd, afgeleid, open, eigenaar, volgende controleEen gat dat ertoe doet, heeft geen eigenaar

In gewone taal:

Target. Maak van een onderwerp de vraag waar een besluit van afhangt. “Vertel me iets over concurrent X” is een onderwerp. “Is de functie van concurrent X vóór de roadmapbespreking van vrijdag beschikbaar voor alle betalende klanten in de EU?” is een target. Noteer wie beslist, wanneer, en wat voor jou een reden is om te stoppen.

Retrieve. Haal de bron zelf binnen, niet een beschrijving ervan. Een zoekfragment, een abstract of een AI-samenvatting is een aanwijzing. Noteer titel, datum of versie, en of je de volledige tekst hebt gelezen of maar een deel.

Assess. Vraag wat déze bron over déze claim kan laten zien. De aankondiging van de concurrent bewijst wat de concurrent heeft aangekondigd. Ze bewijst niet wie de functie vandaag kan gebruiken.

Cross-check. Geef elke bron een eigen rij naast de claim en noteer of ze de claim steunt, tegenspreekt, een ontbrekend stuk aanvult of alleen achtergrond geeft. Zoek daarna uit waar elke bron haar informatie vandaan heeft.

Export. Schrijf een korte, gedateerde memo die drie dingen gescheiden houdt: wat de bronnen onderbouwen, wat jij daaruit afleidt en wat je aanbeveelt. Elke open vraag krijgt een eigenaar en een datum voor een nieuwe controle.

TRACE is een lus, geen lopende band. Blijkt bij Assess dat de vraag te vaag was, dan ga je terug naar Target. Ontdek je bij Cross-check dat twee bronnen dezelfde oorsprong hebben, dan ga je terug naar Retrieve voor een onafhankelijke bron, of je legt die afhankelijkheid eerlijk vast.

Welke bronnen tellen het zwaarst?

TRACE deelt bronnen in vier rollen in. De rol vertelt je welke vraag je daarna stelt. Het antwoord geeft hij nooit.

  • Primair: dicht bij de gebeurtenis, meting, regel of oorspronkelijke analyse. Een gedeponeerde jaarrekening, een dataset, een contract, een rechterlijke uitspraak, een systeemlog.
  • Secundair: gebouwd op andere bronnen. Een nieuwsbericht, een overzichtsartikel, een analistenrapport.
  • Pleitend: gemaakt door een partij die iets van de lezer wil. Een klantcase van een leverancier, een campagnerapport.
  • Grijs: relevant materiaal buiten die drie, zoals een forumbericht, een werkdocument of een slide zonder afzender. Grijs betekent niet anoniem of onwaar. Het betekent dat het label je weinig zegt, dus de inhoud beslist.

De valkuil is om de rol als rapportcijfer te behandelen. Een echte zaak laat zien waarom. In mei 2020 publiceerde The Lancet een grote studie naar hydroxychloroquine en chloroquine bij covid-19-patiënten, naar eigen zeggen gebaseerd op gegevens uit 671 ziekenhuizen op zes continenten. Volgens de Amerikaanse medische nieuwssite STAT werden daarna een aantal internationale klinische studies naar het middel tijdelijk stilgezet.

In juni 2020 trokken drie van de auteurs het artikel in. Onafhankelijke reviewers kregen de volledige dataset niet van het databedrijf Surgisphere, en de auteurs schreven dat ze niet langer konden instaan voor de juistheid van de primaire databronnen. Een primaire studie, beoordeeld door vakgenoten, in een toonaangevend tijdschrift, en toch kon je er niets op bouwen. De intrekking legt vast dat de toegang tot de data mislukte. Op zichzelf bewijst ze niet dat de data verzonnen waren, en precies die grens zou TRACE noteren.

Twee bronnen die het eens zijn: is dat genoeg?

Nee. Dit is de bekendste vuistregel bij het controleren van onderzoek, en TRACE wijst hem bewust af. Het gaat erom of de bronnen langs verschillende wegen tot hun conclusie kwamen: andere data, andere mensen, andere methoden. Drie artikelen die hetzelfde persbericht citeren, zijn één bron met drie webadressen.

TRACE gebruikt per claim vier statuswoorden, die ook in de Nederlandse editie Engels blijven:

  • Corroborated (bevestigd): onderbouwd door bronnen met een oorsprong die voor deze claim voldoende verschilt.
  • Partial (gedeeltelijk): er is steun, maar er blijft een gat, een beperking of een gedeelde oorsprong.
  • Unresolved (onopgelost): nog niet vastgesteld binnen de afbakening die je koos.
  • Conflicting (tegenstrijdig): zwaarwegend bewijs wijst twee kanten op. Houd beide kanten zichtbaar.

Andersom geldt het ook. Eén primair document kan een smalle claim over zichzelf onderbouwen, bijvoorbeeld wat er in een contract staat. Bestaat er maar één bron, schrijf dat dan op. Ga niet op zoek naar een tweede link voor de sier om de rij compleet te laten lijken.

Hoe ziet de memo eruit?

Kort. Hij begint met het besluit en de huidige status. Daarna volgt het antwoord, met bewijs, afleiding en aanbeveling netjes uit elkaar gehouden. Elke belangrijke claim verwijst naar haar rij in het claimregister. Verder staat erin wat nog open is en wie het ergens niet mee eens is, en de memo sluit af met acties, eigenaren en de gebeurtenis waardoor hij opnieuw op tafel komt.

Voor de besluitstatus gebruikt TRACE een vaste reeks woorden, die in de Nederlandse editie ook Engels blijven: Proceed, Conditional proceed, Pilot, Defer, Reject, Specialist review, Accepted risk of HOLD. HOLD betekent: de actie wacht tot een met naam genoemde persoon het gat dicht of het risico formeel aanvaardt. Een aanvaard risico verandert wat je doet. Het bewijs wordt er niet sterker van.

Een uitgewerkt voorbeeld: heeft de concurrent echt gelanceerd?

Dit voorbeeld is verzonnen en kost ongeveer een halfuur werk.

  • Target. Besluit: halen we op de roadmapbespreking van vrijdag onze eigen functie naar voren? Te toetsen claim: “De functie van concurrent X is deze week beschikbaar voor alle betalende klanten in de EU.” Eigenaar: het hoofd product.
  • Retrieve. De aankondiging van de concurrent, de pagina over beschikbaarheid in het helpcentrum, twee nieuwsberichten en één forumdraad. Alles volledig gelezen, alles gedateerd.
  • Assess. De aankondiging is de eigen bron van het bedrijf voor wát het heeft aangekondigd. De helpcentrumpagina is de eigen bron van het bedrijf voor wíe er toegang heeft. De twee artikelen zijn secundair. De forumdraad is grijs: één gebruiker die zegt toegang te hebben.
  • Cross-check. Beide artikelen schrijven “gelanceerd”, en beide citeren de aankondiging. De aankondiging zegt “preview op uitnodiging”. Het helpcentrum toont een wachtlijst. Eén uitgenodigde forumgebruiker past bij een preview. Status van algemene beschikbaarheid: Unresolved. De smallere claim, “er is een preview aangekondigd”, wordt onderbouwd door de eigen bron van het bedrijf.
  • Export. De memo:

Onderbouwd: concurrent X heeft een preview op uitnodiging aangekondigd (aankondiging en helpcentrum, beide gedateerd). Niet onderbouwd: algemene beschikbaarheid; de twee artikelen over een lancering herhalen de aankondiging. Besluit: HOLD op het naar voren halen van onze functie. Eigenaar: hoofd product. Opnieuw controleren: zodra de wachtlijst uit het helpcentrum verdwijnt, of op 15 oktober.

De memo is smaller dan de oorspronkelijke claim. Daar gaat het om. Het is ook de versie die een collega in twee minuten kan nalopen.

Wat TRACE niet is

  • Geen tweebronnenregel. De oorsprong telt, niet het aantal links.
  • Geen geloofwaardigheidscijfer. Primair, Secundair, Pleitend en Grijs zijn rollen. Een primaire bron kan fout zijn, verouderd of naast de kwestie.
  • Geen RAG. RAG (retrieval-augmented generation) is software die tekst ophaalt voor een AI-model voordat dat model antwoordt. RAG kan helpen bij Retrieve, maar beoordeelt niet wat de opgehaalde tekst bewijst.
  • Geen garantie. Het boek zegt ronduit dat niet is aangetoond dat TRACE onderzoek nauwkeuriger of sneller maakt. TRACE maakt het bewijs onder een besluit zichtbaar, zodat iemand anders het kan controleren. Wie de vijf stappen afrondt, bewijst dat het werk gedaan is, niet dat de conclusie klopt.

Probeer het vandaag (15 minuten)

  1. Kies één zin waar iemand deze week op gaat handelen: in een memo, een presentatie of een chatgesprek.
  2. Herschrijf hem als precieze claim: wie, wat, waar en per wanneer.
  3. Open de bron erachter. De bron zelf, niet het zoekfragment of de AI-samenvatting.
  4. Geef de bron een rol: Primair, Secundair, Pleitend of Grijs.
  5. Kijk of de andere links onder de zin dezelfde oorsprong hebben.
  6. Schrijf één regel onder de zin: onderbouwd, gedeeltelijk of onopgelost, met een naam en een datum voor de volgende controle.

Lukt stap 3 niet, dan heb je het nuttigste gevonden wat TRACE je kan laten zien.

De sjablonen voor elke stap (onderzoeksopdracht, bronnenlijst, claimregister, besluitmemo) staan in De geverifieerde research-loop. De TRACE-frameworkpagina geeft de samenvatting op één pagina.

Citeer deze pagina:Wat is TRACE? In vijf stappen onderzoek controleren voordat je handelt.Len P. van der Hof. https://lenvanderhof.com/nl/blog/wat-is-trace/ ·

Begrippen

Bronnen

  1. TRACE (begrippen)
  2. De geverifieerde research-loop
  3. Wat is een bewijsregister?
  4. Wat is RAG? Als AI een bron opzoekt voordat het antwoordt
  5. Retraction: Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19: a multinational registry analysis · The Lancet (via PubMed Central)
  6. Lancet, New England Journal retract Covid-19 studies, including one that raised safety concerns about malaria drugs · STAT

Verder lezen

Markdown voor LLMs