Een bronvermelding doet twee beweringen: dit document bestaat, en dit staat erin. Een bronvermelding van AI kan op beide punten fout zitten. Het artikel kan verzonnen zijn. Of het bestaat wel, maar zegt iets anders dan het rapport beweert. Dat een link opent, beantwoordt geen van beide vragen: je weet dan dat er op dat adres iets staat, niet dat het om het geciteerde werk gaat of dat het de zin onderbouwt.
Begin bij de drie beweringen waarop je conclusie rust. Open elke bron zelf, ga na of je het geciteerde werk voor je hebt, zoek de passage op en lees wat die onderbouwt; leg daarna de belangrijkste bewering naast onafhankelijk bewijs. De tool vragen of zijn bron echt is, vervangt geen van die stappen. Na de check hieronder heb je zwart op wit wat je hebt gecontroleerd en wat nog openstaat.
Een verzonnen uitspraak waar dezelfde tool voor instond
Een passagier klaagde Avianca in New York aan: tijdens een vlucht zou een metalen trolley zijn knie hebben geraakt. Op 1 maart 2023 dienden zijn advocaten bij de federale rechter een processtuk in dat verwees naar zes uitspraken die ChatGPT had gegenereerd. Geen van die zes bestond. Eén ervan was Varghese v. China Southern Airlines.
De sanctiebeslissing legt twee fouten vast die bij elke broncontrole tellen. Ten eerste had de nep-Varghese een vindplaats in de Federal Reporter die bij een andere, bestaande zaak hoorde. Een verwijzing kan er correct uitzien en zelfs naar een echt document leiden, en toch niet het werk aanwijzen dat erin genoemd wordt.
Ten tweede vroeg een van de advocaten ChatGPT of de zaak echt bestond. Volgens zijn verklaring van 6 juni, aangehaald in de beslissing, antwoordde ChatGPT dat Varghese wel degelijk bestond en te vinden was in Westlaw en LexisNexis, twee juridische databanken. Op de sanctiezitting zei hij tegen de rechter dat hij nooit had gedacht dat de zaak verzonnen kon zijn.
Op 22 juni 2023 legde rechter P. Kevin Castel de twee advocaten en hun kantoor een boete van $ 5.000 op. Ook moesten ze een brief sturen aan hun cliënt en aan elke rechter die ten onrechte als auteur van een nepuitspraak was opgevoerd. De beslissing legt de plicht bij de advocaten: een betrouwbaar AI-hulpmiddel gebruiken is op zich niet verkeerd, maar de bestaande regels maken advocaten poortwachter van de juistheid van hun processtukken. De rechter merkt ook op dat de advocaten aan de nepzaken bleven vasthouden nadat die ter discussie waren gesteld. Hadden ze toen open kaart gespeeld, dan had het dossier er nu heel anders uitgezien.
Dit is geen juridisch advies. De praktische les is specifieker: de tool die een bronvermelding leverde, kan er niet voor instaan, hoe vaak hij ook herhaalt dat de bron echt is.
Hoe vaak verzinnen AI-tools bronnen?
Eén vast percentage bestaat niet. De twee studies hieronder gelden voor bepaalde modellen, datums, onderwerpen en prompts. Geen van beide geeft een actueel foutpercentage voor de tool die jij gebruikt.
Walters en Wilder, 2023. De onderzoekers lieten GPT-3.5 en GPT-4 in de eerste week van april 2023 korte literatuuroverzichten schrijven over 42 onderwerpen. Daarna controleerden ze alle 636 bronvermeldingen in de 84 teksten. Hun artikel in Scientific Reports houdt verzonnen werken apart van fouten in verwijzingen naar echte werken.
| Walters en Wilder (2023) | GPT-3.5 | GPT-4 |
|---|---|---|
| Geciteerde werken | 222 | 414 |
| Verzonnen (het werk bestaat niet) | 55% | 18% |
| Echte geciteerde werken | 101 | 340 |
| Van die echte werken: bronvermeldingen met wezenlijke fouten | 43% | 24% |
De laatste rij telt fouten in de verwijzing zelf, zoals verkeerde auteurs, jaartallen, jaargangen of paginanummers. Hij meet niet hoe vaak een tekst verkeerd weergeeft wat er in een echt artikel staat. Nog één cijfer uit dezelfde steekproef: van de boekhoofdstukken die GPT-4 aanhaalde, was 70% verzonnen.
Linardon en collega’s, 2025. Het team vroeg GPT-4o in juni 2025 om zes literatuuroverzichten over geestelijke gezondheid en controleerde alle 176 bronvermeldingen. In hun studie in JMIR Mental Health waren er 35 verzonnen. Daarvan hadden er 33 een DOI, de vaste identificatiecode voor wetenschappelijke publicaties en andere objecten. Van die 33 DOI’s leidden er 21 naar artikelen die er niets mee te maken hadden; de andere 12 waren ongeldig.
Een DOI die opent, bewijst dus alleen dat de code ergens naartoe leidt. Je moet daarna nog nagaan of het om het geciteerde werk gaat, en wat dat werk onderbouwt.
Waarom verzint een AI een bron?
Een taalmodel kan een geloofwaardige bronvermelding maken, compleet met auteur, jaartal, tijdschrift en paginanummers, zonder dat er een document achter zit. Dat de vorm vertrouwd oogt, zegt niets over het bestaan van de bron. Zulke stellige maar onjuiste uitspraken heten meestal hallucinaties.
Een paper uit 2025 van Adam Tauman Kalai en collega’s vergelijkt taalmodellen met studenten bij een lastige examenvraag: bij twijfel gokken ze soms, en komen ze met iets wat geloofwaardig klinkt maar niet klopt, in plaats van hun onzekerheid toe te geven. Volgens de auteurs belonen training en beoordeling van modellen het gokken meer dan het erkennen van onzekerheid.
Hetzelfde geldt als je het model vraagt zijn eigen bronvermelding te bevestigen: ook die bevestiging is gegenereerde tekst, geen controle. Walters en Wilder merken op dat ChatGPT vaak onjuist antwoordt als het moet bevestigen dat de werken die het citeert echt zijn. Precies zo’n antwoord kreeg de advocaat in de zaak tegen Avianca. Open het document zelf.
De check van 15 minuten
Vijftien minuten is een tijdsbudget voor een eerste ronde langs de bronvermeldingen waarop je conclusie rust, geen gemeten doorlooptijd. Zet een timer. Wat je niet afkrijgt, blijft gemarkeerd als niet geverifieerd.
Minuut 0 tot 2: kies er drie. Zoek drie beweringen die de beslissing zouden veranderen als ze niet bleken te kloppen. Dat zijn de dragende beweringen. Neem elke bewering letterlijk over en noteer de bronvermelding erbij. Steunt de beslissing op meer beweringen, zet die dan als volgende in de rij.
Minuut 2 tot 11: drie minuten per bronvermelding, vier vragen.
- Leidt de identificatiecode naar een document? Zet de DOI achter
https://doi.org/, of open de link naar de bron. Een werkend adres is een spoor. Een dode link laat de bron ongeverifieerd, maar bewijst op zichzelf nog geen verzinsel. - Is het hetzelfde werk? Vergelijk titel, auteurs, jaartal en tijdschrift met de bronvermelding. Kom je bij een ander artikel uit, dan zakt de bronvermelding hier, zoals de 21 DOI’s uit de studie van 2025 zouden zijn gezakt. Ontbreekt de DOI of werkt hij niet, zoek dan de exacte titel op bij de uitgever of in Crossref Metadata Search. Noteer fouten in de verwijzing, ook als je het bedoelde werk vindt.
- Staat de geciteerde passage erin? Open de volledige tekst en zoek op het belangrijkste getal of de kernformulering. Lees de tekst eromheen en de tabellen die ertoe doen. Een letterlijk citaat moet er woord voor woord in staan. Kun je de passage niet inzien of vinden, laat de controle dan openstaan.
- Zegt de bron wat het rapport zegt? Vergelijk populatie, periode, getal, richting en voorbehouden. ‘Kan verminderen’ is niet ‘vermindert’. Een bevinding over studenten bewijst niet dat hetzelfde geldt voor managers. Noteer wat de bron wel draagt, en stel de bewering in het rapport zo nodig bij.
Minuut 11 tot 15: vergelijk met onafhankelijk bewijs. Zoek voor de belangrijkste bewering een tweede bron en ga na waar het bewijs daarin vandaan komt. Ook een andere organisatie kan op dezelfde data leunen, en twee artikelen die één studie herhalen, vormen samen één bewijsbasis. Noteer of de tweede bron de bewering ondersteunt, nuanceert of tegenspreekt. Vind je er geen, noteer dan dat gat.
| Controle | Wat je vaststelt | Wat je noteert als het openstaat of niet klopt |
|---|---|---|
| Identificatiecode | Leidt naar een bronpagina of document | Kapotte link; bron nog niet gevonden |
| Zelfde werk | Titel, auteurs, jaartal en tijdschrift kloppen | Verkeerd werk of fouten in de verwijzing |
| Passage | Getal of citaat in zijn context gevonden | Passage ontbreekt of is niet in te zien |
| Bewering | Reikwijdte en formulering dragen deze bewering | Bewering breder, sterker of anders |
| Tweede bron | Onafhankelijk bewijs vergeleken | Gedeeld bewijs, tegenspraak of een gat |
Schrijf per bewering één regel op: de bewering, de bron, waar de passage staat, welke controles je hebt gedaan en wat nog openstaat. Dat is het begin van een bewijsregister.
Schrap of corrigeer beweringen die de bronnen niet dragen. Markeer wat nog openstaat als niet geverifieerd, en houd conclusies die ervan afhangen aan. Is het rapport al verstuurd, stuur dan een korte correctie waarin staat wat er is veranderd en of de conclusie verandert. Vervang het bestand niet stilletjes.
Waar past TRACE hierin?
De check leent drie stappen van TRACE, een framework van mijn eigen hand dat ik beschrijf in De geverifieerde research-loop. De vijf stappen:
- T · Target. Schrijf eerst de onderzoeksbrief: de beslissing, de afgebakende vraag, reikwijdte, uitsluitingen, deadline en stopregel, voordat er één zoekopdracht draait.
- R · Retrieve. Verkrijg de bronnen zelf, en leg vast wat ontoegankelijk bleef, in plaats van te vertrouwen op één zelfverzekerde ronde.
- A · Assess. Beoordeel wat elke bron voor deze bewering kan dragen.
- C · Cross-check. Leg per bewering één relatie per bron vast en breng gedeelde herkomst in kaart. Corroboratie is geen documententelling.
- E · Export. Lever een besluitmemo met versiebeheer op, traceerbaar naar het claim-register, waarmee een medeoprichter of investeerder kan handelen zonder het werk over te doen.
In de check hierboven horen vraag 1 en 2 bij Retrieve: ze stellen vast dat je het geciteerde document in handen hebt. Vraag 3 en 4 vallen onder Assess, en de vergelijking met onafhankelijk bewijs is Cross-check. De regel uit het boek: behandel de bronnenlijst van een model als een rij sporen die je nog moet nalopen, niet als een literatuurlijst. TRACE is een eigen werkmethode, zonder aangetoond effect op nauwkeurigheid. Doorloop je alle stappen, dan weet je nog steeds niet zeker dat je elke fout hebt gevonden of de juiste conclusie hebt getrokken.
Evalueer de redenering, niet de vloeiendheid benadert hetzelfde probleem van een andere kant: een vloeiend antwoord is geen bewijs. Wat is LLM-grounding? legt uit waarom een geldige bronlink op zichzelf niet genoeg is.
Probeer dit vandaag (15 minuten)
Neem het laatste rapport, de laatste presentatie of memo die je met hulp van AI hebt gemaakt en verstuurd. Kies de drie beweringen die het zwaarst wegen en doe de check. Zet bij elke bewering de passage uit de bron, zodat een ander het verband kan nagaan.
Noteer aan het eind wat je hebt geverifieerd, corrigeer wat de bronnen niet dragen en zet op een rij wat nog gecontroleerd moet worden. Drie gecontroleerde bronvermeldingen zijn een bruikbaar overzicht, geen vrijbrief voor de rest van het rapport.
Citeer deze pagina:Nepcitaties van AI: een check van 15 minuten voor de beweringen die ertoe doen.Len P. van der Hof. https://lenvanderhof.com/nl/blog/ai-nepcitaties-controleren/ ·