Wat is RAG? Als AI een bron opzoekt voordat het antwoordt

Je stelde een vraag over je bedrijf aan een AI-chatbot. Het antwoord was in foutloos Nederlands. Toch weet je niet of het systeem het handboek van vorig jaar gebruikte, dat van dit jaar, of een alinea verzon die alleen klonk als een handboek.

Daarvoor is RAG bedoeld.

RAG is een methode binnen kunstmatige intelligentie (AI). De letters staan voor retrieval-augmented generation. In volgorde: het systeem zoekt een specifieke passage op in een verzameling die jij hebt aangeleverd, en schrijft daarna het antwoord uit die tekst. Het ophalen is het product. De zin is de laatste stap. Als je de bron achter de zin niet kunt openen, heb je geen RAG. Dan heb je een chatvenster met extra tekst erin geplakt.

Wat een taalmodel werkelijk doet

Een taalmodel is de motor achter tools zoals ChatGPT. Het is getraind op een enorme berg openbare tekst. Het is goed in klinken alsof het klopt. Het heeft geen actuele kopie van je leverancierscontract, je HR-handboek of het incidentenrapport van afgelopen dinsdag, tenzij jij die aanlevert.

Ook zonder bron geeft het model antwoord. Vloeiende zinnen kosten weinig. Een zelfverzekerd getal over opzegtermijnen, terugbetalingen of wie er mag tekenen, gehaald uit algemene internetkennis, blijft een gok.

Eén keer een pdf in de chat plakken maakt nog geen systeem. Het venster stroomt vol. De vraag van morgen begint weer op nul. Achteraf kan niemand aanwijzen welke alinea er is gebruikt.

Eerst opzoeken, dan schrijven

Stel je een magazijn vol identieke dozen voor. RAG is de persoon die één map pakt, die onder de lamp legt, en dan pas schrijft. Het product is die map, niet de zin.

In de software wordt de verzameling meestal geknipt in korte passages. Soms heten die chunks: een kort stuk uit een groter bestand. Een clausule, een sectie, een alinea. De AI moet een passage ophalen die je bij naam kunt noemen, en daarna pas tekst maken.

Loop een vraag na die daadwerkelijk geld kost.

Iemand vraagt: hoeveel dagen opzegtermijn hebben we nodig om het leverancierscontract te beëindigen?

Zonder ophalen produceert het model een getal dat klinkt als contractenrecht. Het is misschien zelfs een gangbare termijn. Het is nog steeds niet jóuw clausule.

Met RAG doorzoekt het systeem de getekende contracten die je doorzoekbaar hebt gemaakt, vindt het clausule 12.3, en noemt het antwoord die clausule. Je kunt het bestand openen. Als dat bestand de conceptversie van vorig jaar is, zie je dat ook.

Dezelfde test geldt voor een verlofregeling, een terugbetalingsregel, een veiligheidsinstructie of een productspecificatie. Je kunt de zin toetsen aan een bestand. Dat is het voordeel.

Als je niet dagelijks AI bouwt

Je hoeft geen nieuwe software te kopen om deze definitie te gebruiken. De volgende keer dat een tool antwoordt uit “onze documenten”, vraag dan de alinea te zien. Als niemand die kan tonen, zijn de letters op de slide versiering. Behandel de chatbot dan als hulpmiddel bij het schrijven. Houd hem weg van alles wat exact moet kloppen met een getekend bestand.

Wat je is verkocht

Leveranciers zetten RAG op een slide en bedoelen: we hebben een zoekindex aan een chatbot gekoppeld. Een zoekindex is een archiefkast. Nuttig, en nog geen kant-en-klaar systeem.

Embeddings, vector stores en vergelijkbare onderdelen zijn de inrichting van die kast. Ze helpen kandidaten te vinden. Ze bewijzen niet dat de zin op het scherm uit de passage komt die je in een geschil zou accepteren.

Het systeem begint pas als iemand de passage kan aanwijzen. Tot die tijd heb je tekstgeneratie met extra’s opgeleverd.

De test van vijf regels

Neem één slecht antwoord van vorige week. Vul deze regels in. Gewone taal.

1. Welke passage is verzameld?
2. Waarom scoorde juist deze voor deze vraag, en niet de oudere versie?
3. Wat is eromheen gezet voordat het model ging schrijven?
4. Heeft iemand een misser nagekeken, of alleen de demo die werkte?
5. Wat zou je hierna opzoeken, of zou je weigeren te antwoorden?

Als die regels leeg blijven, stop dan met discussiëren over de grootte van je chunks. Je hebt een vloeiende gok opgeleverd.

GRAIN is dezelfde loop met namen: Gather, Rank, Assemble, Inspect, Navigate. RAG is de naam van de architectuur. GRAIN is de naam van de eerlijkheidscheck. Deze pagina is de definitie. Het is geen uitwerking in negen stappen.

Evalueer de redenering, niet de vloeiendheid is de test ernaast als de zin keurig is en de bron niet.

Eis de passage

De RAG-engineer beschrijft de langere praktijk. Het is nu verkrijgbaar in het Engels en het Nederlands als paperback, hardcover en Kindle. Je hebt de hardcover niet nodig om de map onder de lamp te eisen.

Als het team de passage achter de zin niet kan openen, noem het dan geen RAG. Noem het een prompt met extra’s. Haal die extra’s uit elke beslissing die een geschil moet overleven.