AI-systemen Onderzoeksartikel

HITL in AI-workflows: zet de benoemde persoon op de onomkeerbare stap

Kan het model verzenden terwijl de beoordelaar in het vliegtuig zit, dan heb je geen HITL toegepast. Dan heb je een toeschouwer een label gegeven.

Fabriekspoort met een klembord met naam en een rode weigerstempel, dichtgeplakte enveloppen wachten vóór de streep
De persoon zit op de verzending. Niet op het dashboard erna.

Mens in de lus is een benoemde persoon, een plafond en een faallijn. Teams plakken de letters op een workflowdiagram en noemen het laatste blok Review. In dat blok is de verzending meestal al gebeurd.

Deze pagina is de bedrading. Zoek je de definitie, ga dan naar het betekenisartikel. Sta je op het punt een agent een tool te geven waarmee hij het gebouw uit kan, blijf dan hier.

Vier objecten, dan pas de poort

LLM-integratie is operationeel ontwerp benoemt vier stoelen: model, prompt, tools, review. HITL is de reviewstoel, bezet door iemand die het werk kan afkeuren. Die stoel vullen in een AI-workflow kost vier uitgeschreven objecten.

Charter. Waar de agent voor is, hoe goed eruitziet, wat hij moet teruggeven. Zonder charter beoordeelt jouw reviewer een stemming.

Override-doctrine. De weigerlijst: uitgeven boven een plafond, spreken namens het bedrijf, productiedata wijzigen, een oordeel afsluiten dat van jou blijft. De beoordelaar handhaaft de lijst. De lijst is niet de beoordelaar.

Benoemde beoordelaar. Eén persoon met dienst, geen functie, geen #human-review. Schrijf de faallijn in een zin die om 23:00 nog werkt. “Ziet er prima uit” is geen faallijn.

Log. Wie welke tool aanriep, met welke argumenten of een veilige samenvatting daarvan, wat de beoordelaar besloot, welke uitkomstklasse eruit kwam, het tijdstip en een correlatie-ID. Kun je dinsdag niet reconstrueren, dan kun je niet beoordelen.

MCP regelt hoe een tool het gebouw mag aanraken. HITL regelt wie hem daarvoor toestemming geeft. Haal het contract en de persoon niet door elkaar. MCP uitgelegd voor ondernemers gaat over die permissie. Deze pagina gaat over de poort.

Zet de persoon op de stap die je niet terugdraait

Een workflow heeft veel stappen. HITL hoort niet op alle. Hij hoort op de stap die je niet goedkoop ongedaan maakt.

Standaardpoorten:

  1. Verzenden. Mail, een Slack-bericht aan een klant, een openbare post, een ticket dat de ander leest als het bedrijf.
  2. Uitgeven. Een terugbetaling, een leveranciersbetaling, een cloudquotum dat factureert.
  3. Verwijderen. Productiedata, een repository, een klantrecord.
  4. Namens het bedrijf spreken. Alles wat later als jouw woorden wordt geciteerd.

Concepten schrijven, samenvatten, ranken en ophalen mag zonder mens in de lus draaien zolang de output het gebouw niet uit kan. Zodra een tool kan verzenden, gaat de benoemde persoon op die aanroep zitten. Een wekelijkse stuurgroep nadat de mail vertrok is incidentevaluatie, geen HITL.

Loop één verzending na

Een agent bewaakt contracten en schrijft een verlengingsherinnering voor een account waarvan de termijn over tien dagen afloopt. Dat concept is geen HITL. Er is niets vertrokken. Daarna roept diezelfde agent send_email aan. Die aanroep is de poort, en de poort bestaat alleen als het scherm vijf dingen draagt.

  1. De zending zoals die vertrekt. Definitief onderwerp, definitieve tekst, definitieve bijlagen. Geen samenvatting van de mail. Niet “verlengingsherinnering aan Acme”. Een samenvatting is een ander artefact dan het ding dat weggaat.
  2. De ontvanger. Het adres, het afzenderadres, de thread waarin het landt. Lees die regel als eerste. De juiste tekst naar het verkeerde adres blijft een mislukte verzending.
  3. Wat het kost om terug te draaien. Eén zin, vooraf geschreven: “Zodra de ontvangende server dit accepteert, kun je het niet terughalen.” Zonder die zin kan de beoordelaar de goedkeuring niet beprijzen.
  4. Waarom de agent wil verzenden. De clausule, het record of het ticket waar het concept op rust. Kan de agent de bron niet noemen, dan is dat op zichzelf een faallijn.
  5. Een weigerknop die de aanroep stopt. Geen opmerking. Geen emoji-reactie. Een knop die een fout teruggeeft aan de tool en de weigering wegschrijft in de log.

Delen lezen en schrijven één ongelimiteerde credential, dan was je het plafond al kwijt voordat dat scherm bestond. Scheid hun rechten. Blijven ze op één server, geef het schrijven dan een eigen credential met een beperkte scope en een allowlist: alleen ontvangers die al op het account staan, uitgaven onder een benoemd maximum, verwijderen nooit. Zet daarna de naam op het schrijven.

De poort kost tijd, dus maak hem klein

Het eerste bezwaar gaat over snelheid. Dat is een terecht bezwaar en het antwoord zit in de bedrading.

Kijk naar de diepte en de leeftijd van de wachtrij. Keuren beoordelaars op patroon goed omdat ze niet elke zending kunnen lezen, dan is de tool te breed. Versmal hem: minder ontvangers op de allowlist, een uitgavenplafond dat routinegevallen uit de rij haalt, een proefmodus voor alles wat maar één keer bekeken hoeft te worden.

Geef de wachtrij een klok. Handelt de benoemde persoon niet binnen het geschreven venster, dan vervalt de aanroep en moet de agent opnieuw vragen. Een verlopen goedkeuring mag niet alsnog uitvoeren omdat het tabblad open bleef staan.

Bundel wat werkelijk op elkaar lijkt. Twaalf verlengingsherinneringen aan twaalf bekende accounts kunnen één scherm zijn met twaalf zendingen en twaalf weigerknoppen. Eén terugbetaling aan een klant die dreigde te vertrekken krijgt een eigen scherm. Bundelen is een opmaakkeuze. Het is geen toestemming om een categorie goed te keuren die je niet gelezen hebt.

IJk de eerste tien schrijfacties, houd de vaste poorten

Bij een nieuwe schrijf-tool inspecteer je de eerste tien pogingen van begin tot eind: aanvraag, zending, goedkeuring of weigering, uitvoeringsresultaat en logregel. Tien is een opstartchecklist, geen bewijs dat de tool veilig is.

Vraag daarna om dinsdag. Kan niemand elke verzending tussen 09:00 en 18:00 tonen, houd de tool dan alleen-lezen. Logs mogen live goedkeuring alleen vervangen voor risicoarme aanroepen die de override-doctrine al toestaat.

Vaste poorten studeren niet af: geld boven het plafond, alles wat een klant leest als het bedrijf, alles wat verwijdert. Daar blijft de persoon zitten. Risicoarme aanroepen mogen naar steekproefsgewijze logreview, met een geschreven frequentie, een eigenaar en een herzieningsdatum.

De offline regel blijft gelden. Vertrekt de verzending terwijl de benoemde persoon in het vliegtuig zit, dan heb je besloten dat de lus optioneel was. Schrijf op wat er gebeurt als die persoon onbereikbaar is: in de wachtrij houden, weigeren, of escaleren naar een benoemde plaatsvervanger. “Toch verzenden” is ook een besluit. Leg het dan als besluit vast.

Wat dit niet is

Het is geen dashboard. Grafana achteraf kan de aanroep niet laten falen.

Het is geen evaluatietheater. De vloeiendheid van een alinea scoren gebeurt op een andere pagina. HITL scoort of de onomkeerbare stap was toegestaan.

Het is geen commissie. Vijf mensen met een emoji in Slack vormen geen plafond.

Het is niet het boek. Het Mens-in-de-Lus Leven behandelt de persoonlijke kant van dezelfde vraag. Het is een vroege draft. Het is niet te koop. Je kunt nu al de naam op de verzending zetten.

Eén kaart per schrijf-tool

Het betekenisartikel draagt de kaart voor de persoon: naam, plafond, faallijn, offline regel. Dit is de kaart voor de tool. Eén per ding dat kan schrijven. Hang hem naast de serverconfiguratie.

Tool. De exacte aanroep, niet de workflow. send_email, niet “outreach”.

Poort. Verzenden, uitgeven, verwijderen of spreken.

Wat het scherm toont. Wat de beoordelaar ziet voordat die beslist. Staat hier “een samenvatting”, repareer dat dan voordat je live gaat.

Allowlist en plafond. Welke doelen, welk maximum. Leeg betekent ongelimiteerd.

Vervaltermijn. Hoe lang een onbeantwoorde aanvraag leeft, en wat er daarna gebeurt.

Log. Waar dinsdag staat. Blijft die regel leeg, dan blijft de tool alleen-lezen.

Zes regels. Kun je ze niet invullen, dan ben je niet klaar om HITL op deze tool toe te passen. Haal het schrijven eruit. De letters op de architectuurslide kunnen wachten.

Begrippen

Bronnen

  1. Mens in de lus betekenis
  2. Mens in de lus (begrippen)
  3. Wat een agent nooit mag doen
  4. LLM-integratie is operationeel ontwerp
  5. MCP uitgelegd voor ondernemers
  6. Het Mens-in-de-Lus Leven

Verder lezen

Markdown voor LLMs