Modelroutering is een geschreven beleid dat elke taak om een benoemde reden naar een benoemd model stuurt. Eerst het doel, dan het model. Kan een nieuwe collega op maandag nalezen welk model welk werk doet, en waarom, dan heb je routering. Zit het antwoord in het hoofd van één persoon of in de demo van vorig kwartaal, dan heb je een standaardkeuze.
Een standaardkeuze is goedkoop om mee te beginnen en duur om terug te draaien. Het vlaggenschipmodel beantwoordt alles, de factuur komt binnen, en niemand kan aanwijzen welk besluit het geld heeft uitgegeven.
Geen leaderboard, geen load balancing, geen gateway
Onder dit ene woord worden drie verschillende dingen verkocht.
Een leaderboard rangschikt modellen op een openbaar examen. Jouw werk is dat examen niet. Een positie op die lijst zegt niets over de privacyklasse van je prompt of over hoe lang je gebruiker wil wachten.
Load balancing verdeelt identiek werk over identieke capaciteit. Routering stuurt verschillend werk bewust naar verschillende modellen.
Een gateway-product is een doos die een beleid uitvoert. Koop die doos pas als het beleid bestaat. Anders configureer je andermans standaardkeuze en noem je dat architectuur.
Wat een route bevat
Een route die je in een review overeind houdt, heeft vijf velden.
Mandaat. Wat dit model mag doen: samenvatten, extraheren, classificeren, plannen, weigeren.
Kostenklasse. Wat je op deze route per miljoen tokens betaalt, en bij welk bedrag de rekening een review afdwingt.
Privacyklasse. Welke data het gebouw mag verlaten. Is het antwoord nooit, dan draait de route lokaal of bestaat hij niet.
Latentieklasse. Hoe lang de gebruiker wacht. Een nachtelijke batch en een chatvenster zijn verschillende routes, ook als de prompt hetzelfde is.
Fallback. Wat er draait als het primaire model plat ligt, over het budget heen gaat of buiten het beleid valt. Een route zonder fallback is een single point of failure met extra vocabulaire.
Kun je die vijf niet invullen, dan routeer je nog niet. Vul ze in voordat je over leveranciers gaat discussiëren.
Waar ROUTE binnenkomt
ROUTE is de discipline uit Het model-portfolio die een routeringsbeleid overeind houdt. Register: elk model staat in het register, met mandaat en privacyklasse. Objective typing: je typeert het doel voordat je kiest. Utilize policy: het beleid staat op papier en benoemt ook de cascades en fallbacks. Track: kosten, latentie en kwaliteit meet je per route. Evolve: de mix verandert op een vaste cadans, niet op de dag van een release. Routering is de U. De andere vier letters zorgen dat het beleid een kwartaal later nog klopt.
Een test voor deze week
Neem de drukste modelaanroep van gisteren. Schrijf één regel op: taak, model, reden, fallback. Vraag daarna aan degene die hem heeft aangesloten of de reden nog klopt. Kost die regel je meer dan een minuut, of luidt de reden “het was het beste model”, dan draait die aanroep op een standaardkeuze. Schrijf de route op. Pak dan de volgende aanroep.
Twee pagina’s
Frontier, workhorse en lokaal zijn de klassenindeling waaruit een beleid kiest. Een modelcascade is één patroon dat een beleid kan benoemen. Deze pagina is het beleid zelf. LLM-integratie is een operationeel ontwerpprobleem is het bredere kader dat het beleid in de operationele lus zet.
Het model-portfolio is live. Je hebt de hardcover niet nodig om deze week de eerste routeringstabel te schrijven.
Citeer deze pagina:Wat is modelroutering? Een beleid, geen standaardkeuze.Len P. van der Hof. https://lenvanderhof.com/nl/blog/wat-is-modelroutering/ ·