Zoek op “local LLM vs API” en je belandt in een forumgevecht. Het ene kamp ziet de cloud als verraad. Het andere ziet een lokaal model als hobby. Geen van beide is een werkbare indeling.
Frontier, workhorse of lokaal? Drie klassen. De taak kiest de klasse. Het merk niet.
Frontier is de schaarse laag. Diep redeneren, rommelige ambiguïteit, synthese over lange context, klussen waarbij een goedkopere misser meer kost dan de tokens. Die laag rantsoeneer je. Zodra frontier de standaardbestemming wordt, gaat de factuur je architectuur uitleggen.
Workhorse is de standaard capabele laag. Bulkextractie, classificatie, samenvattingen, concepten die een mens echt gaat lezen. Hier hoort het volume te zitten. Is deze klasse leeg, dan zwelt elke taak op tot frontier.
Lokaal is een plaatsing, geen capaciteitsrang. Een model is lokaal wanneer het beheer van de infrastructuur waarop het draait onderdeel is van zijn mandaat: on-premise, een eigen VPC, een edge-apparaat, de laptop van een developer. Privacyklasse “verlaat het gebouw nooit”, een latentiebudget dat binnen de muren moet blijven, of een volume dat de API tot een belasting zou maken. Een lokaal model kan de lat van een workhorse-route halen, of die van een frontier-route, als je eigen evaluatie dat laat zien.
Geen cloudreligie, geen regel op een leaderboard
“Open versus gesloten” is een inkoopargument. Een gesloten workhorse en een open workhorse kunnen hetzelfde mandaat delen.
Een positie op een leaderboard kent de privacyklasse van jouw prompt niet. Bevat de prompt klantdata die je hebt beloofd niet te exporteren, dan is de klasse lokaal, of de aanroep gaat niet door.
Het model-portfolio benoemt een vierde archetype, de specialist: een model dat is bijgetraind of gebouwd voor één smal domein, zoals code, juridische extractie of één talenpaar. Die verdient pas een plek als een algemeen model op geen enkele laag een goed omschreven taak aankan, en de taak vaak genoeg voorkomt om het onderhoud te betalen. Deze pagina houdt het bij de drie waar de meeste mensen naar zoeken.
Zo kies je deze week
Schrijf de taak in één zin op. Scoor daarna drie dingen, in deze volgorde.
Privacy. Mag deze tekst het gebouw uit? Zo niet: lokaal, en stop met scoren.
Moeilijkheid. Kost een goedkopere misser meer dan de tokens die je bespaart? Zo ja: frontier. Zo nee: workhorse.
Volume. Draait dit duizenden keren per dag? Dan workhorse of lokaal, nooit standaard frontier.
Zet het antwoord naast de taak, zodat de nieuwe collega het volgende week niet in een chatvenster omdraait. Een SKU van een leverancier is geen klasse. Jij wijst de klasse toe, en hetzelfde gehoste model kan op dinsdag workhorse zijn en op woensdag een verboden privacymisser.
Twee pagina’s
Wat is modelroutering? is het beleid dat deze klassen gebruikt. Deze pagina is de indeling.
Het model-portfolio is live. Je hebt de hardcover niet nodig om geen privébulk meer naar het vlaggenschip te sturen.
Citeer deze pagina:Frontier, workhorse of lokaal: drie klassen, geen geloofsoorlog.Len P. van der Hof. https://lenvanderhof.com/nl/blog/frontier-workhorse-of-lokaal/ ·