Zoek op “LLM cascade” en je krijgt een benchmarkpaper, een leveranciersdiagram en een raamwerk uit een ander boek op deze site. Operators hebben de saaie versie nodig.
Een modelcascade is een geordende keten van modellen voor één taak, opgeschreven vóór de eerste aanroep. Begin bij het goedkoopste model dat de klus zou kunnen doen. Escaleer alleen als een geschreven trigger zegt dat de output niet goed genoeg is. Stop wanneer de regel stop zegt.
Een fallback is dat niet. Een fallback is herstel: het primaire model miste zijn doel voor latentie, kwaliteit of beschikbaarheid, dus neemt een reservepad het over. Een cascade ontwerp je om geld te besparen op het gewone geval. Een fallback ontwerp je zodat een storing geen lege pagina wordt. Wie de twee woorden door elkaar haalt, noemt een uitgavenspiraal al snel “veerkracht”.
Hetzelfde vlaggenschip nog eens aanroepen omdat het eerste antwoord dun aanvoelde, is geen van beide. Dat is een lus met een creditcard.
Geen CASCADE, geen speculative decoding, geen “probeer de grote nog eens”
Op deze site hoort CASCADE als benoemd raamwerk bij De tweede-orde-denker: een persoonlijk protocol om de gevolgen van een besluit na te lopen voordat je je vastlegt. Die betekenis staat bij het begrip CASCADE. Dat boek is nog een manuscript en niet te koop, en deze pagina leent het etiket niet.
Speculative decoding is een snelheidstruc binnen één serving-stack. Een cascade is beleid over modellen heen.
“Als het misgaat, bel dan het dure model” is een schets. Wat ontbreekt, is wat “misgaat” betekent, in een veld dat een machine kan lezen.
De vier onderdelen die het echt maken
Volgorde. Eerst het goedkoopste model dat toereikend is, het vlaggenschip als laatste. Draai je dat om, dan heb je een prestigeketen die twee keer betaalt.
Escalatietrigger. Een signaal dat de goedkope hop oplevert en dat het beleid kan controleren: de output kwam niet door het schema, een gekalibreerde betrouwbaarheidsscore zakte onder de lijn, de gelijkenisscore van de retrieval was laag. De regel in Het model-portfolio is dat de trigger bij de taak hoort, niet bij de cascade. Je kalibreert hem dus op echt verkeer voordat je hem aansluit. Een trigger die je niet kunt benoemen, betekent dat je op gevoel escaleert.
Stopregel. Een maximaal aantal hops. Een maximale uitgave per verzoek. Een time-out, zodat de keten netto geen latentie toevoegt. Gevallen die nooit mogen escaleren, zoals privédata die geen gehost model mag bereiken, of een onomkeerbare actie waar een mens naar moet kijken. Schrijf ze op.
Trace. Welke hop draaide, waarom hij escaleerde, wat het kostte. Zonder trace kun je de keten niet bijstellen. Je kunt er alleen ruzie over maken.
De test voor deze week
Kies één taak met veel volume. Laat het goedkope en het dure model een paar dagen dezelfde verzoeken verwerken en log waar ze van elkaar afwijken. Die afwijking is de trigger die je nodig hebt. Houd daarna in productie het escalatiepercentage in de gaten. Escaleert bijna alles, dan is de goedkope hop theater en kost de cascade meer dan rechtstreeks het vlaggenschip aanroepen. Escaleert niets, controleer dan eerst de trigger voordat je het viert.
Twee pagina’s
Wat is modelroutering? bezit het beleid. Een cascade is één patroon daarbinnen, een fallback een ander.
Het model-portfolio is live. Je hebt de hardcover niet nodig om deze week een keten van drie hops met één stopregel te schrijven.
Citeer deze pagina:Wat is een modelcascade? Escaleren met een stopregel.Len P. van der Hof. https://lenvanderhof.com/nl/blog/wat-is-een-modelcascade/ ·