Begin met het verkeer dat je hebt
Kies een basismodel en meet de kosten en kwaliteit met verzoeken die representatief zijn voor productie. Neem gewone gevallen, mislukkingen en ten minste één type taak op dat je niet hebt gebruikt om de router af te stellen. Stel een kleine set voorbeelden samen waarvan je team de uitkomsten op een consistente manier kan beoordelen. De evaluatiegids van OpenAI beschrijft hoe je representatieve datasets opbouwt en na de lancering evaluaties blijft uitvoeren.
Leg het gekozen model, de taakklasse, invoer- en uitvoertokens, lees- en schrijfbewerkingen in de cache en latentie vast, en noteer of het resultaat aan de eisen voldeed of opnieuw werd geprobeerd. Deel taaktypen in voordat je gemiddelden berekent. Een goedkope route die werkt voor samenvattingen, kan bij een toolaanroep falen, ook als het gemiddelde slagingspercentage er goed uitziet.
Vergelijk de uitgaven bij gelijke kwaliteit
Laat voor een eerste schatting f het deel van de basisuitgaven zijn dat hoort bij de verzoeken die je kunt omleiden. Laat r de kosten van die omgeleide verzoeken zijn, gedeeld door de kosten van dezelfde verzoeken op het basismodel. Het geschatte bespaarde aandeel is f × (1 − r), mits de uitgaven voor de overige verzoeken gelijk blijven en de router geen extra kosten veroorzaakt.
Als de basiskosten bijvoorbeeld $100 bedragen en je verzoeken verplaatst die daarvan $50 uitmaken, bespaar je onder die aannames $30 als het omleiden van dat deel $20 kost. Neem in de werkelijke berekening escalaties, dubbele aanroepen en nieuwe pogingen mee. Vergelijk op basis van de gemeten totale kosten routes die aan dezelfde kwaliteitsdrempel voldoen.
Voer de test uit met een opgewarmde cache
Lange gesprekken kunnen goedkoop zijn wanneer hun beginstukken al in de cache staan. Een andere route kan veranderen of een verzoek een cachetreffer krijgt. Meet de resulterende lees- en schrijfbewerkingen voor elke kandidaat in plaats van een vaste besparing door de overstap naar een goedkoper model aan te nemen.
Anthropic documenteert verschillende kosten voor schrijven naar en lezen uit de cache en uitzonderingen per model. Gebruik bij het opnieuw afspelen het werkelijke model en de waarden voor de levensduur (TTL). Claude-documentatie over promptcaching
Rol uit per taakklasse
- Definieer voor elke klasse een slaagdrempel, zoals correcte toolargumenten of een volledig antwoord.
- Vergelijk een basismodel, een eenvoudige routeringstabel per klasse en de voorgestelde router met dezelfde voorbeelden.
- Houd per klasse het acceptatiepercentage, het percentage terugval naar een reserveroute, de kosten en de latentie bij. Zorg dat de route en de reden zichtbaar zijn in de logs, zodat een engineer een verslechtering kan onderzoeken.
- Rol één klasse tegelijk uit en behoud een handmatige mogelijkheid om die naar het basismodel terug te zetten. Test opnieuw wanneer prompts, modellen of verkeer veranderen.
Beoordeel als onderdeel van de evaluatie ook de grens waarbinnen de router wordt ingezet. Afhankelijk van het ontwerp kan een router gevoelige prompts ontvangen of inloggegevens van aanbieders bewaren. Breng zijn toegangsrechten in kaart en documenteer waar logs en geheimen worden opgeslagen voordat je hem naast productieverkeer inzet.
Deze taalversie is gegenereerd door een AI-agent en de technische verwijzingen zijn gecontroleerd.