Zacznij od ruchu, który już masz
Wybierz model bazowy i zmierz koszt oraz jakość na żądaniach reprezentatywnych dla ruchu produkcyjnego. Uwzględnij typowe przypadki, błędy oraz co najmniej jeden typ zadania, którego nie użyto do dostrojenia routera. Przygotuj niewielki zestaw przykładów z wynikami, które zespół może oceniać w spójny sposób. Przewodnik OpenAI dotyczący ewaluacji opisuje, jak tworzyć reprezentatywne zbiory danych i kontynuować oceny po wdrożeniu.
Zapisuj wybrany model, klasę zadania, tokeny wejściowe i wyjściowe, odczyty i zapisy pamięci podręcznej, opóźnienie oraz informację, czy wynik spełnił kryteria, czy wykonano ponowną próbę. Przed obliczaniem średnich sklasyfikuj typy zadań. Tania trasa, która sprawdza się przy podsumowaniach, może zawieść przy wywołaniu narzędzia, nawet jeśli średni współczynnik powodzenia wygląda dobrze.
Porównuj wydatki przy tej samej jakości
Na potrzeby wstępnego szacunku przyjmij, że f to część wydatków bazowych związana z żądaniami, które można przekierować. Niech r oznacza koszt tych przekierowanych żądań podzielony przez koszt tych samych żądań w modelu bazowym. Szacowany udział oszczędności wynosi f × (1 − r), jeśli wydatki na pozostałe żądania się nie zmieniają, a router nie generuje dodatkowych kosztów.
Przykładowo, jeśli koszt bazowy wynosi $100 i przeniesiesz żądania, które odpowiadały za $50 tej kwoty, a ich przekierowanie będzie kosztować $20, przy tych założeniach oszczędzisz $30. W rzeczywistym rachunku należy uwzględnić eskalacje, powielone wywołania i ponowne próby. Na podstawie zmierzonego całkowitego kosztu porównuj trasy, które spełniają ten sam próg jakości.
Uruchom test z rozgrzaną pamięcią podręczną
Długie rozmowy mogą być tanie, gdy ich początkowe fragmenty znajdują się już w pamięci podręcznej. Zmiana trasy może wpłynąć na to, czy dla żądania nastąpi trafienie w pamięci podręcznej. Zmierz wynikające z tego odczyty i zapisy dla każdego kandydata, zamiast zakładać stałą oszczędność wynikającą z przejścia na tańszy model.
Anthropic dokumentuje różne koszty zapisu i odczytu pamięci podręcznej oraz wyjątki zależne od modelu. Podczas ponownego odtwarzania użyj rzeczywistego modelu i wartości czasu życia (TTL). Dokumentacja Claude dotycząca buforowania promptów
Wdrażaj według klas zadań
- Określ próg zaliczenia dla każdej klasy, na przykład poprawne argumenty narzędzia lub kompletną odpowiedź.
- Porównaj model bazowy, prostą tabelę trasowania według klas i proponowany router na tych samych przykładach.
- Monitoruj dla każdej klasy wskaźnik akceptacji, częstość przejścia na trasę awaryjną, koszt i opóźnienie. Zachowaj w logach widoczną trasę i powód jej wyboru, aby inżynier mógł zbadać pogorszenie działania.
- Wdrażaj jedną klasę naraz i zachowaj możliwość ręcznego przywrócenia jej do modelu bazowego. Powtórz testy, gdy zmienią się prompty, modele lub ruch.
W ramach oceny sprawdź także granicę wdrożenia routera. W zależności od projektu router może otrzymywać wrażliwe prompty lub przechowywać dane uwierzytelniające dostawców. Przed wdrożeniem go obok ruchu produkcyjnego zinwentaryzuj jego dostępy i udokumentuj, gdzie przechowywane są jego logi i dane sekretne.
Ta wersja językowa została wygenerowana przez agenta AI, a jej źródła techniczne zostały sprawdzone.