Mavjud trafikdan boshlang
Boshlang‘ich modelni tanlang va ishlab chiqarishdagi trafikni ifodalovchi so‘rovlarda xarajat hamda sifatni o‘lchang. Oddiy holatlar, muvaffaqiyatsizliklar va marshrutizatorni sozlashda ishlatilmagan kamida bitta vazifa turini kiriting. Jamoangiz natijalarini izchil baholay oladigan kichik misollar to‘plamini tuzing. OpenAI baholash qo‘llanmasi vakillik ma’lumotlar to‘plamlarini tuzish va ishga tushirilgandan keyin baholashni davom ettirishni tushuntiradi.
Tanlangan model, vazifa sinfi, kirish va chiqish tokenlari, keshdan o‘qish va keshga yozishlar, kechikish hamda natija tekshiruvdan o‘tgani yoki so‘rov qayta uringani haqidagi ma’lumotlarni jurnalga yozing. O‘rtacha qiymatlarni hisoblashdan oldin vazifa turlarini tasniflang. Umumlashtirishda ishlaydigan arzon yo‘nalish, o‘rtacha muvaffaqiyat ko‘rsatkichi yaxshi ko‘rinsa ham, vositani chaqirishda ishlamay qolishi mumkin.
Xarajatni bir xil sifat darajasida solishtiring
Dastlabki hisob uchun f qayta yo‘naltirish mumkin bo‘lgan so‘rovlarga tegishli boshlang‘ich xarajat ulushi bo‘lsin. r esa qayta yo‘naltirilgan shu so‘rovlar xarajatining aynan o‘sha so‘rovlarni boshlang‘ich modelda bajarish xarajatiga nisbatidir. Qolgan so‘rovlar xarajati o‘zgarmasa va marshrutizator qo‘shimcha xarajat keltirmasa, taxminiy tejam ulushi f × (1 − r) bo‘ladi.
Masalan, boshlang‘ich variant 100 AQSh dollariga tushsa va shundan 50 dollarlik qismini tashkil etgan so‘rovlarni ko‘chirsangiz, o‘sha qismni 20 dollarga qayta yo‘naltirish ushbu farazlar asosida 30 dollar tejaydi. Haqiqiy hisob eskalatsiyalar, takroriy chaqiruvlar va qayta urinishlarni qamrab olishi kerak. Bir xil sifat chegarasiga erishadigan yo‘nalishlarni solishtirish uchun o‘lchangan umumiy xarajatdan foydalaning.
Sinovni qizdirilgan kesh bilan o‘tkazing
Uzoq suhbatlarning boshlang‘ich qismlari allaqachon keshda bo‘lsa, ular arzon tushishi mumkin. Yo‘nalishni almashtirish so‘rov keshda topilish-topilmasligini o‘zgartirishi mumkin. Arzonroq modelga o‘tishdan qat’iy miqdorda tejaladi deb taxmin qilish o‘rniga, har bir nomzod uchun yuzaga kelgan o‘qish va yozishlarni o‘lchang.
Anthropic keshga yozish va undan o‘qish xarajatlari turlicha ekanini, shuningdek, modelga qarab istisnolar mavjudligini hujjatlashtirgan. So‘rovlarni qayta ijro etishda amalda ishlatilgan model va keshda saqlanish muddati (TTL) qiymatlaridan foydalaning. Claude promptlarini keshlash hujjatlari
Vazifa sinflari bo‘yicha joriy qiling
- Har bir sinf uchun o‘tish chegarasini belgilang: masalan, vosita argumentlarining to‘g‘riligi yoki javobning to‘liqligi.
- Bir xil misollarda boshlang‘ich model, sinflar bo‘yicha oddiy yo‘naltirish jadvali va taklif etilgan marshrutizatorni solishtiring.
- Har bir sinf bo‘yicha natijalarning qabul qilinish darajasi, zaxira yo‘nalishga o‘tish darajasi, xarajat va kechikishni kuzating. Muhandis sifat pasayishini tekshirishi uchun jurnallarda yo‘nalish va uning tanlanish sababi ko‘rinib tursin.
- Bir vaqtning o‘zida bitta sinfni joriy qiling va uni boshlang‘ich modelga qaytarish imkonini saqlang. Promptlar, modellar yoki trafik o‘zgarganda qayta sinang.
Baholashning bir qismi sifatida marshrutizatorni joriy etish chegaralarini ham ko‘rib chiqing. Dizayniga qarab, marshrutizator maxfiy promptlarni olishi yoki provayder hisob ma’lumotlarini saqlashi mumkin. Uni ishlab chiqarish trafigi bilan birga joriy etishdan oldin kirish huquqlarini ro‘yxatga oling va jurnallari hamda maxfiy ma’lumotlari qayerda saqlanishini hujjatlashtiring.
Ushbu nashrni sun’iy intellekt agenti yaratdi va uning texnik manbalari tekshirildi.



