بهینه‌سازی هزینه
کاهش ۶۸ درصدی هزینهٔ استنتاج هوش مصنوعی با کشینگ پرامپت و مسیریابی مبتنی بر قیمت
الگوهای عملی معماری برای چیدمان بهینهٔ پرامپت سیستم، استفاده از provider.sort="price" و ترکیب هوشمند مدل‌های Flash با مدل‌های پرچم‌دار.
۱. ثابت نگه داشتن پیشوند پرامپت برای حداکثر نرخ Hit در کش
کش پرامپت در ارائه‌دهندگان هوش مصنوعی بر اساس تطابق دقیق پیشوند توکن‌ها کار می‌کند. قرار دادن تاریخ و ساعت لحظه‌ای یا متغیرهای پویا در ابتدای System Prompt باعث می‌شود کش در هر درخواست باطل شود.
همیشه دستورالعمل‌های ثابت سیستم، تعریف ابزارها (Tools) و مستندات پایه را در ابتدای آرایهٔ پیام‌ها قرار دهید و اطلاعات متغیر کاربر را به انتهای پیام‌ها منتقل کنید.
قاعدهٔ طلایی: ثابت نگه داشتن ابتدای پرامپت سیستم در ایجنت‌های چندمرحله‌ای، نرخ استفاده از کش (Cache Read) را به بالای ۸۵٪ می‌رساند.
۲. مرتب‌سازی خودکار بر اساس ارزان‌ترین اندپوینت (provider.sort="price")
با ارسال پارامتر provider: { sort: "price" } در بدنهٔ درخواست، مسیریاب زوپیر به‌صورت خودکار تمام اندپوینت‌های سالم و سازگار با درخواست شما را از ارزان‌ترین به گران‌ترین مرتب می‌کند.
jsonZopyr Gateway v1
{
"model": "qwen/qwen-3.8-max-prime",
"provider": {
"sort": "price",
"allow_fallbacks": true
},
"messages": [
{ "role": "system", "content": "You are a financial document parser." },
{ "role": "user", "content": "Extract line items as JSON." }
]
}