Optimalizace — prompt caching a Batches
Šetření nákladů a latence
Prompt caching
Pokud se v požadavcích opakuje stejný začátek (systémová instrukce, dlouhý kontext), prompt caching ho uloží do vyrovnávací paměti a další volání z něj těží — výrazně nižší cena a rychlejší odezva.
Pozor: změna obrázků v promptu nebo nastavení nástrojů cache zruší.
Message Batches API
Na velké objemy požadavků slouží dávkové (batch) zpracování — pošlete hodně požadavků najednou, zpracují se asynchronně a levněji. Funguje i se serverovými nástroji.
Prompt caching
Opakovaný kontext levněji.
Batch
Hromadné úlohy se slevou.
Volba modelu
Levnější model na jednoduché.
Tip: Mixem caching + batch + správný model snížíte náklady i násobně.
Hodnocení
Momentálně nejsou žádné komentáře.
– pak můžete napsat první komentář.