3 min čítania
Cena tokenu
Demo nestálo nič, čo by si niekto všimol. Desať požiadaviek, pár centov, potlesk. Potom sa funkcia nasadila, z desiatich požiadaviek bolo desaťtisíc denne a prišla faktúra, ktorá už mala svojho adresáta. Účet za AI má odteraz konkrétneho vlastníka. Stala sa z neho rozpočtová položka, celý rozpočet, malý projekt sám osebe.
Reflexom je zvaľovať to na cenu modelu. Tou to takmer nikdy nie je. Ide o to, ako míňate tokeny.
Cache, ktorú už máte
Každé volanie posiela svoj kontext nanovo: systémový prompt, inštrukcie, dohľadané dokumenty. Anthropic tento kontext cachuje, takže plnú cenu zaplatíte raz a potom už len zlomok. Čítanie z cache stojí desatinu bežného vstupného tokenu.
Nezapnete ju však. Musíte si ju zaslúžiť. Cache žije päť minút, to je jej TTL, a tento časovač sa resetuje pri každom prístupe. Kým pracujete, ostáva teplá za desatinu ceny. Odídete na päť minút a vyprší; ďalšie volanie znova zaplatí zápis, za jeden a štvrť násobku základnej ceny.
Najlacnejšia konverzácia je teda tá, ktorá ostáva teplá a malá.
Jedna konverzácia, jedna úloha
Rozvláčna, celodenná konverzácia je tá drahá podoba. Medzi ťahmi zaháľa, takže cache znova a znova chladne. Hromadí históriu, takže každý ťah posiela viac než ten predchádzajúci. A prehustený kontext robí odpovede horšími, nie lepšími.
Liekom je ten istý inštinkt, z ktorého vzniká dobrý kód: jedna vec, poriadne. Metóda robí jednu úlohu. V agentskej flotile dostáva každý subagent jednu misiu a každý hook stráži jedno volanie nástroja. Konverzácia si zaslúži rovnakú disciplínu: krátka, intenzívna, venovaná jedinej úlohe a potom zavretá. Malý kontext, teplá cache, ostrejšia odpoveď. Lacnejšie a lepšie sa napokon ukážu ako ten istý krok. A keď musí konverzácia pokračovať, jej zhutnenie, nahradenie prepisu súhrnom, vykúpi malý kontext za cenu jediného opätovného zápisu do cache.
Znalosti nechajte mimo okna
Druhá polovica je nenosiť v prompte všetko, čo viete. Celá vaša kódová báza do kontextu nepatrí a nepatrí tam ani každé minulé rozhodnutie. Dohľadajte to, čo úloha potrebuje, a zvyšok nechajte na disku.
Presne na to slúžia tieto nástroje. Claude Context zaindexuje kódovú bázu do vektorovej databázy a do okna vtiahne len relevantné úryvky. MemPalace drží pamäť naprieč sedeniami, takže každé nové začína malé namiesto toho, aby prehrávalo to predošlé. Oboje zmenšujú kontext, ktorý platíte pri každom jednom volaní. Dohľadávanie je cenová páka skôr než páka presnosti.
Účet je rozhodnutie v návrhu
Obraz dopĺňajú dve páky. Ľahkú prácu pošlite malému, lacnému modelu a ten drahý si nechajte na ťažké prípady. A pre vlastnú každodennú prácu vám predplatné vyjde lacnejšie než účtovať sa po tokenoch; platba za token je pre produkt, nie pre človeka.
Nič z toho nič nevypína. Funkcia ostáva rovnako schopná ako demo. Mení sa to, že účet prestáva byť pevným nákladom, ktorého sa bojíte, a stáva sa číslom, ktoré tvarujete. Míňajte tokeny tak, ako míňate pozornosť: na jednu vec naraz.
Zdieľať článok