Dieser Rechner zeigt, wie viel Tokenbudget Prompt-Caching tatsächlich freisetzen kann. Er trennt einen cachefähigen statischen Promptteil von variablen Eingaben, berücksichtigt die Cache-Trefferquote und reserviert Antworttoken. So siehst du die erwartete effektive Promptlast, die Tokenersparnis und den verbleibenden Kontextspielraum.
Die gesparten Token zeigen die erwartete Reduktion gegenüber einer vollständig ungecachten Promptverarbeitung. Der Kontextspielraum berücksichtigt zusätzlich deine Antwortreserve.
Caching-Regeln und Abrechnungsmodelle unterscheiden sich je Plattform. Der „verbleibende Tokenlast“-Anteil ist deshalb bewusst als Eingabewert modelliert.
12.000 cachefähige plus 3.500 variable Token ergeben 15.500 Token ungecacht. Bei 80 % Trefferquote und 10 % verbleibender Last des statischen Teils sinkt die erwartete Promptlast auf 6.860 Token. Die Einsparung beträgt 8.640 Token pro Anfrage.
Vergleiche die ungecachte Promptlast mit der gewichteten Last aus Cache-Treffern und Cache-Misses unter deiner erwarteten Trefferquote.
Stabile, wiederkehrende Teile wie lange Systemanweisungen, feste Richtlinien oder große statische Kontexte eignen sich eher als stark variable Nutzereingaben.
Nur Treffer profitieren vom reduzierten statischen Promptanteil. Bei niedriger Trefferquote nähert sich die effektive Last der ungecachten Last.
Der Wert modelliert, welcher Anteil des cachefähigen Promptteils trotz Treffer noch als effektive Tokenlast berücksichtigt werden soll.
Es vergrößert das technische Kontextfenster nicht. Je nach Plattform kann es Verarbeitung oder Kosten reduzieren; der Rechner zeigt einen modellierten effektiven Spielraum.
| Kennzahl | Bedeutung |
|---|---|
| Erwartete Promptlast | Gewichtete Tokenlast über Treffer und Misses. |
| Gesparte Token | Differenz zur vollständig ungecachten Promptlast. |
| Verbleibender Kontext | Kontextfenster abzüglich effektiver Promptlast und Antwortreserve. |