Dieser Rechner schätzt den Durchsatzgewinn, der aus einer niedrigeren mittleren Latenz durch Prompt Caching entstehen kann. Statt nur die Latenz zu betrachten, setzt er die gewichtete Treffer-/Miss-Latenz in Relation zur ungecacheten Latenz und überträgt diesen Faktor auf deinen aktuellen Basisdurchsatz. So siehst du einen projektbezogenen Zieldurchsatz, den relativen Multiplikator und die zusätzlich möglichen Aufgaben pro Sekunde.
L̄ = Trefferquote × Treffer-Latenz + (1 − Trefferquote) × Miss-Latenz
Zieldurchsatz = Basisdurchsatz × Miss-Latenz / L̄
Der Zieldurchsatz skaliert den aktuellen Durchsatz proportional zur angenommenen Latenzreduktion. Das ist eine Näherung für Systeme, deren Durchsatz primär durch diese Latenzkomponente begrenzt wird.
Wenn GPU-Sättigung, Provider-Limits, Netzwerk oder Ausgabe-Generierung bereits dominieren, kann der reale Durchsatzgewinn kleiner sein.
Aus 20 Aufgaben/s, 850 ms Miss-Latenz, 280 ms Treffer-Latenz und 65 % Trefferquote wird eine gewichtete Latenz von 479,5 ms. Der rechnerische Multiplikator beträgt 1,77× und der Zieldurchsatz rund 35,45 Aufgaben/s.
Der Rechner bildet eine gewichtete Durchschnittslatenz und skaliert den Basisdurchsatz mit dem Verhältnis aus Miss-Latenz zu Durchschnittslatenz.
Der Basisdurchsatz verankert die Schätzung in deinem aktuellen System und vermeidet eine rein theoretische Kapazitätszahl ohne Bezug zur realen Umgebung.
Nicht zwingend. Die Latenz wird gewichtet, der resultierende Durchsatz hängt zudem von anderen Engpässen wie GPU-Auslastung oder Rate-Limits ab.
Unter den Modellannahmen könnte der Basisdurchsatz um etwa 50 % steigen, sofern keine anderen Engpässe den Gewinn begrenzen.
Für Kapazitätsplanung sind P95-Werte oft konservativer. Für einen typischen Mittelwert kann P50 hilfreich sein; vergleiche am besten mehrere Szenarien.
| Kennzahl | Interpretation |
|---|---|
| Basisdurchsatz | Aktuell beobachtete Aufgabenrate |
| Multiplikator | Latenzbasiertes Skalierungsverhältnis |
| Zieldurchsatz | Geschätzte Rate nach Cache-Effekt |