#792 · Rechner für KI & Technologie

Prompt-Caching-GPU-Bedarfsrechner

Dieser Rechner übersetzt eine Prompt-Caching-Last in einen groben GPU-Bedarf. Er berücksichtigt, wie viele Prompt-Tokens pro Aufgabe verarbeitet werden, welcher Anteil der Anfragen den Cache trifft und wie stark ein Treffer den Rechenaufwand für den gecachten Prompt-Anteil reduziert. Mit einem gemessenen GPU-Durchsatz und einer gewünschten Auslastungsgrenze erhältst du die erforderliche GPU-Anzahl und die verbleibende Kapazitätsreserve.

Rechner

Eingaben

So verwendest du diesen Rechner

Trage gemessene oder realistisch geplante Ausgangswerte ein.
Prüfe Einheiten, Preise und Prozentwerte sorgfältig.
Klicke auf „Berechnen“ und lies Hauptwert sowie Nebenkennzahlen gemeinsam.
Verändere einen Parameter nach dem anderen, um Szenarien sauber zu vergleichen.

Formel

Effektive Tokens/s = Aufgaben/s × Prompt-Tokens × [(1 − Trefferquote) + Trefferquote × Rechenanteil bei Treffer]

GPUs = Aufrunden(Effektive Tokens/s / (GPU-Durchsatz × Zielauslastung))

Was das Ergebnis bedeutet

Die Hauptzahl ist die kleinste ganze GPU-Anzahl, die die geschätzte effektive Prompt-Last bei der gewählten Zielauslastung tragen kann. Der tatsächliche Bedarf hängt vom Modell, Batch-Verhalten, Speicherbedarf und Provider-Stack ab.

Nutze für den GPU-Durchsatz möglichst Benchmarks deines konkreten Modells und deiner Hardware. Prompt Caching kann Rechenarbeit reduzieren, beseitigt aber nicht jede Verarbeitung.

Beispielrechnung

Bei 12 Aufgaben/s, 4.000 Prompt-Tokens, 70 % Treffern und 20 % Restrechenaufwand entstehen effektiv 21.120 Prompt-Tokens/s. Eine GPU mit 80.000 Tokens/s und 75 % Zielauslastung reicht in diesem Beispiel rechnerisch aus.

Tipps für bessere Ergebnisse

Nutze P50- und P95-Durchsatzmessungen statt theoretischer Spitzenwerte.
Dimensioniere Speicher und KV-Cache getrennt vom reinen Token-Durchsatz.
Prüfe, ob Batch-Größe und Sequenzlänge den GPU-Durchsatz verändern.
Plane zusätzliche GPUs für Redundanz, Wartung oder Spitzenlast ein.

Häufig gestellte Fragen

Wie berechne ich den GPU-Bedarf bei 70 % Prompt-Cache-Treffern?

Der Rechner reduziert die ungecachte Prompt-Tokenlast entsprechend der Trefferquote und dem verbleibenden Rechenanteil bei Cache-Treffern und teilt sie durch die nutzbare GPU-Kapazität.

Welchen Token-Durchsatz pro GPU sollte ich für Prompt Caching verwenden?

Am besten verwendest du einen gemessenen Prompt- beziehungsweise Prefill-Durchsatz deines konkreten Modells, deiner GPU und deiner typischen Sequenzlängen.

Warum ist die Zielauslastung im GPU-Bedarfsrechner wichtig?

Eine Zielauslastung unter 100 % schafft Reserve für Lastspitzen, Streuung im Durchsatz und andere Systemkomponenten.

Berücksichtigt der Rechner den GPU-Speicher für den KV-Cache?

Nein. Die Berechnung basiert auf Rechenkapazität in Tokens pro Sekunde. Speicherbedarf und Cache-Größe müssen zusätzlich geprüft werden.

Was bedeutet ein Rechenanteil von 20 % bei einem Cache-Treffer?

Es wird angenommen, dass bei einem Treffer nur 20 % der sonst erforderlichen Prompt-Rechenarbeit verbleiben; die genaue Reduktion solltest du messen.

GPU-Planungsgrößen

Größe	Verwendung
Effektive Tokens/s	Nach Cache-Effekt gewichtete Prompt-Last
Nutzbare GPU-Kapazität	GPU-Durchsatz × Zielauslastung
GPU-Anzahl	Aufgerundeter Kapazitätsbedarf