Plane den Tokenbedarf einer LLM-Inferenzlast, bevor du Kapazitäten oder Kosten festlegst. Der Rechner kombiniert Aufgabenvolumen, durchschnittliche Eingabe- und Ausgabetokens, Wiederholungsquote und Reserve zu einem belastbaren Tages- und Monatsbudget. So erkennst du, wie stark längere Prompts, umfangreichere Antworten oder zusätzliche Retries das Gesamtvolumen verändern.
Das Hauptresultat ist das empfohlene tägliche Tokenbudget inklusive Retries und Reserve. Der Monatswert verwendet 30 Tage und eignet sich für Kapazitäts- oder Kostenplanung.
Tokenbudget ist nicht automatisch gleich Abrechnungsmenge: Anbieter können Eingabe, Ausgabe, Cache-Treffer oder Batch-Nutzung unterschiedlich bepreisen.
Bei 10.000 Aufgaben pro Tag, 1.200 Eingabe- und 300 Ausgabetokens, 3 % Retries und 15 % Reserve entstehen zunächst 15.000.000 Basistokens. Mit Retries sind es 15.450.000 Tokens; inklusive Reserve beträgt das empfohlene Tagesbudget 17.767.500 Tokens.
Verwende für die Planung besser ein hohes Perzentil oder getrennte Nutzersegmente statt nur eines globalen Durchschnitts.
Ja. Wenn fehlgeschlagene oder erneut ausgeführte Anfragen bereits Tokens verbrauchen, bildet die Wiederholungsquote diesen Zusatzbedarf ab.
Das hängt von Lastschwankungen und Prognosequalität ab. Nutze zunächst eine explizite Reserve und kalibriere sie später mit gemessenen Spitzenwerten.
Für die technische Last und Abrechnung kann Caching je Anbieter unterschiedlich wirken. Dieser Rechner modelliert das gesamte logische Tokenvolumen und keine anbieterspezifische Cache-Bepreisung.
Der Rechner verwendet 30 Tage. Für einen konkreten Abrechnungsmonat kannst du den Tageswert mit der tatsächlichen Anzahl aktiver Tage multiplizieren.
| Dimension | Verwendung |
|---|---|
| Primärer Wert | Kapazitäts- oder Kostenentscheidung |
| Sekundärwerte | Plausibilitätsprüfung und Skalierung |
| Annahmen | Mit Produktionsmesswerten regelmäßig aktualisieren |