Plane das Tokenvolumen wiederkehrender LLM-Batchjobs. Der Rechner kombiniert Aufgaben pro Batch, durchschnittliche Eingabe- und Ausgabetokens, Batches pro Tag, Retry-Anteil und Reserve. Dadurch erhältst du ein Budget je Batch, pro Tag und für 30 Tage, das sich für asynchrone Pipelines, Datenanreicherung oder Massenklassifikation eignet.
Das Hauptresultat ist das geplante Tokenvolumen pro Batch inklusive Retry- und Sicherheitsaufschlag. Tages- und Monatswerte helfen bei Quoten-, Kapazitäts- und Kostenplanung.
Batchanbieter können andere Preis-, Frist- oder Quotenregeln als synchrone Inferenz haben. Dieser Rechner modelliert nur Tokenvolumen.
50.000 Aufgaben mit jeweils 920 Tokens ergeben 46.000.000 Basistokens pro Batch. Mit 2 % Retries und 10 % Reserve sind es 51.612.000 Tokens je Batch. Vier Batches pro Tag benötigen 206.448.000 Tokens.
Multipliziere Aufgaben pro Batch mit Eingabe- plus Ausgabetokens und ergänze anschließend Retry- und Sicherheitsaufschläge.
Nutze die Wiederholungsquote für den tatsächlich erneut verarbeiteten Anteil. Wenn nur einzelne Datensätze wiederholt werden, sollte die Quote entsprechend niedrig sein.
Die Tokenarithmetik ist ähnlich, aber Batchworkloads werden meist über große Aufgabenmengen, Zeitfenster und asynchrone Quoten geplant.
Der Rechner multipliziert das Budget je Batch mit der Zahl der täglichen Batches. Bei unterschiedlichen Batchgrößen solltest du getrennte Szenarien rechnen.
Eine Reserve deckt Abweichungen bei Promptlängen, Ausgabeumfang, Retries und Tagesvolumen ab und reduziert das Risiko knapp bemessener Quoten.
| Dimension | Verwendung |
|---|---|
| Primärer Wert | Kapazitäts- oder Kostenentscheidung |
| Sekundärwerte | Plausibilitätsprüfung und Skalierung |
| Annahmen | Mit Produktionsmesswerten regelmäßig aktualisieren |