Dieser Rechner wandelt den gemessenen Token-Durchsatz eines feinabgestimmten Modells in eine für Produktplanung verständliche Aufgabenrate um. Aus GPU-Anzahl, Token-Durchsatz je GPU, nutzbarer Auslastung sowie durchschnittlichen Eingabe- und Ausgabe-Tokens je Aufgabe entstehen eine maximale Aufgabenrate, die gesamte Tokenkapazität und die ungefähre benötigte Parallelität für ein vorgegebenes Lastziel.
Nutzbare Tokenkapazität = GPUs × Tokens/s je GPU × Auslastung
Aufgaben/s = nutzbare Tokenkapazität / (Ø Eingabe-Tokens + Ø Ausgabe-Tokens)
Das Hauptergebnis übersetzt eine Tokenrate in Aufgaben pro Sekunde. Es ist besonders nützlich, wenn deine Serving-Benchmarks Token-Durchsatz liefern, das Produktteam aber mit Requests oder Aufgaben plant.
Die Rechnung setzt einen durchschnittlichen Tokenverbrauch je Aufgabe voraus. Starke Streuung in Prompt- oder Ausgabelängen kann die reale Queueing- und Latenzsituation verändern.
4 GPUs × 70.000 Tokens/s × 75 % ergeben 210.000 nutzbare Tokens/s. Bei 900 Eingabe- und 300 Ausgabe-Tokens je Aufgabe entspricht das 175 Aufgaben/s. Eine Zielrate von 150 Aufgaben/s nutzt rund 85,7 % dieser Kapazität.
Teile die nutzbare Tokenkapazität aller GPUs durch die durchschnittliche Summe aus Eingabe- und Ausgabe-Tokens je Aufgabe.
Verwende eine dauerhaft realistische Auslastung aus deinen Lasttests und lasse bei latenzkritischen Systemen ausreichend Reserve unter 100 %.
Mehr Ausgabe-Tokens erhöhen die Tokenmenge pro Aufgabe und reduzieren bei unveränderter Tokenkapazität die Zahl der möglichen Aufgaben pro Sekunde.
Die geplante Aufgabenrate ist höher als die berechnete nutzbare Kapazität und kann ohne zusätzliche Ressourcen nicht stabil getragen werden.
Indirekt ja, indem du die effektiv verarbeiteten Eingabe-Tokens oder einen entsprechend gemessenen GPU-Token-Durchsatz verwendest.
| Größe | Bedeutung |
|---|---|
| Tokenkapazität | Nutzbare Tokens pro Sekunde über alle GPUs |
| Tokens je Aufgabe | Durchschnittliche Eingabe plus Ausgabe |
| Aufgabenrate | Tokenkapazität geteilt durch Tokens je Aufgabe |