Ermittle, wie viele LLM-Aufgaben eine vorhandene GPU-Flotte in einem asynchronen Batchfenster verarbeiten kann. Der Rechner bestimmt zunächst den nachhaltigen Token-Durchsatz und übersetzt ihn über die durchschnittlichen Tokens je Aufgabe in Aufgaben pro Sekunde und Stunde. Anschließend wird die gesamte Aufgabenmenge für das gewünschte Zeitfenster berechnet.
Das Hauptresultat zeigt die Aufgabenrate pro Sekunde. Die Fensterkapazität ist besonders nützlich, um zu prüfen, wie viele Datensätze in einem Nacht- oder Wartungsfenster verarbeitet werden können.
Die Rechnung setzt eine gleichmäßige Batchauslastung voraus. Providerlimits, Daten-I/O, Straggler und wechselnde Promptlängen reduzieren unter Umständen die nutzbare Kapazität.
Acht GPUs mit je 18.000 Tokens/s liefern bei 80 % Auslastung 115.200 Tokens/s. Bei 800 Tokens je Aufgabe sind das 144 Aufgaben/s oder 518.400 Aufgaben/h. In sechs Stunden können theoretisch 3.110.400 Aufgaben verarbeitet werden.
Der Rechner multipliziert den nachhaltigen Aufgabendurchsatz mit sechs Stunden und zeigt die theoretische Aufgabenmenge im Fenster.
Bei gleichem Token-Durchsatz sinkt die Zahl der Aufgaben proportional, wenn jede Aufgabe mehr Tokens benötigt.
Damit bleibt Spielraum für Schwankungen, Scheduling und nicht ideale Skalierung. Der passende Wert sollte aus Produktionsmessungen stammen.
In der idealisierten Formel ja. In realen Systemen können I/O, Scheduler, Netzwerk oder Modellparallelität die Skalierung begrenzen.
Nein. Sie ist eine Kapazitätsschätzung unter gleichmäßiger Last und sollte mit realen Batchtests validiert werden.
| Dimension | Verwendung |
|---|---|
| Primärer Wert | Kapazitäts- oder Kostenentscheidung |
| Sekundärwerte | Plausibilitätsprüfung und Skalierung |
| Annahmen | Mit Produktionsmesswerten regelmäßig aktualisieren |