Dimensioniere GPU-Kapazität für einen großen asynchronen LLM-Batch mit festem Fertigstellungsfenster. Aus Aufgabenmenge und Tokens je Aufgabe ergibt sich das Gesamtvolumen. Dieses wird auf die verfügbare Zeit verteilt und mit dem nachhaltigen GPU-Durchsatz verglichen. Eine zusätzliche Reserve kann Ausfälle, Retries oder schwankende Aufgabenlängen abdecken.
Das Hauptresultat ist die GPU-Anzahl, die das Batchvolumen innerhalb des angegebenen Fensters rechnerisch bewältigen kann. Die Reserve erhöht den Bedarf vor der Ganzzahlrundung.
Prüfe zusätzlich Modell-VRAM, Tensor-Parallelität, Datenzugriff und tatsächliche Batch-Effizienz. Der Rechner dimensioniert primär nach Token-Durchsatz.
200.000 Aufgaben mit je 800 Tokens ergeben 160 Mio. Tokens. In sechs Stunden sind dafür rund 7.407 Tokens/s nötig. Eine GPU mit 18.000 Tokens/s bei 80 % Zielauslastung liefert 14.400 Tokens/s nutzbar; inklusive 15 % Reserve reicht rechnerisch 1 GPU.
Trage die Batchgröße, Tokens je Aufgabe und das verfügbare Nachtfenster ein. Der Rechner leitet daraus den nötigen Gesamtdurchsatz und die GPU-Anzahl ab.
Die Formel dimensioniert nach Durchsatz. Wenn ein Modell wegen VRAM oder Parallelisierung bereits mehrere GPUs pro Replikat benötigt, gilt diese technische Mindestgröße zusätzlich.
Ein kürzeres Zeitfenster erhöht den erforderlichen Token-Durchsatz und damit typischerweise die benötigte GPU-Anzahl.
Nur wenn deine Umgebung dauerhaft stabil bei 100 % läuft. Für Planung ist eine niedrigere nachhaltige Auslastung oft robuster.
Du kannst die Kapazitätsreserve erhöhen oder die Aufgabenmenge beziehungsweise Tokens je Aufgabe um den erwarteten Retry-Anteil anheben.
| Dimension | Verwendung |
|---|---|
| Primärer Wert | Kapazitäts- oder Kostenentscheidung |
| Sekundärwerte | Plausibilitätsprüfung und Skalierung |
| Annahmen | Mit Produktionsmesswerten regelmäßig aktualisieren |