Dimensioniere die Anzahl GPUs für eine geplante LLM-Inferenzlast. Der Rechner übersetzt Anfragen pro Sekunde und Tokenmenge in benötigten Token-Durchsatz, begrenzt die nutzbare GPU-Leistung über eine Zielauslastung und ergänzt optional eine Redundanzreserve. Damit kannst du abschätzen, wie viele GPUs für Normalbetrieb und wie viele inklusive Puffer bereitstehen sollten.
Das Hauptresultat ist die ganzzahlige GPU-Anzahl inklusive Redundanz. Der Basiswert zeigt, wie viele GPUs ohne zusätzlichen Ausfall- oder Wachstumspuffer nötig wären.
Die Formel verwendet einen effektiven, gemessenen Durchsatz je GPU. Speicherbedarf, Modellreplikation, Tensor-Parallelität und Multi-GPU-Abhängigkeiten müssen zusätzlich geprüft werden.
20 Anfragen/s mit zusammen 1.250 Tokens je Anfrage benötigen 25.000 Tokens/s. Eine GPU mit 20.000 Tokens/s und 75 % Zielauslastung liefert 15.000 nutzbare Tokens/s. Ohne Redundanz werden 2 GPUs benötigt; mit 20 % Reserve bleibt das Ergebnis nach Aufrundung bei 2 GPUs.
Nutze den effektiven Gesamtdurchsatz pro GPU aus einem Lasttest mit demselben Modell, Serving-Stack und ähnlichen Promptlängen.
Teil-GPUs sind in vielen Deployments nicht frei kombinierbar. Aufrunden verhindert, dass die geplante Last rechnerisch über der bereitgestellten Kapazität liegt.
Eine niedrigere Zielauslastung schafft Spielraum für Schwankungen und Queueing. Der passende Wert hängt von SLA, Scheduler und Lastprofil ab.
Nein. Er dimensioniert nach Token-Durchsatz. Modellgröße, KV-Cache, Batchgröße und VRAM müssen separat validiert werden.
Die Prozentreserve bildet einen einfachen Puffer ab. Für harte Hochverfügbarkeitsziele solltest du zusätzlich konkrete N+1- oder Zonen-Szenarien prüfen.
| Dimension | Verwendung |
|---|---|
| Primärer Wert | Kapazitäts- oder Kostenentscheidung |
| Sekundärwerte | Plausibilitätsprüfung und Skalierung |
| Annahmen | Mit Produktionsmesswerten regelmäßig aktualisieren |