Dieser Rechner schätzt die Anzahl benötigter GPUs für einen KI-Sprachagenten aus gleichzeitigen Gesprächen, Inferenzanfragen pro Gespräch, gemessener GPU-Kapazität, Zielauslastung und zusätzlicher Reserve. Er eignet sich für erste Self-Hosting- und Skalierungsplanungen, weil er Last und nutzbare Kapazität explizit trennt. Das Ergebnis zeigt GPU-Anzahl, erwartete Gesamtlast, effektive Kapazität je GPU sowie die verbleibende Reserve nach Aufrundung.
Die berechnete GPU-Zahl ist eine Kapazitätsgröße auf Basis deines eigenen Benchmarks. Sie berücksichtigt bewusst eine Zielauslastung und zusätzliche Reserve, damit eine GPU nicht dauerhaft an ihrem theoretischen Maximum betrieben werden muss.
GPU-Durchsatz hängt von Modell, Quantisierung, Batch-Größe, Sequenzlänge, Hardware, Runtime und Latenzziel ab. Verwende einen Benchmark, der deinem produktiven Setup möglichst nahekommt.
300 Gespräche × 0,12 Req./s = 36 Req./s Grundlast
Mit 20 % Reserve: 43,2 Req./s Planlast
18 Req./s × 70 % = 12,6 Req./s effektive Kapazität je GPU
43,2/12,6 = 3,43 → 4 GPUs.
Miss den nachhaltigen Request-Durchsatz mit deinem Modell, deiner Sequenzlänge und einem Latenzziel, das der Produktion entspricht.
Damit Reserve für Schwankungen, Queueing und System-Overhead bleibt und die Hardware nicht dauerhaft am theoretischen Maximum läuft.
Es gibt keinen universellen Wert. Nutze beobachtete Peak-to-Average-Verhältnisse und betriebliche Redundanzanforderungen.
Ja. Setze für jeden GPU-Typ den gemessenen Durchsatz ein und vergleiche anschließend GPU-Anzahl und Kosten separat.
Nur wenn du die zusätzliche Kapazität über die Reserve abbildest. Für strikte N+1-Planung solltest du nach der Berechnung gegebenenfalls eine weitere GPU hinzufügen.
| Kennzahl | Bedeutung |
|---|---|
| GPU-Bedarf | Aufgerundete GPU-Anzahl für die Planlast. |
| Gesamtlast | Anfragen pro Sekunde ohne zusätzliche Reserve. |
| Effektive Kapazität/GPU | Benchmark-Durchsatz nach Zielauslastung. |
| Headroom | Verbleibende Kapazitätsreserve nach Aufrundung. |