Schätze, wie viele interaktive LLM-Anfragen eine Inferenzumgebung bei gegebener Parallelität verarbeiten kann. Der Rechner zerlegt die Antwortzeit in Prompt-Verarbeitung und Token-Generierung, leitet daraus die theoretische Kapazität pro Minute ab und vergleicht die geschätzte Latenz mit einem Zielwert. Er eignet sich für grobe Sizing- und SLA-Planungen vor detaillierten Lasttests.
Die geschätzte Antwortzeit ist eine vereinfachte Servicezeit ohne Queueing, Netzwerk und Scheduling. Die Kapazität zeigt, wie viele Anfragen pro Minute bei dauerhafter Auslastung theoretisch möglich sind.
Reale LLM-Systeme teilen GPU-Ressourcen dynamisch. Continuous Batching, KV-Cache, Speicherdruck und Queueing können die gemessene Latenz deutlich verändern.
Mit 1.000 Eingabetokens bei 5.000 Tokens/s Prefill und 250 Ausgabetokens bei 80 Tokens/s Decode ergibt sich rund 3,33 s Servicezeit. Bei 16 parallelen Anfragen entspricht das theoretisch etwa 288 Anfragen pro Minute.
Netzwerk, Queueing, Scheduler, Continuous Batching und Speicherdruck sind in der vereinfachten Formel nicht enthalten.
Verwende möglichst Messwerte deiner konkreten Modell-, GPU-, Quantisierungs- und Serving-Konfiguration.
Mehr Parallelität erhöht die theoretische Anzahl gleichzeitig bedienter Anfragen, kann aber bei gemeinsam genutzten GPUs die Einzellatenz verschlechtern.
Er liefert eine erste Kapazitätsschätzung. Für belastbare SLA-Aussagen sind Lasttests mit realer Anfrageverteilung erforderlich.
Erhöhe die Ausgabetokens oder berechne mehrere Szenarien. Bei autoregressiver Generierung wächst die Decode-Zeit näherungsweise linear mit der Ausgabelänge.
| Dimension | Verwendung |
|---|---|
| Primärer Wert | Kapazitäts- oder Kostenentscheidung |
| Sekundärwerte | Plausibilitätsprüfung und Skalierung |
| Annahmen | Mit Produktionsmesswerten regelmäßig aktualisieren |