Ermittle, welchen nachhaltigen Inferenzdurchsatz eine vorhandene GPU-Flotte liefern kann. Aus GPU-Anzahl, effektivem Token-Durchsatz je GPU und Zielauslastung berechnet das Tool die nutzbaren Tokens pro Sekunde und übersetzt sie über die durchschnittliche Tokenmenge je Anfrage in Aufgaben pro Sekunde, Minute und Stunde.
Das Hauptresultat zeigt den nachhaltigen Aufgabendurchsatz der angegebenen Infrastruktur unter den gewählten Annahmen. Es ist kein Latenzversprechen für einzelne Anfragen.
Bei interaktiver Inferenz können höhere Batchgrößen den Gesamtdurchsatz steigern und gleichzeitig die Einzellatenz verändern. Miss beide Größen separat.
Vier GPUs mit jeweils 20.000 Tokens/s liefern bei 75 % nachhaltiger Auslastung 60.000 Tokens/s. Bei 1.250 Tokens je Aufgabe entspricht das 48 Aufgaben/s, 2.880 Aufgaben/min oder 172.800 Aufgaben/h.
Teile den nachhaltigen Token-Durchsatz durch die durchschnittliche Summe aus Eingabe- und Ausgabetokens je Aufgabe.
Spitzenwerte lassen oft keinen Puffer für Lastschwankungen, Queueing oder konkurrierende Systemarbeit. Eine nachhaltige Auslastung ist für Planung meist geeigneter.
Ja, häufig steigt der Gesamtdurchsatz durch besseres Hardware-Ausnutzen. Die Auswirkung auf Einzellatenz muss jedoch separat gemessen werden.
Wenn die Tokenkapazität gleich bleibt, senken mehr Tokens je Aufgabe die Anzahl Aufgaben pro Sekunde näherungsweise proportional.
Nein. Er ist eine Kapazitätsschätzung. Für SLA-Aussagen sind Lasttests mit Queueing, Latenzverteilung und realem Traffic notwendig.
| Dimension | Verwendung |
|---|---|
| Primärer Wert | Kapazitäts- oder Kostenentscheidung |
| Sekundärwerte | Plausibilitätsprüfung und Skalierung |
| Annahmen | Mit Produktionsmesswerten regelmäßig aktualisieren |