So verwendest du diesen Rechner
- Gib GPU-Zahl und gemessenen Token-Durchsatz ein.
- Setze die realistisch nutzbare Auslastung.
- Schätze die Tokens je vollständiger Generierungsaufgabe.
- Lege die tägliche Betriebszeit fest und vergleiche den Durchsatz.
#804 · Rechner für KI & Technologie
Durchsatzrechner für synthetische Daten
Übersetze die technische Tokenleistung deiner GPU-Flotte in eine operative Kennzahl: Generierungsaufgaben pro Stunde und pro Tag. Der Rechner berücksichtigt GPU-Anzahl, gemessenen Token-Durchsatz je GPU, nutzbare Auslastung, typische Tokens je Aufgabe und das tägliche Laufzeitfenster. Damit lassen sich Varianten mit mehr Hardware, kürzeren Ausgaben oder besserer Auslastung direkt vergleichen.
Rechner
Flottenleistung und AufgabenprofilFormel
Effektive Tokenrate = GPUs × Token/s je GPU × Auslastung
Aufgaben/h = Effektive Tokenrate × 3.600 ÷ Tokens je Aufgabe
Was das Ergebnis bedeutet
Die Hauptkennzahl zeigt, wie viele vollständige Aufgaben pro Stunde die Flotte unter den angegebenen Annahmen verarbeitet. Die Tageskapazität entsteht durch Multiplikation mit dem Laufzeitfenster.
Die Formel setzt voraus, dass die GPU-Flotte ausreichend mit Arbeit versorgt wird. Engpässe außerhalb der Inferenz können den realen Durchsatz reduzieren.
Beispielrechnung
32 GPUs mit 220 Token/s je GPU und 72 % Auslastung liefern effektiv 5.068,8 Token/s. Bei 8.500 Token je Aufgabe sind rund 2.147 Aufgaben pro Stunde bzw. 38.644 Aufgaben in 18 Stunden möglich.
Tipps für bessere Ergebnisse
- Ermittle Tokens je Aufgabe aus echten Produktionssamples.
- Trenne Eingabe-, Ausgabe- und Validierungsanteile bei der Analyse.
- Prüfe Scheduler- und I/O-Auslastung neben GPU-Auslastung.
- Teste verschiedene Batchgrößen auf Durchsatz und Speicherbedarf.
- Vergleiche Durchsatzsteigerung pro zusätzlicher GPU.
Häufig gestellte Fragen
Wie berechne ich den Aufgabendurchsatz einer GPU-Flotte für synthetische Daten?
Multipliziere GPU-Zahl, Token-Durchsatz je GPU und nutzbare Auslastung und teile den resultierenden Token-Durchsatz durch die Tokens je Generierungsaufgabe.
Warum unterscheidet sich Aufgaben pro Stunde von Token pro Sekunde?
Token pro Sekunde misst rohe Modellleistung. Aufgaben pro Stunde berücksichtigt zusätzlich, wie viele Tokens eine typische Aufgabe insgesamt benötigt.
Wie beeinflusst die Ausgabelänge den Durchsatz synthetischer Daten?
Längere Ausgaben erhöhen die Tokens je Aufgabe und senken bei gleicher GPU-Leistung die Zahl der Aufgaben, die pro Stunde abgeschlossen werden können.
Wann skaliert der Durchsatz nicht linear mit zusätzlichen GPUs?
Nichtlinearität entsteht etwa durch Datenversorgung, Synchronisation, Scheduler-Overhead, Speichergrenzen, Rate-Limits oder ungleich verteilte Aufgabendauern.
Soll ich für Kapazitätsplanung Durchschnitts- oder Spitzenwerte verwenden?
Für nachhaltige Planung sind repräsentative Mittelwerte mit Sicherheitsreserve sinnvoll; Spitzenwerte sollten separat für Burst-Szenarien betrachtet werden.
Ähnliche Rechner
Durchsatzmodule
| Kennzahl | Bedeutung |
|---|---|
| Flotten-Tokenrate | Kombinierter effektiver Token-Durchsatz |
| Aufgabenprofil | Tokenmenge einer typischen Aufgabe |
| Stundendurchsatz | Abgeschlossene Aufgaben pro Stunde |
| Tagesdurchsatz | Kapazität im Betriebsfenster |