#802 · Rechner für KI & Technologie

Latenz- und Kapazitätsrechner für synthetische Daten

Prüfe, ob deine Infrastruktur das geplante Volumen an synthetischen Daten innerhalb des verfügbaren Zeitfensters verarbeiten kann. Der Rechner übersetzt Parallelität und mittlere End-to-End-Latenz in Aufgaben pro Stunde und pro Tag. Zusätzlich zeigt er die Lücke zum Zielvolumen und die ungefähr erforderliche Zahl paralleler Ausführungsslots.

Rechner

Latenz und Parallelität
Worker
Gleichzeitig aktive Worker oder Ausführungsslots.
Aufrufe
Gleichzeitige Modellaufrufe, die ein Worker halten kann.
s
End-to-End-Zeit eines Modellaufrufs oder einer Aufgabe.
%
Geplante Auslastung zur Vermeidung dauerhafter Sättigung.
h
Tägliches Zeitfenster für die Generierung.
Aufgaben
Gewünschtes Tagesvolumen für den Kapazitätsvergleich.

So verwendest du diesen Rechner

  1. Trage Workerzahl und Parallelität je Worker ein.
  2. Nutze eine gemessene mittlere Latenz je Aufgabe.
  3. Setze eine realistische Zielauslastung und Betriebszeit.
  4. Vergleiche die errechnete Tageskapazität mit deinem Zielvolumen.

Formel

Aufgaben/s = (Worker × Parallelität je Worker) ÷ Latenz × Zielauslastung
Tageskapazität = Aufgaben/s × 3.600 × Betriebsstunden

Was das Ergebnis bedeutet

Das Ergebnis quantifiziert die nachhaltige Kapazität unter einer bewusst begrenzten Zielauslastung. Ein negativer Kapazitätsabstand signalisiert, dass die aktuelle Parallelität oder Latenz das Tagesziel nicht trägt.

Die Rechnung verwendet eine mittlere Latenz. Stark schwankende P95- oder P99-Latenzen, Rate-Limits und externe Warteschlangen sollten als zusätzliche Sicherheitsreserve berücksichtigt werden.

Beispielrechnung

40 Worker mit je 2 parallelen Aufrufen ergeben 80 Slots. Bei 3,5 Sekunden Latenz und 75 % Auslastung sind rund 17,14 Aufgaben/s bzw. 61.714 Aufgaben/h möglich. In 20 Stunden entspricht das etwa 1.234.286 Aufgaben pro Tag.

Tipps für bessere Ergebnisse

  • Verwende gemessene Latenzen aus produktionsnahen Lasttests.
  • Plane Reserve statt dauerhafter Vollauslastung.
  • Beobachte Warteschlangenlänge und P95-Latenz gemeinsam.
  • Erhöhe Parallelität nur, wenn Modell- und API-Limits dies erlauben.
  • Prüfe, ob Vor- und Nachverarbeitung zum Engpass werden.

Häufig gestellte Fragen

Wie berechne ich die Tageskapazität einer Pipeline für synthetische Daten aus Latenz und Parallelität?

Die nutzbare Kapazität ergibt sich aus parallelen Ausführungsslots geteilt durch die mittlere Latenz, multipliziert mit Zielauslastung und verfügbarer Betriebszeit.

Warum sollte ich nicht mit 100 Prozent GPU- oder Worker-Auslastung planen?

Eine geringere Zielauslastung schafft Reserve für Latenzspitzen, Fehler, Warteschlangen und schwankende Aufgabendauern.

Wie wirkt sich eine halbierte Modelllatenz auf die Kapazität aus?

Bei unveränderter Parallelität verdoppelt eine halbierte mittlere Latenz näherungsweise den maximalen Durchsatz.

Was bedeutet die benötigte Zahl paralleler Slots im Ergebnis?

Sie zeigt, wie viele gleichzeitig arbeitende Ausführungsslots unter den angegebenen Latenz- und Auslastungsannahmen erforderlich wären, um das Tagesziel zu erreichen.

Kann ich mit diesem Rechner asynchrone Batch-Verarbeitung planen?

Ja. Nutze als Parallelität die tatsächlich gleichzeitig laufenden Aufrufe und als Latenz die beobachtete mittlere End-to-End-Dauer je Aufgabe.

Kapazitätsmodule

KennzahlBedeutung
AusführungsslotsWorker × Parallelität je Worker
Nutzbare RateDurchsatz nach Zielauslastung
TageskapazitätLeistung im Betriebsfenster
ZielabstandDifferenz zwischen Kapazität und Tagesziel

Rechner-Kategorien entdecken

22 Kategorien