#672 · Rechner für KI & Technologie

Latenz-Kapazitätsrechner für KI-Agenten

Mit diesem Rechner schätzt du, wie viele Aufgaben ein KI-Agentensystem pro Stunde verarbeiten kann. Grundlage sind die durchschnittliche Latenz je Aufgabe, die Zahl paralleler Ausführungen und eine realistische Zielauslastung. Zusätzlich zeigt der Rechner, wie viel Parallelität für ein gewünschtes Tagesvolumen nötig wäre.

Rechner

Latenz und Parallelität

So verwendest du diesen Rechner

Miss die mittlere End-to-End-Latenz eines typischen Agentenlaufs.
Trage die gleichzeitig möglichen Agentenausführungen ein.
Setze eine Zielauslastung unterhalb von 100 %, damit Reserven bleiben.
Ergänze Tagesziel und Betriebsstunden, um den Parallelitätsbedarf zu prüfen.

Formel

Nutzbare Kapazität/h = Parallelität × 3.600 ÷ Latenz × Auslastung

Erforderliche Parallelität = Zielaufgaben × Latenz ÷ (Betriebsstunden × 3.600 × Auslastung)

Was das Ergebnis bedeutet

Die Kapazität beschreibt den rechnerischen Durchsatz bei gleichbleibender mittlerer Latenz. Die zusätzlich berechnete erforderliche Parallelität hilft bei der Dimensionierung für ein Tagesziel.

Warteschlangen, Rate Limits, Toolaufrufe und stark schwankende Antwortzeiten können die reale Kapazität reduzieren.

Beispielrechnung

Bei 8 Sekunden mittlerer Latenz, 10 parallelen Ausführungen und 75 % Auslastung ergeben sich 3.375 nutzbare Aufgaben pro Stunde. Über 24 Stunden entspricht das 81.000 Aufgaben.

Tipps für bessere Ergebnisse

Verwende Perzentile zusätzlich zum Mittelwert, wenn Latenzen stark streuen.
Plane Reserven für externe Tools und Modell-Rate-Limits.
Begrenze Parallelität nicht nur technisch, sondern auch nach Kosten und Quoten.
Teste Kapazität mit realistischen Lastprofilen statt nur mit Einzellast.

Häufig gestellte Fragen

Wie berechne ich die Kapazität eines KI-Agenten aus der Latenz?

Teile 3.600 Sekunden durch die mittlere Latenz, multipliziere mit der Parallelität und anschließend mit der geplanten Auslastung.

Warum sollte die Zielauslastung unter 100 Prozent liegen?

Eine Reserve hilft, Lastspitzen, Latenzschwankungen und externe Verzögerungen abzufangen, ohne dass sofort Warteschlangen entstehen.

Wie viele parallele Agentenläufe brauche ich für mein Tagesvolumen?

Der Rechner leitet aus Tagesziel, Latenz, Betriebsstunden und Auslastung eine erforderliche Parallelität ab und rundet auf ganze Slots auf.

Soll ich Modelllatenz oder End-to-End-Latenz verwenden?

Für Kapazitätsplanung ist die End-to-End-Latenz sinnvoller, weil sie auch Orchestrierung, Toolaufrufe und weitere Verarbeitungsschritte umfasst.

Was passiert, wenn die Latenz unter Last steigt?

Dann sinkt die reale Kapazität. Verwende für Produktionsplanung möglichst Messwerte aus vergleichbarer Last und nicht nur Leerlaufmessungen.

Kennzahlen im Überblick

Kennzahl	Bedeutung
Nutzbare Kapazität	Aufgaben pro Stunde nach Auslastungsabschlag.
Rohkapazität	Theoretischer Durchsatz ohne Reserve.
Benötigte Parallelität	Ganzzahliger Slotbedarf für das Tagesziel.