#817 · Rechner für KI & Technologie

KI-Code-Review: Latenz- und Kapazitätsrechner

Der Latenz- und Kapazitätsrechner dimensioniert KI-gestützte Code-Reviews für Spitzenlasten. Aus Servicezeit, Parallelität und gewünschter Auslastungsreserve ermittelt er die sichere Stundenkapazität und zeigt, ob die geplante Nachfrage Warteschlangenrisiko erzeugt.

Rechner

Last, Latenz und Parallelität
Aufg.
Erwartete Nachfrage in der stärksten Stunde.
s
End-to-End-Laufzeit eines Modellaufrufs ohne Warteschlange.
Slots
Maximal gleichzeitig aktive Inferenz- oder Worker-Slots.
s
Vor- und Nachverarbeitung, Netzwerk und Tool-Aufrufe pro Aufgabe.
%
Gewünschte maximale mittlere Auslastung als Sicherheitsreserve.

So verwendest du diesen Rechner

  1. Trage realistische Werte aus deinem aktuellen oder geplanten Workflow ein.
  2. Nutze für Last und Laufzeit bevorzugt Messwerte aus Spitzenzeiten.
  3. Klicke auf „Berechnen“ und prüfe Hauptergebnis sowie Sekundärwerte.
  4. Variiere die wichtigsten Treiber, um Reserven und Engpässe sichtbar zu machen.

Formel

Servicezeit = Modelllaufzeit + Overhead
Rohkapazität/h = Parallelität × 3.600 ÷ Servicezeit
Sichere Kapazität = Rohkapazität × Zielauslastung

Was das Ergebnis bedeutet

Die sichere Kapazität ist die geplante Zahl von Aufgaben pro Stunde nach Abzug der Auslastungsreserve. Rohkapazität und erwartete Auslastung zeigen die technische Obergrenze und Belastung.

Die Rechnung ist ein deterministisches Kapazitätsmodell und ersetzt keine Queueing-Simulation bei stark schwankenden Ankunftsraten.

Beispielrechnung

Bei 120 Aufgaben pro Spitzenstunde, 6 s Modelllaufzeit, 1,5 s Overhead und 20 parallelen Slots beträgt die Rohkapazität 9.600 Aufgaben/h. Bei 75 % Zielauslastung werden 7.200 Aufgaben/h als sichere Kapazität angesetzt.

Tipps für bessere Ergebnisse

  • Plane mit Spitzenstunden statt Tagesdurchschnitt.
  • Erfasse Modellzeit und Tool-/Netzwerk-Overhead separat.
  • Halte Reserven für lange Ausreißer und Retry-Spitzen.
  • Überprüfe p95/p99-Latenzen zusätzlich zur mittleren Laufzeit.

Häufig gestellte Fragen

Wie viele parallele Slots brauche ich für 120 Code-Reviews pro Stunde?

Das hängt von der gesamten Servicezeit und der gewünschten Auslastungsreserve ab. Der Rechner leitet die benötigte Parallelität aus diesen Werten ab.

Warum ist die sichere Kapazität kleiner als die theoretische Rohkapazität?

Eine Auslastungsreserve schützt vor Schwankungen, langen Einzelanfragen und kurzfristigen Lastspitzen, die bei 100 % Auslastung sofort Warteschlangen erzeugen.

Soll Netzwerk- und Tool-Latenz in die Servicezeit einfließen?

Ja. Trage nicht nur reine Modellzeit ein, sondern auch Vorverarbeitung, Retrieval, Tool-Aufrufe und Nachverarbeitung als Overhead.

Wie wirkt sich eine halbierte Modelllaufzeit auf die Kapazität aus?

Wenn der übrige Overhead gleich bleibt, steigt die Kapazität annähernd umgekehrt proportional zur gesamten Servicezeit.

Ist Durchschnittslatenz für die Kapazitätsplanung ausreichend?

Für eine erste Planung ja, für produktive SLAs solltest du zusätzlich hohe Perzentile und Lastspitzen beobachten.

Planungsgrößen

GrößeVerwendung
PrimärwertKapazitäts- oder Kostenentscheidung
SekundärwerteTreiber und Reserven nachvollziehen
SzenarioAuswirkungen geänderter Eingaben prüfen

Rechner-Kategorien entdecken

22 Kategorien