#924 · Rechner für KI & Technologie

KI-Sprachagent: Latenz- und Kapazitätsrechner

Der Rechner übersetzt gleichzeitige Sprachagent-Sitzungen und Turn-Frequenz in eine erforderliche Request-Rate und schätzt, wie viele parallele Worker bei einer gegebenen Verarbeitungszeit und Zielauslastung nötig sind. Zusätzlich zeigt er das Latenzbudget zwischen gewünschter End-to-End-Latenz und reiner Servicezeit. Damit lassen sich erste Kapazitätsannahmen für Echtzeit-Sprachagenten prüfen, ohne ein bestimmtes Modell oder Hosting-System vorauszusetzen.

Rechner

Eingaben

So verwendest du diesen Rechner

Trage die erwartete maximale Zahl gleichzeitiger Sitzungen ein.
Schätze die Agent-Antworten pro Sitzung und Minute.
Nutze eine gemessene Servicezeit je Modellanfrage.
Setze Ziel-Latenz und konservative Zielauslastung und berechne die Worker-Anzahl.

Formel

Requests/s = gleichzeitige Sitzungen × Turns/Min. ÷ 60

Effektive Worker-Kapazität = 1.000 ÷ Servicezeit(ms) × Zielauslastung

Erforderliche Worker = aufrunden(Requests/s ÷ Worker-Kapazität)

Restliches Latenzbudget = Ziel-Latenz − Servicezeit

Was das Ergebnis bedeutet

Die Worker-Zahl ist eine Kapazitätsschätzung unter der Annahme, dass Anfragen gleichmäßig verteilt werden und die angegebene Servicezeit repräsentativ ist. Das restliche Latenzbudget zeigt, wie viel Zeit für Netzwerk, Queueing, Speech-to-Text, Text-to-Speech und Orchestrierung verbleibt.

Reale Warteschlangen verhalten sich bei Spitzenlast und schwankenden Servicezeiten komplexer. Validieren solltest du die Planung mit Lasttests und Perzentil-Latenzen wie p95 oder p99.

Beispielrechnung

200 Sitzungen × 3 Turns/Min. ÷ 60 = 10 Requests/s
Ein Worker: 1.000/180 × 70 % = 3,89 Requests/s
Erforderlich: aufrunden(10/3,89) = 3 Worker
Latenzbudget: 700 − 180 = 520 ms.

Tipps für bessere Ergebnisse

Plane mit p95- oder p99-Servicezeiten statt nur mit dem Mittelwert.
Halte die Zielauslastung unter 100 %, damit Lastspitzen abgefangen werden können.
Trenne Audio-, Netzwerk- und Modelllatenz in deinen Messungen.
Teste Burst-Verhalten, da Sprachdialoge nicht vollkommen gleichmäßig eintreffen.

Häufig gestellte Fragen

Wie viele parallele Worker brauche ich für 200 gleichzeitige Voice-Agent-Sitzungen?

Das hängt von Turns pro Minute, Servicezeit und Zielauslastung ab. Der Rechner kombiniert genau diese Größen zu einer Worker-Schätzung.

Warum ist eine Zielauslastung unter 100 Prozent bei Sprachagenten sinnvoll?

Reserve reduziert das Risiko stark wachsender Warteschlangen und schafft Spielraum für Lastspitzen sowie schwankende Verarbeitungszeiten.

Was bedeutet das restliche Latenzbudget beim KI-Sprachagenten?

Es ist die Differenz zwischen gewünschter End-to-End-Latenz und reiner Servicezeit der betrachteten Anfrage.

Kann mehr GPU-Kapazität eine zu langsame Einzelanfrage beheben?

Nicht zwingend. Wenn die reine Servicezeit bereits über dem Latenzziel liegt, muss auch die Einzelanfrage beschleunigt oder die Pipeline verändert werden.

Soll ich für die Kapazitätsplanung Durchschnitts- oder p95-Latenz verwenden?

Für robuste Planung ist eine höhere Perzentil-Latenz häufig geeigneter, weil sie langsame, aber regelmäßig auftretende Anfragen berücksichtigt.

Kennzahlen im Überblick

Kennzahl	Bedeutung
Worker-Bedarf	Aufgerundete Zahl paralleler Verarbeitungseinheiten.
Requests/s	Erwartete Anfragefrequenz aus Sitzungen und Turn-Rate.
Kapazität/Worker	Anfragen pro Sekunde bei der gewählten Zielauslastung.
Latenzbudget	Zeitreserve zwischen Ziel-Latenz und Servicezeit.