#781 · Rechner für KI & Technologie

RAG-Latenz-Kapazitätsrechner

Dieser Rechner schätzt, wie viele RAG-Anfragen dein System unter einem vorgegebenen Latenzziel gleichzeitig bedienen kann. Er kombiniert Retrieval-, Kontextaufbereitungs- und Generierungszeit mit einer Sicherheitsreserve und zeigt daraus eine praxisnahe Kapazitätsgrenze sowie die resultierende Latenzauslastung.

Rechner

Technische Annahmen

So verwendest du diesen Rechner

Trage deine gemessenen oder geplanten Systemwerte ein.
Verwende realistische Produktionswerte statt theoretischer Maximalwerte.
Klicke auf „Berechnen“ und prüfe Haupt- sowie Nebenresultate.
Vergleiche bei Unsicherheit mehrere Szenarien mit konservativeren Annahmen.

Formel

Basis-Latenz = Retrieval + Generierung + Overhead
Sichere Parallelität = geplante Parallelität × (Ziel-Latenz × (1 − Reserve)) ÷ Basis-Latenz

Was das Ergebnis bedeutet

Die sichere Parallelität ist eine Kapazitätsschätzung unter deinem Latenzziel. Werte über der geplanten Last bedeuten Reserve; niedrigere Werte weisen auf ein wahrscheinliches Latenzproblem hin.

Die Rechnung bildet Warteschlangen, Cache-Treffer, Netzwerkspitzen und Modell-Batching nicht vollständig ab. Nutze Messwerte aus deiner eigenen Produktionsumgebung.

Beispielrechnung

Bei 1.200 ms Ziel-Latenz, 180 ms Retrieval, 700 ms Generierung, 120 ms Overhead, 20 parallelen Anfragen und 20 % Reserve beträgt die Basis-Latenz 1.000 ms. Das nutzbare Budget liegt bei 960 ms; daraus ergibt sich eine sichere Parallelität von rund 19 Anfragen.

Tipps für bessere Ergebnisse

Nutze nach Möglichkeit Messwerte aus Lasttests oder Produktionsmetriken.
Plane Reserve für Lastspitzen, Retries und Komponenten-Overhead ein.
Teste Änderungen an Chunking, Caching, Parallelität oder Hardware getrennt, damit Effekte messbar bleiben.
Überprüfe Annahmen erneut, wenn Modell, Index, Datenvolumen oder Traffic-Mix geändert werden.

Häufig gestellte Fragen

Wie beeinflusst eine höhere Retrieval-Latenz die RAG-Kapazität?

Eine höhere Retrieval-Latenz erhöht die Basis-Latenz und senkt bei unverändertem Ziel-Latenzbudget die sichere Parallelität.

Sollte die Sicherheitsreserve bei RAG-Systemen eher auf Latenz oder Durchsatz angewendet werden?

Für dieses Modell wird sie auf das Latenzbudget angewendet. In Produktionssystemen kann zusätzlich eine separate Durchsatzreserve sinnvoll sein.

Kann ich P95-Latenzen statt Durchschnittslatenzen verwenden?

Ja. Für Kapazitätsplanung sind P95- oder P99-Werte oft konservativer und näher an Nutzererfahrungen unter Last.

Wie berücksichtige ich Caching bei der RAG-Latenz?

Verwende gemessene Retrieval- und Generierungszeiten, die deinen tatsächlichen Cache-Treffermix bereits widerspiegeln, oder rechne getrennte Szenarien.

Warum kann die reale Parallelität trotz guter Rechnung geringer sein?

Warteschlangen, GPU-Sättigung, Netzwerkengpässe, Datenbanklimits und ungleichmäßige Anfragegrößen können die reale Kapazität reduzieren.

Kennzahlen im Überblick

Kennzahl	Bedeutung
Basis-Latenz	Summe aller seriellen Zeitanteile pro Anfrage.
Latenzauslastung	Anteil des Ziel-Latenzbudgets, der bereits durch die Basiskette belegt ist.
Sichere Parallelität	Konservative Schätzung der gleichzeitig tragbaren Anfragezahl.