#783 · Rechner für KI & Technologie

RAG-Durchsatzrechner

Mit diesem Rechner schätzt du den nachhaltigen Durchsatz einer RAG-Pipeline. Er verbindet die Zahl deiner Worker mit deren Parallelität und mittlerer Anfragezeit. Optional berücksichtigt er, dass Cache-Treffer schneller verarbeitet werden, sodass du die effektive Anfragekapazität pro Sekunde und Minute besser planen kannst.

Rechner

Technische Annahmen

So verwendest du diesen Rechner

Trage deine gemessenen oder geplanten Systemwerte ein.
Verwende realistische Produktionswerte statt theoretischer Maximalwerte.
Klicke auf „Berechnen“ und prüfe Haupt- sowie Nebenresultate.
Vergleiche bei Unsicherheit mehrere Szenarien mit konservativeren Annahmen.

Formel

Gewichtete Latenz = Basis-Latenz × (1 − Trefferquote) + Cache-Latenz × Trefferquote
Durchsatz = (Worker × Parallelität je Worker) ÷ gewichtete Latenz in Sekunden

Was das Ergebnis bedeutet

Der berechnete Durchsatz ist ein stationärer Näherungswert. Er hilft, Zielverkehr mit vorhandener Worker-Kapazität zu vergleichen.

Queueing, Retries und unterschiedliche Promptlängen können den realen Durchsatz reduzieren.

Beispielrechnung

6 Worker × 4 Slots ergeben 24 parallele Slots. Bei 25 % Cache-Treffern, 900 ms normaler und 180 ms gecachter Latenz liegt die gewichtete Latenz bei 720 ms. Der geschätzte Durchsatz beträgt rund 33,33 Anfragen/s.

Tipps für bessere Ergebnisse

Nutze nach Möglichkeit Messwerte aus Lasttests oder Produktionsmetriken.
Plane Reserve für Lastspitzen, Retries und Komponenten-Overhead ein.
Teste Änderungen an Chunking, Caching, Parallelität oder Hardware getrennt, damit Effekte messbar bleiben.
Überprüfe Annahmen erneut, wenn Modell, Index, Datenvolumen oder Traffic-Mix geändert werden.

Häufig gestellte Fragen

Wie berechne ich den RAG-Durchsatz mit mehreren Workern?

Multipliziere Worker mit der Parallelität je Worker und teile die Gesamtparallelität durch die mittlere Verarbeitungszeit in Sekunden.

Wie wirkt sich eine höhere Cache-Trefferquote auf den RAG-Durchsatz aus?

Wenn Cache-Treffer deutlich schneller sind, sinkt die gewichtete Latenz und der rechnerische Durchsatz steigt.

Warum ist mein gemessener RAG-Durchsatz niedriger als der Rechnerwert?

Engpässe bei Modellserver, Vektordatenbank, Netzwerk, Retries oder ungleichmäßige Anfragegrößen können die Idealrechnung unterschreiten.

Soll ich Mittelwert, P95 oder P99 als Latenz einsetzen?

Für mittleren Durchsatz eignet sich ein belastbarer Mittelwert; für konservative Kapazitätsplanung kann ein höheres Perzentil sinnvoll sein.

Kann ich mit diesem Rechner einen Lasttest ersetzen?

Nein. Er liefert eine Planungsgröße; ein Lasttest prüft zusätzlich Warteschlangen, Sättigung und reale Komponenteninteraktionen.

Kennzahlen im Überblick

Kennzahl	Bedeutung
Gewichtete Latenz	Gemittelte Anfragezeit mit Cache-Mix.
Gesamtparallelität	Worker multipliziert mit Slots je Worker.
Anfragen pro Minute	Durchsatz auf eine Minute hochgerechnet.