Dieser Rechner schätzt den GPU-Bedarf eines RAG-Systems anhand des erwarteten Anfragevolumens und der durchschnittlichen Generierungslast. Aus Anfragen pro Sekunde, Token pro Antwort, gemessener GPU-Tokenleistung und einem Ziel für die maximale Auslastung entsteht eine belastbare Kapazitätsschätzung mit Reserve.
Die Hauptzahl ist die minimale ganzzahlige GPU-Anzahl unter deinen Annahmen. Die Reserve zeigt, wie viel zusätzliche effektive Tokenkapazität nach der Rundung verbleibt.
Retrieval selbst kann CPU-, RAM- oder separate GPU-Ressourcen benötigen. Dieser Rechner dimensioniert primär die Generierungsseite.
8 Anfragen/s × 450 Token ergeben 3.600 Token/s Bedarf. Bei 2.200 Token/s pro GPU und 70 % Zielauslastung sind effektiv 1.540 Token/s verfügbar. Mit Faktor 1,2 werden 3 GPUs benötigt.
Nutze möglichst einen eigenen Benchmark mit deinem Modell, Quantisierungsgrad, Batch-Verhalten und typischen Antwortlängen.
Ein niedrigeres Auslastungsziel lässt Reserve für Lastspitzen, längere Sequenzen, Scheduling und Performance-Schwankungen.
Sie können relevant sein. Dieser Rechner fokussiert die generierte Tokenrate; bei langen Kontexten sollte die gemessene GPU-Leistung bereits Prefill-Kosten enthalten.
Der Redundanzfaktor erhöht den rechnerischen Bedarf vor der Aufrundung und kann so zusätzliche Kapazität für Failover abbilden.
Nur näherungsweise. Speicher, Batching, Kommunikation und Modellgröße können eine perfekte lineare Skalierung verhindern.
| Kennzahl | Bedeutung |
|---|---|
| Tokenbedarf | Gesamte Generierungslast pro Sekunde. |
| Effektive GPU-Leistung | Benchmark-Leistung begrenzt auf das gewählte Auslastungsziel. |
| Kapazitätsreserve | Zusätzliche effektive Leistung nach der ganzzahligen GPU-Rundung. |