Der GPU-Bedarfsrechner übersetzt Dokumentvolumen in erforderlichen Modell-Durchsatz. Aus Dokumenten pro Stunde und Tokens pro Dokument entsteht eine Tokenrate, die mit der gemessenen Leistung einer GPU verglichen wird. Zielauslastung und Redundanz verhindern, dass eine rechnerische Spitzenleistung als dauerhaft nutzbare Produktionskapazität interpretiert wird.
Die GPU-Anzahl ist eine Kapazitätsschätzung auf Basis gemessener Tokenleistung. Sie ersetzt keinen Benchmark mit dem konkreten Modell, Quantisierungsgrad, Batch-Setup und Dokumentmix.
GPU-Tokenraten sind stark modell- und hardwareabhängig. Verwende eigene Lasttests statt Hersteller-Spitzenwerte, wenn Produktionsplanung oder Beschaffung davon abhängen.
6.000 Dokumente pro Stunde mit je 4.000 Tokens erfordern rund 6.667 Token/s. Eine GPU mit 12.000 Token/s Benchmark und 75 % Zielauslastung liefert 9.000 nutzbare Token/s. Mit 20 % Reserve ergibt sich rechnerisch eine GPU.
Das hängt von Tokens je Dokument und der gemessenen Tokenrate pro GPU ab. Der Rechner wandelt das Dokumentvolumen in eine erforderliche Tokenrate um und berücksichtigt Zielauslastung sowie Redundanz.
Verwende möglichst einen eigenen Benchmark mit demselben Modell, derselben Präzision, Batch-Größe und ähnlichen Kontextlängen wie in der Produktion.
Damit noch Reserve für Lastspitzen, langsamere Requests, Scheduler-Overhead und schwankende Tokenlängen bleibt.
Der Prozentaufschlag bildet eine proportionale Reserve ab. Für eine feste N+1-Strategie kannst du zusätzlich eine GPU zur berechneten Mindestanzahl einplanen.
Nicht immer. Prefill und Decoding können unterschiedliche Leistungsprofile haben. Für eine einfache Kapazitätsplanung nutzt der Rechner eine gemeinsame gemessene Tokenrate über deinen realen Workload.
| Größe | Planungsrolle |
|---|---|
| Tokenrate | Rechenlast des Workloads |
| GPU-Benchmark | Gemessene Leistung je GPU |
| Redundanz | Zusätzliche Kapazitätsreserve |