Dieser Rechner verbindet die durchschnittliche Verarbeitungslatenz eines Dokuments mit der verfügbaren Parallelität. So lässt sich abschätzen, wie viele Dokumente pro Stunde eine KI-Dokumentpipeline verarbeiten kann, welche Auslastung bei gegebener Nachfrage entsteht und wie groß der Kapazitätspuffer ist. Ein Overhead-Faktor bildet Netzwerk-, Queue- und Retry-Zeiten ab.
Die sichere Kapazität reduziert die theoretische Maximalleistung auf die gewünschte Zielauslastung, damit Schwankungen und Warteschlangen nicht sofort zu Überlast führen.
Die Formel setzt weitgehend unabhängige parallele Verarbeitung voraus. Externe Rate Limits, gemeinsam genutzte Datenbanken und serielle Pipeline-Schritte können die reale Kapazität zusätzlich begrenzen.
Bei 8 Sekunden Basislatenz, 40 parallelen Slots und 15 % Overhead beträgt die effektive Latenz 9,2 Sekunden. Die theoretische Kapazität liegt bei rund 15.652 Dokumenten pro Stunde; bei 80 % Zielauslastung sind rund 12.522 Dokumente pro Stunde als sichere Kapazität angesetzt.
Multipliziere die Zahl paralleler Slots mit 3.600 Sekunden und teile durch die effektive Latenz je Dokument. Für eine sichere Kapazität wird zusätzlich die Zielauslastung angewendet.
Ein Puffer reduziert Warteschlangen und schafft Reserve für Lastspitzen, langsamere Dokumente und Wiederholungsversuche.
Für typische Kapazität eignet sich ein repräsentativer Mittel- oder Medianwert. Für konservative Planung ist eine höhere Perzentil-Latenz wie P95 oft hilfreicher.
Sie können die reale Kapazität unter den rechnerischen Wert drücken. Externe Limits müssen separat geprüft und als zusätzliche Obergrenze betrachtet werden.
Zum Beispiel Queue-Zeit, Netzwerk, Serialisierung, Retries, Vor- und Nachverarbeitung sowie zusätzliche Datenbankzugriffe.
| Größe | Einheit |
|---|---|
| Effektive Latenz | Sekunden pro Dokument |
| Parallelität | gleichzeitige Slots |
| Kapazität | Dokumente pro Stunde |