Der Durchsatzrechner schätzt, wie viele Dokumente eine KI-Dokumentpipeline pro Stunde verarbeiten kann. Er kombiniert Parallelität, Batch-Größe, durchschnittliche Batch-Latenz und eine Effizienzquote, die Leerlauf, Queueing und sonstige Pipelineverluste abbildet. Mit Seiten pro Dokument lässt sich der technische Durchsatz zusätzlich in Seiten pro Stunde übersetzen.
Der technische Durchsatz beschreibt die verarbeitbare Menge bei den angegebenen Annahmen. Er ist nicht identisch mit der sicheren Produktionskapazität, wenn Lastspitzen, Rate Limits oder Warteschlangen hinzukommen.
Wenn einzelne Pipeline-Stufen unterschiedliche Kapazitäten haben, bestimmt der langsamste Schritt den realen End-to-End-Durchsatz.
24 Worker × 4 Dokumente pro Batch × 3.600 ÷ 10 Sekunden × 85 % ergeben rund 29.376 Dokumente pro Stunde. Bei durchschnittlich 6 Seiten sind das rund 176.256 Seiten pro Stunde.
Multipliziere Dokumente pro Batch mit 3.600 und teile durch die Batch-Latenz. Danach werden Pipeline-Effizienz und Zahl paralleler Worker angewendet.
In realen Systemen entstehen Leerlauf, Queueing, I/O, Synchronisation und andere Verluste. Die Effizienz bildet diese Differenz zur idealen Rechenleistung ab.
Nicht zwingend. Größere Batches können den Durchsatz verbessern, erhöhen aber Speicherbedarf und unter Umständen Latenz. Der optimale Wert muss gemessen werden.
Multipliziere Dokumente pro Stunde mit der durchschnittlichen Seitenzahl je Dokument.
Durchsatz ist die technische Verarbeitungsrate. Ein Kapazitätspuffer reduziert die planbare Last unter diese Rate, damit Schwankungen und Spitzen abgefangen werden können.
| Faktor | Wirkung |
|---|---|
| Parallelität | Skaliert gleichzeitig verarbeitete Batches |
| Batch-Größe | Dokumente pro Verarbeitungsschritt |
| Latenz | Zeit je Batch |
| Effizienz | Abschlag für reale Pipelineverluste |