Dimensioniere die Latenzkapazität für eine KI-Übersetzungspipeline. Aus mittlerer End-to-End-Latenz, maximaler Parallelität, nutzbaren Betriebsstunden und Zielauslastung wird berechnet, wie viele Aufgaben pro Stunde und Tag verarbeitet werden können und wie viel Kapazität gegenüber deinem geplanten Tagesvolumen fehlt oder übrig bleibt.
Die Kapazität zeigt, wie viele Aufgaben deine Pipeline unter den eingegebenen Annahmen bewältigen kann. Der Puffer vergleicht diese Kapazität mit dem geplanten Tagesbedarf.
Verwende für Produktionsplanung möglichst P95-Latenzen oder ergänze eine konservative Auslastung, wenn die Laufzeit stark schwankt.
Bei 2.5 Sekunden Latenz. 80 parallelen Aufgaben und 80 % Zielauslastung beträgt die theoretisch nutzbare Stundenkapazität 92.160 Aufgaben.
Für konservative Kapazitätsplanung eignet sich häufig ein höheres Perzentil wie P95 besser als nur der Mittelwert, sofern diese Messung verfügbar ist.
Eine Auslastung unter 100 % lässt Reserve für Lastspitzen, Schwankungen, Wartung und kurze Störungen.
Bei gleicher Latenz steigt die rechnerische Kapazität proportional mit der Zahl paralleler Aufgaben, solange keine anderen Engpässe greifen.
Dann liegt der geplante Tagesbedarf über der errechneten Tageskapazität. Du brauchst geringere Latenz, mehr Parallelität, längere Betriebszeit oder weniger Nachfrage.
Nein. Rate Limits müssen als zusätzlicher Engpass geprüft werden; die tatsächliche Kapazität ist immer durch den knappsten Ressourcenfaktor begrenzt.
| Kennzahl | Bedeutung |
|---|---|
| Stundenkapazität | Nutzbare Aufgaben je Stunde. |
| Tageskapazität | Kapazität über die eingegebenen Betriebsstunden. |
| Puffer | Differenz zwischen Tageskapazität und Tagesbedarf. |