Dieser Rechner bewertet, wie sich eine veränderte Inferenzlatenz nach Fine-Tuning auf die Kapazität eines Dienstes auswirken kann. Du vergleichst die gemessene Basislatenz mit der Latenz des feinabgestimmten Modells, gibst die verfügbare Parallelität und deine erwartete Anfragerate an. Das Ergebnis zeigt die theoretische Kapazität, den relativen Kapazitätsgewinn und die verbleibende Reserve gegenüber der geplanten Last.
Kapazität = Parallelität × 1.000 / Latenz in ms
Kapazitätsveränderung = Fine-Tuning-Kapazität / Basiskapazität − 1
Die Hauptzahl ist eine idealisierte Anfragekapazität auf Basis von Parallelität und gemessener End-to-End-Latenz. Sie eignet sich für Szenariovergleiche, ersetzt aber keinen Lasttest.
Fine-Tuning kann Qualität, Prompt-Länge oder Modellauswahl verändern. Eine niedrigere Latenz ist nicht automatisch garantiert und sollte gemessen werden.
Bei 700 ms Basislatenz, 520 ms Fine-Tuning-Latenz und 24 parallelen Slots steigt die theoretische Kapazität von 34,29 auf 46,15 Aufgaben/s. Bei 30 Aufgaben/s Last bleiben rund 16,15 Aufgaben/s Reserve.
Bei fester Parallelität teilt der Rechner die verfügbaren parallelen Millisekunden durch die gemessene Latenz und erhält daraus eine theoretische Aufgabenrate.
Die erwartete Last liegt über der berechneten Kapazität. Das Szenario wäre ohne zusätzliche Parallelität oder niedrigere Latenz überlastet.
Nein. Die Auswirkung hängt von Modell, Prompt-Länge, Architektur und Serving-Stack ab. Deshalb verwendet der Rechner gemessene Latenzwerte als Eingabe.
Für konservative Planung ist ein hoher Perzentilwert wie P95 oft geeigneter als der Median, sofern er aus repräsentativer Last stammt.
In der vereinfachten Formel steigt die theoretische Kapazität proportional zur Parallelität, solange die Latenz unter höherer Last stabil bleibt.
| Kennzahl | Bedeutung |
|---|---|
| Basiskapazität | Kapazität mit ursprünglicher Latenz |
| Fine-Tuning-Kapazität | Kapazität mit neuer Latenz |
| Reserve | Kapazität minus erwartete Last |