Bestimme den benötigten GPU-Pool für eine KI-Übersetzungspipeline. Der Rechner übersetzt die gewünschte Aufgabenrate und die durchschnittliche GPU-Bindungszeit in gleichzeitige Last und berücksichtigt, wie viele Aufgaben eine GPU parallel bedienen kann. Mit einer Zielauslastung unter 100 % entsteht eine praxisnahe Kapazitätsreserve.
Der Mindestwert ist die ganzzahlige GPU-Anzahl, die den eingegebenen Durchsatz bei der gewählten Zielauslastung rechnerisch abdecken kann. Die Reserve zeigt, wie viel rechnerische GPU-Kapazität nach Rundung verbleibt.
Das Modell setzt eine gleichmäßige Last voraus. Speicherbedarf, Modellgröße, Batch-Effekte, Multi-GPU-Inferenz und Startzeiten können den realen Bedarf verändern.
Bei 4 Aufgaben pro Sekunde und 1.8 GPU-Sekunden je Aufgabe entstehen 7.2 gleichzeitig gebundene Aufgaben. Bei 12 parallelen Aufgaben je GPU wird dieser Bedarf anschließend durch die Zielauslastung skaliert und auf ganze GPUs aufgerundet.
Miss die tatsächlich belegte GPU-Zeit vom Start bis zum Ende der GPU-Ausführung und verwende einen für deine Last repräsentativen Wert.
GPUs sind diskrete Ressourcen. Ein rechnerischer Bedarf von beispielsweise 2,1 GPUs erfordert in der Praxis mindestens drei GPUs.
Effizientes Batching kann den Durchsatz pro GPU erhöhen und damit die effektive Parallelität verändern. Nutze im Rechner die gemessene Parallelität deines Setups.
Nein. Wenn mehrere parallele Aufgaben nicht gleichzeitig in den GPU-Speicher passen, musst du die Parallelität je GPU entsprechend reduzieren.
Der Rechner plant dann nur 80 % der rechnerischen GPU-Kapazität als dauerhaft nutzbar ein und lässt 20 % Reserve für Schwankungen.
| Kennzahl | Bedeutung |
|---|---|
| Rohbedarf | Theoretische GPU-Menge ohne Auslastungsreserve. |
| Gleichzeitige Last | Erwartete gleichzeitig GPU-gebundene Aufgaben. |
| Reserve | Kapazität nach Rundung und Zielauslastung. |