#798 · Rechner für KI & Technologie

Fine-Tuning-GPU-Bedarfsrechner

Dieser Rechner dimensioniert die GPU-Anzahl für die Inferenz eines feinabgestimmten Modells anhand eines klaren Kapazitätsziels. Du gibst die benötigten Ausgabe- oder Verarbeitungstokens pro Sekunde, den gemessenen Durchsatz einer einzelnen GPU, eine realistische Effizienz beziehungsweise Zielauslastung und gewünschte Redundanz-GPUs an. Das Ergebnis trennt produktiven Mindestbedarf und zusätzliche Ausfallsreserve.

Rechner

Eingaben

So verwendest du diesen Rechner

Trage gemessene oder realistisch geplante Ausgangswerte ein.
Prüfe Einheiten, Preise und Prozentwerte sorgfältig.
Klicke auf „Berechnen“ und lies Hauptwert sowie Nebenkennzahlen gemeinsam.
Verändere einen Parameter nach dem anderen, um Szenarien sauber zu vergleichen.

Formel

Nutzbarer Durchsatz je GPU = gemessener Durchsatz × Effizienz

Produktive GPUs = Aufrunden(Zieldurchsatz / nutzbarer GPU-Durchsatz)

Gesamt-GPUs = produktive GPUs + Redundanz

Was das Ergebnis bedeutet

Die Hauptzahl enthält sowohl die für die Ziel-Tokenrate benötigten GPUs als auch die manuell definierte Redundanz. Der Rechner setzt voraus, dass der gemessene Durchsatz pro GPU bei deiner Modell- und Serving-Konfiguration repräsentativ ist.

Speicherbedarf, Modellparallelismus, Interconnect und Batch-Latenz sind nicht automatisch aus der Tokenrate ableitbar und müssen separat validiert werden.

Beispielrechnung

Für 180.000 Tokens/s bei 75.000 Tokens/s pro GPU und 75 % nutzbarer Effizienz sind 4 produktive GPUs nötig. Mit einer zusätzlichen Redundanz-GPU ergibt sich ein Gesamtbedarf von 5 GPUs.

Tipps für bessere Ergebnisse

Miss den Durchsatz nach dem Fine-Tuning mit realistischen Sequenzlängen.
Vermeide die Dimensionierung auf Basis von Hersteller-Spitzenwerten allein.
Plane Redundanz passend zu deinem Verfügbarkeitsziel.
Prüfe, ob das Modell auf einer GPU vollständig in den Speicher passt.

Häufig gestellte Fragen

Wie viele GPUs brauche ich für 180.000 Tokens pro Sekunde bei einem Fine-Tuning-Modell?

Das hängt vom gemessenen Durchsatz je GPU und der nutzbaren Effizienz ab. Bei 75.000 Tokens/s und 75 % Effizienz sind vier produktive GPUs nötig.

Warum wird der GPU-Durchsatz mit einer Effizienz kleiner als 100 % multipliziert?

Damit werden Reserve, Scheduling-Verluste und die Differenz zwischen Spitzen- und dauerhaft nutzbarer Leistung berücksichtigt.

Soll ich Redundanz-GPUs zusätzlich zum Mindestbedarf einplanen?

Für produktive Systeme kann das sinnvoll sein, wenn ein GPU-Ausfall oder Wartung ohne sofortige Überlastung abgefangen werden soll.

Berücksichtigt der Rechner Tensor- oder Pipeline-Parallelismus?

Nein. Er arbeitet mit einem gemessenen effektiven Durchsatz je GPU. Komplexe Parallelisierungsstrategien sollten in diesem Messwert bereits reflektiert sein.

Kann ich den Rechner für Training statt Inferenz verwenden?

Die Formel ist für einen Durchsatzbedarf in Tokens pro Sekunde ausgelegt. Trainingsplanung benötigt zusätzlich Batch-Größe, Sequenzlänge, Schritte und Speicherparameter.

GPU-Dimensionierung

Kennzahl	Berechnung
Nutzbarer GPU-Durchsatz	Messwert × Effizienz
Produktiver Bedarf	Aufgerundeter Zieldurchsatz
Gesamtbedarf	Produktiver Bedarf + Redundanz