Dieser Rechner plant das Tokenbudget eines Fine-Tuning-Laufs. Aus der Anzahl der Beispiele, durchschnittlichen Eingabe- und Ausgabe-Tokens, der Epochenzahl und dem Validierungsanteil wird geschätzt, wie viele Tokens für Training und Validierung verarbeitet werden. Zusätzlich siehst du die Tokenmenge pro Epoche und kannst verschiedene Datensatz- oder Epochenszenarien vergleichen, bevor du Kosten und Laufzeit abschätzt.
Tokens je Beispiel = Ø Eingabe-Tokens + Ø Ausgabe-Tokens
Trainingstokens = Beispiele × (1 − Validierungsanteil) × Tokens je Beispiel × Epochen
Gesamtbudget = Trainingstokens + Validierungsbeispiele × Tokens je Beispiel
Das Ergebnis ist ein Planungsbudget für verarbeitete Tokens. Es entspricht nicht zwingend der abrechnungsfähigen Tokenmenge eines konkreten Anbieters, weil Tokenisierung, Chat-Formatierung, Padding oder spezielle Trainingsregeln abweichen können.
Validierung wird hier einmalig zum Budget addiert. Wenn dein Trainingssystem pro Epoche oder häufiger validiert, muss der Validierungsanteil entsprechend mehrfach berücksichtigt werden.
10.000 Beispiele mit durchschnittlich 700 Eingabe- und 300 Ausgabe-Tokens, 3 Epochen und 10 % Validierung ergeben 27 Mio. Trainingstokens plus 1 Mio. Validierungstokens, insgesamt 28 Mio. Tokens.
Multipliziere die Trainingsbeispiele nach Abzug der Validierung mit den durchschnittlichen Tokens pro Beispiel und anschließend mit drei Epochen.
Für die Ressourcenplanung ja. Dieser Rechner addiert die Validierungsmenge einmal; konkrete Plattformen können Validierung anders abrechnen oder ausführen.
Ein höherer Validierungsanteil reduziert die Zahl der Trainingsbeispiele und damit die Trainingstokens, erhöht aber die separat betrachtete Validierungsmenge.
Beide zusammen bestimmen die Sequenzlänge pro Beispiel. Die getrennte Eingabe hilft, Datensatzänderungen und unterschiedliche Aufgabenformate besser zu planen.
Ja. Berechne einen Lauf und multipliziere das Gesamtbudget mit der Anzahl geplanter Runs oder ändere die Eingaben für unterschiedliche Szenarien.
| Komponente | Formel |
|---|---|
| Tokens je Beispiel | Eingabe + Ausgabe |
| Training je Epoche | Trainingsbeispiele × Tokens je Beispiel |
| Training gesamt | Training je Epoche × Epochen |