Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen/Modelltraining/Was während des Trainings passiert

Konzept

Wie das Training abgerechnet wird

Das meiste verwaltete Fine-Tuning wird pro verarbeitetem Token abgerechnet: Token in der Trainingsdatei mal Epochen mal Preis. Aufträge auf gemieteten GPUs werden stattdessen nach Zeit abgerechnet. Die anschließende Nutzung des Modells ist ein separater Kostenfaktor.

Kapitel 64 Min. Lesezeit3 Quellen

Die wichtigsten Abrechnungsmodelle

AbgerechnetFormelTypisch für
Pro Trainings-TokenToken in der Trainingsdatei × Epochen × Preis pro TokenDie meisten verwalteten Fine-Tuning-Dienste
Pro GPU-ZeitLaufzeit × Stundensatz × Anzahl der GPUsJobs auf gemieteten GPUs, in der Regel offene Modelle
Pro TrainingsstundeStunden × ein (hoher) StundensatzTeilweise gehostetes Reinforcement-Fine-Tuning
Pro Inferenz-TokenEingabe- und Ausgabe-Token × Preis des ModellsEvaluierungen, Judges, Teacher-Modelle, Test-Chats
Nach Trainings-Token
2,000,000Token in der Trainingsdatei×3Epochen=6,000,000abgerechnete Trainings-Token×$3.00pro Million Token (Beispiel)=$18.00Trainingskosten
Nach GPU-Zeit
45 MinutenJob-Laufzeit×$1.20pro GPU-Stunde (Beispiel)=$0.90Trainingskosten
Die zwei gängigen Abrechnungsmethoden für das Training mit beispielhaften Preisen. Der Preis pro Token ist vor Beginn des Jobs bekannt, sobald die Anzahl der Epochen festgelegt ist. Der GPU-Preis hängt von der Laufzeit des Jobs ab, die wiederum von Modellgröße, Datenmenge und Methode abhängt.

Training nach Token

Verwaltete Fine-Tuning-Dienste zählen die Token in Ihrer Trainingsdatei und berechnen jeden Token, der beim Training verarbeitet wird. Jede Epoche verarbeitet die gesamte Datei erneut, sodass sich die Rechnung aus den Token der Datei mal der Anzahl der Epochen mal dem Preis zusammensetzt, der meist pro Million Token angegeben wird. Lesen Sie die Preisliste genau: Einige Dienste berechnen auch Validierungs-Token, erheben eine Mindestgebühr pro Auftrag, bepreisen Preference Tuning höher als überwachtes Training oder verlangen eine monatliche Gebühr für die Speicherung des trainierten Modells.

Die beiden Formeln
per training token:  cost = tokens in the training file × epochs × price per token
per GPU time:        cost = runtime in hours × hourly rate × number of GPUs
Schätzung eines Token-basierten Auftrags
  1. Daten: 1.500 Konversationen mit durchschnittlich 1.200 Token nach der Aufbereitung: 1.800.000 Token.
  2. Epochen: 3, somit werden 5.400.000 Trainings-Token verarbeitet.
  3. Preis: Bei einem Beispielpreis von 3,00 $ pro Million Trainings-Token, 5,4 × 3,00 $ = 16,20 $.
  4. Mit Auto-Epochen: Hätte der Anbieter 2 oder 4 Epochen gewählt, würde derselbe Auftrag 10,80 $ oder 21,60 $ kosten. Diese Spanne ist der Grund, warum ein Vorab-Betrag eine Schätzung ist.
  5. Token-Anzahl: Der Anbieter zählt mit seinem eigenen Tokenizer, sodass eine Schätzung anhand der Textlänge um einige Prozent in beide Richtungen abweichen kann.

Training nach GPU-Zeit

Wenn das Training auf gemieteten GPUs läuft, was für offene Modelle typisch ist, zahlen Sie für die Zeit: die Laufzeit des Auftrags mal dem Stundensatz der GPU, mal der Anzahl der GPUs. Die Laufzeit steigt mit der Modellgröße, der Anzahl der Token, den Epochen und der Methode. Methoden, die während des Trainings Text generieren, wie On-Policy-Destillation und Reinforcement Learning, verbringen viel Zeit damit, Antworten Token für Token zu schreiben, was sie pro Beispiel langsamer macht als überwachtes Training. Ein größeres Modell benötigt möglicherweise auch eine größere GPU oder mehrere, zu einem höheren Stundensatz.

Schätzung eines GPU-Auftrags
  1. Auftrag: LoRA-Finetuning eines kleinen offenen Modells, das 45 Minuten auf einer GPU läuft.
  2. Stundensatz: Bei beispielhaften 1,20 $ pro GPU-Stunde, 0,75 h × 1,20 $ = 0,90 $.
  3. Ein doppelt so großes Modell benötigt möglicherweise eine GPU mit mehr Speicher zu einem höheren Stundensatz und läuft zudem länger: Die beiden Faktoren multiplizieren sich.
  4. Overhead zählt: Das Starten, das Laden des Modells und das Speichern der Ergebnisse sind in der Regel Teil der abgerechneten Zeit, was besonders bei kurzen Aufträgen ins Gewicht fällt.

Was sonst noch Geld kostet

  • Evaluierung: Die Generierung von Antworten durch Basis- und feinabgestimmte Modelle sowie deren Bewertung durch ein Judge-Modell wird pro Token abgerechnet.
  • Teacher-Modelle bei der Destillation: Die Antworten des Teachers werden pro Eingabe- und Ausgabe-Token abgerechnet, zusätzlich zum Training des Students.
  • Serving: Geteilte (serverlose) Kapazitäten werden pro genutztem Token abgerechnet; ein dediziertes Deployment wird pro Stunde abgerechnet, solange es existiert, selbst im Leerlauf.
  • Speicher: Einige Anbieter erheben Gebühren für die Aufbewahrung trainierter Modelle oder hochgeladener Dateien.

Jede Kostenangabe ist nur so gut wie ihre Grundlage. Deshalb ist jede mit einem Status versehen — Endgültig, Geschätzt, Ausstehend oder Nicht abgerechnet —, der angibt, ob es sich um die eigene Zahl des Anbieters, die zu Beginn vorgenommene Schätzung, einen noch laufenden Auftrag oder einen vor der Abrechnung gestoppten Auftrag handelt.

Wie Sie die Kosten niedrig halten

  • Bereinigen Sie vor dem Training. Duplikate, Fehlerantworten und überlange Konversationen fügen abgerechnete Token hinzu, ohne das Signal zu verbessern.
  • Fangen Sie klein an. Ein erster Durchlauf mit einer Teilmenge oder weniger Epochen zeigt, ob der Ansatz funktioniert, bevor Sie für den gesamten Auftrag bezahlen.
  • Verwenden Sie das kleinste Basismodell, das Ihre Evaluierung besteht. Sowohl Training als auch Serving werden dadurch günstiger.
  • Bevorzugen Sie LoRA bei offenen Modellen: weniger Speicher, kleinere GPUs, schnellere Durchläufe.
  • Löschen Sie dedizierte Deployments, wenn die Tests abgeschlossen sind; sie werden stundenweise abgerechnet.

Häufige Fehler

  • Vergessen, dass Epochen die Rechnung multiplizieren: Vier Epochen kosten viermal so viel wie eine.
  • Nur für das Training budgetieren und dann ein dediziertes Deployment tagelang laufen lassen.
  • Preise pro Token anbieterübergreifend vergleichen, ohne deren Epochen, Mindestgebühren und Speicherkosten zu berücksichtigen.
  • Training mit unbereinigten Daten und Bezahlen für Token, die nur Rauschen vermitteln.
  • Eine Vorabschätzung als verbindliches Angebot betrachten. Die anbietereigene Token-Anzahl und die gewählten Epochen bestimmen den Endbetrag.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

  1. 01Amazon Bedrock PricingAmazon Web Services · aws.amazon.comEine Preisliste eines Anbieters, die trainierte Token als Korpus-Token × Epochen ausweist, zuzüglich Speicher- und Stundenpreisen.
  2. 02PricingTogether AI · together.aiFine-Tuning-Preise pro Token nach Modellgröße, mit Mindestgebühren und separaten Tarifen für Preference Tuning.
  3. 03GPU memory usageHugging Face Transformers docs · huggingface.coWarum die Modellgröße bestimmt, welche GPU und somit welchen Stundensatz ein Auftrag benötigt.
KonzeptWarum Token die Kosten treibenWie Token-Zahlen zu den Kosten für das Training und die Nutzung eines Modells werden, mit konkreten Zahlenbeispielen, und welche Hebel die Rechnung tatsächlich senken.KonzeptWas es kostet: Die Zahlen richtig lesenDie Modellnutzung wird auf verschiedene Arten abgerechnet. Daher ist jeder von Scalata angezeigte Betrag mit einem Status versehen — Endgültig, Geschätzt, Ausstehend oder Nicht abgerechnet —, der angibt, worauf die Zahl basiert.KonzeptTokenDie Textabschnitte, die ein Modell tatsächlich liest und schreibt — wie sie entstehen, warum die Zählungen zwischen Modellen variieren und warum jedes Limit und jeder Preis beim Training in ihnen gemessen wird.KonzeptEpoche, Batch und StepEin Batch ist die Gruppe von Beispielen, die einem Gewichtsupdate zugrunde liegt, ein Step ist ein Update und eine Epoche ist ein vollständiger Durchlauf durch die Trainingsdaten. Zusammen bestimmen sie, wie oft sich das Modell ändert und wie oft es jedes Beispiel sieht.KonzeptServerless vs. dediziertServerless Serving rechnet pro Token auf geteilter Kapazität ohne Leerlaufkosten ab; ein dediziertes Deployment reserviert GPUs für Ihr Modell und wird für jede Stunde abgerechnet, die es existiert. Was günstiger ist, hängt von Ihrer Nutzung ab.MethodeLoRA und Adapter (PEFT)LoRA friert das Basismodell ein und trainiert zwei kleine Matrizen neben ausgewählten Schichten, deren Produkt zu den eingefrorenen Gewichten addiert wird. Es reduziert die trainierbaren Gewichte und den Speicherbedarf drastisch und erreicht bei guter Konfiguration die Leistung eines vollständigen Fine-Tunings auf typischen Fine-Tuning-Datensätzen.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren