Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen/Modelltraining/Tokens und Kontext

Konzept

Warum Token die Kosten treiben

Wie Token-Zahlen zu den Kosten für das Training und die Nutzung eines Modells werden, mit konkreten Zahlenbeispielen, und welche Hebel die Rechnung tatsächlich senken.

Kapitel 23 Min. Lesezeit4 Quellen

Wofür Sie bezahlen

Anbieter rechnen die Leistung von Sprachmodellen in Token ab, da der Rechenaufwand eines Modells mit der Anzahl der verarbeiteten Token steigt. Beim Training wird jeder Token jedes Datensatzes gelesen, einmal pro Epoche. Bei der Nutzung eines Modells wird jeder Eingabe-Token gelesen und jeder Ausgabe-Token generiert, einer nach dem anderen.

Training · Abrechnung pro Token
Token in der TrainingsdateiKontext + Zielwerte, jeder Datensatz×Epochen×Preis pro Trainings-Token=Trainingskosten
Nutzung · pro Anfrage
Eingabe-Token × EingabepreisSystem-Prompt, Verlauf, Dokumente, Frage+Ausgabe-Token × Ausgabepreismeist der höhere Preis=Kosten für eine Anfrage
Das Training wird einmal pro Durchlauf bezahlt und skaliert mit den Epochen. Die Nutzung eines Modells wird bei jeder Anfrage bezahlt, und die Eingabe wird jedes Mal erneut gesendet.

Trainingskosten

Beim Training mit Abrechnung pro Token — wie die meisten Managed-Fine-Tuning-Dienste abrechnen — ist die Formel einfach:

Training pro Token
training cost = tokens in the training file × epochs × price per training token

Jeder Token in der Datei zählt, nicht nur die Zielantworten. Der System-Prompt und der Kontext jedes Datensatzes werden während des Trainings ebenfalls gelesen, auch wenn das Modell nur anhand der Ziele bewertet wird. Ein langer System-Prompt, der in jedem Datensatz wiederholt wird, oder lange Gesprächsverläufe machen das Training teurer.

Das Training auf gemieteten GPUs wird stattdessen nach Zeit abgerechnet: Laufzeit × Stundenpreis der GPU. Token sind weiterhin wichtig, da mehr Token mehr Zeit in Anspruch nehmen, aber Modellgröße, Trainingsmethode und Hardware spielen eine ebenso große Rolle.

Schätzung eines Trainingsdurchlaufs
  1. Ein aufbereiteter Datensatz umfasst 500 Datensätze mit durchschnittlich 800 Token: 400.000 Token.
  2. Drei Epochen bedeuten, dass das Modell 1,2 Millionen Token verarbeitet.
  3. Bei einem beispielhaften Preis von 3 $ pro Million Trainings-Token entspricht das etwa 3,60 $.
  4. Die Halbierung eines System-Prompts von 200 Token entfernt 50.000 Token aus der Datei — 150.000 weniger verarbeitete Token über drei Epochen.

Nutzungskosten

Ein trainiertes Modell wird entweder pro Token auf geteilten Kapazitäten bereitgestellt oder auf einem dedizierten Deployment, das pro Stunde abgerechnet wird, unabhängig davon, ob es genutzt wird oder nicht. Die Preisgestaltung pro Token trennt Eingabe-Token (alles, was gesendet wird: System-Prompt, Verlauf, abgerufene Dokumente, die Frage) von Ausgabe-Token (die Antwort). Ausgabe-Token sind in der Regel um ein Vielfaches teurer, da sie einzeln nacheinander generiert werden.

Nutzung pro Token
cost per request = input tokens × input price  +  output tokens × output price

Da die Eingabe bei jedem Aufruf erneut gesendet wird, stellt ein langer Prompt einen wiederkehrenden Kostenfaktor dar. Dies ist eines der praktischen Argumente für Fine-Tuning: Verhalten, das in den Gewichten erlernt wurde, muss nicht mehr in jeder Anfrage erklärt werden.

Was ein langer Prompt über einen Monat hinweg kostet
  1. Ein Assistent verarbeitet 100.000 Anfragen pro Monat. Seine Anweisungen umfassen 1.500 Token; die Frage und der Verlauf fügen weitere 500 hinzu.
  2. Das sind 2.000 Eingabe-Token pro Anfrage oder 200 Millionen Eingabe-Token im Monat.
  3. Nach dem Fine-Tuning schrumpfen die Anweisungen auf 150 Token: 650 Eingabe-Token pro Anfrage oder 65 Millionen im Monat — etwa ein Drittel.
  4. Ob dies Geld spart, hängt vom Preis des feinabgestimmten Modells ab, der bei einigen Anbietern höher ist als der des Basismodells. Vergleichen Sie beide, bevor Sie sich entscheiden.

Was die Kosten senkt

  • Weniger, aber bessere Beispiele. Ein paar hundert gut ausgewählte Datensätze sind oft besser als tausende verrauschte — und das zu einem Bruchteil der Trainingskosten.
  • Weniger Epochen. Die Kosten steigen proportional zu den Epochen, und mehr Epochen sind nicht immer besser.
  • Kürzere Datensätze. Das Kürzen alter Verläufe und ein kurzer System-Prompt reduzieren die Token sowohl beim Training als auch bei der Nutzung.
  • Ein kleineres Modell. Die Preise pro Token sinken stark mit der Modellgröße.
  • Abrechnung pro Token, wo möglich. Ein dediziertes Deployment kostet jede Stunde Geld, in der es existiert.

Häufige Fehler

  • Bei der Schätzung der Trainings-Token nur die Zielantworten zählen.
  • Vergessen, mit der Anzahl der Epochen zu multiplizieren.
  • Modelle nur anhand des Eingabepreises vergleichen, obwohl Ausgabe-Token meist teurer sind.
  • Ein dediziertes Test-Deployment weiterlaufen lassen, nachdem Sie es nicht mehr benötigen.
  • Eine Schätzung als verbindliches Angebot betrachten.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

  1. 01PricingClaude Platform Docs · platform.claude.comEin Beispiel für getrennte Preise für Eingabe- und Ausgabe-Token.
  2. 02Amazon Bedrock PricingAmazon Web Services · aws.amazon.comPreise für Inferenz pro Token, Anpassung und stündliches Hosting auf einer Seite.
  3. 03Token countingClaude Platform Docs · platform.claude.comToken zählen, bevor eine Anfrage gesendet wird.
  4. 04Understand and count tokensGemini API docs · ai.google.devWie ein anderer Anbieter Token zählt und abrechnet.
KonzeptTokenDie Textabschnitte, die ein Modell tatsächlich liest und schreibt — wie sie entstehen, warum die Zählungen zwischen Modellen variieren und warum jedes Limit und jeder Preis beim Training in ihnen gemessen wird.KonzeptKontextfensterDie maximale Anzahl an Token, die ein Modell auf einmal berücksichtigen kann, wie dieser Platz aufgeteilt wird und wie er sich von dem Limit pro Beispiel unterscheidet, das während des Trainings gilt.KonzeptWie das Training abgerechnet wirdDas meiste verwaltete Fine-Tuning wird pro verarbeitetem Token abgerechnet: Token in der Trainingsdatei mal Epochen mal Preis. Aufträge auf gemieteten GPUs werden stattdessen nach Zeit abgerechnet. Die anschließende Nutzung des Modells ist ein separater Kostenfaktor.KonzeptWas es kostet: Die Zahlen richtig lesenDie Modellnutzung wird auf verschiedene Arten abgerechnet. Daher ist jeder von Scalata angezeigte Betrag mit einem Status versehen — Endgültig, Geschätzt, Ausstehend oder Nicht abgerechnet —, der angibt, worauf die Zahl basiert.KonzeptServerless vs. dediziertServerless Serving rechnet pro Token auf geteilter Kapazität ohne Leerlaufkosten ab; ein dediziertes Deployment reserviert GPUs für Ihr Modell und wird für jede Stunde abgerechnet, die es existiert. Was günstiger ist, hängt von Ihrer Nutzung ab.KonzeptInferenz und DeploymentInferenz ist die Nutzung eines Modells zur Generierung von Antworten. Ein trainiertes Modell muss zunächst bereitgestellt werden — seine Gewichte werden auf Hardware hinter einem Endpunkt geladen —, was Minuten dauern kann und anschließend pro Token oder pro Stunde abgerechnet wird.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren