Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen/Modelltraining/Testen und Bereitstellen eines Modells

Konzept

Serverless vs. dediziert

Serverless Serving rechnet pro Token auf geteilter Kapazität ohne Leerlaufkosten ab; ein dediziertes Deployment reserviert GPUs für Ihr Modell und wird für jede Stunde abgerechnet, die es existiert. Was günstiger ist, hängt von Ihrer Nutzung ab.

Kapitel 93 Min. Lesezeit3 Quellen

Was es ist

Es gibt zwei Möglichkeiten, ein trainiertes Modell auszuführen. Serverless (auch Pro-Token oder On-Demand genannt) führt es auf Kapazitäten aus, die der Anbieter zwischen vielen Kunden teilt: Sie senden Anfragen und zahlen für die ein- und ausgehenden Token, und wenn Sie nichts senden, zahlen Sie nichts. Ein dediziertes Deployment reserviert Hardware ausschließlich für Ihr Modell: Es ist immer geladen und einsatzbereit, und Sie zahlen für jede Stunde, die es existiert.

ServerlessDediziert
Abgerechnet nachEingabe- und Ausgabe-TokenStunden, die das Deployment existiert
LeerlaufkostenKeineVoller Stundenpreis
StartzeitMeist sofortEin Kaltstart von mehreren Minuten bei der Erstellung
KapazitätGeteilt; unterliegt Rate LimitsReserviert; vorhersehbarer Durchsatz
VerfügbarkeitNur für Modelle, die der Anbieter auf diese Weise unterstütztDie meisten trainierten Modelle, einschließlich offener Modelle

Wie die Kosten im Vergleich stehen

der Break-even-Point
serverless cost per day  = tokens per day × price per token
dedicated cost per day   = 24 × hourly price               (used or not)
break-even tokens/day    = 24 × hourly price ÷ price per token
Nutzung (Token pro Tag)Kosten pro TagBREAK-EVENSERVERLESS GÜNSTIGERDEDIZIERT GÜNSTIGERDedicated: Stunden × StundenpreisServerless: Token × Preis
Serverless-Kosten steigen mit jedem Token; ein Dedicated-Deployment kostet pro Stunde dasselbe, unabhängig davon, ob es eine Frage oder eine Million beantwortet. Unterhalb des Break-even-Punkts ist Serverless günstiger, oberhalb davon Dedicated — und ein ungenutztes Dedicated-Deployment befindet sich ganz links im Diagramm und zahlt den vollen Preis für nichts.

Das Prinzip: Bei einem dedizierten Deployment entsprechen die Kosten pro Token dem Stundenpreis geteilt durch die Anzahl der Token, die Sie in dieser Stunde tatsächlich verarbeiten. Bei Volllast kann das günstiger sein als Serverless. Bei geringer Auslastung ist es weitaus teurer, und eine Leerlaufstunde hat unendliche Kosten pro Token. Serverless verhält sich genau umgekehrt: Der Preis pro Token ist fix, sodass die Kosten exakt der Nutzung entsprechen.

Warum ist nicht alles Serverless? Shared Serving funktioniert, indem ein Basismodell für viele Kunden geladen bleibt. Einige Anbieter können diesem geteilten Modell pro Anfrage einen kleinen, feinabgestimmten Adapter hinzufügen, was eine Pro-Token-Bereitstellung für optimierte Modelle ermöglicht. Andere benötigen das gesamte optimierte Modell auf eigener Hardware geladen — üblich bei offenen Modellen und vollständigen Fine-Tunes — und dann ist ein dediziertes Deployment die einzige Option. Einige Anbieter gehen noch weiter und verlangen reservierte Kapazitäten für jedes angepasste Modell.

Rechenbeispiel: illustrative Preise, drei Nutzungsniveaus
  1. Nehmen wir an (illustrativ, keine echten Preise), Serverless kostet 0,60 $ pro Million Token und ein dediziertes Deployment 5 $ pro Stunde, also 120 $ pro Tag.
  2. Break-even: 120 $ ÷ 0,60 $ pro Million = 200 Millionen Token pro Tag.
  3. Ein Testtag: 300 Fragen × 1.500 Token = 450.000 Token. Serverless: etwa 0,27 $. Dediziert: 120 $ für den Tag, oder 10 $, wenn Sie es nach zwei Stunden löschen.
  4. Ein viel genutzter interner Assistent: 50 Millionen Token pro Tag. Serverless: 30 $. Dediziert: weiterhin 120 $.
  5. Ein Produkt mit hohem Volumen: 500 Millionen Token pro Tag. Serverless: 300 $. Dediziert: 120 $, sofern ein Deployment die Last bewältigen kann.

So treffen Sie die richtige Wahl

  • Nutzen Sie Serverless, wenn es verfügbar ist und die Nutzung gering, ungewiss oder sprunghaft ist — bei Tests, Evaluierungen, Pilotprojekten.
  • Nutzen Sie dedizierte Deployments, wenn das Modell nur auf diese Weise bereitgestellt werden kann, wenn der stetige Traffic über dem Break-even liegt oder wenn Sie garantierte Kapazität und Latenz benötigen.
  • Legen Sie bei einem dedizierten Deployment für Tests immer eine Endzeit fest und löschen Sie es nach Abschluss. Verpflichtungen über Wochen oder Monate können den Stundenpreis senken, schließen diese Option jedoch aus.

Häufige Fehler

  • Ein dediziertes Test-Deployment vergessen und tagelang für Leerlaufstunden bezahlen.
  • Einen dedizierten Stundenpreis mit einem Serverless-Preis pro Token vergleichen, ohne diesen anhand der erwarteten Nutzung umzurechnen.
  • Davon ausgehen, dass ein optimiertes Modell pro Token bereitgestellt werden kann, nur weil dies beim Basismodell der Fall ist.
  • Eine langfristige Kapazitätsverpflichtung für ein Modell eingehen, das noch iteriert wird.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

  1. 01Increase model invocation capacity with Provisioned Throughput in Amazon BedrockAmazon Bedrock User Guide · docs.aws.amazon.comEin reales Beispiel für reservierte Kapazität: stündliche Abrechnung bis zur Löschung, mit optionalen Laufzeitverpflichtungen.
  2. 02Inference EndpointsHugging Face docs · huggingface.coDedizierte Endpunkte für offene Modelle, mit Autoscaling.
  3. 03Serverless computingWikipedia · en.wikipedia.orgDas allgemeine Modell der nutzungsbasierten Bezahlung und seine Kompromisse wie Kaltstarts.
KonzeptInferenz und DeploymentInferenz ist die Nutzung eines Modells zur Generierung von Antworten. Ein trainiertes Modell muss zunächst bereitgestellt werden — seine Gewichte werden auf Hardware hinter einem Endpunkt geladen —, was Minuten dauern kann und anschließend pro Token oder pro Stunde abgerechnet wird.KonzeptWarum Token die Kosten treibenWie Token-Zahlen zu den Kosten für das Training und die Nutzung eines Modells werden, mit konkreten Zahlenbeispielen, und welche Hebel die Rechnung tatsächlich senken.KonzeptWas es kostet: Die Zahlen richtig lesenDie Modellnutzung wird auf verschiedene Arten abgerechnet. Daher ist jeder von Scalata angezeigte Betrag mit einem Status versehen — Endgültig, Geschätzt, Ausstehend oder Nicht abgerechnet —, der angibt, worauf die Zahl basiert.KonzeptWie das Training abgerechnet wirdDas meiste verwaltete Fine-Tuning wird pro verarbeitetem Token abgerechnet: Token in der Trainingsdatei mal Epochen mal Preis. Aufträge auf gemieteten GPUs werden stattdessen nach Zeit abgerechnet. Die anschließende Nutzung des Modells ist ein separater Kostenfaktor.Best PracticePasst das Modell? Speicherbedarf für das TrainingDas Training benötigt Platz für die Gewichte des Modells, seine Gradienten und den Zustand des Optimizers sowie für den Arbeitsspeicher. Eine einfache Faustregel – etwa 2 GB pro Milliarde Parameter für LoRA und 12 GB für vollständiges Fine-Tuning – sagt Ihnen vor dem Start, ob ein Modell auf Ihre Maschine passt.MethodeLoRA und Adapter (PEFT)LoRA friert das Basismodell ein und trainiert zwei kleine Matrizen neben ausgewählten Schichten, deren Produkt zu den eingefrorenen Gewichten addiert wird. Es reduziert die trainierbaren Gewichte und den Speicherbedarf drastisch und erreicht bei guter Konfiguration die Leistung eines vollständigen Fine-Tunings auf typischen Fine-Tuning-Datensätzen.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren