Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen/Modelltraining/Testen und Bereitstellen eines Modells

Konzept

Inferenz und Deployment

Inferenz ist die Nutzung eines Modells zur Generierung von Antworten. Ein trainiertes Modell muss zunächst bereitgestellt werden — seine Gewichte werden auf Hardware hinter einem Endpunkt geladen —, was Minuten dauern kann und anschließend pro Token oder pro Stunde abgerechnet wird.

Kapitel 93 Min. Lesezeit4 Quellen

Was es ist

Inferenz ist alles, was nach dem Training passiert: Ein Prompt wird eingegeben, das Modell liefert eine Antwort. Es wird nichts dazugelernt; die Gewichte bleiben unverändert. Jeder Test-Chat, jede Evaluierungsantwort, jede Judge-Bewertung und jede Antwort in der Produktion ist Inferenz.

Funktionsweise

Ein Modell generiert Text Token für Token. Zuerst liest es den gesamten Prompt in einem Durchgang (als Prefill bezeichnet), was schnell geht, da alle Token parallel verarbeitet werden können. Dann dekodiert es: Es sagt das nächste Token voraus, hängt es an und wiederholt diesen Vorgang, bis es ein End-Token erzeugt oder ein Längenlimit erreicht. Jedes neue Token erfordert einen weiteren Durchlauf durch das Modell, weshalb lange Antworten mehr Zeit in Anspruch nehmen als lange Fragen.

  • Zeit bis zum ersten Token besteht hauptsächlich aus dem Prefill-Vorgang: Je länger der Prompt, desto länger die Wartezeit, bis etwas erscheint.
  • Token pro Sekunde beschreibt die Dekodiergeschwindigkeit: Sie bestimmt, wie schnell die Antwort gestreamt wird.
  • Sampling-Einstellungen wie die Temperatur entscheiden, wie das nächste Token aus den Wahrscheinlichkeiten des Modells ausgewählt wird. Niedrige Werte machen Antworten vorhersehbarer; hohe Werte sorgen für mehr Varianz.
  • Batching: Ein Server beantwortet viele Anfragen gleichzeitig, um die GPU auszulasten. Serving-Systeme wie vLLM verwalten den Speicher so effizient, dass sie den Durchsatz im Vergleich zu früheren Systemen bei gleicher Latenz um das 2- bis 4-Fache steigern konnten.

Deployment

Das Training erzeugt einen Satz von Gewichten, der beim Anbieter gespeichert wird. Um antworten zu können, müssen diese Gewichte bereitgestellt werden: Sie werden in den Speicher einer oder mehrerer GPUs geladen, hinter einem Endpunkt, der Anfragen entgegennimmt. Der benötigte Speicherplatz entspricht in etwa der Anzahl der Parameter multipliziert mit den pro Parameter verwendeten Bytes:

warum große Modelle große Hardware benötigen
memory for weights ≈ parameters × bytes per parameter

7B model  × 2 bytes (16-bit)  ≈ 14 GB
70B model × 2 bytes (16-bit)  ≈ 140 GB  → several GPUs

Die Zuweisung dieser Hardware, das Herunterladen der Gewichte und deren Laden in den GPU-Speicher ist der Kaltstart. Bei verwalteten Modellen geht dies meist schnell oder geschieht unsichtbar; bei offenen Modellen auf dedizierten GPUs dauert es oft 10 bis 40 Minuten. Sobald das Deployment geladen ist, bleibt es warm und antwortet in Sekundenschnelle — solange es existiert.

  1. 01Dauer wählenStundenkosten im Voraus angezeigt
  2. 02Wird bereitgestelltGewichte laden · Kaltstart
  3. 03LiveChat · der Zähler läuft
  4. 04Wird gelöschtAbrechnung stoppt
Ein dediziertes Deployment wird für jede Stunde abgerechnet, in der es existiert, unabhängig von der Nutzung. Der Lebenszyklus endet mit dem Löschen.
Praxisbeispiel: Testen eines feinabgestimmten offenen Modells
  1. Ein überwachter Durchlauf auf einem offenen Modell mit 8 Milliarden Parametern ist abgeschlossen. In 16-Bit-Präzision belegen seine Gewichte etwa 16 GB, daher wird eine GPU mit mehr Speicher als diesem benötigt, plus Platz für die zu verarbeitenden Anfragen.
  2. Sie starten einen Test-Chat für zwei Stunden. Der Stundenpreis wird angezeigt, bevor etwas erstellt wird.
  3. Bereitstellung: Die GPU wird zugewiesen und die Gewichte werden geladen. Dies dauert etwa 15 Minuten; die Abrechnung für die Bereitstellung hat begonnen.
  4. Live: Jede Frage wird in ein oder zwei Sekunden beantwortet. Sie probieren zehn echte Fragen aus der letzten Woche aus.
  5. Sie sind früher fertig und beenden die Sitzung. Löschen entfernt die Bereitstellung und die Abrechnung stoppt. Kosten: Die Zeit, in der die Bereitstellung existierte × der Stundenpreis, unabhängig davon, wie wenige Fragen Sie gestellt haben.

Häufige Fehler

  • Ein dediziertes Deployment über Nacht „für alle Fälle“ laufen zu lassen — es wird stundenweise abgerechnet, unabhängig von der Nutzung.
  • Ein Modell anhand seiner ersten Antwort nach einem Kaltstart zu beurteilen, oder anhand der Reaktionszeit, während es noch lädt.
  • Das Testen mit anderen Sampling-Einstellungen oder einem anderen System-Prompt als jenen, die in der Evaluierung verwendet wurden.
  • Zu erwarten, dass ein feinabgestimmtes Modell Dinge weiß, die nach dem Training passiert sind: Inferenz lernt nicht dazu.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

  1. 01Efficient Memory Management for Large Language Model Serving with PagedAttentionKwon et al., 2023 · arXiv · arxiv.orgDas vLLM-Paper: Wie Serving-Systeme Anfragen bündeln und den GPU-Speicher verwalten.
  2. 02Text Generation InferenceHugging Face docs · huggingface.coEin produktiver Serving-Stack für offene Modelle und die Erklärung seiner Funktionen.
  3. 03Inference EndpointsHugging Face docs · huggingface.coWas die Bereitstellung eines Modells hinter einem verwalteten Endpunkt beinhaltet.
  4. 04Cold start (computing)Wikipedia · en.wikipedia.orgDas grundlegende Konzept eines Kaltstarts.
KonzeptServerless vs. dediziertServerless Serving rechnet pro Token auf geteilter Kapazität ohne Leerlaufkosten ab; ein dediziertes Deployment reserviert GPUs für Ihr Modell und wird für jede Stunde abgerechnet, die es existiert. Was günstiger ist, hängt von Ihrer Nutzung ab.Best PracticePasst das Modell? Speicherbedarf für das TrainingDas Training benötigt Platz für die Gewichte des Modells, seine Gradienten und den Zustand des Optimizers sowie für den Arbeitsspeicher. Eine einfache Faustregel – etwa 2 GB pro Milliarde Parameter für LoRA und 12 GB für vollständiges Fine-Tuning – sagt Ihnen vor dem Start, ob ein Modell auf Ihre Maschine passt.KonzeptWarum Token die Kosten treibenWie Token-Zahlen zu den Kosten für das Training und die Nutzung eines Modells werden, mit konkreten Zahlenbeispielen, und welche Hebel die Rechnung tatsächlich senken.EinstellungSystem-PromptDer System-Prompt ist eine dauerhafte Anweisung, die vor jeder Unterhaltung platziert wird. Da er beim Training hinzugefügt wird, erlernt das Modell sein Verhalten in Anwesenheit genau dieses Prompts, weshalb er bei der Nutzung des Modells unverändert bleiben sollte.KonzeptBasis- und Fine-Tuning-Modell im direkten VergleichEine Evaluierung stellt dem Ausgangsmodell und dem trainierten Modell dieselben zurückgehaltenen Fragen und vergleicht deren Antworten, sodass Sie sehen können, ob das Training die Antworten tatsächlich verbessert hat.KonzeptWie das Training abgerechnet wirdDas meiste verwaltete Fine-Tuning wird pro verarbeitetem Token abgerechnet: Token in der Trainingsdatei mal Epochen mal Preis. Aufträge auf gemieteten GPUs werden stattdessen nach Zeit abgerechnet. Die anschließende Nutzung des Modells ist ein separater Kostenfaktor.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren