Supervised Fine-Tuning (SFT)

Was es ist

Supervised Fine-Tuning ist der direkteste Weg, das Verhalten eines Modells zu verändern: Sie geben ihm Beispiele für die gewünschten Konversationen und trainieren es darauf, die Antworten zu reproduzieren. „Supervised“ bedeutet, dass jedes Beispiel mit der entsprechenden Antwort versehen ist. Das Modell wird nicht aufgefordert, zu beurteilen oder zu explorieren; ihm wird für jeden Kontext vorgegeben, welches die richtigen nächsten Wörter sind.

Ein vortrainiertes Modell hat bereits Sprache und viel über die Welt aus öffentlichen Texten gelernt. Was es noch nicht gesehen hat, ist Ihr Produkt, der Tonfall Ihres Teams oder das Format, das Ihre Nutzer erwarten. SFT schließt diese Lücke mit einem vergleichsweise winzigen Datensatz: Hunderte bis wenige Tausend gute Konversationen, nicht die Billionen von Token, die im Pre-Training verwendet werden. Die LIMA-Studie hat dies deutlich gemacht: Ein Modell mit 65 Milliarden Parametern, das auf nur 1.000 sorgfältig kuratierten Beispielen feinabgestimmt wurde, verhielt sich wie ein fähiger Assistent. Die Autoren sahen dies als Beweis dafür, dass fast das gesamte Wissen im Pre-Training erlernt wird und das Fine-Tuning hauptsächlich das Format für dessen Nutzung vermittelt.

Wie es funktioniert

Jeder Trainingsdatensatz ist eine Konversation. Die Antworten des Assistenten, die Sie als trainierbar markiert haben, sind die Targets; alles vor einem Target ist dessen Kontext.

{"messages": [
  {"role": "system",    "content": "You are Scalata's support assistant."},
  {"role": "user",      "content": "How do I reset my password?"},
  {"role": "assistant", "content": "Open Settings → Security and choose Reset password. You'll get an email link valid for 30 minutes."}
]}

Das Modell liest den Datensatz als eine lange Sequenz von Token. An jeder Position innerhalb des Targets prognostiziert es eine Wahrscheinlichkeit für jedes Token in seinem Vokabular, und der Trainer prüft, wie viel Wahrscheinlichkeit es dem Token zugewiesen hat, das tatsächlich als Nächstes folgt. Die Strafe für ein Token ist −ln p, der negative natürliche Logarithmus dieser Wahrscheinlichkeit. Gemittelt über die Antwort ergibt dies den Cross-Entropy Loss.

loss for one reply = average over its target tokens of  −ln p(correct next token | everything before it)

p = 0.90  →  0.11
p = 0.50  →  0.69
p = 0.05  →  3.00

Nur Target-Token werden bewertet. Die Systemnachricht und die Worte des Nutzers werden gelesen, da sie die Vorhersage formen, aber sie werden nie benotet. Dies nennt man Loss Masking: Das Modell lernt, wie Ihr Team zu antworten, und nicht, Ihre Nutzer zu imitieren.

Nach jedem Batch berechnet die Backpropagation, wie sich jedes trainierbare Gewicht ändern muss, um die Target-Token wahrscheinlicher zu machen, und der Optimizer macht einen kleinen Schritt in diese Richtung. Die Lernrate bestimmt die Schrittgröße. Ein Durchlauf über alle Datensätze ist eine Epoche.

Worin SFT gut ist und worin nicht

Eine Eigenschaft erklärt die meisten SFT-Überraschungen: Es imitiert. Wenn eine von zehn Antworten „Bitte kontaktieren Sie den Support“ lautet, anstatt zu antworten, lernt das Modell, dies in etwa einem von zehn Fällen zu sagen. Wenn sich Antworten widersprechen, lernt das Modell eine verschwommene Mischung aus beiden. Saubere, konsistente Targets sind wichtiger als eine größere Menge an Targets.

Wie man es optimiert

Die meisten Supervised-Durchläufe benötigen wenig Tuning. Beginnen Sie mit den Standardeinstellungen des Anbieters („Auto“), lesen Sie die Kurven und ändern Sie dann immer nur eine Sache auf einmal.

• Beide Verluste sinken: lernt noch; eine weitere Epoche könnte helfen.
• Training sinkt, Validierung flacht ab: genau richtig; hier anhalten.
• Training sinkt, Validierung steigt: Overfitting; verwenden Sie weniger Epochen, einen niedrigeren Multiplikator oder vielfältigere Daten.
• Beide verändern sich kaum: Die Daten sind möglicherweise inkonsistent oder die Lernrate ist zu niedrig.

Häufige Fehler

• Training mit Antworten, die Sie nicht wiederholt haben möchten. Schwache, veraltete oder inkonsistente Antworten werden genauso getreu gelernt wie gute.
• Viele Epochen auf einem kleinen Datensatz ausführen und auf den sinkenden Trainingsverlust vertrauen. Achten Sie auf den Validierungsverlust.
• SFT zu verwenden, um veränderliche Fakten zu speichern. Wenn sich die Fakten ändern, wiederholt das Modell weiterhin die alten.
• Den Durchlauf nur anhand des Verlusts zu beurteilen. Ein geringerer Verlust bedeutet eine genauere Imitation Ihrer Antworten, nicht zwangsläufig bessere Antworten: Führen Sie eine Evaluierung durch.
• Keinen Validierungs-Split vorzusehen, sodass es keine Möglichkeit gibt, Overfitting zu erkennen.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

1. 01SFT Trainer↗Hugging Face TRL docs · huggingface.coBeschreibt den Cross-Entropy Loss auf Token-Ebene und zeigt, wie das Training ausschließlich auf Completions funktioniert.
2. 02Supervised fine-tuning↗OpenAI API docs · developers.openai.comDer Leitfaden eines Hosted-Anbieters: Datenformat, Hyperparameter und Evaluierung des Ergebnisses.
3. 03LIMA: Less Is More for Alignment↗Zhou et al., 2023 · arXiv · arxiv.org1.000 kuratierte Beispiele reichten aus, um ein 65B-Modell zu einem leistungsstarken Assistenten feinabzustimmen.
4. 04Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgInstructGPT: Das Paper, das Supervised Fine-Tuning zum ersten Schritt des modernen Post-Trainings machte.
5. 05Finetuned Language Models Are Zero-Shot Learners↗Wei et al., 2021 · arXiv · arxiv.orgFrühe Belege dafür, dass das Fine-Tuning auf Anweisungen einem Modell hilft, Anweisungen zu befolgen, die es nie zuvor gesehen hat.

Verwandte Konzepte