Worum es bei der Auswahl geht
Jede Trainingsmethode verändert die Gewichte des Modells, aber jede lernt aus einem anderen Signal. Beim Supervised Fine-Tuning (SFT) wird die richtige Antwort vorgegeben. Beim Preference Tuning (DPO) werden zwei Antworten gezeigt und mitgeteilt, welche besser ist. Beim Reinforcement Fine-Tuning (RFT) schreibt das Modell eigene Antworten und erhält eine Bewertung. Die Destillation kopiert ein größeres Modell. Das fortgesetzte Pre-Training liest Rohtext und lernt, das nächste Wort vorherzusagen.
Die erste Frage lautet also nicht „Welche Methode ist die beste?“, sondern „Was habe ich bereits und was soll sich ändern?“. Ein Team mit tausend guten Support-Chats verfügt über einen SFT-Datensatz. Ein Team, dessen Agenten Antwortentwürfe bearbeiten, sammelt Präferenzpaare. Ein Team im Finanzwesen mit Berechnungen, bei denen es genau eine richtige Zahl gibt, hat eine RFT-Aufgabe. Und wenn das Modell Fakten benötigt, die sich wöchentlich ändern, ist Training möglicherweise gar nicht die Lösung: Retrieval, das Fakten zum Zeitpunkt der Frage nachschlägt, hält sie ohne erneutes Training aktuell.
| Methode | Lernt aus | Benötigte Daten | Am besten geeignet für |
|---|---|---|---|
| Supervised (SFT) | „Hier ist die richtige Antwort“ | Chats oder Prompt → Antwort-Paare | Tonalität, Format, fachspezifische Formulierungen, wiederkehrende Aufgaben |
| Präferenz (DPO) | „Diese Antwort ist besser als jene“ | Eine bessere und eine schlechtere Antwort auf dieselbe Frage | Verfeinerung eines Modells, das die Aufgabe bereits erfüllt |
| Reinforcement (RFT) | „Ihre Antwort hat 0,8 Punkte erzielt“ | Fragen plus ein Bewerter | Überprüfbare Antworten: Zahlen, Labels, Formate |
| Destillation | „Antworten wie das größere Modell“ | Fragen; ein Lehrer schreibt oder bewertet Antworten | Eine kleinere, kostengünstigere Kopie eines bereits funktionierenden Modells |
| Fortgesetztes Pre-Training | Ihr Rohtext, Wort für Wort | Dokumente: Zehntausende von Wörtern oder mehr | Fachwissen, auf offenen Modellen |
Wie der Training Assistant auswählt
Der Training Assistant analysiert Ihre bereitgestellten Daten und empfiehlt eine Methode samt Begründung:
- Chats oder Prompt/Antwort-Paare → Supervised Fine-Tuning.
- Präferenzpaare → DPO.
- Dokumente → fortgesetztes Pre-Training.
- Fragen mit überprüfbaren Antworten → Reinforcement Fine-Tuning.
- Eine kleinere Kopie eines großen Modells → Destillation.
Er bietet nur Methoden an, die vom gewählten Anbieter und Basismodell unterstützt werden. Fortgesetztes Pre-Training gibt es beispielsweise bei Hugging Face und offenen Modellen von Vertex AI, jedoch nicht bei Gemini, Azure, Fireworks oder aktuellen Bedrock-Modellen; dort werden Dokumente stattdessen in generierte Q&A umgewandelt, die als gewöhnliche überwachte Daten (Supervised Data) trainiert werden. Der Assistent fragt Sie nur dann, wenn mehr als eine Methode in Frage kommt.
Methoden-Stack
Ein Durchlauf kann auf einem früheren aufbauen, sodass Methoden oft kombiniert statt nur einmalig ausgewählt werden. Die gängigen Ketten sind: Supervised, dann Preference (die Aufgabe lehren, dann verfeinern); Supervised, dann Reinforcement (RL kann nur schärfen, was das Modell bereits gelegentlich richtig macht); und fortgesetztes Pre-Training, dann Supervised (die Dokumente lesen, dann lernen, daraus zu antworten). Preference Tuning startet nur vom Basismodell oder einem Supervised-Durchlauf. Jedes Glied der Kette wird gegen das Modell evaluiert, von dem es ausging, sodass Sie sehen, was dieser Schritt gebracht hat.
- Das Team verfügt über 1.200 Support-Chats, 60 Help-Center-Artikel (etwa 45.000 Wörter), 150 Antworten, die von Agenten manuell korrigiert wurden, und 40 Preisfragen mit jeweils einer richtigen Zahl.
- Chats → zuerst Supervised. Sie vermitteln Tonalität, Format und die gängigen Antworten. Dies ist das Fundament, auf dem jeder spätere Schritt aufbaut.
- Artikel → generierte Q&A, die demselben Datensatz hinzugefügt werden. Bei etwa einem Abschnitt pro 800 neuen Wörtern ergeben 45.000 Wörter rund 56 Abschnitte und bei jeweils drei Paaren etwa 170 zusätzliche Beispiele. Bei einem offenen Modell mit so viel Text ist ein fortgesetztes Pre-Training vor dem Supervised-Durchlauf eine Option.
- Korrekturen → 150 Präferenzpaare (die korrigierte Antwort wird dem Original vorgezogen), trainiert mit DPO, fortführend aus dem Supervised-Durchlauf.
- Preisfragen → Reinforcement Fine-Tuning mit einem Zahlenbewerter, aber erst, wenn das Supervised-Modell bereits einen guten Teil davon richtig beantwortet; andernfalls erzielt jeder Versuch die gleiche Punktzahl und es gibt nichts, woraus gelernt werden kann.
- Jeder Schritt wird gegen seinen Vorgänger evaluiert. Ein Schritt, der diesen nicht übertrifft, wird archiviert, und die Kette wird mit dem besseren Modell fortgesetzt.
Die vorgeschlagenen Einstellungen
Sobald eine Methode ausgewählt ist, schlägt der Assistent Einstellungen vor, anstatt jede einzeln abzufragen: den Auto-Modus des Anbieters, sofern vorhanden, andernfalls die Standardanzahl an Epochen des Anbieters, und weniger Epochen (1–2) für große Datensätze. Das Training wird pro verarbeitetem Token abgerechnet, und jeder zusätzliche Durchlauf der Daten verursacht in etwa die Kosten einer weiteren Epoche, während ein großer Datensatz dem Modell bereits pro Durchlauf reichlich Beispiele liefert.
dataset: 3,000,000 tokens price (illustrative): $2 per 1M training tokens
3 epochs → 9,000,000 tokens trained → $18
2 epochs → 6,000,000 tokens trained → $12
1 epoch → 3,000,000 tokens trained → $6Die Methoden auf einen Blick
Das Modell sieht die Konversation und Ihre Antwort und lernt, diese Antwort zu generieren. Die Grundlage für alles Weitere und meist die erste Methode, die man ausprobieren sollte. Es lernt Ihre Daten detailgetreu, einschließlich inkonsistenter oder falscher Antworten.
Das Modell sieht eine bevorzugte und eine nicht bevorzugte Antwort auf dieselbe Frage und orientiert sich in Richtung der bevorzugten. Gut für Eigenschaften, die leichter zu beurteilen als zu schreiben sind: prägnant, freundlicher, erfindet keine Funktionen. Starten Sie dies nach einem Supervised-Durchlauf.
Das Modell beantwortet jeden Prompt mehrmals, ein Grader bewertet jede Antwort, und die besser bewertete Art von Antwort wird wahrscheinlicher. Es erfordert eine Möglichkeit, Antworten zu bewerten, keine perfekten Antworten, und es kann keine Fähigkeiten erschaffen, die das Modell nie zeigt.
Ein großes Teacher-Modell schreibt entweder die Antworten, aus denen das kleine Student-Modell lernt, oder bewertet die eigenen Antworten des Student-Modells Token für Token. Das Ergebnis ist ein kostengünstigeres, schnelleres Modell, das sich bei Ihrer Aufgabe wie das große verhält.
Das Modell liest Passagen Ihrer Dokumente und lernt, das nächste Wort vorherzusagen – genau so, wie es ursprünglich trainiert wurde. Es fügt Wissen hinzu, kein Verhalten; lassen Sie daher einen Supervised-Durchlauf folgen. Nur für Hugging Face und offene Modelle von Vertex AI.
Häufige Fehler
- Zuerst auf Reinforcement oder Preference Tuning zurückgreifen. Ohne einen Supervised-Durchlauf gibt es für diese Methoden meist wenig zu schärfen oder zu verfeinern.
- Erwarten, dass ein paar Chats Produktfakten vermitteln. Chats lehren, wie man antwortet; die Fakten müssen aus Dokumenten oder Retrieval stammen.
- Fortgesetztes Pre-Training mit einer Handvoll Seiten durchführen. Es bedarf Zehntausender Wörter, um überhaupt etwas zu verändern.
- Viele Epochen bei einem großen Datensatz beibehalten. Die Kosten steigen mit jedem Durchlauf, und die zusätzlichen Durchläufe führen meist nur zu Overfitting.
- Trainieren, wenn eigentlich aktuelle Informationen benötigt werden. Fakten, die sich wöchentlich ändern, gehören ins Retrieval, nicht in die Gewichte.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01Model optimizationOpenAI API docs · developers.openai.comDie anbietereigene Übersicht darüber, wann Supervised, Preference und Reinforcement Fine-Tuning eingesetzt werden sollten.
- 02LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.org1.000 sorgfältig ausgewählte Beispiele reichten aus, um einem starken Basismodell einen guten Antwortstil beizubringen.
- 03Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.orgDas Paper hinter Preference Tuning ohne separates Reward-Modell.
- 04Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMsOvadia et al., 2023 · arXiv · arxiv.orgRetrieval übertraf unüberwachtes Fine-Tuning (Unsupervised Fine-Tuning) beim Hinzufügen von Wissen in jedem getesteten Szenario.