Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen/Modelltraining/Trainingsmethoden

Best Practice

Das Standardrezept: SFT, dann DPO

Preference Tuning schärft Antworten, die ein Modell bereits geben kann. Daher besteht das übliche Rezept aus zwei Schritten: Supervised Fine-Tuning, um die Aufgabe zu lehren, gefolgt von DPO, das auf diesem Modell aufbaut und dagegen evaluiert wird.

Kapitel 75 Min. Lesezeit5 Quellen

Was es ist

Fast jede veröffentlichte Post-Training-Pipeline führt ein überwachtes Fine-Tuning durch, bevor aus Präferenzen gelernt wird. InstructGPT tat dies (überwacht, dann ein Belohnungsmodell und Reinforcement Learning). Zephyr tat dies (überwacht, dann DPO). Tülu 3 tat dies (überwacht, dann DPO, dann Reinforcement Learning mit verifizierbaren Belohnungen). Gehostete Anbieter empfehlen dieselbe Reihenfolge für ihr eigenes Präferenz-Tuning.

Basismodellvortrainiert
→evaluiert gegen basismodellÜberwachter Lauflernt die Aufgabe
→evaluiert gegen überwachter laufPräferenzlaufverfeinert Antworten
Jedes Glied in einer Kette beginnt mit den Gewichten, die das vorherige Glied erzeugt hat, und wird gegen dieses Elternteil evaluiert, sodass ein Ergebnis immer misst, was dieser Schritt hinzugefügt hat.
SchrittMethodeLehrtDaten
1Supervised Fine-TuningDie Aufgabe: Ihr Produkt, Ihre Antworten, Ihr Tonfall und Ihr FormatChats mit guten Antworten
2Preference Tuning (DPO), fortgesetzt vom Modell aus Schritt 1Feinschliff: Die Antworten bevorzugen, die Ihr Team bevorzugtBesser/Schlechter-Paare
3Evaluierung gegen das Modell aus Schritt 1Ob Schritt 2 einen Mehrwert gebracht hatZurückgehaltene Fragen

Warum die Reihenfolge wichtig ist

DPO passt die relative Wahrscheinlichkeit von Antworten an, die das Modell bereits generieren konnte. Es verfügt über keinen Mechanismus, um Fakten zu vermitteln, die das Modell noch nie gesehen hat. Wenn ein Modell nichts über Ihr Produkt weiß, sind ihm die bevorzugten und nicht bevorzugten Antworten in einem Paar oft gleichermaßen fremd, und der Vergleich liefert kaum verwertbare Informationen.

Es gibt auch einen technischen Grund. Die implizite Belohnung von DPO wird am Referenzmodell gemessen, und die Methode funktioniert am besten, wenn die Paare wie Antworten aussehen, die diese Referenz plausiblerweise schreiben könnte. Das DPO-Paper verwendet ein überwachtes Modell als Referenz, sofern eines existiert; wenn nicht, führt es zunächst ein Fine-Tuning auf die bevorzugten Antworten durch, um die Diskrepanz zu verringern – was im Grunde ein SFT-Schritt unter anderem Namen ist.

Die Faktenlage bestätigt dies. Das Zephyr-Team berichtete, dass ihre Modelle ohne einen anfänglichen überwachten Schritt „überhaupt nicht aus Feedback lernen konnten und furchtbar abschnitten“, während SFT gefolgt von DPO bei beiden verwendeten Chat-Benchmarks einen großen Zugewinn brachte. Ein verstärktes überwachtes Training auf die bestplatzierten Antworten reproduzierte diesen Zugewinn hingegen nicht: Der Präferenzschritt fügte etwas hinzu, das SFT allein nicht leisten konnte.

Fortsetzung ausgehend vom Modell aus Schritt 1

Schritt 2 geht nicht vom Basismodell aus. Er beginnt mit den Gewichtungen, die in Schritt 1 erzeugt wurden, und genau dieses Modell wird zur eingefrorenen Referenz, an der DPO misst.

  • Gehostete Modelle: Der Anbieter startet einen neuen Job basierend auf dem zuvor feinabgestimmten Modell, entweder über dessen ID oder durch einen Warmstart über dessen Adapter.
  • Offene Modelle, die mit einem LoRA-Adapter trainiert wurden: Der Adapter aus Schritt 1 wird zunächst in die Basisgewichtungen integriert. Das neue Training läuft auf diesem zusammengeführten Modell, und das Ergebnis wird erneut integriert und als vollständiges Modell gespeichert.
  • Durchgehend dieselbe Basis: Der Durchlauf muss denselben Anbieter und dasselbe Basismodell verwenden wie der Durchlauf, den er fortsetzt, damit die Limits und der Preis des Modells gleich bleiben.

Die Einstellungen ändern sich zwischen den Schritten. Das Präferenz-Training benötigt in der Regel weniger Epochen (1–2) und eine deutlich niedrigere Lernrate. Zur Einordnung: Zephyr verwendete eine Spitzenlernrate von 2e-5 für seinen überwachten Schritt und 5e-7 für DPO, mit β = 0,1.

Messung von Schritt 2

Vergleichen Sie das fortgesetzte Modell mit dem Modell aus Schritt 1, nicht mit der reinen Basis. Ein Sieg über die Basis spiegelt hauptsächlich das wider, was in Schritt 1 vermittelt wurde. Ein Sieg über das Modell aus Schritt 1 zeigt, was das Präferenz-Tuning hinzugefügt hat, und ist die einzige Kennzahl, die Ihnen sagt, ob Sie den DPO-Schritt beibehalten sollten.

Warum der Vergleichspunkt wichtig ist (illustrative Zahlen)
  1. Das Basismodell beantwortet Ihre Fragen unzureichend. Schritt 1 (SFT) behebt dies größtenteils.
  2. Das Modell aus Schritt 2 gewinnt im Vergleich zum Basismodell bei 17 von 20 Fragen. Das sieht hervorragend aus, ist aber fast ausschließlich auf Schritt 1 zurückzuführen.
  3. Dasselbe Modell aus Schritt 2 im Vergleich zum Modell aus Schritt 1: 6 Siege, 5 Niederlagen, 9 Unentschieden. Das Präferenz-Tuning hat kaum etwas beigetragen, und eine derart kleine Differenz liegt im Bereich der statistischen Schwankung.
  4. Entscheidung: Behalten Sie das Modell, das im Vergleich zu Schritt 1 besser abschneidet, sammeln Sie bessere Paare, bevor Sie es erneut versuchen, und archivieren Sie das andere.

Was Sie erwarten können

Die allgemeine Erkenntnis aus der praktischen Durchführung von DPO-Schritten ist, dass dieselben Paare helfen, wirkungslos sein oder schaden können, abhängig vom Ausgangsmodell. Bei einem leistungsfähigen Modell kann ein DPO-Schritt die Antworten näher an die Ihres Teams heranführen und den Tonfall verbessern. Bei einem sehr kleinen Modell ist das Ergebnis oft ein Unentschieden: Wenn das Modell keine gute Antwort generieren kann, gibt es auch nichts, was es bevorzugen könnte. Und manchmal verschlechtert sich das optimierte Modell sogar.

Über zwei Schritte hinaus

  • Neues Wissen nach DPO: Setzen Sie das überwachte Training ausgehend vom präferenzoptimierten Modell fort. Ein umfangreiches neues überwachtes Training kann den Feinschliff teilweise wieder aufheben; ein kurzer anschließender Präferenzdurchlauf, basierend auf diesem neuen überwachten Training, stellt ihn wieder her.
  • DPO nach DPO mit denselben Paaren bedeutet lediglich mehr Epochen auf denselben Daten und führt tendenziell zu Überanpassung: Antworten weichen ab, werden länger oder beginnen, das Belohnungssystem der Paare auszunutzen.
  • Iteratives DPO (eine zweite Runde mit neuen Paaren, die aus den eigenen Antworten der ersten Runde gesammelt wurden) ist eine bewährte Methode, erfordert jedoch einen neuen Schritt zur Datensammlung zwischen den Runden.

Häufige Fehler

  • Das Überspringen von Schritt 1 und die Ausführung von DPO auf einem reinen Basismodell.
  • Die Evaluierung von Schritt 2 im Vergleich zum Basismodell und die Zuschreibung der Fortschritte aus Schritt 1 an DPO.
  • Übermäßiges Training in Schritt 1. Zephyr stellte fest, dass ein längeres DPO-Training zu einer Regression führte, wenn das überwachte Modell für mehr als eine Epoche trainiert wurde.
  • Die Durchführung einer zweiten DPO-Runde auf einem DPO-Modell mit denselben Paaren.
  • Handeln aufgrund einer kleinen Differenz. 5 Siege zu 1 bei 20 Fragen sind ein Hinweis, kein Beweis: Führen Sie zunächst eine umfassendere Evaluierung durch.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

  1. 01Training language models to follow instructions with human feedbackOuyang et al., 2022 · arXiv · arxiv.orgDie ursprüngliche Supervised-First-Pipeline, mit RLHF als zweitem Schritt.
  2. 02Zephyr: Direct Distillation of LM AlignmentTunstall et al., 2023 · arXiv · arxiv.orgSFT und anschließend DPO im Detail, einschließlich dessen, was passiert, wenn der SFT-Schritt übersprungen wird.
  3. 03Tulu 3: Pushing Frontiers in Open Language Model Post-TrainingLambert et al., 2024 · arXiv · arxiv.orgEin vollständig offenes Rezept: Supervised Fine-Tuning, dann DPO, dann Reinforcement Learning.
  4. 04Direct preference optimizationOpenAI API docs · developers.openai.comEin Hosted Provider, der Supervised Fine-Tuning für bevorzugte Antworten vor DPO empfiehlt.
  5. 05Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.orgErklärt, warum das Referenzmodell ein Supervised Model sein sollte und was zu tun ist, wenn keines existiert.
MethodeSupervised Fine-Tuning (SFT)Supervised Fine-Tuning trainiert ein Modell anhand von Beispielen: Es erhält eine Konversation sowie die gewünschte Antwort, und seine Gewichtungen werden so angepasst, dass diese Antwort Token für Token wahrscheinlicher wird.MethodePreference Tuning (DPO)Direct Preference Optimization trainiert ein Modell mit Antwortpaaren, von denen eine besser und eine schlechter ist, sodass es lernt, die bessere Variante zu bevorzugen – ohne das Reward-Modell und die Reinforcement-Learning-Schleife, die klassisches RLHF benötigt.MethodeFortsetzen eines trainierten ModellsEin Trainingsdurchlauf kann mit den Gewichtungen eines Ihrer früheren Durchläufe anstelle des Basismodells beginnen. So behält das Modell das bereits Gelernte bei und ergänzt es um das Wissen aus den neuen Daten. Auf diese Weise werden mehrstufige Rezepte aufgebaut, wie beispielsweise Supervised- gefolgt von Preference-Tuning.KonzeptBasis- und Fine-Tuning-Modell im direkten VergleichEine Evaluierung stellt dem Ausgangsmodell und dem trainierten Modell dieselben zurückgehaltenen Fragen und vergleicht deren Antworten, sodass Sie sehen können, ob das Training die Antworten tatsächlich verbessert hat.Best PracticeWoher gute Präferenzpaare kommenEin Präferenzpaar ist ein Prompt mit einer besseren und einer schlechteren Antwort. Wie gut DPO funktioniert, hängt hauptsächlich davon ab, ob der Unterschied zwischen den beiden Antworten genau das ist, was Sie tatsächlich ändern möchten.MetrikEvaluierungsergebnisse lesenWie man Gewinnrate, Punktedifferenz und die sekundären Signale einer Evaluierung liest — und wie man bei einer kleinen Anzahl von Fragen eine echte Verbesserung von Rauschen unterscheidet.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren