Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen/Modelltraining/Trainingsmethoden

Einstellung

RFT-Einstellungen

Die sechs Einstellungen eines Reinforcement-Fine-Tuning-Durchlaufs: was die Antworten bewertet, wie viele Antworten das Modell schreibt und wie lang diese sein dürfen, sowie wie groß und wie stark verankert jedes Update ist.

Kapitel 75 Min. Lesezeit4 Quellen

Wie die Einstellungen zusammenspielen

Ein Reinforcement-Durchlauf wiederholt eine Schleife: Antworten generieren, bewerten, vergleichen, aktualisieren. Jede Einstellung wirkt an einem Punkt dieser Schleife, sodass die meisten Probleme in einem Durchlauf auf eine davon zurückgeführt werden können.

  1. 01Samplingdas Modell schreibt N Antworten auf jeden Prompt⚙ Antworten pro Prompt · max. Antwortlänge
  2. 02Bewertender Grader bewertet jede Antwort mit 0–1⚙ Grader · Judge-Modell
  3. 03Vergleichenjede Bewertung im Vergleich zum Durchschnitt ihrer Gruppe⚙ keine Einstellung erforderlich: die Gruppe ist die Baseline
  4. 04Updateein kleiner Schritt in Richtung der überdurchschnittlichen Antworten⚙ Lernrate · KL β
Wo jede Einstellung in einem Reinforcement-Schritt greift. Die ersten beiden bestimmen, was das Modell versucht und wie es beurteilt wird; die letzten beiden entscheiden, wie weit ein Schritt es verändern darf.

Die Einstellungen

GraderTypisch Judge-Modell#

Was jede Antwort in eine Bewertung von 0 bis 1 verwandelt: ein Judge-Modell, Ähnlichkeit zu Ihrer Antwort, eine Zahlenprüfung, Exact-Match-Prüfungen oder eine Mischung daraus. Dies ist die Definition von „besser“ für den gesamten Durchlauf. Wählen Sie also das, was Sie tatsächlich benötigen, und überprüfen Sie es bei einigen Antworten manuell. Der Abschnitt Grader erklärt jede Option.

Judge-ModellTypisch Ein starkes, kostengünstiges Modell#

Welches LLM die Bewertung vornimmt, wenn der Grader einen Judge beinhaltet. Ein stärkerer Judge stuft Antworten zuverlässiger ein, was hier von besonderer Bedeutung ist, da GRPO selbst kleine Bewertungsunterschiede in vollwertige Updates umwandelt. Zudem verursacht er höhere Kosten pro Aufruf. Bevorzugen Sie ein Modell aus einer anderen Familie als das zu trainierende Modell und behalten Sie einen weiteren Judge für die finale Evaluierung bei.

Antworten pro Prompt (N)Typisch 4 (2–8)#

Die Gruppengröße: Wie viele Antworten das Modell pro Schritt auf jeden Prompt schreibt. Mehr Antworten liefern ein klareres Bild davon, welche Art von Antwort besser bewertet wird, und erhöhen die Wahrscheinlichkeit, dass sich mindestens eine vom Rest unterscheidet. Sie multiplizieren jedoch auch die Generierungszeit und die Input-Tokens des Judges; der Judge führt weiterhin einen Aufruf pro Prompt durch. Bei N = 2 wird jeder noch so kleine Unterschied zu einem vollen +1 / −1 Signal.

Maximale AntwortlängeTypisch Etwas über der Länge einer guten Antwort#

Die längste Antwort in Tokens, die das Modell pro Versuch generieren darf. Eine Antwort, die das Limit erreicht, wird mitten im Satz abgeschnitten und erzielt in der Regel eine schlechte Bewertung. Dies verschwendet den Schritt oder bringt dem Modell aus den falschen Gründen bei, sich kurz zu fassen. Setzen Sie den Wert etwas über die Länge einer guten Antwort: Ein Token entspricht etwa ¾ eines Wortes, eine Antwort mit 150 Wörtern umfasst also etwa 200 Tokens. Denkende Modelle verfassen lange Begründungen, bevor sie antworten; Scalata schaltet das Denken für diese Modelle während des RL ab, damit das Budget vollständig in die Antwort fließt.

LernrateTypisch ≈ 1e-5 mit LoRA#

Die Größe jedes Updates. RL-Schritte sind viel kleiner als überwachte Schritte: Das Signal ist verrauschter (Bewertungen der eigenen Versuche des Modells anstelle einer korrekten Antwort), und die Daten ändern sich mit dem Modell, sodass ein großer Schritt es an einen Punkt bringen kann, von dem sich seine nächsten Antworten nicht mehr erholen können. Bei LoRA ist eine Rate um 1e-5 ein üblicher Startwert; Full-Weight-RL verwendet typischerweise etwa 1e-6, wie es auch bei DeepSeekMath der Fall war.

KL βTypisch 0; erhöhen Sie den Wert, falls sich die Antworten verschlechtern#

Wie stark das Modell in der Nähe seines Ausgangspunkts gehalten wird. Bei jedem Schritt wird β × die KL-Divergenz zwischen dem trainierten Modell und einer eingefrorenen Kopie des Ausgangsmodells von der Zielfunktion subtrahiert. 0 bedeutet keine Strafe; dies ist der aktuelle Standard in TRL und überspringt zudem das Laden der eingefrorenen Kopie. DeepSeekMath verwendete 0,04. Erhöhen Sie den Wert von 0, wenn Antworten beginnen, in einer Weise abzuweichen, die der Grader nicht bestraft: seltsame Formulierungen, fehlerhafte Formatierung, Sprachwechsel oder der Verlust allgemeiner Fähigkeiten.

Durchgerechnete Beispiele

Wie die Gruppengröße die Wahrscheinlichkeit eines Signals verändert
  1. Nehmen Sie einen Pass/Fail-Grader und ein Modell, das einen Prompt in 10 % der Fälle richtig beantwortet. Eine Gruppe lehrt nur dann etwas, wenn sich ihre Antworten unterscheiden.
  2. N = 2: Alle schlagen mit einer Wahrscheinlichkeit von 0,9² = 0,81 fehl und alle bestehen mit 0,01, sodass nur etwa 18 % der Prompts ein Signal liefern.
  3. N = 4: Alle schlagen mit einer Wahrscheinlichkeit von 0,9⁴ ≈ 0,66 fehl, sodass etwa 34 % ein Signal liefern.
  4. N = 8: 0,9⁸ ≈ 0,43, also liefern etwa 57 % ein Signal, bei doppelter Generierungszeit im Vergleich zu N = 4.
  5. Wenn das Modell in der Hälfte der Fälle richtig liegt, liefert N = 4 bereits bei etwa 88 % der Prompts ein Signal (nur 1 von 8 Gruppen ist komplett richtig oder komplett falsch). Größere Gruppen helfen am meisten, wenn gute Antworten selten sind.
Was KL misst, in Zahlen
  1. Nehmen Sie eine Entscheidung, bei der das Ausgangsmodell zu jeweils 50 % mit „Ja“ oder „Nein“ antwortet.
  2. Nach dem Training antwortet es in 80 % der Fälle mit „Ja“. KL vom Startwert = 0,8 × ln(0,8 ÷ 0,5) + 0,2 × ln(0,2 ÷ 0,5) ≈ 0,19.
  3. Wenn es sich zu 99 % sicher wird: 0,99 × ln(0,99 ÷ 0,5) + 0,01 × ln(0,01 ÷ 0,5) ≈ 0,64. Die Kosten steigen schnell an, wenn das Modell dort Gewissheit erlangt, wo es anfangs unentschlossen war.
  4. Mit β = 0,04 betragen diese Kosten etwa 0,008 und 0,025 pro Token, aufsummiert über jedes Token einer Antwort: gering für ein einzelnes Token, aber spürbar, wenn sich der Stil einer gesamten Antwort verschiebt.
Auswahl des Antwortlimits
  1. Ihre Referenzantworten umfassen im Durchschnitt etwa 120 Wörter; die längsten liegen bei etwa 250.
  2. 120 Wörter ≈ 160 Token; 250 Wörter ≈ 330 Token.
  3. Ein Limit von 384–512 Token lässt Raum für eine vollständige Antwort. Achten Sie in den ersten Schritten auf die Abbruchquote: Wenn mehr als ein paar Prozent der Antworten das Limit erreichen, erhöhen Sie es oder fordern Sie im System-Prompt kürzere Antworten an.

Ein sinnvoller erster Durchlauf

  • Beginnen Sie mit einem überwachten Durchlauf, nicht mit dem reinen Basismodell, es sei denn, die Basis beantwortet Ihre Fragen bereits hinreichend gut.
  • Grader: ein Judge-Modell (oder Judge + Zahlen für Berechnungen), mit einem leistungsstarken, kostengünstigen Judge.
  • N = 4, maximale Antwortlänge etwas über Ihrer typischen Antwort, Lernrate bei etwa 1e-5 mit LoRA, KL β = 0.
  • Zuerst klein anfangen: einige Dutzend Prompts und eine Epoche, dann die Gruppen und das Belohnungsdiagramm analysieren, bevor Sie skalieren.

Häufige Fehler

  • Erhöhung von N zur Behebung einer stagnierenden Belohnung. Wenn das Modell niemals eine gute Antwort liefert, helfen auch mehr Versuche derselben Qualität nicht; beginnen Sie mit einem besseren Modell.
  • Eine maximale Antwortlänge unterhalb Ihrer typischen Antwort. Vollständige Antworten werden abgeschnitten und das Modell lernt aus verkürztem Text.
  • Verwendung einer Lernrate für überwachtes Training. Große RL-Schritte können die Ausgabe des Modells innerhalb weniger Schritte ruinieren.
  • Start mit einem großen KL β. Das Modell bewegt sich dann kaum; beginnen Sie bei 0 und erhöhen Sie den Wert nur, wenn sich die Antworten verschlechtern.
  • Bewertung mit demselben Judge, den Sie auch für die Evaluierung verwenden werden.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

  1. 01GRPO TrainerHugging Face TRL docs · huggingface.coStandardwerte und Bedeutung der Gruppengröße, Abschlusslänge, β und der Loss-Varianten.
  2. 02DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language ModelsShao et al., 2024 · arXiv · arxiv.orgDie ursprünglichen GRPO-Einstellungen: Lernrate 1e-6, KL-Koeffizient 0,04, 64 Antworten pro Frage.
  3. 03Training language models to follow instructions with human feedbackOuyang et al., 2022 · arXiv · arxiv.orgWie eine KL-Strafe ein RL-optimiertes Modell nah an seinem überwachten Ausgangspunkt hält.
  4. 04Kullback–Leibler divergenceWikipedia · en.wikipedia.orgDie Definition und warum KL nicht symmetrisch ist.
MethodeReinforcement Fine-Tuning (RFT)Reinforcement Fine-Tuning trainiert ein Modell anhand von Bewertungen anstelle von Beispielantworten: Es beantwortet jeden Prompt mehrmals, ein Grader bewertet jeden Versuch, und das Modell orientiert sich an dem, was besser bewertet wurde.MethodeGRPO, Schritt für SchrittGroup Relative Policy Optimization bewertet mehrere Antworten auf denselben Prompt und verstärkt diejenigen, die über dem Durchschnitt der Gruppe liegen. Es ersetzt das separate Value-Modell von PPO durch diesen einfachen Vergleich.EinstellungGrader: Wie Antworten bewertet werdenEin Grader wandelt eine Antwort in eine Zahl zwischen 0 und 1 um. Beim Reinforcement Fine-Tuning ist dies die einzige Definition von „gut“, die das Modell jemals sieht, sodass die Wahl des Graders entscheidet, was das Modell lernt.MetrikWichtige RFT-MetrikenReward, Clipped Ratio, Reward-Streuung und Completion-Länge: die vier Diagramme, die Ihnen zeigen, ob ein Reinforcement-Durchlauf lernt, kein Signal erhält oder seinen Bewerter austrickst.EinstellungLernrateDie Lernrate legt fest, wie weit sich die Gewichte bei jeder Aktualisierung bewegen. Sie ist die empfindlichste Trainingseinstellung: Ist sie zu hoch, schießt sie über das Ziel hinaus und kann Fähigkeiten löschen; ist sie zu niedrig, verändert sie das Modell kaum. Ein Lernratenplan wärmt sie normalerweise auf und lässt sie dann im Laufe des Durchlaufs abfallen.EinstellungHyperparameterHyperparameter sind die von Ihnen gewählten Trainingseinstellungen, wie Epochen, Lernrate, Batch-Größe und Adapter-Rang, im Gegensatz zu den Gewichten, die das Modell lernt. Die Auto-Funktion wählt diese anhand Ihrer Daten aus und sorgt für einen guten ersten Durchlauf; diese Seite erklärt jede einzelne Einstellung, damit Sie von dort aus weitere Anpassungen vornehmen können.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren