Warum Loss nicht ausreicht
Beim überwachten Training beobachten Sie, wie der Loss sinkt. Beim Reinforcement Fine-Tuning ist der Loss ein schlechter Indikator: Die Daten ändern sich bei jedem Schritt, da das Modell neue Antworten schreibt, und die Advantages werden in jeder Gruppe wieder auf null zentriert. Daher kann der gemeldete Loss nahe null schwanken, während sich das Modell verbessert – oder eben auch nicht. Die nützlichen Signale beziehen sich auf die Antworten: wie sie bewertet werden, wie stark sie sich unterscheiden und wie lang sie sind.
Die Metriken
Die durchschnittliche Punktzahl des Bewerters für die Antworten des Schritts, auf einer Skala von 0 bis 1. Sie sollte tendenziell steigen, wenn auch mit Schwankungen, da jeder Schritt andere Prompts enthält. Flach oder fallend bedeutet, dass das Modell keine besseren Antworten findet: Die Aufgabe könnte zu schwer sein, der Bewerter zu ungenau oder die Lernrate zu niedrig. Ein schneller Anstieg in Richtung 1 ist verdächtig, bis Sie die Antworten gelesen haben. TRL protokolliert dies als reward; bei mehreren Reward-Funktionen erhält jede zusätzlich eine eigene Zeile.
Der Anteil der Antworten, die die maximale Antwortlänge erreicht haben und abgeschnitten wurden (completions/clipped_ratio in TRL). Eine abgeschnittene Antwort ist meist unvollständig und wird schlecht bewertet. Ein hoher Anteil verschwendet daher einen Großteil des Schritts und kann das Modell aus den falschen Gründen dazu bringen, sich kurzzufassen. Erhöhen Sie das Limit oder fordern Sie im System-Prompt kürzere Antworten. Nicht zu verwechseln mit dem Clipping des Updates in der GRPO-Zielfunktion, das separat protokolliert wird.
Wie stark sich die Bewertungen unterscheiden. Die Reward-Standardabweichung ist die Streuung der Punktzahlen (TRL berechnet sie über den gesamten Batch). Der Zero-Std-Anteil (frac_reward_zero_std) ist der Anteil der Prompts, deren N Antworten alle dieselbe Punktzahl erhielten; diese Prompts erzeugen kein Update. Eine Streuung nahe null oder ein Zero-Std-Anteil nahe 1 bedeutet, dass der Durchlauf stagniert: Jede Antwort ist gleich gut oder gleich schlecht. Scalata zeigt das Komplement als Prompts mit einem Signal an.
Die durchschnittliche Antwortlänge in Tokens (completions/mean_length). Eine gewisse Bewegung ist normal: Bei komplexen Reasoning-Aufgaben werden die Antworten legitimerweise länger, wenn das Modell lernt, länger zu arbeiten, wie es bei DeepSeek-R1-Zero der Fall war. Bei Chat-Aufgaben bedeutet eine mit dem Reward steigende Länge meist, dass der Bewerter die Länge selbst belohnt – eine Form des Reward-Hackings. Wenn die Länge bei gleichbleibendem Reward gegen null schrumpft, kann das bedeuten, dass das Modell Strafen vermeidet, indem es kaum etwas ausgibt.
Wenn KL β über 0 liegt, protokolliert TRL auch kl, die durchschnittliche Abweichung vom Ausgangsmodell. Ein KL-Wert, der weiter steigt, während sich der Reward nicht mehr verbessert, bedeutet, dass sich das Modell zwar noch verändert, aber nicht mehr zum Besseren.
Wenn der Anbieter den Bewerter selbst ausführt (gehostete Reasoning-Modelle), teilt er die während des Trainings bewerteten Antworten nicht. Stattdessen stellt er alle paar Schritte eine Handvoll Validierungsfragen, an denen das Modell nie trainiert wird, und bewertet die Antworten mit demselben Bewerter. Schritt 0 ist das Modell vor dem Training, sodass jede Frage zu einer kleinen Zeitachse wird. Eine niedrige Punktzahl bei Schritt 0, die ansteigt, ist das deutlichste Zeichen für einen übertragbaren Lernerfolg; eine Frage mit 1,00 ab Schritt 0 kann keine Verbesserung zeigen; ein Einbruch bei einem Test ist Stichprobenrauschen. Ihr Mittelwert, der Validation-Reward, verdient mehr Vertrauen als der Training-Reward, aus demselben Grund, aus dem der Validation-Loss aussagekräftiger ist als der Training-Loss. Anbieter speichern Checkpoints in der Regel bei denselben Schritten. Wenn sich die Tests also auf halbem Weg nicht mehr verbessern, ist der entsprechende Checkpoint möglicherweise genauso gut wie das endgültige Modell.
Die Diagramme im Zusammenhang lesen
| Was Sie sehen | Wahrscheinliche Bedeutung | Was zu tun ist |
|---|---|---|
| Reward steigt, Streuung gesund, Länge stabil | Modell lernt | Laufen lassen; am Ende durch eine Evaluierung bestätigen |
| Reward flach nahe dem Minimum, die meisten Prompts ohne Signal | Jede Antwort ist gleich schlecht: nichts zu verstärken | Mit einem überwachten Durchlauf oder einem größeren Modell beginnen; prüfen, ob der Bewerter funktioniert |
| Reward flach nahe dem Maximum, die meisten Prompts ohne Signal | Prompts sind zu einfach: Jede Antwort erzielt bereits gute Ergebnisse | Schwierigere Prompts verwenden oder abbrechen: Es gibt kaum noch etwas zu verbessern |
| Reward und Länge steigen gemeinsam | Der Bewerter bevorzugt lange Antworten | Die verstärkten Antworten lesen; den Bewerter ändern oder mischen; das Längenlimit senken |
| Hohe Clipping-Rate | Antworten am Limit abgeschnitten | Maximale Antwortlänge erhöhen oder kürzere Antworten anfordern |
| Belohnung steigt, aber die Evaluierung ist schlechter als zu Beginn | Reward-Hacking oder Drift | Für weniger Schritte trainieren, KL-β erhöhen, den Grader ändern |
- Schritte 1–10: Reward 0,31 → 0,38, 80 % der Prompts mit einem Signal, Clipped Ratio 2 %, Länge etwa 180 Token. Gesund.
- Schritte 10–30: Reward 0,38 → 0,71, Länge 180 → 420 Token, Clipped Ratio 2 % → 18 %. Reward und Länge steigen gemeinsam, und die Antworten beginnen, das Limit zu erreichen.
- Drei Gruppen auf der Durchlauf-Seite: Die grünen Antworten geben die Frage wieder, listen jeden möglichen Vorbehalt auf und wiederholen Phrasen aus der Referenz. Der Judge mochte die Gründlichkeit, und nichts hat das Aufblähen bestraft.
- Maßnahme: Mit weniger Schritten und einem niedrigeren Längenlimit erneut ausführen oder zu einem Grader wechseln, der den Inhalt strenger prüft, und dann mit einer Evaluierung bestätigen, die einen anderen Judge verwendet.
Häufige Fehler
- Einen RL-Durchlauf nach seinem Loss beurteilen. Achten Sie stattdessen auf Reward, Streuung und Länge.
- Einen Reward nahe 1 feiern, bevor man die am besten bewerteten Antworten gelesen hat.
- Die Clipped Ratio ignorieren. Abgeschnittene Antworten verderben die Bewertungen eines ganzen Schritts.
- Vergleich von Rewards zwischen Durchläufen mit verschiedenen Bewertern oder Judges. Die Skalen sind nicht identisch.
- Sich nur auf die Diagramme verlassen. Das letzte Wort hat eine Evaluierung anhand zurückgehaltener Fragen, idealerweise mit einem anderen Judge.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01GRPO TrainerHugging Face TRL docs · huggingface.coDefinitionen von reward, reward_std, frac_reward_zero_std, clipped_ratio und mean_length.
- 02Reinforcement fine-tuningOpenAI API docs · developers.openai.comAuslesen von Train- und Validation-Reward in einem gehosteten RFT-Job.
- 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgDie Antwortlänge nahm zu, als R1-Zero das logische Schlussfolgern lernte: ein Fall, in dem länger tatsächlich besser war.
- 04Understanding R1-Zero-Like Training: A Critical PerspectiveLiu et al., 2025 · arXiv · arxiv.orgWie der ursprüngliche GRPO-Loss die Länge künstlich erhöhen kann, insbesondere bei falschen Antworten.