Reinforcement Fine-Tuning (RFT)

Was es ist

Beim überwachten Fine-Tuning wird dem Modell die Antwort gezeigt und es wird für jedes einzelne Token bewertet. Beim Reinforcement Fine-Tuning (RFT) wird dem Modell niemals eine Antwort gezeigt. Es verfasst seine eigene, ein Grader bewertet das Ergebnis, und das Training erhöht die Wahrscheinlichkeit für Antworten mit hohen Scores. Sie müssen lediglich eine Methode bereitstellen, um eine bessere von einer schlechteren Antwort zu unterscheiden.

Das macht RFT zur Methode der Wahl, wenn eine gute Antwort leicht zu erkennen, aber im Voraus schwer zu formulieren ist: eine Berechnung, deren Ergebnis überprüft werden kann, eine Klassifizierung mit einem bekannten Label, ein JSON-Objekt, das valide sein muss, oder eine offene Frage, bei der ein fähiges Judge-Modell eine sorgfältige von einer nachlässigen Antwort unterscheiden kann.

Das Vokabular des Reinforcement Learning

RFT entlehnt seine Terminologie dem Reinforcement Learning (RL), dem Bereich, in dem spielende Agenten und Roboter trainiert werden. Auf ein Sprachmodell übertragen bedeuten sie:

Zwei Dinge unterscheiden RL bei Sprachmodellen vom überwachten Training. Der Reward erfolgt erst am Ende: Der Grader bewertet die fertige Antwort, sodass das Training herausfinden muss, welche der hunderten Token die Anerkennung verdienen. Zudem werden die Daten während des Trainings generiert: In jedem Schritt verfasst das aktuelle Modell neue Antworten, sodass sich die Lerngrundlage mit zunehmender Verbesserung ändert. Dies wird als On-Policy-Lernen bezeichnet.

Wie aus einer Bewertung eine Aktualisierung wird

Die Update-Regel im Zentrum von RFT wird als Policy Gradient bezeichnet. Einfach ausgedrückt: Nehmen Sie für jede Antwort jedes vom Modell geschriebene Token und erhöhen Sie dessen Wahrscheinlichkeit, wenn der Advantage (Vorteil) der Antwort positiv ist, oder senken Sie sie, wenn er negativ ist – und zwar proportional zum Advantage. Ein Token, das in einer gut bewerteten Antwort vorkam, wird in diesem Kontext etwas wahrscheinlicher; ein Token aus einer schlecht bewerteten Antwort etwas unwahrscheinlicher.

Rohe Scores allein sind ein schlechtes Signal. Wenn jede Antwort auf einen einfachen Prompt einen Score von 0,9 erzielt, sagt eine Erhöhung aller Antworten nichts darüber aus, was sie gut gemacht hat. Daher vergleichen RL-Methoden jeden Score mit einer Baseline – einer Schätzung dessen, was eine gewöhnliche Antwort auf diesen Prompt erzielt – und nur die Differenz zählt. Ältere Methoden wie PPO erlernen die Baseline mit einem zweiten neuronalen Netz. GRPO, die Methode, die die meisten RFT-Dienste heute nutzen, nimmt einfach den durchschnittlichen Score mehrerer Antworten auf denselben Prompt; siehe GRPO, Schritt für Schritt.

for each step:
    prompts = a few rows from your data
    answers = model.sample(prompts, n = 4)          # 4 tries per prompt
    scores  = grader(prompt, answers, reference)    # 0–1 each; the model never sees the reference
    adv     = (scores − group mean) / group std     # per prompt
    update the model: tokens of answers with adv > 0 become more likely,
                      tokens of answers with adv < 0 less likely

Ihre eigene Antwort erscheint nur im Input des Graders, als Referenz. Das zu trainierende Modell sieht sie nie, was den wesentlichen praktischen Unterschied zum überwachten Training darstellt: Das Modell kann sich keinen hohen Score durch Kopieren erschleichen, es muss ihn selbst finden.

{"prompt": [{"role": "user", "content": "How do I share a report with a client?"}],
 "reference": "Open the report → Share → pick the client. They get an email link."}

• Eine Zeile pro Antwort, endend mit dieser Antwort. Ein Chat mit drei Ihrer Antworten ergibt drei Zeilen. Die Referenz jeder Zeile ist nur ihre letzte Antwort; frühere Antworten bleiben als Kontext im Prompt.
• Systemanweisungen als `developer`-Nachricht. Gehostete Reasoning-Modelle (die o-Serie) akzeptieren in Reinforcement-Beispielen keine system-Nachricht. Dieselben Anweisungen fließen in eine developer-Nachricht ein, die diese Modelle so behandeln, wie andere Modelle system behandeln.

Was RL leisten kann und was nicht

Da es nur aus seinen eigenen Versuchen lernt, kann RFT nur Verhalten verstärken, das das Modell bereits gelegentlich zeigt. Wenn keine der N Antworten auf einen Prompt jemals gut ist, erzielt jede Antwort in etwa denselben Score, der Vergleich ist leer und der Prompt lehrt nichts. Die Forschung bestätigt dies: Yue et al. (2025) fanden heraus, dass RL-trainierte Reasoning-Modelle ihre Basismodelle übertrafen, wenn ein Versuch pro Problem erlaubt war, aber dass die Basismodelle bei vielen Versuchen mehr lösten. RL ließ das Modell seine guten Antworten zuverlässiger finden; es lieferte ihm keine Antworten, die es sonst nie erreichen könnte.

Deshalb lautet das Standardrezept: zuerst überwacht, dann RL. Überwachtes Training mit guten Antworten lehrt die Aufgabe, sodass die Versuche des Modells im richtigen Bereich landen; RL schärft dann, welche dieser Versuche es bevorzugt. Auf einer sehr starken Basis kann RL allein weit kommen: DeepSeek-R1-Zero, das nur mit regelbasierten Rewards trainiert wurde, steigerte sein AIME 2024 pass@1 von 15,6 % auf 77,9 %. Die meisten Fine-Tunings beginnen mit viel kleineren Modellen, bei denen ein überwachter Schritt zuerst den Unterschied macht.

Wann es eingesetzt wird

• Die Antwort kann überprüft werden: eine Zahl, ein Label, ein Format, ein Test. Regelbasierte Grader sind kostengünstig, exakt und schwer zu manipulieren.
• Das Ausgangsmodell macht bereits einiges richtig, zum Beispiel nach einem überwachten Training mit Ihren Daten oder weil es groß ist.
• Sie können die Qualität beurteilen, aber keine idealen Antworten in großem Maßstab verfassen: Ein starkes Judge-Modell kann Freitextantworten anhand Ihrer Antwort bewerten.
• Nicht, um neue Fakten oder ein neues Produkt zu vermitteln: Diese müssen aus überwachten Daten oder Retrieval stammen.

Häufige Fehler

• RFT auf einem Modell ausführen, das fast nie gut antwortet. Wenn jede Bewertung nahe dem Minimum liegt, gibt es nichts zu vergleichen; trainieren Sie es zuerst überwacht.
• Einen steigenden Reward als Beweis für eine Verbesserung betrachten. Der Reward ist die Meinung des Graders; bestätigen Sie dies mit einer unabhängigen Evaluierung.
• Einen Grader wählen, der das Falsche misst, wie etwa Wortüberschneidungen bei einer Aufgabe, bei der es auf die Bedeutung ankommt. Das Modell optimiert exakt das, was gemessen wird.
• Erwarten, dass RFT Wissen hinzufügt. Es ordnet lediglich neu, was das Modell bereits tut.
• Das Antwortlimit unter der Länge einer guten Antwort ansetzen, sodass vollständige Antworten abgeschnitten und als schlecht bewertet werden.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

1. 01DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning↗DeepSeek-AI, 2025 · arXiv · arxiv.orgGroß angelegtes RL mit regelbasierten Rewards und warum ein überwachter Kaltstart dennoch half.
2. 02Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?↗Yue et al., 2025 · arXiv · arxiv.orgBelege dafür, dass RL schärft, was ein Basismodell bereits kann, anstatt neues Reasoning hinzuzufügen.
3. 03Reinforcement fine-tuning↗OpenAI API docs · developers.openai.comEin gehosteter RFT-Dienst: Grader, Daten und wann RFT eine gute Wahl ist.
4. 04Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgDas Paper, das RL aus Feedback zum standardmäßigen letzten Schritt für Chat-Modelle machte.

Verwandte Konzepte