Holdout-Prüfungen beim Reinforcement Fine-Tuning

Was sie sind

Bei offenen Modellen kann Scalata Ihnen die tatsächlichen Antwortgruppen zeigen, die der Grader bewertet hat. Bei gehosteten Reasoning-Modellen führt der Anbieter den Grader selbst aus und teilt die während des Trainings bewerteten Antworten nicht. Was er jedoch teilt, ist eine Reihe von Held-out Checks: Alle paar Schritte stellt er eine Handvoll Validierungsfragen, auf die das Modell nie trainiert wird, und bewertet diese Antworten mit demselben Grader.

Da die erste Prüfung bei Schritt 0 vor jeglichem Training stattfindet, wird jede Validierungsfrage zu einer kleinen Zeitachse: wie sich die Antwort auf dieselbe Frage im Verlauf des Trainings verändert hat. Das macht die Prüfungen zum besten verfügbaren Beweis dafür, dass sich die Fortschritte auf Fragen übertragen, die das Modell noch nicht gesehen hat, und nicht nur auf jene, an denen es geübt hat.

Interpretation der Zeitachse

• Niedrig bei Schritt 0, dann steigend: das deutlichste Zeichen für Lernen, das sich auf neue Fragen überträgt.
• 1,00 ab Schritt 0: eine Obergrenze. Das Modell hat bereits gut genug geantwortet, sodass diese Frage keine Verbesserung zeigen kann. Viele davon bedeuten, dass der Grader zu nachsichtig ist oder die Fragen zu einfach sind.
• Ein Einbruch in der Mitte: normales Rauschen. Jede Prüfung ist eine als Stichprobe gezogene Antwort, und eine unglückliche Stichprobe kann eine niedrige Punktzahl erzielen. Betrachten Sie den Trend über alle Prüfungen und Fragen hinweg, nicht nur eine einzelne Karte.
• Überall flach unterhalb der Obergrenze: Das Modell findet keine besseren Antworten. Die übliche Ursache ist ein Ausgangsmodell, das diese selten richtig beantwortet; ein vorheriger überwachter Durchlauf hilft.

Validation Reward vs. Training Reward

Der Anbieter meldet zwei Rewards. Der Training Reward ist die durchschnittliche Punktzahl des Graders für die Fragen, an denen das Modell in diesem Schritt trainiert; diese Fragen ändern sich von Schritt zu Schritt, sodass die Zahl schwankt und ein Modell sie erhöhen kann, indem es genau bei diesen Prompts besser wird. Der Validation Reward ist der Durchschnitt der Held-out Checks: jedes Mal dieselben Fragen, auf die nie trainiert wurde. Schenken Sie ihm mehr Vertrauen, aus demselben Grund, aus dem der Validation Loss aussagekräftiger ist als der Training Loss. Die Dokumentation von OpenAI beschreibt es genauso: Die Werte des Training Rewards „können von Schritt zu Schritt drastisch schwanken“, während der Validation Reward „eine stabilere Metrik“ ist.

Checks und Checkpoints

Anbieter speichern in der Regel einen Checkpoint bei denselben Schritten wie die Prüfungen. Wenn sich die Prüfungen also auf halbem Weg nicht mehr verbessern, ist der entsprechende Checkpoint möglicherweise genauso gut wie das finale Modell, und ein kürzerer Durchlauf hätte weniger gekostet. Gehostetes Reinforcement Fine-Tuning wird pro Trainingsstunde abgerechnet und Reasoning-Modelle schreiben lange Antworten, sodass jeder Schritt langsam ist: Zu erkennen, wo die Prüfungen abflachen, bedeutet eine direkte Ersparnis beim nächsten Durchlauf.

Worauf das Modell trainiert wird

Reinforcement Fine-Tuning verwendet dieselben Chats wie überwachtes Training, umgewandelt in eine Zeile pro Antwort, die mit dieser Antwort endet. Die Konversation bis zur Antwort ist der Prompt; die Antwort selbst wird zu einer Referenz, die nur der Grader sieht. Ein Chat mit drei Antworten ergibt drei Zeilen, und die Referenz jeder Zeile ist nur ihre letzte Antwort, wobei frühere Antworten als Kontext im Prompt verbleiben.

chat:  system · user 1 · reply 1 · user 2 · reply 2 · user 3 · reply 3

row 1  prompt: developer · user 1                                   reference: reply 1
row 2  prompt: developer · user 1 · reply 1 · user 2                reference: reply 2
row 3  prompt: developer · user 1 · reply 1 · user 2 · reply 2 · user 3   reference: reply 3

Gehostete Reasoning-Modelle (die o-Serie) akzeptieren keine system-Nachricht in Reinforcement-Beispielen. Dieselben Anweisungen gehören in eine developer-Nachricht, die von diesen Modellen so behandelt wird, wie andere Modelle system behandeln; eine Trainingsdatei mit einer dortigen Systemnachricht besteht die Validierung nicht.

{"messages": [
   {"role": "developer", "content": "You are Scalata's support assistant. Be brief."},
   {"role": "user",      "content": "How do I share a report with a client?"}],
 "reference": "Open the report → Share → pick the client. They get an email link."}

Metriken

Häufige Fehler

• Das Lesen einer einzelnen Karte. Eine einzelne Prüfung ist eine als Stichprobe gezogene Antwort; beurteilen Sie den Trend über alle Prüfungen und Fragen hinweg.
• Einem steigenden Training Reward Vertrauen schenken, wenn der Validation Reward flach bleibt. Das Modell passt sich möglicherweise nur an die Trainings-Prompts an oder überlistet den Grader.
• Obergrenzen ignorieren. Fragen, die durchgehend bei 1,00 liegen, blähen den Durchschnitt auf und verbergen, ob sich etwas geändert hat.
• Immer das finale Modell verwenden. Wenn die Prüfungen auf halbem Weg abflachen, ist der entsprechende Checkpoint genauso gut und der nächste Durchlauf kann kürzer sein.
• Das Schreiben einer Systemnachricht in manuell erstellten Reinforcement-Dateien für Modelle der o-Serie. Verwenden Sie stattdessen eine Developer-Nachricht.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

1. 01Reinforcement fine-tuning↗OpenAI API docs · developers.openai.comDer gehostete RFT-Dienst: Validierungsdateien, Training und Validation Reward sowie Checkpoints.
2. 02Graders↗OpenAI API docs · developers.openai.comWie die Grader des Anbieters definiert sind und was sie aus jeder Zeile auslesen.
3. 03Fine-tune a model with reinforcement fine-tuning in Microsoft Foundry↗Microsoft Learn · learn.microsoft.comReinforcement Fine-Tuning von Reasoning-Modellen auf Azure, einschließlich Validierungsdaten.
4. 04Scaling Laws for Reward Model Overoptimization↗Gao, Schulman & Hilton, 2022 · arXiv · arxiv.orgWarum ein Wert, auf den das Modell optimiert wird, steigen kann, während die tatsächliche Qualität sinkt.

Verwandte Konzepte