Was ein Grader ist
Beim Reinforcement Fine-Tuning schreibt das Modell mehrere Antworten pro Prompt und benötigt für jede einen Wert. Der Grader liefert diesen: eine Funktion, ein Modell oder eine Mischung aus beidem, die den Prompt, die Antwort und – in Scalata – Ihre eigene Antwort als Referenz liest und einen Score von 0 bis 1 zurückgibt. GRPO nutzt nur die Unterschiede zwischen den Antworten auf denselben Prompt, daher ist die wichtigste Eigenschaft eines Graders, dass er die Antworten so einstuft, wie Sie es tun würden.
Grader lassen sich in zwei Familien unterteilen. Regelbasierte Grader berechnen den Score: exakte Übereinstimmung, Wortüberschneidungen, Zahlenvergleiche, Formatvalidierung. Sie sind schnell, kostenlos und absolut konsistent, messen aber nur das, wofür sie programmiert wurden. Modellbasierte Grader, also ein LLM, das als Judge fungiert, lesen die Antwort wie ein Mensch und können Korrektheit, Hilfreichkeit und Tonalität abwägen – auf Kosten von Token, Zeit und ihren eigenen Verzerrungen. DeepSeek-R1 verwendete für sein Reasoning-RL ausschließlich regelbasierte Rewards, da die Autoren feststellten, dass erlernte Reward-Modelle in großem Maßstab anfällig für Reward-Hacking sind.
Die Grader
Ein LLM liest die Unterhaltung, Ihre Referenzantwort und alle N Antworten zusammen und bewertet jede von 1 bis 5 in Bezug auf Richtigkeit, Hilfsbereitschaft, Tonalität und Format; die Noten werden auf 0–1 skaliert. Da es die Bedeutung versteht, erzielt eine richtige Antwort in anderen Worten dennoch eine gute Bewertung. Es kostet einen Judge-Aufruf pro Prompt pro Epoche, und ein schwaches Judge-Modell liefert verrauschte Bewertungen.
Wortüberschneidung zwischen der Antwort und Ihrer Antwort, gemessen als ROUGE-L F1 (0–1). Es benötigt kein Judge-Modell und kostet daher nichts. Es belohnt die Formulierung, nicht die Bedeutung: Eine richtig, aber anders formulierte Antwort erhält eine niedrige Bewertung, und eine falsche Antwort, die Ihre Worte wiederverwendet, eine hohe.
70 % Judge-Bewertung plus 30 % Ähnlichkeit. Das Judge-Modell entscheidet, was gut ist; der Ähnlichkeitswert zieht die Antworten in Richtung Ihrer Formulierung. Sie zahlen für das Judge-Modell und behalten beide blinden Flecken, jeweils in geringerer Dosis.
Nimmt die Kennzahlen in Ihrer Antwort (Dezimalzahlen, Prozentsätze, Beträge; keine Listennummerierungen) und gleicht jede mit der nächstliegenden Zahl in der Antwort ab: Innerhalb von 1 % gibt es die volle Punktzahl, innerhalb von 5 % die halbe, darüber hinaus nichts. Einheiten werden angeglichen, sodass 1.705M und 1,705B als dieselbe Zahl zählen. Antworten ohne Zahlen werden übersprungen. Es werden nur die Zahlen geprüft, nicht die Erklärung darum herum.
50 % Judge plus 50 % Zahlen, sodass sowohl die Begründung als auch die Werte zählen. Wenn Ihre Antwort keine Zahlen enthält, wird ausschließlich die Judge-Bewertung herangezogen. Kostet Judge-Token wie das Judge-Modell allein.
Die Antwort entspricht dem erwarteten Wert oder enthält diesen, oder ein Code-Snippet prüft ihr Format (gültiges JSON, ein bekanntes Label). Die Scores sind in der Regel Alles-oder-Nichts-Werte, was GRPO ein sehr klares Signal liefert, aber es funktioniert nur, wenn es eine überprüfbare Antwort gibt. Gehostete Anbieter bieten diese als integrierte Grader an, zum Beispiel eine String-Prüfung, neben Textähnlichkeit, einem Scoring-Modell und Kombinationen von Gradern.
Wie Ähnlichkeit gemessen wird: ROUGE-L
ROUGE wurde 2004 von Chin-Yew Lin eingeführt, um maschinell erstellte Zusammenfassungen mit menschlichen zu vergleichen. Die L-Variante sucht nach der längsten gemeinsamen Teilsequenz (LCS): der längsten Abfolge von Wörtern, die in beiden Texten in derselben Reihenfolge vorkommen, jedoch nicht zwingend direkt nebeneinander. Die Präzision ist LCS ÷ Wörter in der Antwort, der Recall ist LCS ÷ Wörter in der Referenz, und F1 kombiniert beide (ihr harmonisches Mittel).
- Referenz, 9 Wörter: „Den Bericht öffnen, auf Teilen klicken und Kunden auswählen.“
- Antwort A: „Auf Teilen im Bericht klicken und Kunden auswählen.“ Längste gemeinsame Teilsequenz: „auf Teilen … klicken und Kunden auswählen“, 6 Wörter. Precision 6/9, Recall 6/9, F1 ≈ 0,67.
- Antwort B, korrekt, aber umformuliert: „Verwenden Sie die Schaltfläche Teilen in Ihrem Bericht, um ihn zu senden.“ (12 Wörter). Längste gemeinsame Teilsequenz: nur „dem Bericht“, 2 Wörter. Präzision 2/12, Recall 2/9, F1 ≈ 0,19.
- Antwort C, falscher Empfänger: „Öffnen Sie den Bericht, klicken Sie auf Teilen und wählen Sie den Admin.“ 8 gemeinsame Wörter, F1 ≈ 0,89, der höchste der drei Werte.
- Implementierungen unterscheiden sich leicht darin, wie sie Wörter trennen und ob sie Wörter auf ihre Wortstämme reduzieren, aber die Lektion bleibt bestehen: Ähnlichkeit misst die Formulierung, weshalb sie in der Regel mit einem Judge kombiniert wird.
Wie der Zahlen-Grader bewertet
- Ihre Antwort: „WACC ≈ 9,91 %; Eigenkapitalkosten 10,34 %; Fremdkapitalkosten nach Steuern 4,15 %; EV ≈ 1.705 Mio. $.“ Vier Kennzahlen.
- Die Antwort enthält 9,95 %, 10,3 %, 4,2 % und 1.700 Mio.
- 9,95 vs. 9,91 ist eine Abweichung von 0,4 %, 10,3 vs. 10,34 weicht um 0,4 % ab, 1.700 vs. 1.705 weicht um 0,3 % ab: volle Punktzahl für jeden Wert.
- 4,2 vs. 4,15 ist eine Abweichung von 1,2 %: innerhalb von 5 %, also halbe Punktzahl.
- Score = (1 + 1 + 1 + 0,5) ÷ 4 = 0,875. Eine Antwort, die nur „WACC beträgt 1,33 %“ lautet, erhält einen Score von 0.
Der Zahlen-Grader prüft Zahlenwerte, nicht die Argumentation dahinter: Eine richtige Zahl, die auf falschem Weg ermittelt wurde, punktet dennoch, während eine solide Methode mit einem kleinen Fehler Abzüge erhält. Eine Antwort, die viele Zahlen auflistet, hat zudem höhere Chancen, in der Nähe Ihrer Werte zu landen. Die Kombination aus Judge + Zahlen existiert, um beide Lücken zu schließen.
Warum der Judge alle Antworten gleichzeitig sieht
In Scalata sieht der Judge alle N Antworten auf einen Prompt gemeinsam. Durch die direkte Gegenüberstellung bewertet er sie konsistent im Verhältnis zueinander, und genau diese konsistenten relativen Scores nutzt GRPO. Die kriterienbezogenen Noten des Judges sowie eine kurze Begründung für jede Antwort werden auf der Ausführungsseite neben jeder Gruppe angezeigt.
Auswahl eines Graders
| Ihre Aufgabe | Starten mit | Warum |
|---|---|---|
| Offener Support- oder Beratungs-Chat | Judge-Modell | Nur ein Modell kann beurteilen, ob Freitext richtig und hilfreich ist |
| Antworten müssen auch nach Ihrem Team klingen | Judge + Ähnlichkeit | Der Judge sichert die Bedeutung; die Ähnlichkeit lenkt in Richtung Ihrer Formulierung |
| Berechnungen mit exakten Ergebnissen | Judge + Zahlen oder nur Zahlen | Zahlen sind überprüfbar; der Judge erkennt Unsinn im Kontext |
| Ein richtiges Label oder ein richtiger Wert | Exakte Übereinstimmung / Prüfungen | Alles-oder-nichts-Bewertungen liefern das klarste Signal |
| Ein festes Ausgabeformat | Eine Formatprüfung, möglicherweise kombiniert mit einem Judge | Die Gültigkeit ist überprüfbar; der Inhalt erfordert möglicherweise noch eine Beurteilung |
Egal, wofür Sie sich entscheiden: Bewerten Sie vor einem langen Durchlauf fünf oder zehn Antworten selbst und vergleichen Sie diese mit dem Grader. Wenn Sie mit seiner Einstufung nicht übereinstimmen, wird das Modell die Meinung des Graders lernen, nicht Ihre.
Häufige Fehler
- Ausschließliche Nutzung von Ähnlichkeit, wenn es auf die Bedeutung ankommt. Korrekte Paraphrasierungen werden bestraft und falsche Antworten in Ihren eigenen Worten werden belohnt.
- Auswahl eines schwachen Judges für einen langen Durchlauf. Verrauschte Scores werden zu verrauschten Vorteilen, und GRPO skaliert kleine Unterschiede nach oben.
- Verwendung desselben Modells als Grader und als Evaluierungs-Judge. Dessen blinde Flecken erscheinen dann gleich doppelt als Verbesserungen.
- Einsatz des Zahlen-Graders bei Daten, deren Antworten nur wenige Zahlen enthalten; diese Zeilen werden übersprungen und der Durchlauf lernt nur von einem Bruchteil Ihrer Daten.
- Zu vergessen, dass alles, was der Grader nicht überprüft – wie Länge, Tonalität oder erfundene Details –, vom Modell frei verändert werden kann.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01ROUGE: A Package for Automatic Evaluation of SummariesLin, 2004 · ACL Anthology · aclanthology.orgDie ursprüngliche Definition von ROUGE-L und seinem F-Maß der längsten gemeinsamen Teilsequenz.
- 02GradersOpenAI API docs · developers.openai.comGehostete Grader-Typen: String-Prüfung, Textähnlichkeit, Scoring-Modell, Python und Multi-Grader.
- 03Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgWie gut LLM-Judges mit Menschen übereinstimmen und ihre bekannten Verzerrungen: Position, Ausführlichkeit, Selbstbevorzugung.
- 04DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgWarum regelbasierte Rewards gegenüber erlernten Reward-Modellen für Reasoning-RL bevorzugt wurden.