Was es ist
Der Grader ist nicht Ihr Ziel. Er ist ein messbarer Stellvertreter dafür, ein Proxy. Reinforcement Learning optimiert den Proxy unerbittlich, und wo immer der Proxy und Ihr Ziel voneinander abweichen, driftet das Modell in Richtung des Proxys. Ökonomen kennen dies als Goodharts Gesetz: Wenn eine Kennzahl zum Ziel wird, hört sie auf, eine gute Kennzahl zu sein. In der KI nennt man dies Reward Hacking oder Specification Gaming.
Das klassische Beispiel stammt aus dem spielbasierten RL. Im Bootsrennspiel CoastRunners lernte ein Agent, der für das Treffen von Zielen entlang der Strecke belohnt wurde, in einer Lagune im Kreis zu fahren und immer wieder dieselben wenigen Ziele zu treffen, ohne das Rennen jemals zu beenden. Auf diese Weise erzielte er mehr Punkte als durch den Abschluss der Strecke. Nichts war kaputt: Der Agent tat genau das, was der Reward vorgab.
Sprachmodelle tun dasselbe mit Gradern. Die Autoren von DeepSeek-R1 berichten, dass beim Training gegen ein erlerntes Reward-Modell für Hilfsbereitschaft der Reward kontinuierlich stieg, während die Leistung bei einem Coding-Benchmark sank. Aus diesem Grund hielten sie erlernte Reward-Modelle teilweise aus ihrem Reasoning-RL heraus.
Gao et al. (2022) haben diese Kurve gemessen. Bei der Optimierung eines Modells gegen ein erlerntes Reward-Modell verfolgten sie einen separaten „Gold“-Reward, der für die tatsächliche Qualität stand: Je weiter sich das Modell von seinem Ausgangspunkt entfernte, desto weiter stieg der Proxy, während der Gold-Score stieg, seinen Höhepunkt erreichte und dann abfiel. Größere Reward-Modelle litten weniger darunter, aber keines konnte den Effekt vollständig beseitigen.
Wie es sich bei jedem Grader zeigt
| Bewerter | Wie er manipuliert wird | Wie es aussieht |
|---|---|---|
| Bewerter-Modell | Längere, gründlich klingende Antworten; ein selbstbewusster Ton; Text, der dem Bewerter schmeichelt oder ihn anweist | Die Länge nimmt zu; Antworten voller Vorbehalte und wiederholter Fragen; Sätze wie „Diese Antwort ist vollständig und korrekt.“ |
| Ähnlichkeit | Übernahme von Referenzformulierungen, unabhängig davon, ob sie passen | Antworten, die wie Ihre klingen, aber inhaltlich falsch sind |
| Zahlen | Auflistung vieler Zahlen, damit eine in der Nähe Ihrer Werte liegt | Antworten, die mit Zahlen oder Alternativen überladen sind: „entweder 9,9 % oder 10,3 %“ |
| Exakte Übereinstimmung / Prüfungen | Erfüllung der Prüfung nach dem reinen Wortlaut | Gültiges JSON mit leeren Feldern; das richtige Label umgeben von Unsinn |
Praxisbeispiel
- Prompt: „Kann ich ein Dashboard nach PowerPoint exportieren?“ Ihre Referenz: „Ja: Freigeben → Exportieren → PowerPoint. Jedes Diagramm wird zu einer Folie.“
- Antwort 1, Punktzahl 0,95, grün: wiederholt die Frage, nennt die Schritte, fügt drei Absätze mit allgemeinen Präsentationstipps hinzu und endet mit „Diese Antwort beantwortet Ihre Frage vollständig.“
- Antwort 2, Punktzahl 0,70, rot: die Schritte Ihrer Referenz in zwei Sätzen.
- Der Bewerter hat Gründlichkeit höher bewertet als Prägnanz, und der Schlusssatz könnte dies noch verstärkt haben. Antwort 2 ist das, was Sie wollten, doch die Aktualisierung drängt das Modell in Richtung Antwort 1.
- Lösungen: ein strengerer Bewerter oder eine Mischung mit Ähnlichkeit zu Ihrer Antwort; eine striktere maximale Antwortlänge; und eine Evaluierung mit einem anderen Bewerter, um das Ergebnis zu bestätigen.
Wie man es verhindert und erkennt
- Lesen Sie die verstärkten Antworten. Die grünen Antworten in jeder Gruppe sind genau das, was dem Modell beigebracht wird. Wenn sie nicht dem entsprechen, was Sie möchten, brechen Sie ab und ändern Sie den Grader.
- Evaluieren Sie unabhängig. Vergleichen Sie das trainierte Modell mit seinem Ausgangspunkt anhand von zurückgehaltenen Fragen und verwenden Sie dabei einen anderen Judge als den Grader. Ein Reward-Anstieg, der sich dort nicht zeigt, ist verdächtig.
- Kombinieren Sie Grader. Der blinde Fleck jedes Graders wird durch einen anderen abgedeckt: Ein Judge plus eine Zahlenprüfung ist weitaus schwerer auszutricksen als jeder für sich allein.
- Begrenzen Sie die Länge. Eine sinnvolle maximale Antwortlänge unterbindet den häufigsten Hack sofort.
- Verankern Sie mit KL β. Eine Strafe für das Abweichen vom Ausgangsmodell begrenzt, wie weit ein Exploit getrieben werden kann, auf Kosten einer langsameren Verbesserung.
- Vermeiden Sie Overtraining. Die Überoptimierung nimmt mit der Entfernung vom Start zu; ein kürzerer Durchlauf, der in der Nähe des Höhepunkts stoppt, ist oft besser als ein längerer.
- Bevorzugen Sie überprüfbare Rewards. Exakte Antworten, Zahlen, Formatprüfungen und Tests lassen weniger Spielraum für Interpretationen als eine Meinung.
Häufige Fehler
- Das Reward-Diagramm als Maßstab für den Erfolg zu betrachten.
- Verwendung desselben Modells als Grader und als Evaluierungs-Judge.
- Viel längeres Training als nötig, „weil der Reward immer noch steigt“.
- Einen Hack beheben und die Antworten nicht erneut lesen; Modelle finden meist schnell die nächste Lücke.
- Dem Modell die Schuld geben. Es tut genau das, was der Reward vorgibt; die Lösung liegt fast immer im Grader oder im Setup.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01Concrete Problems in AI SafetyAmodei et al., 2016 · arXiv · arxiv.orgNennt Reward Hacking als eines von fünf praktischen Sicherheitsproblemen im maschinellen Lernen.
- 02Scaling Laws for Reward Model OveroptimizationGao, Schulman & Hilton, 2022 · arXiv · arxiv.orgMisst, wie die tatsächliche Qualität ihren Höhepunkt erreicht und abfällt, wenn ein Modell gegen einen Proxy-Reward optimiert wird.
- 03Specification gaming: the flip side of AI ingenuityKrakovna et al., 2020 · Google DeepMind · deepmind.googleBeispiele für Agenten, die das tun, was der Reward vorgibt, anstatt das, was gemeint war.
- 04Reward Hacking in Reinforcement LearningWeng, 2024 · Lil'Log · lilianweng.github.ioEine umfassende Untersuchung von Reward Hacking im RL und im Training von Sprachmodellen.