Was sie ist
Einige Trainer weisen neben dem DPO-Loss eine Zahl aus, die meist als Präferenzgenauigkeit bezeichnet wird (Hugging Face TRL protokolliert sie als rewards/accuracies). Für jedes Paar wird eine Ja-Nein-Frage gestellt: Stuft das Modell die bevorzugte Antwort nun höher ein als die nicht bevorzugte, sobald beide mit dem Referenzmodell verglichen werden? Der ausgewiesene Wert ist der Anteil der Paare, bei denen die Antwort „Ja“ lautet.
Wie sie berechnet wird
Erinnern Sie sich an den impliziten Reward von DPO: β mal dem Logarithmus der Wahrscheinlichkeit, mit der das trainierte Modell eine Antwort im Vergleich zur Referenz als wahrscheinlicher einstuft. Jedes Paar hat zwei davon, einen pro Seite, und die Marge ist der ausgewählte Reward abzüglich des abgelehnten.
margin = reward(chosen) − reward(rejected)
correct = margin > 0
accuracy = (pairs with margin > 0) ÷ (all pairs)Beim allerersten Schritt entspricht das trainierte Modell der Referenz, sodass jede Marge exakt 0 beträgt. Bei den ersten Aktualisierungen sind die Margen winzig und ihr Vorzeichen nahezu zufällig, sodass die Genauigkeit bei etwa 50 % liegt: ein Münzwurf. Im weiteren Verlauf des Trainings fächern sich die Margen auf, und wenn die Paare etwas vermitteln, bewegen sich die meisten von ihnen in den positiven Bereich.
- Nach einer Epoche weisen zehn Paare Margen von 0,9, 0,6, 0,5, 0,4, 0,3, 0,2, 0,1, 0,05, −0,1 und −0,3 auf.
- Acht liegen über null, die Präferenzgenauigkeit beträgt also 8 ÷ 10 = 80 %.
- Die durchschnittliche Marge beträgt 2,65 ÷ 10 = 0,265: positiv, aber bescheiden.
- Stellen Sie sich nun einen Durchlauf vor, bei dem alle zehn Margen 0,02 betragen. Die Genauigkeit liegt bei 100 %, doch der Loss beträgt weiterhin 0,68: Jedes Paar wird nur um Haaresbreite richtig eingestuft. Die Genauigkeit zählt die Gewinner; der Loss und die Marge geben an, mit welchem Abstand.
Interpretation zusammen mit dem Loss
| Genauigkeit | Loss | Interpretation |
|---|---|---|
| Etwa 50 % | Etwa 0,69 | Noch nichts gelernt, oder die Paare sind zu subtil, als dass das Modell sie trennen könnte. |
| Stetig steigend | Stetig fallend | Das gesunde Muster: Das Modell erlernt die Präferenz. |
| Frühzeitig 100 % | Nahe 0 | Die Paare sind einfach oder wurden auswendig gelernt. Überprüfen Sie deren Vielfalt und Schwierigkeitsgrad; ziehen Sie weniger Epochen oder ein höheres β in Betracht. |
| Hoch | Weiterhin nahe 0,6 | Paare richtig eingestuft, aber mit winzigen Margen: Das Modell hat sich kaum bewegt. |
| Unter 50 % | Über 0,69 | Das Modell lernt das Gegenteil. Prüfen Sie auf vertauschte Labels. |
Erwarten Sie eine sprunghafte Kurve. Die Genauigkeit wird oft pro Batch protokolliert, und ein Batch von 8 Paaren kann nur Werte wie 0 %, 12,5 %, 25 % usw. erreichen, sodass einzelne Messwerte stark schwanken. Betrachten Sie eher den Trend über viele Schritte hinweg oder den Wert pro Epoche als einen einzelnen Punkt. Bei insgesamt sehr wenigen Paaren führt schon eine Handvoll Paare, die das Vorzeichen wechseln, zu einer starken Veränderung der Zahl, ohne dass dies viel bedeutet.
Was sie nicht misst
Die Präferenzgenauigkeit wird anhand Ihrer Paare berechnet, deren Antworten bereits geschrieben wurden. Sie berücksichtigt niemals, was das Modell aktuell schreibt. Eine Studie aus dem Jahr 2024 maß eine verwandte Kennzahl (ob ein Modell der besseren Antwort direkt und ohne Referenz die höhere Wahrscheinlichkeit zuweist) und stellte fest, dass die meisten hochmodernen, präferenzoptimierten Modelle dies bei gängigen Präferenzdatensätzen in weniger als 60 % der Fälle tun. Dies liegt zum Teil daran, dass DPO Schwierigkeiten hat, selbst leichte Einstufungsfehler zu beheben, die das Ausgangsmodell bereits gemacht hat. Ein hoher Wert bei Ihren Trainingspaaren zeigt, dass der Durchlauf mechanisch funktioniert hat; er ist kein Maß für die Antwortqualität.
Wenn die Genauigkeit auch für zurückgehaltene Paare ausgewiesen wird, ist diese Zahl aussagekräftiger als die des Trainings. Sie zeigt, ob sich die Präferenz auf Paare überträgt, mit denen das Modell nicht trainiert wurde. Das letzte Wort hat jedoch immer noch eine Evaluierung, bei der das Modell seine eigenen Antworten schreibt.
Häufige Fehler
- 100 % Trainingsgenauigkeit als Erfolg zu werten. Bei wenigen oder einfachen Paaren ist dies zu erwarten und kann auf Auswendiglernen hindeuten.
- Die Genauigkeit ohne den Loss oder die Marge zu betrachten: Richtig um Haaresbreite und richtig mit großem Abstand zählen beide als korrekt.
- Die Genauigkeit über verschiedene Datensätze hinweg zu vergleichen. Schwierigere, subtilere Paare führen naturgemäß zu niedrigeren Werten.
- Sie als Evaluierung zu behandeln. Sie berücksichtigt niemals die Antworten, die das Modell selbst schreibt.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01DPO TrainerHugging Face TRL docs · huggingface.coDefiniert rewards/accuracies und rewards/margins, wie sie während des DPO-Trainings protokolliert werden.
- 02Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.orgWoher die implizite Belohnung hinter dieser Metrik stammt.
- 03Preference Learning Algorithms Do Not Learn Preference RankingsChen et al., 2024 · arXiv · arxiv.orgWie oft präferenzoptimierte Modelle die bessere Antwort tatsächlich höher einstufen und warum DPO bestehende Ranking-Fehler selten behebt.
- 04Zephyr: Direct Distillation of LM AlignmentTunstall et al., 2023 · arXiv · arxiv.orgPerfekte Trainingsgenauigkeit nach einer DPO-Epoche und was dies für das finale Modell bedeutete und was nicht.