Was es ist
Jeder DPO-Durchlauf hat ein Referenzmodell: eine eingefrorene Kopie des Modells, wie es vor dem Preference-Training war. Beta (β) entscheidet, wie weit sich der Durchlauf davon entfernen darf. Stellen Sie sich eine Leine vor: Die Paare ziehen das Modell in Richtung der von Ihnen bevorzugten Antworten, und β legt fest, wie kurz die Leine ist.
Warum überhaupt eine Leine? Ihre Paare decken nur einen schmalen Bereich dessen ab, was das Modell gefragt wird. Ohne Einschränkungen kann der einfachste Weg, bevorzugte von nicht bevorzugten Antworten zu trennen, extrem sein: bestimmte Formulierungen fast unmöglich machen, alles verlängern oder auf eine Weise abweichen, die niemand überprüft hat. In der Nähe der Referenz zu bleiben, hält das restliche Verhalten des Modells (sein Allgemeinwissen, seine Sprachgewandtheit, das, was der überwachte Schritt ihm beigebracht hat) weitgehend intakt.
Wie es funktioniert
In der Zielfunktion, aus der DPO abgeleitet ist, multipliziert β die Strafe für das Abweichen von der Referenz, gemessen als KL-Divergenz. Das beste Modell unter dieser Zielfunktion ist die Referenz, neu gewichtet mit e hoch Belohnung ÷ β. Bei einem großen β ändern selbst große Belohnungsunterschiede die Wahrscheinlichkeiten nur wenig; bei einem kleinen β werden kleine Unterschiede verstärkt.
objective: maximise reward − β × KL(model ‖ reference)
best model: π*(answer) ∝ π_ref(answer) × e^(reward(answer) / β)
large β → rewards barely move the probabilities
small β → small reward differences are amplifiedInnerhalb des Loss multipliziert β die Log-Ratio-Marge vor der Sigmoid-Funktion. Ein Paar hört auf zu ziehen, sobald β × Marge deutlich positiv ist, da der Loss für dieses Paar abflacht. Ein höheres β erreicht diesen Punkt nach weniger Bewegung weg von der Referenz; ein niedrigeres β zieht weiter, bis sich das Modell viel weiter verschoben hat.
- Nehmen Sie ein Paar, bei dem das Training die Log-Ratio-Marge (ausgewählt minus abgelehnt, jeweils im Vergleich zur Referenz) auf 4,0 verschoben hat.
- β = 0,05: β × Marge = 0,2 und der Loss beträgt 0,60. Immer noch nah am Startwert von 0,69, sodass dieses Paar weiterhin stark zieht.
- β = 0,1: 0,4, Loss 0,51. Ein Stück des Weges geschafft.
- β = 0,5: 2,0, Loss 0,13. Weitgehend erfüllt; dieses Paar trägt nun kaum noch zu weiteren Änderungen bei.
- Um den Loss dieses Paares auf 0,1 zu senken, muss die Marge bei β = 0,1 etwa 22,5 erreichen, bei β = 0,5 jedoch nur etwa 4,5. Ein niedrigeres β lässt dieselben Paare das Modell viel weiter verschieben.
Dies ist auch der Grund, warum der Loss-Wert von β abhängt. Ein Loss von 0,3 bei β = 0,5 und ein Loss von 0,3 bei β = 0,05 beschreiben sehr unterschiedliche Ausmaße an Veränderung. Vergleichen Sie Loss-Kurven nur zwischen Durchläufen, die dasselbe β verwendet haben.
Wie Sie wählen
| β | Auswirkung | Wann Sie es verwenden sollten |
|---|---|---|
| 0,05 | Präferenzen verändern das Modell stärker. Schnellerer Effekt, höheres Risiko für ungewöhnliches Verhalten. | Saubere, zahlreiche Paare und ein Modell, das sich bei 0,1 kaum bewegt hat. |
| 0,1 | Die übliche Balance. | Ein erster Durchlauf. Der Standard in den Experimenten des DPO-Papers und in Hugging Face TRL. |
| 0,3–0,5 | Bleibt näher am Original. Sicherer, geringerer Effekt. | Wenige oder verrauschte Paare; ein Loss, der sehr schnell auf fast 0 gefallen ist; Antworten, die abgewichen sind oder begonnen haben, Details zu erfinden. |
Das DPO-Paper verwendete β = 0,1 für die meisten Experimente und β = 0,5 für seine Zusammenfassungsaufgabe. Gehostete Plattformen akzeptieren möglicherweise einen größeren Bereich (eine dokumentiert 0 bis 2) oder wählen automatisch einen Wert.
Die Stärke der Rückbindung an das Ausgangsmodell während des Preference Tunings. Ein niedrigerer Wert erlaubt es den Datenpaaren, das Modell stärker zu verändern; ein höherer Wert hält es näher am Original. Ändern Sie den Wert in kleinen Schritten und vergleichen Sie die Evaluierungen, nicht die Loss-Werte, da β die Skalierung des Losses verändert.
β wirkt mit den anderen Einstellungen zusammen. Die Lernrate und die Anzahl der Epochen entscheiden, wie stark und wie lange das Modell angetrieben wird; β entscheidet, wie viel Bewegung als ausreichend gilt. Wenn ein Durchlauf zu weit gegangen ist, erhöhen Sie β oder senken Sie die Lernrate, aber nicht beides gleichzeitig, sonst wissen Sie nicht, was geholfen hat.
Häufige Fehler
- Das Senken von β, um DPO bei wenigen oder verrauschten Paaren „härter arbeiten“ zu lassen. Es verstärkt alles, was die Paare belohnen, einschließlich Fehler.
- Der Vergleich von Loss-Werten zwischen Durchläufen, die unterschiedliche β verwendet haben.
- Das gleichzeitige Ändern von β, Lernrate und Epochen, sodass Sie nicht feststellen können, welche Änderung ausschlaggebend war.
- Die Annahme, dass ein sehr hohes β immer sicher ist. Bei extremen Werten ändert der Durchlauf fast nichts, und Sie zahlen für ein Training, das keine Wirkung hat.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.orgAbschnitt 4 leitet das Optimum in geschlossener Form ab; der Anhang listet standardmäßig β = 0,1 und 0,5 für Zusammenfassungen auf.
- 02DPO TrainerHugging Face TRL docs · huggingface.coβ ist standardmäßig 0,1; die Dokumentation beschreibt ein höheres β als geringere Abweichung von der Referenz.
- 03Direct preference optimizationOpenAI API docs · developers.openai.comDie Beschreibung von Beta durch einen gehosteten Anbieter: höher ist konservativer, niedriger begünstigt die neuen Präferenzen.
- 04A General Theoretical Paradigm to Understand Learning from Human PreferencesAzar et al., 2023 · arXiv · arxiv.orgZeigt, dass bei nahezu deterministischen Präferenzen die Bindung an das Referenzmodell nachlässt und DPO zum Overfitting neigen kann.