Ce que c'est
Chaque exécution DPO possède un modèle de référence : une copie figée du modèle tel qu'il était avant l'entraînement par préférences. Bêta (β) décide jusqu'où l'exécution peut s'en éloigner. Pensez à une laisse : les paires tirent le modèle vers les réponses que vous préférez, et β définit la longueur de la laisse.
Pourquoi avoir une laisse ? Vos paires couvrent une fraction étroite de ce qui sera demandé au modèle. Sans contrainte, la façon la plus économique de séparer les réponses préférées des réponses non préférées peut être extrême : rendre certaines formulations presque impossibles, tout allonger, ou dériver d'une manière que personne n'a examinée. Rester proche de la référence permet de conserver le reste du comportement du modèle (ses connaissances générales, sa fluidité, ce que l'étape supervisée lui a appris) largement intact.
Comment cela fonctionne
Dans l'objectif dont dérive le DPO, β multiplie la pénalité pour divergence par rapport à la référence, mesurée par la divergence KL. Le meilleur modèle selon cet objectif est la référence repondérée par e à la puissance de la récompense ÷ β. Avec un grand β, même de grandes différences de récompense ne modifient que légèrement les probabilités ; avec un petit β, les petites différences sont amplifiées.
objective: maximise reward − β × KL(model ‖ reference)
best model: π*(answer) ∝ π_ref(answer) × e^(reward(answer) / β)
large β → rewards barely move the probabilities
small β → small reward differences are amplifiedÀ l'intérieur de la perte, β multiplie la marge du log-ratio avant la sigmoïde. Une paire cesse de tirer une fois que β × marge est confortablement positif, car la perte pour cette paire s'aplatit. Un β plus élevé atteint ce point après un moindre éloignement de la référence ; un β plus faible continue de tirer jusqu'à ce que le modèle se soit éloigné beaucoup plus.
- Prenez une paire où l'entraînement a porté la marge du log-ratio (choisi moins rejeté, chacun par rapport à la référence) à 4,0.
- β = 0,05 : β × marge = 0,2 et la perte est de 0,60. Encore proche de la valeur initiale de 0,69, donc cette paire continue de tirer fortement.
- β = 0,1 : 0,4, perte de 0,51. À mi-chemin.
- β = 0,5 : 2,0, perte de 0,13. Essentiellement satisfait ; cette paire ne contribue désormais que très peu aux changements ultérieurs.
- Pour abaisser la perte de cette paire à 0,1, la marge doit atteindre environ 22,5 à β = 0,1, mais seulement environ 4,5 à β = 0,5. Un β plus faible permet aux mêmes paires de faire évoluer le modèle beaucoup plus loin.
C'est aussi pourquoi la valeur de la perte dépend de β. Une perte de 0,3 à β = 0,5 et une perte de 0,3 à β = 0,05 décrivent des quantités de changement très différentes. Ne comparez les courbes de perte qu'entre des exécutions ayant utilisé le même β.
Comment choisir
| β | Effet | Quand l'utiliser |
|---|---|---|
| 0,05 | Les préférences modifient davantage le modèle. Effet plus rapide, risque plus élevé de comportement étrange. | Des paires propres et abondantes, et un modèle qui a à peine bougé à 0,1. |
| 0,1 | L'équilibre habituel. | Une première exécution. La valeur par défaut dans les expériences de l'article sur le DPO et dans Hugging Face TRL. |
| 0,3–0,5 | Reste plus proche de l'original. Plus sûr, effet plus faible. | Paires peu nombreuses ou bruitées ; une perte qui est tombée près de 0 très rapidement ; des réponses qui ont dérivé ou commencé à inventer des détails. |
L'article sur le DPO a utilisé β = 0,1 pour la plupart des expériences et β = 0,5 pour sa tâche de résumé. Les plateformes hébergées peuvent accepter une plage plus large (l'une d'elles documente de 0 à 2) ou choisir une valeur automatiquement.
La force de l'attraction vers le modèle de départ lors de l'ajustement des préférences. Une valeur plus faible permet aux paires de modifier davantage le modèle ; une valeur plus élevée le maintient plus proche de l'original. Modifiez-la par petites étapes et comparez les évaluations, et non les pertes, car β modifie l'échelle des pertes.
β fonctionne de concert avec les autres paramètres. Le taux d'apprentissage et le nombre d'époques décident de la force et de la durée de la poussée du modèle ; β décide de la quantité de mouvement considérée comme suffisante. Si une exécution est allée trop loin, augmentez β ou diminuez le taux d'apprentissage, mais pas les deux à la fois, sinon vous ne saurez pas lequel a été utile.
Erreurs courantes
- Abaisser β pour que le DPO « travaille plus dur » sur des paires peu nombreuses ou bruitées. Cela amplifie tout ce que les paires récompensent, y compris les erreurs.
- Comparer les valeurs de perte entre des exécutions ayant utilisé des β différents.
- Modifier β, le taux d'apprentissage et les époques en même temps, de sorte que vous ne pouvez pas savoir quel changement a été déterminant.
- Supposer qu'un β très élevé est toujours sûr. À des valeurs extrêmes, l'exécution ne change presque rien, et vous payez pour un entraînement qui n'a aucun effet.
Références et lectures complémentaires
Les sources externes s'ouvrent dans un nouvel onglet.
- 01Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.orgLa section 4 dérive l'optimum sous forme fermée ; l'annexe indique β = 0,1 par défaut et 0,5 pour le résumé.
- 02DPO TrainerHugging Face TRL docs · huggingface.coβ est de 0,1 par défaut ; la documentation décrit un β plus élevé comme un écart moindre par rapport à la référence.
- 03Direct preference optimizationOpenAI API docs · developers.openai.comDescription du paramètre bêta par un fournisseur hébergé : une valeur plus élevée est plus conservatrice, une valeur plus faible favorise les nouvelles préférences.
- 04A General Theoretical Paradigm to Understand Learning from Human PreferencesAzar et al., 2023 · arXiv · arxiv.orgMontre que lorsque les préférences sont quasi déterministes, l'attraction vers la référence s'affaiblit et le DPO peut surajuster.