Ce que c'est
Certains outils d'entraînement indiquent, à côté de la perte DPO, un nombre généralement appelé précision des préférences (Hugging Face TRL l'enregistre sous rewards/accuracies). Pour chaque paire, elle pose une question par oui ou par non : le modèle classe-t-il désormais la réponse préférée au-dessus de celle non préférée, une fois chacune comparée au modèle de référence ? La valeur indiquée est la proportion de paires pour lesquelles la réponse est oui.
Mode de calcul
Rappelez-vous la récompense implicite du DPO : β fois le logarithme de la probabilité supplémentaire que le modèle entraîné trouve une réponse par rapport à la référence. Chaque paire en possède deux, une de chaque côté, et la marge est la récompense choisie moins celle rejetée.
margin = reward(chosen) − reward(rejected)
correct = margin > 0
accuracy = (pairs with margin > 0) ÷ (all pairs)À la toute première étape, le modèle entraîné est égal à la référence, chaque marge est donc exactement de 0. Lors des premières mises à jour, les marges sont infimes et leur signe est presque aléatoire, la précision oscille donc autour de 50 % : un tirage à pile ou face. À mesure que l'entraînement progresse, les marges s'écartent, et si les paires enseignent quelque chose, la plupart d'entre elles se déplacent au-dessus de zéro.
- Après une époque, dix paires présentent des marges de 0,9, 0,6, 0,5, 0,4, 0,3, 0,2, 0,1, 0,05, −0,1 et −0,3.
- Huit sont supérieures à zéro, la précision des préférences est donc de 8 ÷ 10 = 80 %.
- La marge moyenne est de 2,65 ÷ 10 = 0,265 : positive, mais modeste.
- Imaginez maintenant une exécution où les dix marges sont de 0,02. La précision est de 100 %, pourtant la perte est toujours de 0,68 : chaque paire est classée correctement de justesse. La précision compte les gagnants ; la perte et la marge indiquent l'écart.
L'interpréter avec la perte
| Précision | Perte | Lecture |
|---|---|---|
| Environ 50 % | Environ 0,69 | Rien n'a encore été appris, ou les paires sont trop subtiles pour que le modèle les sépare. |
| En hausse constante | En baisse constante | La tendance saine : le modèle apprend la préférence. |
| 100 % rapidement | Proche de 0 | Les paires sont faciles ou mémorisées. Vérifiez leur variété et leur difficulté ; envisagez moins d'époques ou un β plus élevé. |
| Élevée | Toujours proche de 0,6 | Paires classées correctement, mais avec des marges infimes : le modèle a à peine bougé. |
| Inférieure à 50 % | Supérieure à 0,69 | Le modèle apprend l'inverse. Vérifiez si les étiquettes sont inversées. |
Attendez-vous à ce que la courbe soit en dents de scie. La précision est souvent enregistrée par lot, et un lot de 8 paires ne peut obtenir que 0 %, 12,5 %, 25 %, etc., de sorte que les relevés individuels fluctuent considérablement. Observez la tendance sur de nombreuses étapes, ou la valeur par époque, plutôt qu'un point isolé. Avec très peu de paires au total, une poignée de paires changeant de signe modifie beaucoup le chiffre sans que cela signifie grand-chose.
Ce qu'elle ne mesure pas
La précision des préférences est calculée sur vos paires, dont les réponses étaient déjà rédigées. Elle n'examine jamais ce que le modèle rédige actuellement. Une étude de 2024 a mesuré un nombre connexe (si un modèle attribue directement la probabilité la plus élevée à la meilleure réponse, sans référence) et a révélé que la plupart des modèles de pointe ajustés aux préférences le font moins de 60 % du temps sur des jeux de données de préférences courants, en partie parce que le DPO peine à corriger les erreurs de classement, même légères, que le modèle de départ faisait déjà. Un chiffre élevé sur vos paires d'entraînement montre que l'exécution a fonctionné mécaniquement ; ce n'est pas une mesure de la qualité des réponses.
Si la précision est également indiquée sur des paires réservées, ce chiffre est plus informatif que celui de l'entraînement, car il montre si la préférence se transpose aux paires sur lesquelles le modèle n'a pas été entraîné. Le dernier mot revient toujours à une évaluation dans laquelle le modèle rédige ses propres réponses.
Erreurs courantes
- Considérer une précision d'entraînement de 100 % comme un succès. Avec des paires peu nombreuses ou faciles, c'est prévisible et cela peut signifier une mémorisation.
- Interpréter la précision sans la perte ou la marge : avoir raison de justesse ou de loin comptent tous deux comme corrects.
- Comparer la précision entre différents jeux de données. Des paires plus difficiles et plus subtiles donnent naturellement des chiffres plus bas.
- La traiter comme une évaluation. Elle n'examine jamais les réponses rédigées par le modèle.
Références et lectures complémentaires
Les sources externes s'ouvrent dans un nouvel onglet.
- 01DPO TrainerHugging Face TRL docs · huggingface.coDéfinit les récompenses/précisions et les récompenses/marges telles qu'enregistrées durant l'entraînement DPO.
- 02Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.orgD'où provient la récompense implicite qui sous-tend cette métrique.
- 03Preference Learning Algorithms Do Not Learn Preference RankingsChen et al., 2024 · arXiv · arxiv.orgÀ quelle fréquence les modèles ajustés par préférences classent réellement la meilleure réponse plus haut, et pourquoi le DPO corrige rarement les erreurs de classement existantes.
- 04Zephyr: Direct Distillation of LM AlignmentTunstall et al., 2023 · arXiv · arxiv.orgUne précision d'entraînement parfaite après une époque DPO, et ce que cela signifiait ou non pour le modèle final.