Interpréter la perte DPO

Ce que c'est

Lors d'une exécution de préférence, l'entraîneur signale une perte, par étape ou par époque, et parfois aussi sur des paires mises de côté. Elle répond à une question : en moyenne, avec quelle certitude la récompense implicite du modèle classe-t-elle la réponse préférée au-dessus de celle non préférée, par rapport au point de départ du modèle ?

Elle ressemble à une perte supervisée mais ne signifie pas la même chose. La perte supervisée est une entropie croisée sur les jetons et peut commencer n'importe où, souvent au-dessus de 1. La perte DPO est une perte de classification par paire avec une valeur de départ fixe et un plancher de 0. Les deux ne sont pas comparables.

Pourquoi elle commence à 0,693

À la première étape, le modèle en cours d'entraînement et le modèle de référence sont identiques. Chaque rapport logarithmique est de 0, donc chaque marge est de 0, σ(0) = 0,5 et la perte est −ln 0,5 = ln 2 ≈ 0,693 : la perte d'un tirage à pile ou face. Cela vaut pour chaque jeu de données et chaque modèle, ce qui en fait une vérification de cohérence utile. Les premières valeurs enregistrées doivent se situer à 0,69 ou juste en dessous ; un départ très éloigné de cette valeur signifie généralement que la référence n'est pas le modèle de départ, ou qu'une variante de perte différente est utilisée.

step 0:  model = reference
         every log-ratio = 0  →  margin = 0
         loss = −ln σ(0) = −ln 0.5 = ln 2 ≈ 0.693

Les formes à reconnaître

Interpréter les chiffres

Puisque la perte pour une paire est −ln σ(β × marge), chaque valeur correspond à un niveau d'accord entre le modèle et l'étiquette :

La perte signalée est une moyenne sur les paires, de sorte qu'une valeur moyenne peut cacher une division : la plupart des paires ont bien appris et quelques-unes ont été classées dans le mauvais sens. C'est pourquoi les entraîneurs signalent souvent la précision des préférences (la part des paires classées dans le bon sens) et la marge de récompense moyenne en parallèle.

Ce que la perte ne peut pas vous dire

• Si les réponses se sont améliorées. La perte est calculée sur des paires fixes, et non sur les réponses générées par le modèle. Un modèle peut séparer vos paires parfaitement tout en répondant moins bien aux nouvelles questions.
• Dans quel sens les probabilités ont évolué. La perte diminue si la probabilité de la réponse rejetée baisse, même lorsque celle de la réponse choisie baisse également. Les chercheurs ont constaté que la probabilité de la réponse choisie diminue souvent pendant le DPO (« déplacement de probabilité »), et la documentation de TRL note que l'écart se creuse généralement davantage en supprimant les réponses rejetées qu'en favorisant les réponses préférées.
• Si le surajustement est préjudiciable. Dans le rapport Zephyr, l'étape DPO a fortement surajusté après une époque (précision parfaite sur l'ensemble d'entraînement), mais cela n'a pas nui aux résultats de référence, et le meilleur modèle est issu de trois époques DPO. Cependant, lorsque le modèle supervisé avait été entraîné pendant plus d'une époque, un entraînement DPO plus long a provoqué une régression. Les courbes d'entraînement n'ont pas permis de distinguer ces cas ; les évaluations l'ont fait.

La précision des jetons, affichée pour les exécutions supervisées, n'est pas une mesure de l'apprentissage des préférences, elle n'est donc pas affichée pour le DPO.

Erreurs courantes

• Comparer une perte DPO à une perte supervisée. Formules différentes, échelles différentes.
• Comparer les pertes DPO entre des exécutions avec des β différents.
• Se réjouir d'une perte proche de 0. Avec des paires peu nombreuses ou faciles, c'est le résultat attendu, et souvent un signe de mémorisation.
• Ne pas remarquer les étiquettes inversées. Une perte qui grimpe au-dessus de 0,69 signifie généralement que les côtés préféré et non préféré ont été inversés quelque part.
• S'arrêter à la courbe. Seule une évaluation par rapport au modèle de départ permet de savoir si les réponses se sont améliorées.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

1. 01Direct Preference Optimization: Your Language Model is Secretly a Reward Model↗Rafailov et al., 2023 · arXiv · arxiv.orgDéfinit la perte et explique comment son gradient pondère chaque paire.
2. 02DPO Trainer↗Hugging Face TRL docs · huggingface.coListe ce qu'un module d'entraînement DPO consigne : perte, récompenses implicites, marges et précisions.
3. 03Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization↗Razin et al., 2024 · arXiv · arxiv.orgPourquoi la vraisemblance de la réponse préférée peut chuter pendant le DPO, et quelles paires en sont la cause.
4. 04Zephyr: Direct Distillation of LM Alignment↗Tunstall et al., 2023 · arXiv · arxiv.orgUn exemple pratique d'exécution SFT puis DPO, incluant ce que le surapprentissage de l'étape DPO a fait et n'a pas fait.

Concepts associés