La recette standard : SFT, puis DPO

De quoi s'agit-il

Presque tous les pipelines post-entraînement publiés exécutent un réglage fin supervisé avant d'apprendre à partir des préférences. InstructGPT l'a fait (supervisé, puis un modèle de récompense et un apprentissage par renforcement). Zephyr l'a fait (supervisé, puis DPO). Tülu 3 l'a fait (supervisé, puis DPO, puis apprentissage par renforcement avec des récompenses vérifiables). Les fournisseurs hébergés recommandent le même ordre pour leur propre ajustement par les préférences.

Pourquoi l'ordre est important

Le DPO ajuste la probabilité relative des réponses que le modèle pouvait déjà produire. Il ne dispose d'aucun mécanisme pour enseigner des faits que le modèle n'a jamais vus. Si un modèle ne sait rien de votre produit, les réponses préférées et non préférées d'une paire lui sont souvent tout aussi étrangères, et la comparaison n'apporte que peu d'éléments exploitables.

Il y a aussi une raison technique. La récompense implicite du DPO est mesurée par rapport au modèle de référence, et la méthode fonctionne mieux lorsque les paires ressemblent à des réponses que cette référence pourrait vraisemblablement rédiger. L'article sur le DPO utilise un modèle supervisé comme référence chaque fois qu'il en existe un ; lorsqu'il n'y en a pas, il effectue d'abord un réglage fin sur les réponses préférées pour réduire le décalage, ce qui correspond à une étape SFT sous un autre nom.

Les preuves le confirment. L'équipe Zephyr a signalé que sans une étape supervisée initiale, leurs modèles n'étaient « pas du tout capables d'apprendre à partir des retours et offraient des performances désastreuses », tandis que le SFT suivi du DPO a permis un gain important sur les deux benchmarks de chat qu'ils ont utilisés. Effectuer davantage d'entraînement supervisé sur les réponses les mieux classées n'a pas reproduit ce gain : l'étape de préférence a ajouté quelque chose que le SFT seul n'apportait pas.

Poursuivre à partir du modèle de l'étape 1

L'étape 2 ne démarre pas à partir du modèle de base. Elle démarre à partir des poids produits par l'étape 1, et ce même modèle devient la référence figée par rapport à laquelle le DPO effectue ses mesures.

• Modèles hébergés : le fournisseur lance une nouvelle tâche à partir du modèle précédemment ajusté, via son identifiant ou par un démarrage à chaud depuis son adaptateur.
• Modèles ouverts entraînés avec un adaptateur LoRA : l'adaptateur de l'étape 1 est d'abord fusionné avec les poids de base. Le nouvel entraînement s'exécute sur ce modèle fusionné, et le résultat est à nouveau fusionné et enregistré en tant que modèle complet.
• Même base de bout en bout : l'exécution doit utiliser le même fournisseur et le même modèle de base que l'exécution qu'elle poursuit, afin que les limites et le prix du modèle restent identiques.

Les paramètres changent entre les étapes. L'entraînement par les préférences nécessite généralement moins d'époques (1–2) et un taux d'apprentissage beaucoup plus faible. Pour donner un ordre de grandeur, Zephyr a utilisé un taux d'apprentissage maximal de 2e-5 pour son étape supervisée et de 5e-7 pour le DPO, avec β = 0,1.

Mesurer l'étape 2

Comparez le modèle poursuivi avec le modèle de l'étape 1, et non avec la base brute. Une victoire sur la base reflète principalement ce que l'étape 1 a enseigné. Une victoire sur le modèle de l'étape 1 correspond à ce que l'ajustement par les préférences a ajouté, et c'est le seul chiffre qui vous indique s'il faut conserver l'étape DPO.

À quoi s'attendre

La leçon générale tirée de l'exécution d'étapes DPO dans la pratique est que les mêmes paires peuvent aider, n'avoir aucun effet ou nuire, selon le modèle de départ. Sur un modèle performant, une étape DPO peut rapprocher les réponses de celles de votre équipe et améliorer le ton. Sur un très petit modèle, le résultat se solde souvent par des ex æquo : si le modèle ne peut pas produire une bonne réponse, il n'a rien à préférer. Et parfois, le modèle ajusté se dégrade.

Au-delà de deux étapes

• Nouvelles connaissances après le DPO : poursuivez avec un entraînement supervisé à partir du modèle ajusté par les préférences. Un entraînement supervisé trop important peut en partie effacer ce raffinement ; une courte passe de préférence par la suite, à partir de cette nouvelle exécution supervisée, permet de le restaurer.
• Un DPO par-dessus un DPO avec les mêmes paires correspond simplement à plus d'époques sur les mêmes données, et a tendance à sur-ajuster : les réponses dérivent, s'allongent ou commencent à contourner ce que les paires récompensent.
• Le DPO itératif (un deuxième cycle sur de nouvelles paires collectées à partir des propres réponses du premier cycle) est une technique valide, mais elle nécessite une nouvelle étape de collecte de paires entre les cycles.

Erreurs courantes

• Ignorer l'étape 1 et exécuter le DPO sur un modèle de base brut.
• Évaluer l'étape 2 par rapport au modèle de base et attribuer au DPO les gains de l'étape 1.
• Le sur-entraînement de l'étape 1. Zephyr a découvert que lorsque le modèle supervisé était entraîné pendant plus d'une époque, un entraînement DPO plus long entraînait une régression.
• Exécuter un deuxième cycle DPO sur un modèle DPO avec les mêmes paires.
• Agir sur un faible écart. 5 victoires contre 1 sur 20 questions est un indice, pas une preuve : exécutez d'abord une évaluation plus vaste.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

1. 01Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgLe pipeline original commençant par une phase supervisée, avec le RLHF comme deuxième étape.
2. 02Zephyr: Direct Distillation of LM Alignment↗Tunstall et al., 2023 · arXiv · arxiv.orgL'enchaînement SFT puis DPO en détail, y compris ce qui se passe lorsque l'étape SFT est ignorée.
3. 03Tulu 3: Pushing Frontiers in Open Language Model Post-Training↗Lambert et al., 2024 · arXiv · arxiv.orgUne recette entièrement ouverte : ajustement fin supervisé, puis DPO, puis apprentissage par renforcement.
4. 04Direct preference optimization↗OpenAI API docs · developers.openai.comUn fournisseur hébergé recommandant un ajustement fin supervisé sur les réponses préférées avant le DPO.
5. 05Direct Preference Optimization: Your Language Model is Secretly a Reward Model↗Rafailov et al., 2023 · arXiv · arxiv.orgExplique pourquoi le modèle de référence doit être un modèle supervisé, et que faire lorsqu'il n'en existe aucun.

Concepts associés