Ce qu'est une paire
Une paire de préférences se compose de trois parties : le prompt (la conversation jusqu'à présent, y compris tout message système), la réponse préférée et la réponse non préférée. Certains outils appellent ces deux dernières choisie et rejetée. On ne dit jamais au modèle pourquoi l'une est meilleure. Il le déduit de tout ce qui les différencie.
C'est le point central concernant les paires : le DPO apprend la différence. Si la réponse préférée est correcte et précise tandis que celle rejetée est vague, il apprend à être précis. Si la réponse préférée est également toujours plus longue, il peut apprendre à la place que « plus c'est long, mieux c'est ». Tout ce qui sépare systématiquement les deux côtés dans vos paires est ce qui est renforcé.
Les trois sources de l'outil Paires de préférences
Chaque réponse d'un jeu de données peut constituer le meilleur côté d'une paire. Lorsque vous créez des paires à partir d'un jeu de données, le côté inférieur provient de l'une de ces trois sources :
| Source | Comment la moins bonne partie est créée | Point fort | À surveiller |
|---|---|---|---|
| Évaluations | Deux modèles ont répondu à la même question et un juge a désigné un gagnant. Le gagnant est préféré, le perdant non préféré. Les ex æquo sont ignorés : ils n'indiquent aucune préférence. | Les deux réponses sont de véritables résultats de modèles, le contraste est donc réaliste. | Les juges sont imparfaits, et un mauvais gagnant enseigne une mauvaise leçon. Effectuez des vérifications ponctuelles. |
| Vos modifications | Vous avez corrigé une réponse dans un jeu de données. La version corrigée est préférée, l'originale non préférée. | Le signal de la plus haute qualité : une personne indiquant exactement ce qui n'allait pas. | Les modifications qui ne font que reformuler n'enseignent pas grand-chose. |
| Écrit par un modèle | Un modèle de votre choix rédige une réponse simple et générique, sans connaissance de votre entreprise ni outils. Votre réponse est préférée. | Couvre chaque réponse qui n'a pas d'autre paire ; apprend au modèle à répondre comme votre équipe plutôt que comme un assistant générique. | Le contraste est facile, la perte peut donc chuter rapidement sans que grand-chose ne soit appris. |
Réintégrer la même évaluation met à jour ses paires au lieu de les dupliquer. Ainsi, évaluer, collecter des paires, entraîner et évaluer à nouveau constitue une boucle que vous pouvez répéter.
Paires issues des retours du chat et de la révision humaine
- Retours du chat. Lorsque quelqu'un a posé la même question deux fois dans un chat, a aimé une réponse et n'a pas aimé ou a actualisé l'autre, l'importation des retours du chat transforme cela en une paire : la réponse aimée est préférée, l'autre non. Les réponses évaluées des deux manières par différentes personnes sont ignorées, tout comme les réponses identiques. Une réponse non aimée seule ne devient jamais une réponse à partir de laquelle apprendre ; elle attend une meilleure réponse pour être comparée.
- Files d'annotation. Un réviseur lisant les réponses à l'aveugle choisit la meilleure ou rédige une correction. L'exportation de la file fait de la correction, ou de la réponse choisie, la réponse à partir de laquelle apprendre et de la réponse moins appréciée sa paire inférieure, de sorte qu'un seul exemple sert à l'entraînement supervisé et au DPO. Les égalités sans correction ne sont pas exportées.
Ce qui rend une paire utile
- La différence doit porter sur ce qui vous importe. Si les deux réponses sont bonnes et ne diffèrent que par la formulation, le modèle apprend du bruit. Les recherches sur le DPO ont montré que les paires dont les deux réponses sont très similaires peuvent même transférer la probabilité sur des réponses sans rapport.
- La réponse préférée doit réellement être meilleure. Un mauvais gagnant enseigne une mauvaise leçon. Les réponses générées et les juges étant imparfaits, lisez un échantillon.
- Les réponses rejetées plausibles en enseignent davantage. « Vague mais poli » est un contraste plus utile que du charabia. Une réponse rejetée que le modèle n'écrirait jamais ne lui apprend pas grand-chose.
- Proche de ce que le modèle écrit. Le DPO apprend le plus des réponses proches du propre comportement du modèle. Les paires d'évaluation, dont l'une des parties a été écrite par le modèle lui-même, sont naturellement bien ciblées.
- Contrôlez la longueur et le style. Si les réponses préférées sont systématiquement plus longues ou plus formatées, incluez des paires où la réponse plus courte ou plus simple l'emporte.
- Pénalisez l'invention. Si un modèle invente des détails, ajoutez des paires où la réponse rejetée est celle qui a été inventée et où la réponse préférée est correcte, ou indique clairement qu'elle ne sait pas.
- Question : « Puis-je exporter un tableau de bord vers PowerPoint ? » La réponse préférée est toujours la même : les étapes correctes, Partager → Exporter → PowerPoint.
- Faible : rejet de « asdf ». Le contraste est trivial : la perte sur cette paire chute à près de 0 presque immédiatement et le modèle n'apprend quasiment rien.
- Meilleur : rejet de « Je ne suis pas sûr que cette fonctionnalité existe ; veuillez consulter la documentation. » Un échec réaliste : vague et inutile.
- Idéal, pour un modèle qui invente : rejet de « Oui : appuyez sur Ctrl+Maj+P et choisissez Exporter vers des diapositives. » Confiant et erroné, ce qui est exactement l'habitude à supprimer.
Combien de paires
Des dizaines de paires peuvent montrer un effet sur un comportement précis ; des centaines ou plus en produisent un robuste. La couverture compte autant que le nombre : 200 paires sur les cinq mêmes questions enseignent moins que 200 paires réparties sur les questions que vos utilisateurs posent réellement. Pour donner un ordre d'idée, une première étude sur l'ajustement fin des modèles de langage à partir de comparaisons humaines a utilisé 5 000 comparaisons pour une tâche de style et 60 000 pour le résumé.
Paires issues de conversations à plusieurs tours
Les paires peuvent provenir du cœur d'une conversation. Certains fournisseurs s'entraînent sur une question par enregistrement, de sorte que les tours précédents sont intégrés au dernier message de l'utilisateur en tant que contexte. D'autres acceptent la conversation entière comme prompt et conservent les tours comme des messages distincts. Les mêmes paires peuvent être écrites de l'une ou l'autre manière.
Earlier in this conversation:
User: I uploaded a CSV yesterday.
Assistant: Thanks — it's in Local Storage.
Latest message:
Can I use it in a dashboard?Erreurs courantes
- Faire confiance aux paires générées ou jugées sans en lire un échantillon.
- Les paires qui ne diffèrent que par la formulation, ou dont les deux réponses sont bonnes.
- Les réponses rejetées qui sont manifestement défectueuses, de sorte qu'aucune subtilité n'est apprise.
- Un biais de longueur caché : les réponses préférées sont toujours plus longues, le modèle apprend donc à divaguer.
- Créer des paires à partir des mêmes questions que celles sur lesquelles vous ferez l'évaluation, ce qui flatte le résultat.
Références et lectures complémentaires
Les sources externes s'ouvrent dans un nouvel onglet.
- 01Fine-Tuning Language Models from Human PreferencesZiegler et al., 2019 · arXiv · arxiv.orgPremiers travaux sur l'apprentissage à partir de comparaisons humaines, y compris la façon dont les raccourcis des annotateurs ont façonné ce que le modèle a appris.
- 02Dataset formats and typesHugging Face TRL docs · huggingface.coLe format prompt / choisi / rejeté, sous forme standard et conversationnelle.
- 03Direct preference optimizationOpenAI API docs · developers.openai.comUn format hébergé avec des résultats préférés et non préférés, entraîné un tour à la fois.
- 04Unintentional Unalignment: Likelihood Displacement in Direct Preference OptimizationRazin et al., 2024 · arXiv · arxiv.orgPourquoi les paires avec des réponses presque identiques peuvent se retourner contre vous, et comment les filtrer est utile.