Apprentissage à partir des retours du chat

Ce que sont les retours sur le chat

Chaque réponse dans le chat peut être évaluée : 👍, 👎 — avec jusqu'à deux raisons telles que « Détails manquants » et un commentaire facultatif — ou Actualiser, pour demander une nouvelle réponse. Chaque personne dispose d'une évaluation par réponse, et c'est la dernière qui compte. L'exception est une actualisation après un 👎 : le 👎 et ses raisons sont conservés, car cela reste un « non ».

Ces évaluations constituent un registre de ce que de vrais utilisateurs ont pensé de vraies réponses, ce qui les rend précieuses. Cependant, un pouce à lui seul est une étiquette faible et bruitée, et la plupart des méthodes d'ajustement fin ne peuvent pas l'utiliser directement. Le rôle de l'importation est de transformer les évaluations en types d'exemples à partir desquels les méthodes prises en charge par chaque fournisseur peuvent apprendre.

Des évaluations aux exemples

Des règles qui garantissent l'intégrité des données

• Une réponse non appréciée n'est jamais une réponse à partir de laquelle apprendre. Elle n'apparaît que comme le côté rejeté d'une paire, ou comme contexte antérieur, sur lequel aucun entraînement n'est effectué.
• Les désaccords sont exclus. Une réponse qu'une personne a appréciée et qu'une autre n'a pas appréciée est considérée comme mixte et est ignorée.
• Des réponses identiques ne forment pas de paire. Si une actualisation a renvoyé le même texte, « préférer A à A » n'enseigne rien.
• Une actualisation seule est un signal faible. Les utilisateurs actualisent aussi par curiosité. Elle n'est considérée comme une mauvaise réponse que si vous choisissez de la comptabiliser ainsi ; pour les paires, « a posé la question à nouveau, puis a apprécié la nouvelle réponse » est toujours utilisé.
• Les importations sont stables. Une nouvelle importation met à jour les exemples créés la dernière fois au lieu de les dupliquer.

Pourquoi ne pas entraîner le modèle directement sur chaque pouce ?

Les mauvaises réponses ne conviennent pas à la plupart des méthodes. L'entraînement supervisé a besoin d'une bonne réponse à imiter, et le DPO a besoin d'une meilleure et d'une moins bonne réponse à la même question. Un 👎 isolé n'est ni l'un ni l'autre. Il existe une méthode conçue pour les étiquettes uniques bon/mauvais, KTO (Kahneman-Tversky Optimization, 2024), dont les auteurs affirment qu'elle égale ou surpasse les méthodes basées sur les préférences à des échelles allant de 1 à 30 milliards de paramètres, tout en apprenant uniquement si chaque réponse était souhaitable. Les entraîneurs open source tels que Hugging Face TRL la prennent en charge, mais la plupart des services d'ajustement fin hébergés ne la proposent pas. Un 👎 ne leur devient utile qu'une fois qu'il y a une meilleure réponse avec laquelle le comparer.

Les pouces bruts peuvent enseigner les mauvaises choses. Les gens aiment les réponses qui vont dans leur sens et qui semblent assurées. L'étude d'Anthropic sur la flagornerie (2023) a révélé que les personnes comme les modèles de préférence préfèrent parfois une réponse agréable et rédigée de manière convaincante à une réponse correcte. Une étude de 2024 qui a entraîné des modèles directement sur des retours d'utilisateurs simulés est allée plus loin : les modèles ont systématiquement appris des tactiques manipulatrices ou trompeuses pour obtenir des pouces levés, et même lorsque seulement 2 % des utilisateurs étaient vulnérables, ils ont appris à les cibler. L'acheminement des réponses 👎 vers un réviseur permet à une personne de continuer à décider quelle est la bonne réponse.

L'ordre qui fonctionne généralement

1. Ajustement fin supervisé sur les réponses appréciées — et les corrections des réviseurs — afin que le modèle apprenne à quoi ressemblent de bonnes réponses.
2. DPO sur les paires, en partant du modèle supervisé, afin qu'il apprenne laquelle de deux réponses plausibles est la meilleure.

Les directives DPO d'OpenAI recommandent le même flux de travail : un ajustement fin supervisé sur les réponses préférées d'abord, puis une tâche DPO à partir du résultat.

Paramètres

Erreurs courantes

• S'entraîner sur chaque réponse qui n'a pas été rejetée, comme si le silence valait approbation.
• Activer « comptabiliser aussi les actualisations » alors que les utilisateurs actualisent principalement pour voir des alternatives.
• Exécuter le DPO sur des paires de retours sans entraînement supervisé préalable sur les bonnes réponses.
• Laisser les goûts d'un petit groupe d'évaluateurs définir ce qui est « bon » sans vérifier le résultat par rapport à une évaluation.
• Laisser la file d'attente de révision en suspens, de sorte que les retours les plus instructifs — ce qui n'a pas fonctionné — ne deviennent jamais des données.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

1. 01KTO: Model Alignment as Prospect Theoretic Optimization↗Ethayarajh et al., 2024 · arXiv · arxiv.orgLa méthode conçue pour les étiquettes uniques souhaitable/indésirable.
2. 02KTO Trainer↗Hugging Face TRL docs · huggingface.coCe dont KTO a besoin comme données, et en quoi il diffère du DPO dans la pratique.
3. 03Towards Understanding Sycophancy in Language Models↗Sharma et al., 2023 · arXiv · arxiv.orgComment les préférences humaines peuvent récompenser les réponses agréables plutôt que les réponses correctes.
4. 04On Targeted Manipulation and Deception when Optimizing LLMs for User Feedback↗Williams et al., 2024 · arXiv · arxiv.orgCe que les modèles apprennent lorsqu'ils sont entraînés directement pour obtenir les pouces levés des utilisateurs.
5. 05Direct preference optimization↗OpenAI API docs · developers.openai.comL'ordre recommandé : ajustement fin supervisé sur les réponses préférées, puis DPO.

Concepts associés