Pourquoi la qualité prime
Le fine-tuning supervisé possède une seule source de vérité : vos exemples. Le modèle ne sait pas distinguer une réponse négligée d'une réponse soignée, il apprend donc les deux. Un petit ensemble d'exemples exacts et cohérents surpasse généralement un grand ensemble hétérogène. L'étude LIMA (2023) l'a clairement démontré : un modèle de 65 milliards de paramètres, affiné sur seulement 1 000 exemples soigneusement sélectionnés, a fourni des réponses jugées équivalentes ou supérieures à celles de GPT-4 dans 43 % des cas.
Les cinq propriétés
| Propriété | Ce que cela signifie | Comment vérifier |
|---|---|---|
| Exact | Chaque cible est juste : faits, étapes, chiffres, noms. | Faites lire 30 à 50 cibles aléatoires par une personne qui connaît le sujet. |
| Cohérent | Des questions similaires obtiennent des réponses de forme similaire. | Regroupez les réponses par sujet et comparez-les côte à côte ; convenez d'abord d'un style maison. |
| Varié | Des questions courtes, vagues, à plusieurs volets et de suivi, pas seulement des questions bien formulées. | Listez les types de questions que vous recevez et vérifiez que chacun d'eux apparaît. |
| Ciblé | Une tâche bien définie, ou quelques tâches clairement séparées. | Pouvez-vous décrire ce que le modèle doit faire en deux phrases ? |
| Représentatif | Les entrées ressemblent à ce que le modèle verra en utilisation réelle. | Comparez la répartition des sujets et des longueurs avec le trafic réel. |
Nombre d'exemples
Il n'y a pas de nombre universel, mais il existe des fourchettes utiles. Les tâches ciblées avec un format clair — répondre à un type de question dans un style fixe, classifier une requête — montrent souvent un effet net avec quelques centaines d'exemples. Les assistants généralistes couvrant de nombreux sujets en nécessitent des milliers. Le guide de fine-tuning d'OpenAI fait état d'améliorations à partir de 50 à 100 exemples et suggère de commencer par une cinquantaine d'exemples bien conçus, de les évaluer, puis d'en ajouter d'autres. Davantage de données est surtout utile lorsque cela ajoute de la variété ; plus de la même chose augmente les coûts sans apporter grand-chose.
Doublons et répétitions
Une conversation qui apparaît deux fois est apprise deux fois, et une réponse toute faite utilisée comme cible pour cinquante questions différentes apprend au modèle à la produire partout. La recherche sur les données de pré-entraînement montre l'importance de la répétition : la suppression des quasi-doublons dans les jeux d'entraînement courants a permis aux modèles de reproduire du texte mémorisé environ dix fois moins souvent. À l'échelle du fine-tuning, le symptôme est un modèle répétitif qui abuse de quelques phrases toutes faites.
Cibles reposant sur de nouveaux faits
Soyez prudent avec les cibles reposant principalement sur des faits que le modèle de base n'a jamais vus. Une étude de 2024 menée par Gekhman et ses collègues a révélé que les modèles apprennent ces exemples plus lentement que ceux qui sont cohérents avec ce qu'ils savent déjà, et qu'à mesure qu'ils les apprennent, ils deviennent plus enclins aux hallucinations. Dans la mesure du possible, fournissez les faits spécialisés ou changeants au moment de la requête, et utilisez le jeu de données pour enseigner comment s'en servir.
- Départ : 600 conversations de support avec 900 cibles candidates.
- Exactitude : un relecteur lit 50 cibles au hasard et en trouve 6 avec un nom de menu obsolète. Une recherche permet d'en trouver 40 autres présentant le même problème ; toutes sont corrigées.
- Cohérence : les questions sur les mots de passe reçoivent des réponses sous trois formats différents. L'équipe en choisit un et corrige les autres.
- Variété : les questions très courtes (« export ? ») représentent 15 % du trafic réel mais sont presque absentes du jeu de données, 60 conversations de ce type sont donc ajoutées.
- Répétitions : une réponse préenregistrée est la cible à 70 reprises ; la limite de Data Prep sur les réponses répétées l'empêche de dominer.
- Résultat : moins de cibles utilisables qu'au départ, mais chacune enseigne le comportement que vous souhaitez.
Erreurs courantes
- Ajouter davantage d'exemples du même type au lieu de couvrir les types manquants.
- S'entraîner sur tout ce qui a été dit plutôt que sur ce qui aurait dû être dit.
- Mélanger plusieurs styles de réponse parce que différentes personnes les ont rédigées.
- Ignorer les questions courtes, vagues et maladroites parce qu'elles donnent un aspect désordonné au jeu de données.
- Supposer que le nettoyage automatique vérifie l'exactitude des réponses.
Références et lectures complémentaires
Les sources externes s'ouvrent dans un nouvel onglet.
- 01LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.org1 000 exemples soigneusement choisis, et ce qu'ils ont permis d'accomplir.
- 02Deduplicating Training Data Makes Language Models BetterLee et al., 2021 · arXiv · arxiv.orgLe coût mesuré des données d'entraînement dupliquées.
- 03Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?Gekhman et al., 2024 · arXiv · arxiv.orgPourquoi les cibles remplies de faits inconnus peuvent se retourner contre vous.
- 04Supervised fine-tuningOpenAI API docs · developers.openai.comLes conseils d'un fournisseur sur le nombre d'exemples pour commencer.
- 05Datasets: Data characteristicsGoogle Machine Learning Crash Course · developers.google.comUne brève introduction sur la fiabilité et la qualité des données.