De quoi s'agit-il
Un jeu d'entraînement est un échantillon des situations qu'un modèle rencontrera. Il contient un modèle que vous souhaitez lui faire apprendre, comme la façon dont votre assistant répond, sur quel ton et dans quel format, ainsi que du bruit que vous souhaitez ignorer : la formulation exacte d'une réponse, une faute de frappe, les particularités de la question d'un client. Un modèle généralise lorsqu'il assimile le modèle. Il surapprend lorsqu'il s'adapte également au bruit, et il sous-apprend lorsqu'il n'a pas assimilé le modèle.
Comment le repérer
Le signal le plus clair se trouve dans les courbes de perte. La perte d'entraînement peut continuer à baisser tant que le modèle est capable de mémoriser davantage. La perte de validation, mesurée sur des conversations sur lesquelles le modèle ne s'est jamais entraîné, cesse de baisser lorsque le modèle a appris ce qui se généralise, et augmente dès qu'il commence à mémoriser.
Dans un modèle de langage ajusté, le surapprentissage se manifeste également dans les réponses elles-mêmes.
- Copie textuelle : des expressions, des phrases entières, voire des noms et des chiffres issus des réponses d'entraînement apparaissent dans des réponses à des questions sans rapport.
- Réponses préconçues : une réponse surreprésentée est donnée à des questions qui ne font que ressembler à la question d'origine.
- Perte de flexibilité : les questions formulées comme les données d'entraînement fonctionnent bien, celles formulées différemment posent problème, et les tâches générales que le modèle de base gérait se sont détériorées.
- Invention avec aplomb : le modèle imite le style de réponses spécifiques et détaillées, comme des menus nommés et des étapes numérotées, sans posséder les connaissances sous-jacentes, et invente les détails.
Pourquoi cela se produit
| Cause | Pourquoi cela conduit à la mémorisation |
|---|---|
| Trop peu d'exemples | Avec peu de données, mémoriser chaque réponse est le moyen le plus simple de réduire la perte |
| Trop d'époques | Chaque passage présente à nouveau les mêmes réponses, jusqu'à ce que le modèle les reconnaisse |
| Taux d'apprentissage trop élevé | Les mises à jour importantes s'ajustent rapidement aux exemples individuels |
| Doublons et réponses répétées | Une réponse qui apparaît de nombreuses fois est apprise comme une réponse fixe |
| Données trop restreintes | Le modèle ne voit jamais comment les questions réelles varient, il ne peut donc pas apprendre ce qui varie |
| Capacité trop importante pour les données | Un ajustement fin complet ou un adaptateur de grande taille sur un petit ensemble dispose de l'espace nécessaire pour stocker des exemples |
Comment l'éviter
- S'arrêter au moment optimal. Utilisez le nombre d'époques auquel la perte de validation était la plus faible, ou un point de contrôle à ce stade. Il s'agit de l'arrêt précoce, la protection la plus simple et la plus efficace.
- Moins d'époques ou un taux d'apprentissage plus faible. Ces deux éléments limitent l'écart des poids par rapport au modèle de base.
- Des données plus nombreuses et plus variées. Couvrez les différentes façons dont les utilisateurs posent réellement leurs questions, y compris les questions courtes et vagues. Quelques centaines d'exemples variés enseignent davantage qu'un millier de quasi-doublons.
- Supprimer les doublons et les réponses trop répétées avant l'entraînement.
- Régularisation : Le dropout LoRA, la dépréciation des poids, ou simplement un rang d'adaptateur plus petit, ce qui limite la quantité d'informations pouvant être stockées.
- Exécution A : 6 époques, multiplicateur 2. La perte d'entraînement atteint 0,15. La perte de validation est à son niveau le plus bas après l'époque 2 et termine bien au-dessus de ce minimum. Dans le chat de test, les réponses réutilisent des phrases entières issues des réponses d'entraînement.
- Exécution B : 2 époques, multiplicateur 1. La perte d'entraînement se termine à 0,6 et la perte de validation se termine près de son minimum. Les réponses conservent le style de l'entreprise mais sont formulées de manière inédite pour chaque question.
- À retenir : La perte d'entraînement plus faible de l'exécution A est le problème, et non une réussite. L'exécution B généralise mieux et son entraînement a coûté trois fois moins cher.
Sous-apprentissage
Le sous-apprentissage est l'échec inverse : ni la perte d'entraînement ni celle de validation ne baissent beaucoup, et le modèle ajusté répond de manière très similaire au modèle de base. Les causes sont un entraînement insuffisant (trop peu d'époques ou d'étapes, ou un taux d'apprentissage trop faible) ou des données sans modèle cohérent, comme des réponses qui traitent des questions similaires de manière contradictoire. Vérifiez d'abord les données. Augmenter le nombre d'époques ou le taux d'apprentissage sur des données incohérentes ne fait qu'enseigner cette incohérence.
Erreurs courantes
- Évaluer une exécution par sa perte d'entraînement. La perte d'entraînement la plus faible appartient généralement à l'exécution la plus sujette au surapprentissage.
- Tenter de corriger un modèle faible en augmentant le nombre d'époques sur le même petit jeu de données.
- Ignorer la séparation de validation pour conserver chaque exemple pour l'entraînement, perdant ainsi le seul moyen de détecter le surapprentissage.
- Laisser des doublons ou une réponse toute faite dominer les données.
- Valider sur des conversations qui apparaissent également dans l'entraînement, ce qui masque complètement le surapprentissage.
Références et lectures complémentaires
Les sources externes s'ouvrent dans un nouvel onglet.
- 01OverfittingGoogle Machine Learning Crash Course · developers.google.comGénéralisation, surapprentissage et rôle d'un ensemble mis de côté, avec des exemples interactifs.
- 02OverfittingWikipedia · en.wikipedia.org
- 03Early stoppingWikipedia · en.wikipedia.orgS'arrêter au point où l'erreur de validation est la plus faible, la protection la plus courante contre le surapprentissage.
- 04Regularization for Deep LearningGoodfellow, Bengio & Courville · Deep Learning, chapter 7 · deeplearningbook.orgLe traitement classique de la dépréciation des poids, du dropout, de l'arrêt précoce et de l'augmentation des données.