Ce que montrent les courbes
Pendant l'exécution d'une tâche, le fournisseur enregistre la perte (loss), c'est-à-dire l'entropie croisée moyenne sur les tokens cibles, au fil du temps. Deux courbes sont importantes, et certains fournisseurs ajoutent un troisième indicateur.
- La perte d'entraînement est mesurée sur les lots en cours d'entraînement, généralement à chaque étape. Elle est instable car chaque lot est différent : un lot de réponses courtes et stéréotypées obtient un score inférieur à un lot de réponses longues et inhabituelles.
- La perte de validation est mesurée sur le jeu de validation écarté à intervalles réguliers, toutes les N étapes ou une fois par époque, sans mise à jour des poids. Elle utilise les mêmes exemples à chaque fois, ce qui la rend plus stable, et c'est la plus fiable : le modèle n'a jamais appris à partir de ces données.
- La précision des tokens, communiquée par certains fournisseurs, correspond à la proportion de tokens cibles que la meilleure prédiction du modèle a trouvée avec exactitude. Elle évolue dans le sens inverse de la perte et s'avère plus facile à interpréter, bien que plus grossière.
Ce que signifient les chiffres
L'entropie croisée se mesure avec le logarithme népérien. Une perte de L par token signifie que le modèle a attribué au token suivant correct une probabilité d'environ e puissance −L, en moyenne géométrique. Cela permet de se représenter facilement quelques valeurs.
| Perte par token | Probabilité du bon token | Approximativement |
|---|---|---|
| 2,3 | Environ 0,10 | Souvent incertain ; de nombreuses suites plausibles |
| 1,0 | Environ 0,37 | Assez confiant en moyenne |
| 0,5 | Environ 0,61 | Prédit bien le style et la formulation |
| 0,1 | Environ 0,90 | Presque mot pour mot ; sur les données d'entraînement, c'est souvent un signe de mémorisation |
Le niveau absolu dépend fortement des données. Les réponses libres et variées ont un seuil plancher élevé, car de nombreuses réponses différentes sont tout aussi valables ; les réponses formatées peuvent atteindre un niveau très bas sans que cela ne pose problème. Comparez donc les courbes au sein d'une même exécution, et entre des exécutions sur le même modèle de base et les mêmes données, plutôt que de vous fier à un chiffre externe. Les différents modèles de base utilisent des tokeniseurs différents, ce qui rend leurs pertes incomparables.
Tendances et marche à suivre
| Ce que vous voyez | Signification | Marche à suivre |
|---|---|---|
| Les deux continuent de baisser à la fin | Apprentissage en cours | Augmenter le nombre d'époques peut aider |
| L'entraînement baisse, la validation stagne | Équilibre adéquat | Arrêter ici |
| L'entraînement baisse, la validation augmente | Surapprentissage : mémorisation de vos exemples | Moins d'époques, un taux d'apprentissage plus faible, des données plus variées |
| Aucune des deux ne baisse beaucoup | Sous-apprentissage, ou données incohérentes | Vérifiez la qualité des données ; augmentez légèrement le nombre d'époques ou le taux d'apprentissage |
| Perte d'entraînement irrégulière avec des pics | Taux d'apprentissage trop élevé | Diminuez-le ; ajoutez une phase de préchauffage |
| La perte d'entraînement chute par paliers à chaque changement d'époque | Le modèle reconnaît les exemples de l'époque précédente | Un signe précoce de mémorisation ; surveillez la perte de validation |
| La perte de validation est bien inférieure à la perte d'entraînement dès le début | L'ensemble de validation est plus facile, ou chevauche celui d'entraînement | Vérifiez la répartition pour repérer les conversations partagées ou presque identiques |
- Configuration : 1 200 conversations d'entraînement, 130 écartées, taille de lot de 8, 3 époques : 150 étapes par époque, 450 au total.
- Époque 1 : la perte d'entraînement chute de 1,6 à 0,9, celle de validation de 1,5 à 0,95. Les deux baissent : apprentissage en cours.
- Époque 2 : la perte d'entraînement atteint 0,6 ; la perte de validation atteint un plancher de 0,85 autour de l'étape 250.
- Époque 3 : la perte d'entraînement continue de chuter jusqu'à 0,35, mais la perte de validation remonte à 1,0. L'écart se creuse : le modèle mémorise.
- Conclusion : le meilleur modèle se situait autour de l'étape 250, au début de l'époque 2. Relancez l'exécution avec 2 époques, ou utilisez un point de contrôle de ce moment précis si le fournisseur en conserve un, puis évaluez-le par rapport au modèle de base.
Ce que la perte ne vous dit pas
La perte mesure la probabilité que le modèle trouve vos réponses cibles, token par token. Elle ne mesure pas si une réponse est correcte, utile ou sûre. Un modèle peut réduire sa perte en imitant votre formulation et votre formatage tout en se trompant sur les faits, et un modèle avec une perte de validation légèrement supérieure peut fournir de meilleures réponses. Utilisez les courbes pour choisir le nombre d'époques et le taux d'apprentissage, et pour repérer les problèmes ; utilisez une évaluation, en comparant côte à côte les réponses du modèle ajusté et du modèle de base, pour déterminer si le modèle est réellement meilleur.
Erreurs courantes
- Sélectionner l'exécution présentant la perte d'entraînement la plus faible. Il s'agit généralement de celle présentant le plus de surapprentissage.
- Réagir à des points isolés et instables sur la courbe d'entraînement plutôt qu'à la tendance générale.
- Comparer les pertes entre différents modèles de base, tokeniseurs ou jeux de données.
- Considérer qu'une courbe de validation manquante n'est pas un problème. Sans données écartées, le surapprentissage est invisible.
- S'en tenir aux courbes. Une courbe d'apparence idéale nécessite toujours une évaluation des réponses réelles.
Références et lectures complémentaires
Les sources externes s'ouvrent dans un nouvel onglet.
- 01Overfitting: Interpreting loss curvesGoogle Machine Learning Crash Course · developers.google.comUne galerie de formes réelles de courbes de perte, chacune avec sa cause probable.
- 02OverfittingGoogle Machine Learning Crash Course · developers.google.comComment la perte d'entraînement et la perte de validation divergent, et ce que signifie cette divergence.
- 03Cross-entropyWikipedia · en.wikipedia.org
- 04A full training loopHugging Face LLM Course · huggingface.coD'où proviennent la perte d'entraînement et la perte d'évaluation dans une boucle d'entraînement réelle.