Taux d'apprentissage

Ce que c'est

Chaque étape d'entraînement détermine, pour chaque poids, la direction qui réduirait la perte. Le taux d'apprentissage décide de la distance à parcourir dans cette direction. Il s'agit d'un nombre unique, généralement écrit en notation scientifique : 1e-5 signifie 0,00001. Il paraît minuscule car un modèle possède des milliards de poids et chaque étape les déplace tous en même temps ; de petites modifications individuelles s'additionnent pour produire un changement de comportement majeur.

new weight = old weight − learning rate × (gradient, as scaled by the optimizer)

1e-4 = 0.0001      2e-5 = 0.00002      1e-5 = 0.00001

Avec Adam et AdamW, le gradient est d'abord normalisé par poids, de sorte que le taux d'apprentissage est proche de la taille réelle de la modification de chaque poids par étape, quelle que soit la taille brute du gradient. C'est pourquoi les taux typiques se transposent raisonnablement bien entre des modèles de taille similaire, et pourquoi un taux dix fois trop élevé constitue un problème grave plutôt qu'un détail.

Trop bas, à peu près correct, trop élevé

Un taux trop élevé aggrave également l'oubli : des mises à jour importantes écrasent les compétences générales que possédait le modèle de base, même lorsque la perte sur vos données semble correcte.

Planifications : préchauffage et décroissance

• Phase de chauffe. Pendant les premiers pourcentages d'étapes, le taux augmente de façon linéaire, de presque zéro jusqu'à son maximum. Au début, les moyennes mobiles d'Adam reposent sur très peu de gradients, de sorte que des étapes à taille réelle risquent de provoquer un mauvais premier mouvement. La phase de chauffe progressive a été popularisée pour l'entraînement par lots de grande taille et constitue désormais une pratique courante.
• Décroissance. Après le pic, le taux diminue vers zéro, de sorte que les dernières mises à jour effectuent des ajustements fins au lieu de rebondir autour d'une bonne solution. La décroissance linéaire le réduit en ligne droite, et est la valeur par défaut du Trainer de Hugging Face. La décroissance cosinusoïdale suit une demi-onde cosinusoïdale : elle reste élevée plus longtemps, puis s'atténue.
• Constant. Certaines exécutions courtes maintiennent le taux stable après la phase de chauffe. C'est simple et tout à fait adapté lorsqu'il n'y a que quelques étapes.

warm-up (step < W):  lr = peak × step / W
linear decay:        lr = peak × (T − step) / (T − W)
cosine decay:        lr = peak × ½ × (1 + cos(π × (step − W) / (T − W)))

W = warm-up steps,  T = total steps

Valeurs typiques

Ce sont des points de départ, pas des règles absolues. Le meilleur taux dépend du modèle, des données et de la taille du lot, et la seule façon fiable de le trouver consiste à comparer quelques exécutions sur la perte de validation et l'évaluation.

Pourquoi les méthodes de préférence et RL utilisent des étapes plus petites

L'apprentissage supervisé apprend à partir de réponses fixes et correctes. L'ajustement des préférences et l'apprentissage par renforcement apprennent à partir de comparaisons et de scores des propres résultats du modèle, un signal plus bruité, et leur but est généralement de perfectionner un modèle qui fonctionne déjà. De grandes étapes l'éloigneraient trop de ce point de départ, où les réponses peuvent dériver, s'allonger ou commencer à exploiter ce que le signal récompense. Des taux plus faibles maintiennent chaque mise à jour à un niveau modeste.

Erreurs courantes

• Augmenter le taux d'apprentissage pour qu'un petit jeu de données enseigne davantage. Cela ajoute surtout de l'instabilité ; des données plus nombreuses ou de meilleure qualité sont plus utiles.
• Utiliser un taux de fine-tuning complet pour LoRA, ou un taux LoRA pour un fine-tuning complet : l'un apprend à peine, l'autre peut endommager le modèle.
• Ignorer la phase de chauffe avec un taux élevé, ce qui rend les premières mises à jour à la fois les plus importantes et les moins informées.
• Évaluer le taux uniquement sur la perte d'entraînement. Un taux trop élevé peut tout de même afficher une perte d'entraînement en baisse, tandis que la perte de validation et les réponses se dégradent.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

1. 01Optimization↗Hugging Face Transformers docs · huggingface.coAdamW et les planifications standards (linéaire, cosinusoïdale, constante avec phase de chauffe) tels qu'implémentés.
2. 02SGDR: Stochastic Gradient Descent with Warm Restarts↗Loshchilov & Hutter, 2016 · arXiv · arxiv.orgA introduit la planification cosinusoïdale du taux d'apprentissage, désormais utilisée dans l'entraînement des modèles de langage.
3. 03Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour↗Goyal et al., 2017 · arXiv · arxiv.orgPourquoi une phase de chauffe progressive stabilise le début de l'entraînement.
4. 04LoRA Without Regret↗Thinking Machines Lab, 2025 · thinkingmachines.aiÉvalue le meilleur taux d'apprentissage LoRA à environ dix fois le taux de fine-tuning complet.
5. 05Learning rate↗Wikipedia · en.wikipedia.org

Concepts associés