Bientôt disponibleL'Entraînement de modèles sera bientôt disponible dans Scalata Enterprise. Apprenez à un modèle à répondre comme votre équipe.Découvrir les nouveautés

Ressources/Entraînement du modèle/Ce qui se passe lors de l'entraînement

Concept

Époque, lot et étape

Un lot est le groupe d'exemples qui sous-tend une mise à jour des poids, une étape correspond à une mise à jour, et une époque représente un passage complet sur les données d'entraînement. Ensemble, ils déterminent la fréquence de modification du modèle et le nombre de fois qu'il traite chaque exemple.

Chapitre 65 min de lecture4 références

Trois unités d'entraînement

Les données d'entraînement ne sont fournies au modèle ni un exemple à la fois, ni toutes en même temps. Elles sont découpées en lots. Le modèle traite un lot, calcule la moyenne de l'erreur sur l'ensemble de ses tokens cibles et met à jour ses poids une seule fois. Cette mise à jour unique constitue une étape, également appelée itération. Lorsque chaque exemple d'entraînement a été utilisé une fois, une époque est terminée, et les données sont généralement mélangées avant la suivante, de sorte que les lots soient composés différemment à chaque fois.

TermeCe qu'il mesureValeur typique pour l'ajustement fin
LotLes exemples traités ensemble avant une mise à jourD'une poignée à quelques dizaines d'exemples ; souvent Auto
ÉtapeUne mise à jour des poidsDes dizaines à des milliers par exécution
ÉpoqueUn passage complet sur tous les exemples d'entraînement1 à 3 pour l'ajustement fin supervisé
ÉPOQUE 1 · MÉLANGÉétape 1étape 2étape 3ÉPOQUE 2 · MÉLANGÉEétape 4étape 5étape 624 exemples ÷ taille de lot de 8 = 3 étapes par époque
24 exemples avec une taille de lot de 8. Chaque lot produit une mise à jour des poids (une étape), donc une époque correspond à 3 étapes et deux époques à 6. Les données sont mélangées à chaque époque : l'exemple en surbrillance est vu une fois par époque, dans un lot différent à chaque fois.

L'arithmétique

Lots, étapes et époques
effective batch  = per-device batch × gradient accumulation × number of GPUs
steps per epoch  = ceil(training examples ÷ effective batch)
total steps      = steps per epoch × epochs
tokens processed = tokens in the training file × epochs
800 exemples, taille de lot de 8, 3 époques
  1. Étapes par époque : 800 ÷ 8 = 100 étapes.
  2. Nombre total d'étapes : 100 × 3 époques = 300 étapes. Les poids du modèle sont modifiés 300 fois.
  3. Nombre de fois où chaque exemple est vu : 3, une fois par époque, à chaque fois dans un lot différent car les données sont remélangées.
  4. Une phase de préchauffage de 5 % : 0,05 × 300 = 15 étapes de montée en puissance avant d'atteindre le taux d'apprentissage complet.
  5. Les mêmes données avec une taille de lot de 32 : 800 ÷ 32 = 25 étapes par époque, 75 au total. Des mises à jour moins nombreuses et plus lisses, généralement associées à un taux d'apprentissage légèrement plus élevé.
  6. Tokens traités : si le fichier d'entraînement contient 400 000 tokens, trois époques en traitent 1 200 000, ce qui correspond à la facturation au token.

Lorsque les nombres ne se divisent pas de manière exacte, le dernier lot d'une époque est plus petit : 810 exemples par lots de 8 donnent 101 lots complets et un lot de 2. Certaines configurations d'entraînement conservent ce lot partiel, d'autres l'ignorent. Dans tous les cas, l'effet sur une exécution est négligeable.

L'importance de la taille du lot

Le gradient de chaque étape est une estimation de la véritable direction descendante, calculée à partir des exemples de ce lot. Un petit lot donne une estimation bruitée : les exemples individuels tirent les poids dans différentes directions, mais il y a de nombreuses mises à jour par époque. Un grand lot fait la moyenne d'un plus grand nombre d'exemples, de sorte que chaque étape pointe plus fiablement vers le bas, mais il y a moins d'étapes, et chacune nécessite plus de mémoire GPU. La recherche sur l'entraînement avec de grands lots montre des rendements décroissants : au-delà d'un certain point qui dépend de la tâche, doubler le lot ne réduit plus de moitié le nombre d'étapes nécessaires, et la puissance de calcul supplémentaire est en grande partie gaspillée.

L'accumulation de gradient sépare le lot calculé par le GPU du lot sur lequel l'optimiseur effectue la mise à jour. Le GPU traite, par exemple, 4 exemples à la fois et additionne les gradients de 8 de ces micro-lots avant d'effectuer une mise à jour : un lot effectif de 32 pour le coût en mémoire de 4. Avec plusieurs GPU, chacun traite son propre micro-lot, de sorte que le lot effectif est également multiplié par le nombre de GPU.

Accumulation de gradient
per-device batch 4  ×  accumulation 8  ×  1 GPU  =  effective batch 32
memory: as for 4 examples        updates: one per 32 examples

L'importance du nombre d'époques

Une époque est l'unité naturelle pour mesurer ce que le modèle a vu. Une seule époque sur un petit jeu de données est souvent insuffisante pour modifier le comportement de manière notable ; de nombreuses époques sur ce même petit ensemble permettent au modèle de mémoriser des réponses individuelles. L'ajustement fin supervisé sur quelques centaines à quelques milliers d'exemples utilise généralement 1 à 3 époques, et l'ajustement des préférences 1 à 2. Les petits jeux de données peuvent tolérer quelques époques supplémentaires ; les très grands n'en nécessitent souvent qu'une seule.

Puisque les époques comptent les répétitions et les étapes comptent les mises à jour, gardez un œil sur les deux. Trois époques sur 100 exemples avec une taille de lot de 8 ne représentent que 39 étapes, ce qui peut être insuffisant pour qu'une planification du taux d'apprentissage fasse son travail. Une époque sur 50 000 exemples représente 6 250 étapes : de nombreuses mises à jour, et aucune répétition.

Erreurs courantes

  • Augmenter le nombre d'époques pour compenser un manque de données. Plusieurs passages sur 40 exemples enseignent ces 40 réponses, et non la tâche elle-même.
  • Modifier la taille du lot sans revoir le taux d'apprentissage. Des étapes moins nombreuses et plus grandes nécessitent généralement un taux plus élevé, et inversement.
  • Copier un préchauffage défini en étapes à partir d'une autre exécution. Si la nouvelle exécution comporte beaucoup moins d'étapes, un préchauffage fixe peut absorber la majeure partie de l'entraînement.
  • Compter les messages au lieu des enregistrements d'entraînement. Selon le format du fournisseur, une conversation avec plusieurs cibles peut devenir plusieurs enregistrements.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

  1. 01Linear regression: HyperparametersGoogle Machine Learning Crash Course · developers.google.comDes définitions claires de la taille de lot et des époques, avec le détail de l'arithmétique des étapes par époque.
  2. 02TrainerHugging Face Transformers docs · huggingface.coRéférence pour la taille de lot par appareil, l'accumulation de gradient, les époques et la phase de chauffe en tant que véritables arguments d'entraînement.
  3. 03An Empirical Model of Large-Batch TrainingMcCandlish et al., 2018 · arXiv · arxiv.orgPourquoi l'augmentation de la taille des lots est bénéfique jusqu'à un certain point, puis cesse de porter ses fruits.
  4. 04Stochastic gradient descentWikipedia · en.wikipedia.org
ConceptLa boucle d'entraînementLe fine-tuning est une courte procédure répétée des milliers de fois : prédire la réponse cible, mesurer l'erreur de la prédiction, déterminer dans quelle direction chaque poids doit se déplacer, et le déplacer légèrement.ParamètreHyperparamètresLes hyperparamètres sont les paramètres d'entraînement que vous choisissez, tels que les époques, le taux d'apprentissage, la taille du lot et le rang de l'adaptateur, par opposition aux poids que le modèle apprend. Auto les sélectionne à partir de vos données et effectue une bonne première exécution ; cette page explique chacun d'eux afin que vous puissiez les ajuster par la suite.ParamètreTaux d'apprentissageLe taux d'apprentissage définit la distance de déplacement des poids à chaque mise à jour. C'est le paramètre d'entraînement le plus sensible : trop élevé, il dépasse la cible et peut effacer des compétences ; trop faible, il modifie à peine le modèle. Une planification prévoit généralement une phase de chauffe, puis une décroissance tout au long de l'exécution.MétriqueSurapprentissage et sous-apprentissageLe surapprentissage se produit lorsqu'un modèle mémorise ses exemples d'entraînement au lieu d'en assimiler la logique sous-jacente. Il est donc performant sur ces exemples, mais moins bon sur de nouveaux. Le sous-apprentissage est l'inverse : il n'a pas du tout assimilé la logique.ConceptMode de facturation de l'entraînementLa plupart des services de fine-tuning gérés sont facturés par token traité : les tokens du fichier d'entraînement multipliés par les époques et par un prix. Les tâches sur des GPU loués sont quant à elles facturées au temps. L'utilisation ultérieure du modèle constitue un coût distinct.Étape du pipelineRépartition de validationUne partie des conversations est exclue de l'entraînement et utilisée pour observer la perte sur des données dont le modèle n'apprend pas. La répartition s'effectue par conversation entière, de sorte qu'aucune partie d'un échange réservé ne fuite dans l'entraînement — et cela diffère de l'ensemble de test conservé pour l'évaluation.

Transformez des semaines de travail d'expert en quelques minutes

Découvrez comment Scalata s'adapte à votre équipe, à vos données et à vos contrôles.

Contacter le service commercial