Bientôt disponibleL'Entraînement de modèles sera bientôt disponible dans Scalata Enterprise. Apprenez à un modèle à répondre comme votre équipe.Découvrir les nouveautés

Ressources/Entraînement du modèle/Méthodes d'entraînement

Paramètre

Paramètres de distillation

Professeur, étudiant, les deux limites de longueur de réponse et la divergence β : le rôle de chaque paramètre de distillation, la méthode à laquelle il s'applique et comment le choisir.

Chapitre 75 min de lecture4 références

Quels paramètres s'appliquent et où

ParamètreHors politique (le professeur rédige)Sur politique (le professeur évalue)
Modèle professeurOuiOui
Modèle étudiantOuiOui
Longueur maximale de la réponseOui, sur certains servicesNon
Longueur maximale de la réponse d'entraînementNonOui
Divergence βNonOui
Époques, taux d'apprentissageOuiOui

Les paramètres

Modèle professeurTypique Le professeur le plus performant que vous pouvez vous permettre et qui répond déjà bien à vos questions#

Le modèle dont le comportement est transmis. Sa qualité sur vos questions limite celle de l'étudiant, et ses erreurs, sa longueur et son style sont également appris. Évaluez-le donc par rapport à l'étudiant avant la distillation. Hors politique, n'importe quel professeur fonctionne car seul le texte est transféré, mais les services gérés n'autorisent que leurs paires professeur → étudiant répertoriées. Sur politique, le professeur doit partager le vocabulaire de l'étudiant, il s'agit donc d'un modèle plus grand de la même famille, et il doit tenir sur le GPU aux côtés de l'étudiant. Les professeurs dotés de raisonnement, qui réfléchissent longuement avant de répondre, sont précieux pour les problèmes complexes à plusieurs étapes ; pour de courtes réponses conversationnelles, un professeur sans raisonnement convient généralement mieux à un petit étudiant.

Modèle étudiant (modèle de base)Typique Le plus petit qui répond encore correctement#

Le modèle plus petit en cours d'entraînement, et celui que vous déploierez, qui détermine donc le coût d'exécution et la vitesse. Un modèle plus petit est moins cher et plus rapide, mais a moins de capacité pour assimiler le comportement du professeur, et un étudiant surpasse rarement son professeur. Dans Scalata, l'étudiant est le modèle de base que vous choisissez ; les modèles qui ne peuvent pas être des étudiants pour le professeur ou le fournisseur sélectionné sont grisés avec le motif indiqué.

Longueur maximale de réponseTypique Environ la longueur d'une bonne réponse (par ex. 1 000)#

Off-policy, sur les services qui l'exposent : la réponse la plus longue, en tokens, que l'enseignant peut rédiger par prompt. Des réponses plus longues coûtent plus de tokens de sortie pour l'enseignant et plus de tokens d'entraînement pour l'étudiant, et l'étudiant apprend cette longueur. Si elle est trop courte, les réponses de l'enseignant sont coupées et l'étudiant apprend un texte tronqué.

Longueur maximale de réponse d'entraînementTypique Légèrement supérieur à la longueur d'une bonne réponse (par ex. 512)#

On-policy uniquement : la réponse la plus longue que l'étudiant rédige par prompt à chaque étape. La génération étant la partie la plus lente de l'étape, il s'agit du principal levier sur le temps GPU. Les réponses dépassant la limite sont coupées, et l'étudiant ne reçoit des retours que sur la partie qu'il a rédigée.

Divergence βTypique 1 (la valeur par défaut de la bibliothèque)#

On-policy uniquement : quelle divergence compare l'étudiant et l'enseignant à chaque token. 0 correspond à la KL forward : l'étudiant essaie de couvrir tout ce que l'enseignant pourrait dire, ce qui donne des réponses plus larges et plus variées pouvant estomper les différences entre les options. 1 correspond à la KL inverse : l'étudiant se concentre sur la réponse la plus probable de l'enseignant, plus précise et plus décisive. 0.5 correspond à la divergence de Jensen-Shannon, un mélange symétrique, et les valeurs intermédiaires servent d'interpolation. Contrairement au β KL dans le fine-tuning par renforcement, ce β n'ancre pas le modèle à son point de départ ; il choisit la mesure elle-même.

Comment choisir

Choisir un enseignant et un étudiant (à titre d'exemple)
  1. Candidats : un modèle 7B qui répond bien à vos questions d'évaluation mais dont l'hébergement est trop coûteux, et des modèles 0.5B, 1.5B et 3B de la même famille.
  2. Évaluez le 7B par rapport à chacun d'eux. Supposons qu'il surpasse le 0.5B sur la plupart des questions, le 1.5B sur un grand nombre, et fasse généralement jeu égal avec le 3B.
  3. Le 3B a peu à apprendre ; le 0.5B a le plus à apprendre mais le moins de capacité pour l'assimiler. Le 1.5B s'impose naturellement comme le premier étudiant.
  4. Étant de la même famille, la distillation on-policy est possible : une longueur de réponse d'entraînement légèrement supérieure à votre réponse habituelle, β = 1, et un GPU capable d'héberger à la fois le 7B et le 1.5B.
L'effet de β sur un seul token
  1. L'enseignant, en poursuivant une réponse, répartit ses probabilités : « Oui » 50 %, « Bien sûr » 40 %, toute autre réponse 10 %.
  2. Sous la divergence KL forward (β = 0), l'étudiant est incité à maintenir une probabilité élevée pour « Oui » et « Bien sûr », et est sévèrement pénalisé s'il attribue à l'un ou l'autre une probabilité quasi nulle.
  3. Sous la divergence KL inverse (β = 1), il est sévèrement pénalisé pour tout ce que l'enseignant juge improbable, et se contente de concentrer l'essentiel de son poids sur « Oui » uniquement.
  4. Sur des milliers de tokens, la première approche produit un étudiant plus varié et la seconde un étudiant plus cohérent. Pour des réponses courtes et factuelles, la cohérence est généralement ce que vous recherchez.
réponses possibles →β = 0 · KL directeCouvre tout ce que l'enseignant pourrait dire, et accorde donc également de l'importance à l'écart entre ses réponses. Plus large, plus varié, parfois vague.
réponses possibles →β = 1 · KL inverseSe concentre sur la réponse principale de l'enseignant et ignore le reste. Plus précis et plus décisif, moins varié.
enseignant (pointillés)étudiant (plein)
Un petit modèle étudiant ne peut pas copier un modèle enseignant qui possède deux bonnes réponses. La divergence KL directe l'oblige à s'étendre pour couvrir les deux (couverture de mode) ; la divergence KL inverse l'oblige à en choisir une et à s'y ajuster précisément (recherche de mode). Un β entre 0 et 1 combine les deux approches.

Ce qui détermine le coût

  • Off-policy : l'inférence de l'enseignant (tokens d'entrée et de sortie pour chaque réponse qu'il rédige) plus l'entraînement de l'étudiant (prompts plus réponses de l'enseignant, × époques). La longueur de la réponse de l'enseignant n'étant pas connue à l'avance, les estimations constituent une fourchette. La synthèse de prompts par le service accroît ces deux composantes.
  • On-policy : temps de calcul GPU. Chaque étape génère des réponses et exécute les deux modèles ; le processus est donc plus lent qu'un entraînement supervisé sur les mêmes données, et le GPU doit pouvoir héberger les deux.

Erreurs courantes

  • Choisir l'enseignant sur sa réputation plutôt que sur une évaluation basée sur vos questions.
  • Choisir un étudiant trop petit pour retenir ce que l'enseignant sait.
  • Laisser la longueur maximale de réponse de l'enseignant bien au-dessus de votre réponse habituelle : vous payez pour cette longueur et l'étudiant l'apprend.
  • Confondre les deux β. Le β de distillation choisit la divergence ; le β KL du RFT est une pénalité pour la dérive.
  • Ne pas prévoir de mémoire GPU pour l'enseignant lors d'une exécution on-policy.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

  1. 01Distillation TrainerHugging Face TRL docs · huggingface.coDéfinit β (0 pour KL forward, 1 pour KL inverse, 0.5 pour JSD) et la longueur de complétion par défaut.
  2. 02On-Policy Distillation of Language Models: Learning from Self-Generated MistakesAgarwal et al., 2024 · ICLR / arXiv · arxiv.orgExpériences sur la façon dont le choix de la divergence équilibre la qualité par rapport à la diversité.
  3. 03Kullback–Leibler divergenceWikipedia · en.wikipedia.orgLa définition de la divergence KL et pourquoi ses deux directions diffèrent.
  4. 04Jensen–Shannon divergenceWikipedia · en.wikipedia.orgLa divergence symétrique à laquelle correspond β = 0.5.
MéthodeDistillationLa distillation entraîne un modèle étudiant, petit et économique, à se comporter comme un grand modèle professeur sur vos tâches, soit en apprenant des réponses du professeur, soit à partir de l'évaluation que le professeur fait de celles de l'étudiant.MéthodeDistillation hors politique : l'enseignant rédige les réponsesDans la distillation hors politique, l'enseignant répond à vos prompts et l'étudiant est affiné sur ces réponses comme lors d'un entraînement supervisé ordinaire. L'enseignant et l'étudiant peuvent provenir de n'importe quelles familles de modèles.MéthodeDistillation on-policy : le professeur note l'étudiantDans la distillation on-policy, l'étudiant rédige ses propres réponses et le professeur évalue chacun de leurs tokens, afin que l'étudiant apprenne exactement où il se trompe. Le professeur et l'étudiant doivent partager un même vocabulaire.ParamètreParamètres RFTLes six paramètres d'une exécution de fine-tuning par renforcement : ce qui note les réponses, combien de réponses le modèle rédige et quelle peut être leur longueur, ainsi que la taille et l'ancrage de chaque mise à jour.ParamètreHyperparamètresLes hyperparamètres sont les paramètres d'entraînement que vous choisissez, tels que les époques, le taux d'apprentissage, la taille du lot et le rang de l'adaptateur, par opposition aux poids que le modèle apprend. Auto les sélectionne à partir de vos données et effectue une bonne première exécution ; cette page explique chacun d'eux afin que vous puissiez les ajuster par la suite.ConceptMode de facturation de l'entraînementLa plupart des services de fine-tuning gérés sont facturés par token traité : les tokens du fichier d'entraînement multipliés par les époques et par un prix. Les tâches sur des GPU loués sont quant à elles facturées au temps. L'utilisation ultérieure du modèle constitue un coût distinct.

Transformez des semaines de travail d'expert en quelques minutes

Découvrez comment Scalata s'adapte à votre équipe, à vos données et à vos contrôles.

Contacter le service commercial