Bientôt disponibleL'Entraînement de modèles sera bientôt disponible dans Scalata Enterprise. Apprenez à un modèle à répondre comme votre équipe.Découvrir les nouveautés

Ressources/Entraînement du modèle/Méthodes d'entraînement

Méthode

Distillation on-policy : le professeur note l'étudiant

Dans la distillation on-policy, l'étudiant rédige ses propres réponses et le professeur évalue chacun de leurs tokens, afin que l'étudiant apprenne exactement où il se trompe. Le professeur et l'étudiant doivent partager un même vocabulaire.

Chapitre 75 min de lecture4 références

Comment cela fonctionne

  1. L'étudiant répond. Pour chaque prompt, l'étudiant rédige sa propre réponse, une réponse d'entraînement.
  2. Le professeur la lit. Le professeur traite le même prompt et la même réponse en une seule passe et, à chaque position, génère sa distribution de probabilité sur le token suivant : ce qu'il aurait dit à cet endroit.
  3. Comparaison et mise à jour. À chaque token, la distribution de l'étudiant est comparée à celle du professeur à l'aide d'une divergence, et l'étudiant est ajusté pour se rapprocher du professeur.
Ligne d'entraînement : uniquement le prompt
{"prompt": [
  {"role": "user", "content": "What's the difference between EBITDA and EBIT?"}
]}

Aucune réponse de référence n'est nécessaire et vos réponses ne sont pas utilisées comme cibles ; seuls les prompts le sont. L'enseignant n'écrit jamais une réponse complète, il se contente d'en lire une, ce qui est beaucoup moins coûteux par token que la génération.

Pourquoi cela fonctionne si bien

La distillation sur politique tire le meilleur de deux autres méthodes. Comme l'entraînement supervisé, son signal est dense : chaque token reçoit un retour. Comme l'apprentissage par renforcement, ses données sont sur politique (on-policy) : elles proviennent des propres réponses de l'étudiant, couvrant ainsi les erreurs que l'étudiant commet réellement. Les étudiants hors politique ne voient que les parcours sans faille de l'enseignant ; les étudiants en RL voient leurs propres parcours mais n'obtiennent qu'un seul chiffre pour l'ensemble de la réponse.

Méthode 1 · l'enseignant écrit les réponses
votre prompt→enseignant (large)→texte complet de la réponse→l'étudiant apprend le prompt → la réponse

Toutes les familles de modèles. Seul le texte est transmis. S'entraîne exactement comme un ajustement fin supervisé.

Méthode 2 · l'enseignant note la réponse de l'étudiant
votre prompt→l'étudiant écrit→l'enseignant évalue chaque jeton→l'étudiant se rapproche de l'enseignant

Même tokenizer requis, l'enseignant est donc généralement un modèle plus grand de la même famille. Apprend de ses propres erreurs.

La distillation hors politique transmet le texte final de l'enseignant à l'étudiant. La distillation sur politique laisse l'étudiant écrire, puis lui montre, jeton par jeton, ce que l'enseignant aurait dit à la place.
Apprentissage au niveau du token où l'erreur s'est produite
  1. Prompt : « Quelle est la différence entre l'EBITDA et l'EBIT ? »
  2. L'étudiant commence bien, puis écrit « L'EBIT réintègre les dotations aux amortissements… », ce qui est inversé : c'est l'EBITDA qui les réintègre.
  3. Au niveau du token « réintègre », les probabilités de l'enseignant favorisent « déduit » ou « soustrait » ; celles de l'étudiant favorisaient « réintègre ». La divergence est importante précisément à cet endroit.
  4. La mise à jour diminue « réintègre » et augmente les choix de l'enseignant dans ce contexte : la correction précise. Les tokens pour lesquels les deux sont déjà d'accord n'apportent presque rien.
  5. L'apprentissage par renforcement (RL) avec un évaluateur aurait attribué une note faible à l'ensemble de la réponse et découragé tous ses tokens de manière égale, y compris les bons.

Divergence KL directe, inverse, ou un mélange des deux

Les distributions de l'étudiant et de l'enseignant peuvent être comparées dans deux directions, et ce choix modifie ce que l'étudiant devient.

  • La divergence KL directe (Forward KL), KL(enseignant ‖ étudiant), pénalise lourdement l'étudiant s'il attribue une faible probabilité à ce que l'enseignant juge probable. L'étudiant s'étale pour couvrir toutes les options de l'enseignant (couverture de mode). Un petit étudiant qui ne peut pas toutes les intégrer finit par répartir le poids entre elles, ce qui peut produire un texte vague ou de faible qualité.
  • La divergence KL inverse (Reverse KL), KL(étudiant ‖ enseignant), pénalise lourdement l'étudiant s'il formule des éléments que l'enseignant juge improbables. L'étudiant s'engage sur l'option principale de l'enseignant et ignore le reste (recherche de mode) : plus net, plus décisif, moins varié.
  • La divergence de Jensen-Shannon (JSD), ainsi que sa forme généralisée, combine les deux. L'article sur la GKD a révélé que le meilleur choix dépend de la tâche.
réponses possibles →β = 0 · KL directeCouvre tout ce que l'enseignant pourrait dire, et accorde donc également de l'importance à l'écart entre ses réponses. Plus large, plus varié, parfois vague.
réponses possibles →β = 1 · KL inverseSe concentre sur la réponse principale de l'enseignant et ignore le reste. Plus précis et plus décisif, moins varié.
enseignant (pointillés)étudiant (plein)
Un petit modèle étudiant ne peut pas copier un modèle enseignant qui possède deux bonnes réponses. La divergence KL directe l'oblige à s'étendre pour couvrir les deux (couverture de mode) ; la divergence KL inverse l'oblige à en choisir une et à s'y ajuster précisément (recherche de mode). Un β entre 0 et 1 combine les deux approches.

La divergence KL inverse convient aux petits étudiants et aux tâches n'ayant qu'une seule bonne réponse en tête, c'est pourquoi elle est courante pour la distillation sur politique des modèles de chat et de raisonnement : le rapport de 2025 de Thinking Machines utilise une divergence KL inverse par token, et le DistillationTrainer de TRL l'utilise par défaut. Dans Scalata, ce choix correspond au paramètre de divergence β.

Prérequis et coûts

  • Même vocabulaire. Les distributions sont comparées token par token, les deux modèles doivent donc diviser le texte en tokens identiques. En pratique, l'enseignant est un modèle plus grand de la même famille, par exemple Qwen2.5-3B enseignant à Qwen2.5-0.5B.
  • Les deux modèles sur le GPU. L'enseignant est chargé à côté de l'étudiant ; un enseignant de 3B en bf16 nécessite environ 6 Go en plus de l'étudiant.
  • Temps de génération. Chaque étape génère des réponses token par token, ce qui la rend plus lente qu'un entraînement supervisé sur les mêmes données ; la longueur maximale de la réponse d'entraînement est le levier principal.
  • Style. L'étudiant apprend les habitudes de l'enseignant, y compris la longueur. Pour obtenir également le style de votre équipe, lancez ensuite un entraînement supervisé sur vos réponses, en poursuivant à partir du modèle distillé.

Le gain peut être important. Les chiffres du rapport technique de Qwen3, comparés dans le rapport de Thinking Machines, montrent que la distillation sur politique amène Qwen3-8B à 74,4 % sur AIME'24 avec environ 1 800 heures de GPU, là où le RL à partir d'un point de départ similaire a atteint 67,6 % avec 17 920 heures. Avec de petits modèles sur des tâches ciblées, les gains sont moindres, mais le signal par token fait toujours progresser un étudiant davantage par prompt que ne le feraient quelques réponses de l'enseignant.

Erreurs courantes

  • Choisir un enseignant d'une autre famille de modèles. Les vocabulaires diffèrent, la comparaison token par token est donc impossible.
  • Oublier la mémoire de l'enseignant. Un GPU qui peut contenir l'étudiant seul peut ne pas suffire pour les deux.
  • Définir une grande longueur de réponse d'entraînement « par sécurité ». La génération domine le temps de l'étape.
  • S'attendre à retrouver votre style. Vos réponses ne sont jamais des cibles ici.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

  1. 01On-Policy Distillation of Language Models: Learning from Self-Generated MistakesAgarwal et al., 2024 · ICLR / arXiv · arxiv.orgLa méthode : s'entraîner sur les propres résultats de l'étudiant avec un retour de l'enseignant au niveau du token, et un choix de divergence.
  2. 02MiniLLM: On-Policy Distillation of Large Language ModelsGu et al., 2023 · arXiv · arxiv.orgPlaide en faveur de la divergence KL inverse lors de la distillation vers de petits modèles de langage.
  3. 03On-Policy DistillationThinking Machines Lab, 2025 · thinkingmachines.aiUn compte rendu pratique, avec des comparaisons de calcul par rapport au RL et son utilisation pour récupérer des compétences après un entraînement supplémentaire.
  4. 04Distillation TrainerHugging Face TRL docs · huggingface.coUn outil d'entraînement open source pour la distillation on-policy, et sa définition de β.
MéthodeDistillationLa distillation entraîne un modèle étudiant, petit et économique, à se comporter comme un grand modèle professeur sur vos tâches, soit en apprenant des réponses du professeur, soit à partir de l'évaluation que le professeur fait de celles de l'étudiant.MéthodeDistillation hors politique : l'enseignant rédige les réponsesDans la distillation hors politique, l'enseignant répond à vos prompts et l'étudiant est affiné sur ces réponses comme lors d'un entraînement supervisé ordinaire. L'enseignant et l'étudiant peuvent provenir de n'importe quelles familles de modèles.ParamètreParamètres de distillationProfesseur, étudiant, les deux limites de longueur de réponse et la divergence β : le rôle de chaque paramètre de distillation, la méthode à laquelle il s'applique et comment le choisir.MéthodeLe GRPO, étape par étapeLe Group Relative Policy Optimization évalue plusieurs réponses au même prompt et renforce celles qui se situent au-dessus de la moyenne du groupe. Il remplace le modèle de valeur distinct du PPO par cette simple comparaison.MéthodeContinuer à partir d'un modèle entraînéUne exécution d'entraînement peut démarrer à partir des poids de l'une de vos exécutions antérieures au lieu du modèle de base, de sorte que le modèle conserve ce qu'il a appris et ajoute ce que les nouvelles données enseignent. C'est ainsi que sont construites les recettes à plusieurs étapes, telles que l'ajustement supervisé puis l'ajustement des préférences.MéthodeLoRA et adaptateurs (PEFT)LoRA gèle le modèle de base et entraîne deux petites matrices à côté des couches sélectionnées, dont le produit est ajouté aux poids gelés. Il réduit considérablement les poids entraînables et la mémoire et, s'il est bien configuré, égale un fine-tuning complet sur des jeux de données de fine-tuning typiques.

Transformez des semaines de travail d'expert en quelques minutes

Découvrez comment Scalata s'adapte à votre équipe, à vos données et à vos contrôles.

Contacter le service commercial