Bientôt disponibleL'Entraînement de modèles sera bientôt disponible dans Scalata Enterprise. Apprenez à un modèle à répondre comme votre équipe.Découvrir les nouveautés

Ressources/Entraînement du modèle/Méthodes d'entraînement

Méthode

Distillation hors politique : l'enseignant rédige les réponses

Dans la distillation hors politique, l'enseignant répond à vos prompts et l'étudiant est affiné sur ces réponses comme lors d'un entraînement supervisé ordinaire. L'enseignant et l'étudiant peuvent provenir de n'importe quelles familles de modèles.

Chapitre 74 min de lecture4 références

Comment cela fonctionne

  1. Prompts. Le côté utilisateur de vos chats. Une conversation avec trois de vos réponses devient trois lignes de prompt, chacune contenant la conversation jusqu'à cette réponse, de sorte que l'enseignant répond de la manière dont la conversation s'est réellement déroulée.
  2. Réponses de l'enseignant. L'enseignant rédige une réponse complète à chaque prompt. Vos propres réponses peuvent être incluses comme exemples de référence, afin que l'enseignant voie comment vous répondez. Certains services génèrent également des prompts similaires pour élargir la couverture (synthèse de données).
  3. Entraînement de l'étudiant. L'étudiant est affiné sur le prompt → réponse de l'enseignant, exactement comme un fine-tuning supervisé, avec la perte portant uniquement sur les tokens de la réponse.
Méthode 1 · l'enseignant écrit les réponses
votre prompt→enseignant (large)→texte complet de la réponse→l'étudiant apprend le prompt → la réponse

Toutes les familles de modèles. Seul le texte est transmis. S'entraîne exactement comme un ajustement fin supervisé.

Méthode 2 · l'enseignant note la réponse de l'étudiant
votre prompt→l'étudiant écrit→l'enseignant évalue chaque jeton→l'étudiant se rapproche de l'enseignant

Même tokenizer requis, l'enseignant est donc généralement un modèle plus grand de la même famille. Apprend de ses propres erreurs.

La distillation hors politique transmet le texte final de l'enseignant à l'étudiant. La distillation sur politique laisse l'étudiant écrire, puis lui montre, jeton par jeton, ce que l'enseignant aurait dit à la place.
Une ligne envoyée au service : le prompt uniquement, se terminant par le message de l'utilisateur
{"messages": [
  {"role": "system",    "content": "You are Scalata's support assistant."},
  {"role": "user",      "content": "How do I share a report with a client?"},
  {"role": "assistant", "content": "Open the report → Share → pick the client."},
  {"role": "user",      "content": "Does the client need an account?"}
]}

Dans la littérature de recherche, il s'agit de la distillation de connaissances au niveau de la séquence (Kim & Rush, 2016) : au lieu de faire correspondre les probabilités de l'enseignant token par token, l'étudiant apprend à partir de la séquence unique que l'enseignant a réellement produite. Elle abandonne les détails des cibles souples, mais ne nécessite rien d'autre que du texte de la part de l'enseignant. C'est pourquoi les services gérés l'utilisent : l'enseignant peut être un modèle hébergé accessible uniquement via une API.

Pourquoi « hors politique »

La politique est le terme utilisé en apprentissage par renforcement pour désigner la manière dont un modèle choisit les tokens. Ici, les réponses d'entraînement proviennent d'une politique différente, celle de l'enseignant, de sorte que l'étudiant apprend hors politique. Cela a un coût connu, appelé biais d'exposition ou décalage entraînement-inférence. Lors de l'entraînement, l'étudiant continue toujours à partir du préfixe sans faille de l'enseignant. En utilisation réelle, il continue à partir de ses propres tokens antérieurs, erreurs incluses, et il ne s'est jamais exercé à s'en remettre. Une petite erreur initiale peut le mener là où les réponses de l'enseignant ne sont jamais allées.

La distillation sur politique existe pour corriger exactement ce problème. L'approche hors politique reste le choix pratique lorsque l'enseignant et l'étudiant proviennent de familles de modèles différentes, ou que l'enseignant n'est disponible que sous forme de texte.

Exemple pratique

Ce que devient une conversation
  1. Un chat : l'utilisateur demande comment partager un rapport, vous répondez ; il demande si le client a besoin d'un compte, vous répondez ; il demande quand le lien expire, vous répondez.
  2. Trois lignes de prompt : (1) la première question ; (2) la première question, votre première réponse et la deuxième question ; (3) tout jusqu'à la troisième question.
  3. L'enseignant rédige trois réponses. Les réponses antérieures dans les lignes 2 et 3 sont les vôtres, conservées comme contexte, de sorte que l'enseignant poursuit votre conversation plutôt que la sienne.
  4. L'étudiant s'entraîne sur trois exemples : chaque ligne de prompt → la réponse de l'enseignant à celle-ci.
  5. Coût : l'inférence de l'enseignant pour trois réponses (tokens d'entrée et de sortie), plus les tokens d'entraînement de l'étudiant (prompts plus réponses de l'enseignant, × époques).

En tirer le meilleur parti

  • Choisissez le modèle enseignant par évaluation. Comparez d'abord l'enseignant et l'étudiant sur vos questions de test. Si l'étudiant est déjà proche, il y a peu à gagner.
  • Le volume compte. Chaque réponse de l'enseignant constitue un exemple, et un petit modèle en nécessite beaucoup pour changer ses habitudes. Quelques dizaines de prompts le font rarement évoluer ; prévoyez-en des centaines, voire plus, ou utilisez la synthèse de prompts du service.
  • Faites attention à la longueur et au style de l'enseignant. L'étudiant les assimile. Un enseignant qui rédige 300 mots là où votre équipe en écrit 50 produira un étudiant qui fera de même. Les exemples de référence sont utiles ; un passage supervisé sur vos propres réponses par la suite l'est encore plus.
  • Les enseignants qui raisonnent rédigent un long cheminement avant la réponse. Cela s'avère précieux pour les problèmes complexes à plusieurs étapes, mais constitue un bruit coûteux pour de courtes réponses d'assistance.

Erreurs courantes

  • Trop peu de prompts pour que l'étudiant change ses habitudes.
  • Oublier que chaque erreur de l'enseignant devient un exemple d'entraînement.
  • S'attendre à retrouver votre style sans exemples de référence ou sans un passage supervisé ultérieur.
  • Comparer l'étudiant distillé uniquement avec l'enseignant. Comparez-le également avec l'étudiant de base : cela montre ce que la distillation a apporté.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

  1. 01Sequence-Level Knowledge DistillationKim & Rush, 2016 · arXiv · arxiv.orgLa méthode : entraîner l'étudiant sur les séquences générées par l'enseignant.
  2. 02Distilling the Knowledge in a Neural NetworkHinton, Vinyals & Dean, 2015 · arXiv · arxiv.orgLa distillation originale à cibles souples que la version au niveau de la séquence simplifie.
  3. 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgUn exemple à grande échelle : 800 000 échantillons R1 distillés dans de petits modèles Qwen et Llama.
  4. 04On-Policy Distillation of Language Models: Learning from Self-Generated MistakesAgarwal et al., 2024 · ICLR / arXiv · arxiv.orgExplique le décalage entraînement-inférence dont souffre la distillation hors politique.
MéthodeDistillationLa distillation entraîne un modèle étudiant, petit et économique, à se comporter comme un grand modèle professeur sur vos tâches, soit en apprenant des réponses du professeur, soit à partir de l'évaluation que le professeur fait de celles de l'étudiant.MéthodeDistillation on-policy : le professeur note l'étudiantDans la distillation on-policy, l'étudiant rédige ses propres réponses et le professeur évalue chacun de leurs tokens, afin que l'étudiant apprenne exactement où il se trompe. Le professeur et l'étudiant doivent partager un même vocabulaire.ParamètreParamètres de distillationProfesseur, étudiant, les deux limites de longueur de réponse et la divergence β : le rôle de chaque paramètre de distillation, la méthode à laquelle il s'applique et comment le choisir.MéthodeAjustement fin supervisé (SFT)Le réglage fin supervisé enseigne à un modèle par l'exemple : on lui montre une conversation et la réponse que vous souhaitez, et ses poids sont ajustés pour que cette réponse devienne plus probable, jeton par jeton.ConceptPourquoi les tokens déterminent les coûtsComment le nombre de tokens se traduit par le prix de l'entraînement et de l'utilisation d'un modèle, avec des chiffres concrets, et quels leviers permettent réellement de réduire la facture.MéthodeContinuer à partir d'un modèle entraînéUne exécution d'entraînement peut démarrer à partir des poids de l'une de vos exécutions antérieures au lieu du modèle de base, de sorte que le modèle conserve ce qu'il a appris et ajoute ce que les nouvelles données enseignent. C'est ainsi que sont construites les recettes à plusieurs étapes, telles que l'ajustement supervisé puis l'ajustement des préférences.

Transformez des semaines de travail d'expert en quelques minutes

Découvrez comment Scalata s'adapte à votre équipe, à vos données et à vos contrôles.

Contacter le service commercial