Distillation

Ce que c'est

Un grand modèle est souvent suffisamment performant pour une tâche, mais trop lent ou trop coûteux pour être exécuté à grande échelle. La distillation transfère ce qu'il accomplit sur votre tâche vers un modèle beaucoup plus petit. Le grand modèle est l'enseignant, le petit est l'étudiant, et l'étudiant est entraîné sur les résultats de l'enseignant au lieu de, ou en plus de, réponses rédigées par des humains.

L'idée est antérieure aux modèles de langage. L'article de 2015 de Hinton, Vinyals et Dean, intitulé « Distilling the Knowledge in a Neural Network », a démontré qu'un petit réseau apprend bien plus des probabilités de sortie complètes d'un grand modèle, qu'ils ont appelées cibles souples (soft targets), que des seules étiquettes correctes.

Pourquoi les probabilités d'un enseignant en apprennent davantage

Une étiquette correcte indique uniquement quelle réponse était la bonne. Les probabilités d'un enseignant indiquent également à quel point chaque mauvaise réponse était erronée. L'exemple de Hinton : une image de BMW n'a peut-être qu'une infime chance d'être confondue avec un camion-poubelle, mais cela reste bien plus probable que de la confondre avec une carotte. Ce schéma d'erreurs de justesse décrit la façon dont l'enseignant perçoit le problème, et un étudiant qui l'assimile généralise mieux à partir de moins d'exemples.

Pour un modèle de langage, le même principe s'applique à chaque jeton. Pour la suite de « Votre facture est jointe au format… », un enseignant pourrait attribuer 86 % à PDF, 7 % à CSV et 4 % à fichier. S'entraîner sur le texte de l'enseignant ne conserve que « PDF ». S'entraîner sur sa distribution enseigne également que CSV était une alternative raisonnable et que la plupart des autres mots ne l'étaient pas.

La température contrôle la proportion de ces détails qui subsiste. Les probabilités proviennent d'un softmax appliqué aux scores bruts du modèle (logits) ; diviser les logits par une température T supérieure à 1 aplatit la distribution, conservant le classement mais rendant les petites probabilités suffisamment grandes pour influencer l'entraînement. Hinton et al. ont utilisé la même température élevée pour l'enseignant et l'étudiant, et ont multiplié la perte des cibles souples par T² car ses gradients diminuent de 1/T² à mesure que T augmente.

p_i = exp(z_i / T) / Σ_j exp(z_j / T)        # z = the model's raw scores (logits)

T = 1   PDF 0.86   CSV 0.07   file 0.04   link 0.02   zip 0.01
T = 3   PDF 0.43   CSV 0.19   file 0.16   link 0.12   zip 0.10    # same order, softer

Deux façons de distiller un modèle de langage

Avec les modèles de langage, il existe deux approches pratiques, qui diffèrent selon l'auteur des réponses à partir desquelles l'étudiant apprend.

La distillation hors politique est la méthode par laquelle DeepSeek a conçu ses petits modèles R1 : environ 800 000 échantillons générés avec DeepSeek-R1 ont été utilisés pour affiner les modèles Qwen et Llama avec un entraînement supervisé uniquement, sans apprentissage par renforcement (RL). Leur modèle distillé de 32B a nettement surpassé le même modèle de base entraîné directement avec un RL à grande échelle. Lorsqu'il existe un enseignant performant, le copier constitue souvent une meilleure utilisation de la puissance de calcul que de laisser un petit modèle tout découvrir par essais et erreurs.

Quand l'utiliser

• Vous souhaitez un modèle plus économique et plus rapide qui réponde comme un modèle plus grand sur votre sujet.
• Vous avez beaucoup de questions mais peu de réponses bien rédigées : le professeur fournit les réponses.
• Un grand modèle fait déjà bien le travail, mais son coût ou sa latence est trop élevé à grande échelle.

Et quand ne pas l'utiliser : si aucun modèle, aussi grand soit-il, ne répond correctement à vos questions, car celles-ci dépendent de votre produit ou de vos connaissances internes, la distillation n'a rien à transférer. Entraînez-vous d'abord sur vos propres réponses.

Erreurs courantes

• Distiller à partir d'un enseignant que vous n'avez pas évalué sur vos questions. Ses erreurs sont également apprises.
• S'attendre à ce que l'étudiant surpasse l'enseignant.
• S'attendre à retrouver votre style maison. Les deux approches enseignent le style de l'enseignant ; vos réponses servent tout au plus d'exemples pour l'enseignant.
• Distiller lorsque l'enseignant et l'étudiant répondent déjà presque aussi bien l'un que l'autre ; il y a peu de choses à transférer.
• Utiliser quelques dizaines de prompts dans l'approche hors politique. Une si petite quantité de texte de l'enseignant modifie rarement les habitudes d'un modèle.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

1. 01Distilling the Knowledge in a Neural Network↗Hinton, Vinyals & Dean, 2015 · arXiv · arxiv.orgL'article qui a donné son nom à la distillation : cibles souples, température et facteur T².
2. 02Sequence-Level Knowledge Distillation↗Kim & Rush, 2016 · arXiv · arxiv.orgDistiller en s'entraînant sur les séquences générées par l'enseignant, la base de la distillation hors politique.
3. 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning↗DeepSeek-AI, 2025 · arXiv · arxiv.orgPetits modèles distillés à partir de R1 avec un entraînement supervisé uniquement, comparés à l'apprentissage par renforcement (RL) sur les mêmes bases.
4. 04Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?↗Yue et al., 2025 · arXiv · arxiv.orgDémontre que la distillation, contrairement au RL, peut apporter de véritables nouveaux schémas de raisonnement à un modèle.

Concepts associés