Distillazione

Cos'è

Un modello di grandi dimensioni è spesso sufficientemente valido per un'attività, ma troppo lento o costoso da eseguire su larga scala. La distillazione trasferisce ciò che fa nella vostra attività in un modello molto più piccolo. Quello grande è l'insegnante, quello piccolo lo studente, e lo studente viene addestrato sull'output dell'insegnante invece di, o insieme a, risposte scritte da esseri umani.

L'idea precede i modelli linguistici. L'articolo del 2015 di Hinton, Vinyals e Dean “Distilling the Knowledge in a Neural Network” ha dimostrato che una piccola rete impara molto di più dalle probabilità di output complete di un modello di grandi dimensioni, che hanno chiamato soft target, rispetto alle sole etichette corrette.

Perché le probabilità di un insegnante insegnano di più

Un'etichetta corretta indica solo quale risposta era giusta. Le probabilità di un insegnante indicano anche quanto fosse sbagliata ogni risposta errata. L'esempio di Hinton: un'immagine di una BMW può avere solo una minima possibilità di essere scambiata per un camion della spazzatura, ma è comunque molte volte più probabile che scambiarla per una carota. Questo schema di quasi-errori descrive come l'insegnante vede il problema, e uno studente che lo impara generalizza meglio da un numero inferiore di esempi.

Per un modello linguistico vale lo stesso per ogni token. Continuando “La fattura è allegata come…”, un insegnante potrebbe assegnare PDF 86%, CSV 7%, file 4%. L'addestramento sul testo dell'insegnante mantiene solo “PDF”. L'addestramento sulla sua distribuzione insegna anche che CSV era un'alternativa ragionevole e che la maggior parte delle altre parole non lo era.

La temperatura controlla quanta parte di quel dettaglio sopravvive. Le probabilità derivano da un softmax sui punteggi grezzi del modello (logit); dividendo i logit per una temperatura T superiore a 1 si appiattisce la distribuzione, mantenendo la classificazione ma rendendo le piccole probabilità abbastanza grandi da influenzare l'addestramento. Hinton et al. hanno utilizzato la stessa temperatura elevata per l'insegnante e lo studente, e hanno moltiplicato la perdita del soft target per T² perché i suoi gradienti si riducono di 1/T² all'aumentare di T.

p_i = exp(z_i / T) / Σ_j exp(z_j / T)        # z = the model's raw scores (logits)

T = 1   PDF 0.86   CSV 0.07   file 0.04   link 0.02   zip 0.01
T = 3   PDF 0.43   CSV 0.19   file 0.16   link 0.12   zip 0.10    # same order, softer

Due modi per distillare un modello linguistico

Con i modelli linguistici ci sono due percorsi pratici, e differiscono in base alle risposte di chi lo studente utilizza per imparare.

La distillazione off-policy è il modo in cui DeepSeek ha costruito i suoi piccoli modelli R1: circa 800.000 campioni generati con DeepSeek-R1 sono stati utilizzati per perfezionare i modelli Qwen e Llama con il solo addestramento supervisionato, senza RL. Il loro modello distillato da 32B ha chiaramente superato lo stesso modello di base addestrato direttamente con RL su larga scala. Quando esiste un insegnante forte, copiarlo è spesso un uso migliore della capacità di calcolo rispetto a far scoprire tutto a un piccolo modello per tentativi ed errori.

Quando usarla

• Desidera un modello più economico e veloce che risponda come uno più grande sul Suo argomento.
• Ha a disposizione molte domande ma poche risposte ben scritte: è l'insegnante a fornire le risposte.
• Un modello di grandi dimensioni svolge già bene il lavoro, ma il suo costo o la sua latenza sono troppo elevati su larga scala.

E quando non usarla: se nessun modello, per quanto grande, risponde bene alle vostre domande, perché dipendono dal vostro prodotto o dalla vostra conoscenza interna, la distillazione non ha nulla da trasferire. Addestrate prima sulle vostre risposte.

Errori comuni

• Distillare da un insegnante che non avete valutato sulle vostre domande. Anche i suoi errori vengono appresi.
• Aspettarsi che lo studente superi l'insegnante.
• Aspettarsi il vostro stile aziendale. Entrambi i percorsi insegnano lo stile dell'insegnante; le vostre risposte sono al massimo esempi per l'insegnante.
• Distillare quando l'insegnante e lo studente rispondono già in modo quasi altrettanto valido; c'è poco da trasferire.
• Utilizzare poche dozzine di prompt nel percorso off-policy. Una tale quantità di testo dell'insegnante raramente cambia le abitudini di un modello.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

1. 01Distilling the Knowledge in a Neural Network↗Hinton, Vinyals & Dean, 2015 · arXiv · arxiv.orgL'articolo che ha dato il nome alla distillazione: soft target, temperatura e il fattore T².
2. 02Sequence-Level Knowledge Distillation↗Kim & Rush, 2016 · arXiv · arxiv.orgDistillare addestrando sulle sequenze generate dall'insegnante, la base della distillazione off-policy.
3. 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning↗DeepSeek-AI, 2025 · arXiv · arxiv.orgPiccoli modelli distillati da R1 con il solo addestramento supervisionato, confrontati con l'RL sulle stesse basi.
4. 04Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?↗Yue et al., 2025 · arXiv · arxiv.orgRileva che la distillazione, a differenza dell'RL, può introdurre in un modello schemi di ragionamento del tutto nuovi.

Concetti correlati