ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Metodi di addestramento

Metodo

On-policy distillation: l'insegnante valuta lo studente

Nella on-policy distillation lo studente scrive le proprie risposte e l'insegnante valuta ogni loro token, in modo che lo studente impari esattamente dove sbaglia. L'insegnante e lo studente devono condividere un vocabolario.

Capitolo 7Lettura di 4 min4 riferimenti

Come funziona

  1. Lo studente risponde. Per ogni prompt lo studente scrive la propria risposta, una risposta di pratica.
  2. L'insegnante la legge. L'insegnante elabora lo stesso prompt e la stessa risposta in un unico passaggio e, in ogni posizione, produce la sua distribuzione di probabilità sul token successivo: ciò che avrebbe detto in quel punto.
  3. Confronto e aggiornamento. A ogni token, la distribuzione dello studente viene confrontata con quella dell'insegnante utilizzando una divergenza, e lo studente viene avvicinato all'insegnante.
Riga di addestramento: solo il prompt
{"prompt": [
  {"role": "user", "content": "What's the difference between EBITDA and EBIT?"}
]}

Non è necessaria alcuna risposta di riferimento e le vostre risposte non vengono utilizzate come obiettivi; lo sono solo i prompt. L'insegnante non scrive mai un'intera risposta, ne legge solo una, il che è molto più economico per token rispetto alla generazione.

Perché funziona così bene

La distillazione on-policy prende il meglio di altri due metodi. Come l'addestramento supervisionato, il suo segnale è denso: ogni token riceve un feedback. Come l'apprendimento per rinforzo, i suoi dati sono on-policy: provengono dalle risposte stesse dello studente, quindi coprono gli errori che lo studente commette effettivamente. Gli studenti off-policy vedono solo i percorsi impeccabili dell'insegnante; gli studenti RL vedono i propri percorsi ma ottengono un solo numero per l'intera risposta.

Metodo 1 · il teacher scrive le risposte
il Suo prompt→teacher (large)→testo completo della risposta→lo student apprende prompt → risposta

Qualsiasi famiglia di modelli. Viene trasferito solo il testo. L'addestramento avviene esattamente come nel fine-tuning supervisionato.

Metodo 2 · il teacher valuta la risposta dello student
il Suo prompt→lo student scrive→il teacher valuta ogni token→lo student si avvicina al teacher

È richiesto lo stesso tokenizer, quindi il teacher è solitamente un modello più grande della stessa famiglia. Apprende dai propri errori.

La distillazione off-policy trasmette il testo finito dal teacher allo student. La distillazione on-policy lascia scrivere lo student, per poi mostrargli, token per token, cosa avrebbe detto invece il teacher.
Apprendimento in corrispondenza del token in cui si è verificato l'errore
  1. Prompt: “Qual è la differenza tra EBITDA ed EBIT?”
  2. Lo studente inizia bene, poi scrive “L'EBIT somma nuovamente l'ammortamento…”, il che è errato: è l'EBITDA a sommarlo nuovamente.
  3. In corrispondenza del token “somma”, le probabilità dell'insegnante favoriscono “deduce” o “sottrae”; quelle dello studente favorivano “somma”. La divergenza è ampia esattamente in quel punto.
  4. L'aggiornamento abbassa “somma” e alza le scelte dell'insegnante in quel contesto: la correzione precisa. I token su cui i due concordano già non contribuiscono quasi per nulla.
  5. L'apprendimento per rinforzo (RL) con un valutatore avrebbe assegnato un punteggio basso all'intera risposta e scoraggiato tutti i suoi token in egual misura, inclusi quelli corretti.

Forward KL, Reverse KL o una combinazione

Le distribuzioni dello studente e dell'insegnante possono essere confrontate in due direzioni e la scelta cambia ciò che lo studente diventa.

  • Forward KL, KL(insegnante ‖ studente), penalizza pesantemente lo studente se assegna una bassa probabilità a qualsiasi elemento che l'insegnante considera probabile. Lo studente si espande per coprire tutte le opzioni dell'insegnante (mode-covering). Uno studente di piccole dimensioni che non riesce a includerle tutte finisce per distribuire il peso tra di esse, il che può produrre testi vaghi o di bassa qualità.
  • Reverse KL, KL(studente ‖ insegnante), penalizza pesantemente lo studente se dice cose che l'insegnante considera improbabili. Lo studente adotta l'opzione principale dell'insegnante e ignora il resto (mode-seeking): più incisivo, più deciso, meno vario.
  • La divergenza di Jensen-Shannon (JSD), e la sua forma generalizzata, combina le due. L'articolo su GKD ha rilevato che la scelta migliore dipende dall'attività.
risposte possibili →β = 0 · KL direttaCopre tutto ciò che l'insegnante potrebbe dire, attribuendo peso anche al divario tra le sue risposte. Più ampio, più variegato, a volte vago.
risposte possibili →β = 1 · KL inversaSi concentra sulla risposta principale dell'insegnante e ignora il resto. Più netto e deciso, meno variegato.
insegnante (tratteggiato)studente (pieno)
Un modello studente ridotto non può replicare un modello insegnante che presenta due risposte valide. La divergenza KL diretta lo distribuisce per coprirle entrambe (mode-covering); la divergenza KL inversa lo porta a sceglierne una e ad adattarvisi con precisione (mode-seeking). Un valore β compreso tra 0 e 1 combina i due approcci.

La Reverse KL si adatta a studenti di piccole dimensioni e ad attività con una sola risposta corretta in mente, motivo per cui è comune per la distillazione on-policy di modelli di chat e di ragionamento: l'articolo del 2025 di Thinking Machines utilizza una Reverse KL per token e il DistillationTrainer di TRL la imposta come predefinita. In Scalata questa scelta corrisponde all'impostazione divergenza β.

Requisiti e costi

  • Stesso vocabolario. Le distribuzioni vengono confrontate token per token, quindi entrambi i modelli devono suddividere il testo negli stessi token. Nella pratica, l'insegnante è un modello più grande della stessa famiglia, ad esempio Qwen2.5-3B che insegna a Qwen2.5-0.5B.
  • Entrambi i modelli sulla GPU. L'insegnante viene caricato accanto allo studente; un insegnante da 3B in bf16 richiede circa 6 GB in più rispetto allo studente.
  • Tempo di generazione. Ogni passaggio genera risposte token per token, il che lo rende più lento rispetto all'addestramento supervisionato sugli stessi dati; la lunghezza massima della risposta di pratica è la leva principale.
  • Stile. Lo studente apprende le abitudini dell'insegnante, inclusa la lunghezza. Per ottenere anche lo stile del vostro team, eseguite successivamente un addestramento supervisionato sulle vostre risposte, partendo dal modello distillato.

Il vantaggio può essere notevole. I dati del report tecnico di Qwen3, confrontati nell'articolo di Thinking Machines, mostrano che la distillazione on-policy porta Qwen3-8B al 74,4% su AIME'24 con circa 1.800 ore di GPU, mentre l'RL da un punto di partenza simile ha raggiunto il 67,6% con 17.920 ore. Con modelli di piccole dimensioni su attività specifiche i guadagni sono inferiori, ma il segnale per token fa comunque progredire uno studente per ogni prompt più di quanto farebbe una manciata di risposte dell'insegnante.

Errori comuni

  • Scegliere un insegnante da un'altra famiglia di modelli. I vocabolari differiscono, quindi il confronto token per token è impossibile.
  • Dimenticare la memoria dell'insegnante. Una GPU in grado di contenere solo lo studente potrebbe non contenerli entrambi.
  • Impostare una lunghezza elevata per la risposta di pratica “per sicurezza”. La generazione domina il tempo del passaggio.
  • Aspettarsi il proprio stile. Le vostre risposte non sono mai gli obiettivi in questo caso.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01On-Policy Distillation of Language Models: Learning from Self-Generated MistakesAgarwal et al., 2024 · ICLR / arXiv · arxiv.orgIl metodo: addestramento sugli output stessi dello studente con feedback dell'insegnante a livello di token e una scelta di divergenza.
  2. 02MiniLLM: On-Policy Distillation of Large Language ModelsGu et al., 2023 · arXiv · arxiv.orgSostiene l'uso della Reverse KL durante la distillazione in modelli linguistici di piccole dimensioni.
  3. 03On-Policy DistillationThinking Machines Lab, 2025 · thinkingmachines.aiUn resoconto pratico, con confronti di calcolo rispetto al RL e l'uso per il recupero delle competenze dopo un ulteriore addestramento.
  4. 04Distillation TrainerHugging Face TRL docs · huggingface.coUn trainer open source per la on-policy distillation e la sua definizione di β.
MetodoDistillazioneLa distillazione addestra un modello studente piccolo ed economico a comportarsi come un grande modello insegnante sui Suoi task, imparando dalle risposte dell'insegnante o dal giudizio di quest'ultimo sulle risposte dello studente.MetodoDistillazione off-policy: l'insegnante scrive le risposteNella distillazione off-policy il teacher risponde ai Suoi prompt e lo student viene sottoposto a fine-tuning su tali risposte come in un normale addestramento supervisionato. Teacher e student possono provenire da qualsiasi famiglia di modelli.ImpostazioneImpostazioni di distillazioneInsegnante, studente, i due limiti di lunghezza della risposta e la divergenza β: cosa fa ogni impostazione di distillazione, a quale percorso si applica e come sceglierla.MetodoGRPO, passo dopo passoLa Group Relative Policy Optimization valuta diverse risposte allo stesso prompt e rafforza quelle al di sopra della media del gruppo. Sostituisce il modello di valore separato della PPO con questo semplice confronto.MetodoContinuare da un modello addestratoUn'esecuzione di addestramento può partire dai pesi di una delle Sue esecuzioni precedenti anziché dal modello di base, in modo che il modello mantenga ciò che ha appreso e aggiunga quanto insegnato dai nuovi dati. È così che si costruiscono le ricette in più fasi, come il fine-tuning supervisionato seguito da quello basato sulle preferenze.MetodoLoRA e adattatori (PEFT)LoRA congela il modello di base e addestra due piccole matrici accanto a layer selezionati, il cui prodotto viene aggiunto ai pesi congelati. Riduce drasticamente i pesi addestrabili e la memoria e, se ben configurato, eguaglia il fine-tuning completo sui tipici set di dati di fine-tuning.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite