ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Metodi di addestramento

Metodo

Distillazione off-policy: l'insegnante scrive le risposte

Nella distillazione off-policy il teacher risponde ai Suoi prompt e lo student viene sottoposto a fine-tuning su tali risposte come in un normale addestramento supervisionato. Teacher e student possono provenire da qualsiasi famiglia di modelli.

Capitolo 7Lettura di 4 min4 riferimenti

Come funziona

  1. Prompt. Il lato utente delle Sue chat. Una conversazione con tre delle Sue risposte diventa tre righe di prompt, ognuna delle quali contiene la conversazione fino a quella risposta, in modo che il teacher risponda seguendo l'effettivo andamento della conversazione.
  2. Risposte del teacher. Il teacher scrive una risposta completa per ogni prompt. Le Sue risposte possono essere incluse come golden example, in modo che il teacher veda come Lei risponde. Alcuni servizi generano anche prompt simili per ampliare la copertura (sintesi dei dati).
  3. Addestramento dello student. Lo student viene sottoposto a fine-tuning su prompt → risposta del teacher, esattamente come nel fine-tuning supervisionato, con la loss calcolata solo sui token della risposta.
Metodo 1 · il teacher scrive le risposte
il Suo prompt→teacher (large)→testo completo della risposta→lo student apprende prompt → risposta

Qualsiasi famiglia di modelli. Viene trasferito solo il testo. L'addestramento avviene esattamente come nel fine-tuning supervisionato.

Metodo 2 · il teacher valuta la risposta dello student
il Suo prompt→lo student scrive→il teacher valuta ogni token→lo student si avvicina al teacher

È richiesto lo stesso tokenizer, quindi il teacher è solitamente un modello più grande della stessa famiglia. Apprende dai propri errori.

La distillazione off-policy trasmette il testo finito dal teacher allo student. La distillazione on-policy lascia scrivere lo student, per poi mostrargli, token per token, cosa avrebbe detto invece il teacher.
Una riga inviata al servizio: solo il prompt, che termina con il messaggio dell'utente
{"messages": [
  {"role": "system",    "content": "You are Scalata's support assistant."},
  {"role": "user",      "content": "How do I share a report with a client?"},
  {"role": "assistant", "content": "Open the report → Share → pick the client."},
  {"role": "user",      "content": "Does the client need an account?"}
]}

Nella letteratura di ricerca questa è la sequence-level knowledge distillation (Kim & Rush, 2016): invece di far corrispondere le probabilità del teacher token per token, lo student apprende dalla singola sequenza effettivamente prodotta dal teacher. Rinuncia al dettaglio dei soft-target, ma non necessita di nient'altro dal teacher se non del testo. Ecco perché i servizi gestiti la utilizzano: il teacher può essere un modello in hosting raggiungibile solo tramite un'API.

Perché “off-policy”

Policy è il termine utilizzato nell'apprendimento per rinforzo per indicare il modo in cui un modello sceglie i token. In questo caso le risposte di addestramento provengono da una policy diversa, quella del teacher, quindi lo student apprende in modalità off-policy. Ciò ha un costo noto, chiamato exposure bias o disallineamento tra addestramento e inferenza. Durante l'addestramento, lo student continua sempre dal prefisso impeccabile del teacher. Nell'uso reale continua dai propri token precedenti, inclusi gli errori, e non si è mai esercitato a recuperare da essi. Un piccolo passo falso iniziale può condurlo in direzioni mai esplorate dalle risposte del teacher.

La distillazione on-policy esiste per risolvere esattamente questo problema. L'off-policy rimane la scelta pratica ogni volta che teacher e student provengono da famiglie di modelli diverse, o quando il teacher è disponibile solo come testo.

Esempio pratico

Cosa diventa una conversazione
  1. Una chat: l'utente chiede come condividere un report, Lei risponde; chiede se il cliente necessita di un account, Lei risponde; chiede quando scade il link, Lei risponde.
  2. Tre righe di prompt: (1) la prima domanda; (2) la prima domanda, la Sua prima risposta e la seconda domanda; (3) tutto fino alla terza domanda.
  3. Il teacher scrive tre risposte. Le risposte precedenti all'interno delle righe 2 e 3 sono Sue, mantenute come contesto, in modo che il teacher continui la Sua conversazione anziché la propria.
  4. Lo student si addestra su tre esempi: ogni riga di prompt → la risposta del teacher a essa.
  5. Costo: l'inferenza del teacher per tre risposte (token di input e di output), più i token di addestramento dello student (prompt più risposte del teacher, × epoche).

Come trarne il massimo

  • Scegliere l'insegnante in base alla valutazione. Confrontare prima l'insegnante e lo studente sulle domande di validazione. Se lo studente è già vicino, il margine di miglioramento è minimo.
  • Il volume è importante. Ogni risposta dell'insegnante rappresenta un esempio, e un modello di piccole dimensioni ne richiede molti per modificare le proprie abitudini. Qualche decina di prompt raramente fa la differenza; è necessario prevederne centinaia o più, oppure utilizzare la sintesi dei prompt del servizio.
  • Attenzione alla lunghezza e allo stile dell'insegnante. Lo studente li assimila. Un insegnante che scrive 300 parole dove il vostro team ne scrive 50 produrrà uno studente che farà altrettanto. Gli esempi di riferimento sono utili; un passaggio supervisionato sulle vostre risposte in un secondo momento lo è ancora di più.
  • Gli insegnanti che ragionano scrivono lunghi ragionamenti prima della risposta. Questo è prezioso per problemi complessi a più fasi, ma rappresenta un rumore costoso per brevi risposte di supporto.

Errori comuni

  • Troppo pochi prompt affinché lo student cambi le proprie abitudini.
  • Dimenticare che ogni errore del teacher diventa un esempio di addestramento.
  • Aspettarsi il Suo stile senza golden example o un successivo passaggio supervisionato.
  • Confrontare lo student distillato solo con il teacher. Lo confronti anche con lo student di base: questo mostrerà cosa ha aggiunto la distillazione.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01Sequence-Level Knowledge DistillationKim & Rush, 2016 · arXiv · arxiv.orgIl metodo: addestrare lo student sulle sequenze generate dal teacher.
  2. 02Distilling the Knowledge in a Neural NetworkHinton, Vinyals & Dean, 2015 · arXiv · arxiv.orgLa distillazione soft-target originale che la versione a livello di sequenza semplifica.
  3. 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgUn esempio su larga scala: 800.000 campioni R1 distillati in piccoli modelli Qwen e Llama.
  4. 04On-Policy Distillation of Language Models: Learning from Self-Generated MistakesAgarwal et al., 2024 · ICLR / arXiv · arxiv.orgSpiega il disallineamento tra addestramento e inferenza di cui soffre la distillazione off-policy.
MetodoDistillazioneLa distillazione addestra un modello studente piccolo ed economico a comportarsi come un grande modello insegnante sui Suoi task, imparando dalle risposte dell'insegnante o dal giudizio di quest'ultimo sulle risposte dello studente.MetodoOn-policy distillation: l'insegnante valuta lo studenteNella on-policy distillation lo studente scrive le proprie risposte e l'insegnante valuta ogni loro token, in modo che lo studente impari esattamente dove sbaglia. L'insegnante e lo studente devono condividere un vocabolario.ImpostazioneImpostazioni di distillazioneInsegnante, studente, i due limiti di lunghezza della risposta e la divergenza β: cosa fa ogni impostazione di distillazione, a quale percorso si applica e come sceglierla.MetodoFine-tuning supervisionato (SFT)Il fine-tuning supervisionato addestra un modello tramite esempi: gli viene mostrata una conversazione e la risposta desiderata, e i suoi pesi vengono calibrati affinché tale risposta diventi più probabile, token dopo token.ConcettoPerché i token determinano i costiCome i conteggi dei token si traducono nel prezzo di addestramento e di utilizzo di un modello, con esempi numerici pratici, e quali leve riducono effettivamente i costi.MetodoContinuare da un modello addestratoUn'esecuzione di addestramento può partire dai pesi di una delle Sue esecuzioni precedenti anziché dal modello di base, in modo che il modello mantenga ciò che ha appreso e aggiunga quanto insegnato dai nuovi dati. È così che si costruiscono le ricette in più fasi, come il fine-tuning supervisionato seguito da quello basato sulle preferenze.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite