ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Dalle chat agli esempi di addestramento

Concetto

Mascheramento della loss

Perché un modello viene valutato solo sui token target di ciascun record, come ciò avviene nella pratica e cosa cambia o non cambia.

Capitolo 3Lettura di 3 min4 riferimenti

Cos'è

Un record di addestramento contiene molto di più della risposta da imparare: un prompt di sistema, forse diversi turni precedenti e la domanda dell'utente. Il mascheramento della loss significa che l'errore di addestramento — la loss — viene calcolato solo sui token della risposta target. Il modello legge ogni token e il contesto modella ogni sua previsione, ma non viene mai valutato sulla previsione del contesto stesso.

Howmascherato␣domascherato␣Imascherato␣resetmascherato␣mymascherato␣passwordmascherato?mascheratoOpenp 0.62loss 0.48␣Settingsp 0.81loss 0.21␣→p 0.35loss 1.05␣Securityp 0.90loss 0.11
7 token di contesto · nessuna lossloss del record ≈ 0.46
Ogni token target ha una probabilità assegnata dal modello (p) e una loss, −ln p. I token di contesto vengono letti e modellano ogni previsione, ma non comportano alcuna loss. La loss del record è la media calcolata solo sui token target.

Come funziona

Un modello linguistico viene addestrato prevedendo ogni token successivo. In ogni posizione restituisce una probabilità per ogni token nel suo vocabolario, e la loss in quella posizione è il logaritmo negativo della probabilità assegnata al token corretto: vicina a 0 quando era sicuro e corretto, elevata quando era sicuro e scorretto. La loss del record è la media sulle posizioni rilevanti.

Loss con mascheramento
loss for one record = average over target tokens of  −ln p(correct token | everything before it)

context tokens:  read, label = -100  →  ignored by the loss
target tokens:   read and scored     →  averaged into the loss

Senza il mascheramento, la media verrebbe calcolata su ogni token del record. Con il mascheramento, le posizioni di contesto vengono escluse. Chi si occupa dell'addestramento ottiene questo risultato assegnando a ogni token di contesto un'etichetta speciale — -100 nelle librerie basate su PyTorch come Hugging Face Transformers — che la funzione di loss è istruita a ignorare.

L'aritmetica di un singolo record
  1. Un record contiene 40 token di contesto (prompt di sistema e domanda) e 4 token di destinazione: “Open”, “ Settings”, “ →”, “ Security”.
  2. Il modello assegna ai token di destinazione corretti le probabilità di 0,62, 0,81, 0,35 e 0,90. Le rispettive loss, −ln p, sono 0,48, 0,21, 1,05 e 0,11.
  3. La loss del record è la loro media: (0,48 + 0,21 + 1,05 + 0,11) ÷ 4 ≈ 0,46.
  4. I 40 token di contesto non aggiungono nulla. L'aggiornamento aumenterà principalmente la probabilità di “ →”, il token di cui il modello era meno sicuro.

Perché mascherare

  • Il segnale va dove desiderato. I target rappresentano il comportamento scelto. Senza il mascheramento, gran parte dello sforzo di addestramento servirebbe a prevedere le domande degli utenti e a ripetere il prompt di sistema.
  • Il modello non impara a imitare gli utenti. L'addestramento sui turni dell'utente insegna al modello a scrivere come le persone che pongono le domande — inclusi gli errori di battitura — il che può ripercuotersi sulle sue risposte.
  • Il contesto lungo non sommerge le risposte brevi. In un record con 2.000 token di cronologia e una risposta di 60 token, una loss non mascherata riguarderebbe per circa il 97% la cronologia.

Il mascheramento è sempre la scelta migliore?

Il mascheramento è la scelta standard e l'impostazione predefinita nella maggior parte dei servizi e delle librerie di addestramento. Ci sono delle eccezioni: uno studio del 2024 di Shi e colleghi ha rilevato che anche l'addestramento sulle istruzioni può essere utile quando queste sono lunghe e gli output brevi, oppure quando ci sono pochissimi esempi. Per il fine-tuning su conversazioni reali, dove i turni dell'utente non rappresentano il comportamento che si desidera riprodurre, mascherare il contesto rimane l'impostazione predefinita più sensata.

Mascherato non significa irrilevante

Un token mascherato non viene valutato, ma viene comunque letto, e il modello impara a produrre il target dato quel contesto. Se il contesto contiene un'affermazione errata che il target asseconda, il modello impara ad assecondarla. Se il prompt di sistema nell'addestramento differisce da quello utilizzato in seguito, il comportamento appreso potrebbe non essere trasferito. Il mascheramento restringe ciò che viene valutato; non rende irrilevante il resto del record.

Errori comuni

  • Presumere che, poiché il contesto non viene valutato, la sua qualità non sia importante.
  • Interpretare una bassa loss di addestramento come prova di qualità quando i target sono brevi e semplici.
  • Confrontare i valori di loss tra dataset con lunghezze dei target molto diverse.
  • Aspettarsi che il modello impari qualcosa che appare esclusivamente nei messaggi degli utenti.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01Instruction Tuning With Loss Over InstructionsShi et al., 2024 · arXiv · arxiv.orgQuando l'addestramento sia sul prompt che sulla risposta risulta utile.
  2. 02SFT TrainerHugging Face TRL docs · huggingface.coLe opzioni di loss completion-only e assistant-only nella pratica.
  3. 03Causal language modelingHugging Face Transformers docs · huggingface.coLa previsione del token successivo e come vengono preparate le etichette a tale scopo.
  4. 04Supervised Fine-TuningHugging Face LLM Course · huggingface.coFine-tuning sui dati di chat, passo dopo passo.
ConcettoTarget (risposte addestrabili)Le risposte dell'assistente che Lei sceglie di far apprendere al modello: come viene appreso un target, cosa lo rende valido e perché tutto ciò che lo precede è contesto.ConcettoConversazioni multi-turno e pesiCome una conversazione con diverse risposte dell'assistente diventa un dato di addestramento, i due formati utilizzati dai provider a tale scopo e l'effetto collaterale a cui prestare attenzione.ConcettoIl ciclo di addestramentoIl fine-tuning è una breve procedura ripetuta migliaia di volte: prevedere la risposta target, misurare l'errore della previsione, calcolare in quale direzione deve muoversi ciascun peso e spostarlo leggermente.MetricaInterpretare le curve di lossLa loss di addestramento indica quanto il modello si adatti agli esempi da cui apprende; la loss di validazione indica la sua capacità di prevedere esempi esclusi su cui non è mai stato addestrato. Il divario tra le due curve è il segnale più utile fornito da un'esecuzione di addestramento.ConcettoRuoli dei messaggiCome una conversazione viene archiviata sotto forma di messaggi di sistema, utente e assistente, e come questi ruoli diventano il singolo flusso di token che un modello legge effettivamente.MetodoFine-tuning supervisionato (SFT)Il fine-tuning supervisionato addestra un modello tramite esempi: gli viene mostrata una conversazione e la risposta desiderata, e i suoi pesi vengono calibrati affinché tale risposta diventi più probabile, token dopo token.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite