Fine-tuning supervisionato (SFT)

Cos'è

Il supervised fine-tuning è il metodo più diretto per modificare il comportamento di un modello: si forniscono esempi delle conversazioni desiderate e lo si addestra a riprodurne le risposte. "Supervisionato" significa che ogni esempio è accompagnato dalla relativa risposta. Al modello non viene richiesto di giudicare o esplorare; gli viene indicato, per ogni contesto, quali siano le parole successive corrette.

Un modello pre-addestrato ha già assimilato il linguaggio e una vasta conoscenza del mondo attraverso testi pubblici. Ciò che non conosce è il Vostro prodotto, il tono del Vostro team o il formato atteso dai Vostri utenti. L'SFT colma questa lacuna con un dataset relativamente ridotto: da centinaia a poche migliaia di conversazioni valide, anziché i trilioni di token impiegati nel pre-addestramento. Lo studio LIMA ha evidenziato chiaramente questo aspetto: un modello da 65 miliardi di parametri, sottoposto a fine-tuning su soli 1.000 esempi accuratamente selezionati, si è comportato come un assistente estremamente valido. Gli autori hanno interpretato questo risultato come la prova che quasi tutta la conoscenza viene acquisita durante il pre-addestramento, mentre il fine-tuning insegna principalmente il formato con cui utilizzarla.

Come funziona

Ogni record di addestramento è una conversazione. Le risposte dell'assistente contrassegnate come addestrabili sono i target; tutto ciò che precede un target è il suo contesto.

{"messages": [
  {"role": "system",    "content": "You are Scalata's support assistant."},
  {"role": "user",      "content": "How do I reset my password?"},
  {"role": "assistant", "content": "Open Settings → Security and choose Reset password. You'll get an email link valid for 30 minutes."}
]}

Il modello legge il record come un'unica lunga sequenza di token. In ogni posizione all'interno del target prevede una probabilità per ogni token nel suo vocabolario, e il trainer verifica quanta probabilità ha assegnato al token effettivamente successivo. La penalità per un token è −ln p, il logaritmo naturale negativo di tale probabilità. La media calcolata sull'intera risposta rappresenta la cross-entropy loss.

loss for one reply = average over its target tokens of  −ln p(correct next token | everything before it)

p = 0.90  →  0.11
p = 0.50  →  0.69
p = 0.05  →  3.00

Vengono valutati solo i token target. Il messaggio di sistema e le parole dell'utente vengono letti, poiché modellano la previsione, ma non vengono mai valutati. Questo è il loss masking: il modello impara a rispondere come il Vostro team, non a imitare i Vostri utenti.

Dopo ogni batch, la back-propagation calcola come ogni peso addestrabile dovrebbe cambiare per rendere più probabili i token target, e l'ottimizzatore compie un piccolo passo in quella direzione. Il learning rate stabilisce la dimensione del passo. Un passaggio completo su tutti i record costituisce un'epoca.

In cosa è efficace l'SFT e in cosa non lo è

Una proprietà spiega la maggior parte delle sorprese dell'SFT: imita. Se una risposta su dieci dice "contattare l'assistenza" invece di rispondere, il modello impara a dirlo circa una volta su dieci. Se le risposte si contraddicono a vicenda, il modello apprende una combinazione confusa di entrambe. Avere target puliti e coerenti è più importante che averne in grande quantità.

Come ottimizzarlo

La maggior parte delle esecuzioni supervisionate richiede poco tuning. Iniziare dai valori predefiniti del provider ("Auto"), analizzare le curve, quindi modificare un parametro alla volta.

• Entrambe le loss in calo: apprendimento in corso; un'altra epoca potrebbe essere utile.
• Training in calo, validation si appiattisce: livello adeguato; fermarsi qui.
• Training in calo, validation in aumento: overfitting; utilizzare meno epoche, un moltiplicatore inferiore o dati più variegati.
• Nessuna delle due varia in modo significativo: i dati potrebbero essere incoerenti o il learning rate troppo basso.

Errori comuni

• Addestrare il modello su risposte che non si desidera vengano ripetute. Le risposte deboli, obsolete o incoerenti vengono apprese con la stessa fedeltà di quelle valide.
• Eseguire molte epoche su un dataset ridotto e fare affidamento sulla diminuzione della training loss. È necessario monitorare la validation loss.
• Utilizzare l'SFT per memorizzare dati soggetti a variazioni. Quando il dato cambia, il modello continua a ripetere quello vecchio.
• Valutare l'esecuzione basandosi esclusivamente sulla loss. Una loss inferiore indica un'imitazione più fedele delle risposte, ma non necessariamente risposte migliori: è consigliabile eseguire una valutazione.
• Omettere il validation split, eliminando così la possibilità di rilevare l'overfitting.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

1. 01SFT Trainer↗Hugging Face TRL docs · huggingface.coDescrive la cross-entropy loss a livello di token e mostra come funziona l'addestramento basato esclusivamente sui completamenti.
2. 02Supervised fine-tuning↗OpenAI API docs · developers.openai.comLa guida pratica di un provider in hosting: formato dei dati, iperparametri e valutazione del risultato.
3. 03LIMA: Less Is More for Alignment↗Zhou et al., 2023 · arXiv · arxiv.org1.000 esempi accuratamente selezionati sono stati sufficienti per eseguire il fine-tuning di un modello da 65B e trasformarlo in un valido assistente.
4. 04Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgInstructGPT: il paper che ha reso il supervised fine-tuning il primo passo del moderno post-addestramento.
5. 05Finetuned Language Models Are Zero-Shot Learners↗Wei et al., 2021 · arXiv · arxiv.orgLe prime evidenze che il fine-tuning sulle istruzioni aiuta un modello a seguire istruzioni mai viste prima.

Concetti correlati