ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Metodi di addestramento

Best practice

Scegliere un metodo di addestramento

Il metodo di addestramento corretto dipende principalmente dai dati che ha già a disposizione e dal cambiamento che desidera ottenere. Le chat insegnano le risposte, le coppie insegnano le preferenze, i punteggi insegnano le competenze verificabili, i documenti insegnano la conoscenza e un modello di grandi dimensioni può insegnare a uno più piccolo.

Capitolo 7Lettura di 6 min4 riferimenti

In cosa consiste la scelta

Ogni metodo di addestramento modifica i pesi del modello, ma ciascuno apprende da un segnale diverso. Al fine-tuning supervisionato (SFT) viene mostrata la risposta corretta. Al preference tuning (DPO) vengono mostrate due risposte e viene indicato quale sia la migliore. Il fine-tuning con rinforzo (RFT) scrive le proprie risposte e riceve un punteggio. La distillazione copia un modello di grandi dimensioni. Il pre-addestramento continuo legge il testo grezzo e impara a prevedere la parola successiva.

Quindi la prima domanda non è “qual è il metodo migliore?”, ma “cosa ho già a disposizione e cosa dovrebbe cambiare?”. Un team con mille chat di supporto valide possiede un dataset SFT. Un team i cui agenti modificano le bozze di risposta sta raccogliendo coppie di preferenze. Un team di Finanza con calcoli che prevedono una sola cifra corretta ha un'attività RFT. E se il modello necessita di dati che cambiano ogni settimana, l'addestramento potrebbe non essere affatto la soluzione: il retrieval, che cerca i dati al momento della domanda, li mantiene aggiornati senza bisogno di un nuovo addestramento.

MetodoApprende daDati necessariIdeale per
Supervisionato (SFT)“Ecco la risposta corretta”Chat, o coppie prompt → rispostaTono, formato, terminologia di settore, attività ripetitive
Preferenza (DPO)“Questa risposta è migliore di quella”Una risposta migliore e una peggiore alla stessa domandaPerfezionamento di un modello che esegue già l'attività
Rinforzo (RFT)“La tua risposta ha ottenuto un punteggio di 0,8”Domande più un valutatoreRisposte verificabili: cifre, etichette, formati
Distillazione“Rispondi come il modello più grande”Domande; un insegnante scrive o valuta le risposteUna copia più piccola ed economica di un modello che già funziona
Pre-addestramento continuoIl vostro testo grezzo, parola per parolaDocumenti: decine di migliaia di parole o piùConoscenza di dominio, su modelli aperti

Come sceglie l'Assistente all'addestramento

Il Training Assistant esamina i dati forniti e consiglia un metodo, motivandone la scelta:

  • Chat o coppie prompt/risposta → fine-tuning supervisionato.
  • Coppie di preferenze → DPO.
  • Documenti → pre-addestramento continuo.
  • Domande con risposte verificabili → fine-tuning con rinforzo.
  • Una copia più piccola di un modello di grandi dimensioni → distillazione.
Si dispone diMetodo
Chat, o prompt → rispostarisposte che invierebbe volentieriSupervisionato (SFT)copia la risposta corretta
Coppie di risposteuna risposta migliore e una peggiore alla stessa domandaPreferenza (DPO)preferisce la migliore
Documentimanuali, articoli di supporto, pagine di prodottoPre-addestramento continuoo generazione di Q&A, su qualsiasi provider
Domande con risposte verificabiliuna cifra, un'etichetta, un formatoRinforzo (RFT)insegue il punteggio di un valutatore
Un modello di grandi dimensioni che lo fa già benee desidera una copia più piccola ed economicaDistillazionerisposte come l'insegnante
La prima domanda del Training Assistant riguarda ciò di cui si è già in possesso. Ogni tipo di dato trasmette un segnale diverso, e tale segnale determina il metodo. Vengono offerti solo i metodi supportati dal provider e dal modello di base scelti.

Propone solo i metodi supportati dal provider e dal modello di base scelti. Il pre-addestramento continuo, ad esempio, è disponibile su Hugging Face e sui modelli aperti Vertex AI, ma non su Gemini, Azure, Fireworks o sugli attuali modelli Bedrock; in questi casi, i documenti vengono invece trasformati in Q&A generate, che vengono addestrate come normali dati supervisionati. L'assistente Le fa domande solo quando più di un metodo risulta idoneo.

Stack di metodi

Un'esecuzione può continuare da una precedente, pertanto i metodi vengono spesso combinati anziché scelti una sola volta. Le catene comuni sono: supervisionato, poi preferenza (insegnare l'attività, poi perfezionarla); supervisionato, poi rinforzo (l'RL può solo affinare ciò che il modello a volte già esegue correttamente); e pre-addestramento continuo, poi supervisionato (leggere i documenti, poi imparare a rispondere a partire da essi). Il preference tuning inizia solo dal modello di base o da un'esecuzione supervisionata. Ogni anello viene valutato rispetto al modello da cui è partito, in modo da poter osservare il valore aggiunto di quel passaggio.

Modello di basepre-addestrato
→valutato rispetto a modello di baseEsecuzione supervisionataapprende il task
→valutato rispetto a esecuzione supervisionataEsecuzione delle preferenzeperfeziona le risposte
Ogni anello di una catena parte dai pesi prodotti dall'anello precedente e viene valutato rispetto a tale genitore, in modo che il risultato misuri sempre il valore aggiunto da questo passaggio.
Scelta per un team di supporto (illustrativo)
  1. Il team dispone di 1.200 chat di supporto, 60 articoli del centro assistenza (circa 45.000 parole), 150 risposte corrette manualmente dagli agenti e 40 domande sui prezzi con una sola cifra esatta ciascuna.
  2. Chat → prima supervisionate. Insegnano il tono, il formato e le risposte comuni. Questa è la base su cui si fonda ogni passaggio successivo.
  3. Articoli → Q&A generate, aggiunte allo stesso dataset. A circa una sezione ogni 800 nuove parole, 45.000 parole producono all'incirca 56 sezioni e, con tre coppie ciascuna, circa 170 esempi aggiuntivi. Su un modello aperto con questa quantità di testo, un pre-addestramento continuo prima dell'esecuzione supervisionata è un'opzione valida.
  4. Correzioni → 150 coppie di preferenze (la risposta corretta preferita all'originale), addestrate con DPO, proseguendo dall'esecuzione supervisionata.
  5. Domande sui prezzi → fine-tuning per rinforzo con un valutatore numerico, ma solo quando il modello supervisionato ne indovina già una buona parte; altrimenti ogni tentativo ottiene lo stesso punteggio e non c'è nulla da imparare.
  6. Ogni passaggio viene valutato rispetto al precedente. Un passaggio che non lo supera viene archiviato e la catena prosegue dal modello migliore.

Le impostazioni suggerite

Una volta scelto un metodo, l'assistente suggerisce le impostazioni invece di chiedere informazioni su ciascuna di esse: la modalità auto del provider, se disponibile, altrimenti il numero di epoche predefinito del provider e meno epoche (1–2) per i dataset di grandi dimensioni. L'addestramento viene fatturato per token elaborato e ogni passaggio aggiuntivo sui dati aggiunge all'incirca il costo di un'altra epoca, mentre un dataset di grandi dimensioni fornisce già al modello numerosi esempi per passaggio.

Perché i dataset di grandi dimensioni richiedono meno epoche
dataset: 3,000,000 tokens          price (illustrative): $2 per 1M training tokens

3 epochs  →  9,000,000 tokens trained  →  $18
2 epochs  →  6,000,000 tokens trained  →  $12
1 epoch   →  3,000,000 tokens trained  →  $6

I metodi in sintesi

Fine-tuning supervisionatoTipico Chat o coppie prompt/risposta; la prima esecuzione nella maggior parte dei progetti#

Il modello vede la conversazione e la Sua risposta, e impara a produrre tale risposta. È la base per tutto il resto e di solito il primo metodo da provare. Apprende fedelmente i Suoi dati, incluse le risposte incoerenti o errate.

Preference tuning (DPO)Tipico Risposte corrette, vittorie e sconfitte nelle valutazioni, risposte peggiori scritte dal modello#

Il modello vede una risposta preferita e una non preferita alla stessa domanda e si orienta verso quella preferita. Ideale per qualità che sono più facili da giudicare che da scrivere: concisione, tono più amichevole, assenza di funzionalità inventate. Da avviare a partire da un'esecuzione supervisionata.

Fine-tuning con rinforzoTipico Calcoli, etichette, formati; dopo un'esecuzione supervisionata#

Il modello risponde a ogni prompt diverse volte, un valutatore assegna un punteggio a ogni risposta e il tipo di risposta con il punteggio migliore diventa più probabile. Richiede un modo per valutare le risposte, non risposte perfette, e non può creare abilità che il modello non mostra mai.

DistillazioneTipico Un modello di grandi dimensioni svolge già il lavoro; il problema è il costo o la velocità#

Un modello teacher di grandi dimensioni scrive le risposte da cui impara il piccolo modello student, oppure valuta le risposte dello student token per token. Il risultato è un modello più economico e veloce che si comporta come quello più grande per la Sua attività.

Pre-addestramento continuoTipico Un ampio corpus di documentazione e un modello aperto#

Il modello legge brani dei Suoi documenti e impara a prevedere la parola successiva, proprio come è stato addestrato inizialmente. Aggiunge conoscenza, non comportamento, quindi è opportuno farlo seguire da un'esecuzione supervisionata. Solo per modelli aperti Hugging Face e Vertex AI.

Errori comuni

  • Ricorrere prima al fine-tuning con rinforzo o basato sulle preferenze. Senza un'esecuzione supervisionata, di solito c'è ben poco da affinare o perfezionare.
  • Aspettarsi che poche chat insegnino i dati del prodotto. Le chat insegnano come rispondere; i dati devono provenire dai documenti o dal retrieval.
  • Eseguire un pre-addestramento continuo su una manciata di pagine. Sono necessarie decine di migliaia di parole per cambiare qualcosa.
  • Mantenere molte epoche su un dataset di grandi dimensioni. I costi crescono a ogni passaggio e i passaggi aggiuntivi causano principalmente overfitting.
  • Addestrare quando la vera necessità sono informazioni aggiornate. I dati che cambiano ogni settimana appartengono al retrieval, non ai pesi.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01Model optimizationOpenAI API docs · developers.openai.comUna panoramica del provider su quando utilizzare il fine-tuning supervisionato, basato sulle preferenze e con rinforzo.
  2. 02LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.org1.000 esempi scelti con cura sono stati sufficienti per insegnare a un solido modello di base un buon stile di risposta.
  3. 03Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.orgIl paper alla base del preference tuning senza un modello di ricompensa separato.
  4. 04Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMsOvadia et al., 2023 · arXiv · arxiv.orgIl retrieval ha superato il fine-tuning non supervisionato per l'aggiunta di conoscenza, in ogni scenario testato.
MetodoFine-tuning supervisionato (SFT)Il fine-tuning supervisionato addestra un modello tramite esempi: gli viene mostrata una conversazione e la risposta desiderata, e i suoi pesi vengono calibrati affinché tale risposta diventi più probabile, token dopo token.MetodoTuning delle preferenze (DPO)La Direct Preference Optimization addestra un modello su coppie di risposte, una migliore e una peggiore, in modo che impari a preferire la tipologia migliore, senza il modello di ricompensa e il ciclo di apprendimento per rinforzo necessari nel classico RLHF.MetodoReinforcement fine-tuning (RFT)Il reinforcement fine-tuning addestra un modello sui punteggi anziché su risposte di esempio: risponde a ogni prompt diverse volte, un correttore valuta ogni tentativo e il modello si orienta verso ciò che ha ottenuto il punteggio migliore.MetodoDistillazioneLa distillazione addestra un modello studente piccolo ed economico a comportarsi come un grande modello insegnante sui Suoi task, imparando dalle risposte dell'insegnante o dal giudizio di quest'ultimo sulle risposte dello studente.MetodoApprendere dai documenti: generazione di Q&ALa generazione di Q&A trasforma i documenti in esempi di addestramento: un modello legge ogni sezione del Suo testo e formula domande realistiche, con risposte tratte esclusivamente da quella sezione. Le coppie vengono poi addestrate come qualsiasi altra chat, su ogni provider.MetodoContinuare da un modello addestratoUn'esecuzione di addestramento può partire dai pesi di una delle Sue esecuzioni precedenti anziché dal modello di base, in modo che il modello mantenga ciò che ha appreso e aggiunga quanto insegnato dai nuovi dati. È così che si costruiscono le ricette in più fasi, come il fine-tuning supervisionato seguito da quello basato sulle preferenze.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite