ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Metodi di addestramento

Metodo

Continuare da un modello addestrato

Un'esecuzione di addestramento può partire dai pesi di una delle Sue esecuzioni precedenti anziché dal modello di base, in modo che il modello mantenga ciò che ha appreso e aggiunga quanto insegnato dai nuovi dati. È così che si costruiscono le ricette in più fasi, come il fine-tuning supervisionato seguito da quello basato sulle preferenze.

Capitolo 7Lettura di 5 min5 riferimenti

Che cos'è

Un'esecuzione inizia normalmente dal modello di base, ovvero il modello pre-addestrato che ha selezionato. Un'esecuzione continuata inizia invece dai pesi prodotti da una Sua esecuzione precedente, e i nuovi dati vengono appresi in aggiunta a quanto già assimilato da tale esecuzione. Questo processo è noto anche come warm start, fine-tuning continuato o fine-tuning continuo. Il modello di base sottostante non cambia, pertanto la finestra di contesto, il prezzo per token e il provider rimangono invariati.

Modello di basepre-addestrato
→valutato rispetto a modello di baseEsecuzione supervisionataapprende il task
→valutato rispetto a esecuzione supervisionataEsecuzione delle preferenzeperfeziona le risposte
Ogni anello di una catena parte dai pesi prodotti dall'anello precedente e viene valutato rispetto a tale genitore, in modo che il risultato misuri sempre il valore aggiunto da questo passaggio.

Perché concatenare le esecuzioni

Metodi diversi insegnano cose diverse, e i risultati più solidi si ottengono solitamente applicandoli in sequenza, partendo ogni volta dal risultato precedente.

CatenaCosa aggiunge ogni fasePerché questo ordine
Supervisionato → preferenza (DPO)L'attività, poi uno stile preferitoLa DPO classifica le risposte che il modello è già in grado di fornire; su una base semplice, entrambe le risposte sono spesso ugualmente disinformate
Supervisionato → rinforzo (RFT)L'attività, poi una percentuale di successo più elevataL'RL rinforza solo le risposte che il modello a volte fornisce correttamente
Distillazione → supervisionatoLa conoscenza dell'insegnante, poi lo stile del vostro teamLa distillazione insegna le abitudini dell'insegnante; le vostre risposte non sono i suoi obiettivi
Supervisionato → supervisionatoMaggiori conoscenze: una nuova area di prodotto, più chatEvita di riaddestrare tutto da zero
Supervisionato → DPO → supervisionato → DPONuove conoscenze su un modello perfezionato, poi un nuovo perfezionamentoUn addestramento supervisionato pesante può annullare il perfezionamento delle preferenze
Pre-addestramento continuo → supervisionatoLa conoscenza tratta dai vostri documenti, poi come rispondere utilizzandolaL'addestramento su testo grezzo insegna i fatti, non il comportamento; le chat o le Q&A generate insegnano poi a rispondere

Come funziona alla base

Modello aperto con un adattatore LoRA
pesi di base W+adattatore dall'esecuzione 1→modello unito W₁W₁ = W + B₁A₁→l'esecuzione 2 addestra un nuovo adattatore su W₁→unito nuovamente, salvato come modello completo
Modello in hosting
il Suo modello sottoposto a fine-tuning (tramite ID)→un nuovo job si avvia a caldo da questo→un nuovo modello sottoposto a fine-tuning

Stesso provider, stesso modello di base e talvolta stesso livello di addestramento dell'esecuzione da cui continua.

Due modi in cui un'esecuzione continua da una precedente. In entrambi i casi, il nuovo addestramento parte dai pesi prodotti dall'esecuzione precedente, mai dal semplice modello di base.

Modelli in hosting. Il provider continua un nuovo processo a partire dal Suo precedente modello sottoposto a fine-tuning, identificato dal suo id, oppure effettua un warm start dal suo adapter salvato. Le regole sono stabilite dal provider: lo stesso modello di base e, in alcuni casi, lo stesso livello di addestramento utilizzato nell'esecuzione precedente.

Modelli aperti addestrati con LoRA. Un'esecuzione LoRA non modifica i pesi di base W; addestra un piccolo adapter il cui prodotto B·A viene sommato a essi. Per continuare, l'adapter precedente viene prima unito alla base, W₁ = W + B₁A₁ (ridimensionato dal fattore α/r dell'adapter), ottenendo così un modello ordinario. La nuova esecuzione addestra un nuovo adapter su W₁ e, al termine, anche quest'ultimo viene unito e il risultato salvato come modello completo.

Unione di un adattatore LoRA prima di continuare
run 1 (LoRA):   W  stays frozen, adapter B₁A₁ is trained
merge:          W₁ = W + (α / r) · B₁A₁               # one ordinary model again
run 2 (LoRA):   W₁ stays frozen, adapter B₂A₂ is trained
merge + save:   W₂ = W₁ + (α / r) · B₂A₂              # saved as a complete model

Unire prima l'adapter è fondamentale perché quest'ultimo apprende una correzione per i pesi su cui si basa. Addestrato su W₁, il nuovo adapter si sviluppa sul comportamento della prima esecuzione anziché competere con esso.

Oblio: cosa può annullare un nuovo addestramento

L'addestramento su nuovi dati può sovrascrivere ciò che una rete ha appreso in precedenza, un effetto noto come oblio catastrofico. Luo et al. (2023) lo hanno osservato in modelli linguistici da 1B a 7B di parametri durante il continual instruction tuning. Questo fenomeno si verifica anche tra le Sue stesse esecuzioni: un massiccio addestramento supervisionato su un modello ottimizzato per le preferenze lo spinge nuovamente a copiare le risposte di esempio e può in parte vanificare il perfezionamento delle preferenze.

  • Mantenere ogni fase focalizzata. Un breve passaggio di preferenza dopo un nuovo addestramento supervisionato ripristina il perfezionamento in modo più economico rispetto a un'unica grande esecuzione combinata.
  • LoRA è d'aiuto. Biderman et al. (2024) hanno scoperto che LoRA apprende meno del fine-tuning completo su un nuovo dominio, ma dimentica meno di quello vecchio: un compromesso utile quando l'obiettivo è aggiungere, non sostituire.
  • Mescolare i dati precedenti quando si aggiungono nuove conoscenze, in modo da continuare a praticare il vecchio comportamento.
  • Rivalutare ogni anello. Una regressione emerge quando il nuovo modello viene confrontato con il suo genitore.

Misurare ogni anello

Un'esecuzione continuata viene valutata rispetto al modello da cui è partita, non alla base pura. Un successo rispetto alla base rifletterebbe principalmente i passaggi precedenti; un successo rispetto al genitore rappresenta il valore aggiunto da questo passaggio. Una catena viene giudicata un anello alla volta, e un anello che non supera il proprio genitore è un'ipotesi fallita: mantenga il genitore e archivi il tentativo.

Una catena a quattro anelli (illustrativa)
  1. Esecuzione A: supervisionata su 400 chat di supporto, a partire dalla base. Valutata rispetto alla base: vince chiaramente.
  2. Esecuzione B: DPO su 120 coppie, continuata da A. Valutata rispetto ad A: 11 vittorie, 6 sconfitte, 3 pareggi. Mantenere B.
  3. Esecuzione C: supervisionata su 150 nuove chat relative a una nuova funzionalità, continuata da B. Valutata rispetto a B: migliore sulla nuova funzionalità, ma il giudice nota che le risposte hanno perso parte della concisione di B.
  4. Esecuzione D: un breve passaggio DPO, continuato da C. Valutata rispetto a C: la concisione è tornata. D è il modello da utilizzare; A, B e C rimangono nel registro o nell'Archivio.

Punti di partenza consentiti

Nuova esecuzionePuò partire daPerché
SupervisionatoIl modello di base, o qualsiasi esecuzione addestrataAggiungere nuova conoscenza a ciò che si possiede
Preferenza (DPO)Il modello di base, o solo un'esecuzione supervisionataPerfezionare un modello che ha appreso l'attività; la DPO su DPO con le stesse coppie causa solo sovradattamento
Rinforzo (RFT)Il modello di base, o un'esecuzione supervisionataIl RL necessita di un modello che fornisca già alcune risposte corrette

Un secondo ciclo di DPO su nuove coppie raccolte dal modello del primo ciclo, noto come DPO iterativa, è una tecnica valida, ma richiede una nuova fase di raccolta delle coppie tra i cicli e non è ancora disponibile.

Errori comuni

  • Valutare un'esecuzione continuata rispetto al modello di base puro; in questo modo si attribuisce a questo passaggio il lavoro svolto nei passaggi precedenti.
  • Eseguire nuovamente la DPO sulle stesse coppie da un modello DPO. Si tratta solo di un maggior numero di epoche sugli stessi dati e tende al sovradattamento.
  • Sovrapporre un'ampia esecuzione supervisionata a un modello perfezionato senza un successivo ri-perfezionamento.
  • Aspettarsi di poter cambiare il modello di base a metà della catena. Un'esecuzione continuata mantiene il modello di base e il provider del genitore.
  • Iniziare il RL o la DPO dal modello di base puro quando esiste già una valida esecuzione supervisionata.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01LoRA: Low-Rank Adaptation of Large Language ModelsHu et al., 2021 · arXiv · arxiv.orgPerché un adapter LoRA può essere unito ai pesi di base senza costi aggiuntivi in fase di inferenza.
  2. 02LoRA Learns Less and Forgets LessBiderman et al., 2024 · arXiv · arxiv.orgLoRA rispetto al fine-tuning completo in merito a ciò che si guadagna nel nuovo dominio e si perde altrove.
  3. 03An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuningLuo et al., 2023 · arXiv · arxiv.orgMisura l'oblio nei modelli da 1B a 7B addestrati su un'attività dopo l'altra.
  4. 04Catastrophic interferenceWikipedia · en.wikipedia.orgContesto sul perché le reti neurali dimenticano quando vengono addestrate su nuovi dati.
  5. 05LoRAHugging Face PEFT docs · huggingface.coCome gli adapter vengono uniti al modello di base nella pratica (merge_and_unload).
Best practiceLa ricetta standard: SFT, poi DPOL'ottimizzazione delle preferenze affina le risposte che un modello è già in grado di fornire, pertanto la ricetta abituale prevede due fasi: il fine-tuning supervisionato per insegnare l'attività, seguito dalla DPO in continuazione da quel modello e valutata rispetto ad esso.MetodoPre-addestramento continuoIl pre-addestramento continuo addestra un modello sul testo grezzo nello stesso modo in cui è stato addestrato inizialmente: prevedendo la parola successiva. Aggiunge conoscenza del vostro dominio, non nuovi comportamenti, pertanto è solitamente seguito da un'esecuzione supervisionata.MetodoLoRA e adattatori (PEFT)LoRA congela il modello di base e addestra due piccole matrici accanto a layer selezionati, il cui prodotto viene aggiunto ai pesi congelati. Riduce drasticamente i pesi addestrabili e la memoria e, se ben configurato, eguaglia il fine-tuning completo sui tipici set di dati di fine-tuning.MetodoFine-tuning completoIl fine-tuning completo aggiorna ogni peso nel modello. Ha il massimo margine per modificare il comportamento, ma richiede una memoria GPU pari a molte volte le dimensioni del modello stesso ed è il più propenso a erodere le competenze che il modello di base possedeva.ConcettoModello di base e ottimizzato a confrontoUna valutazione pone al modello di partenza e al modello addestrato le stesse domande tenute da parte e ne confronta le risposte, in modo che Lei possa vedere se l'addestramento ha effettivamente migliorato le risposte.MetodoDistillazioneLa distillazione addestra un modello studente piccolo ed economico a comportarsi come un grande modello insegnante sui Suoi task, imparando dalle risposte dell'insegnante o dal giudizio di quest'ultimo sulle risposte dello studente.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite