La ricetta standard: SFT, poi DPO

Cos'è

Quasi tutte le pipeline di post-addestramento pubblicate eseguono un fine-tuning supervisionato prima di apprendere dalle preferenze. InstructGPT lo ha fatto (supervisionato, poi un modello di ricompensa e apprendimento per rinforzo). Zephyr lo ha fatto (supervisionato, poi DPO). Tülu 3 lo ha fatto (supervisionato, poi DPO, poi apprendimento per rinforzo con ricompense verificabili). I provider in hosting raccomandano lo stesso ordine per la propria ottimizzazione delle preferenze.

Perché l'ordine è importante

La DPO regola la probabilità relativa delle risposte che il modello era già in grado di produrre. Non ha alcun meccanismo per insegnare fatti che il modello non ha mai visto. Se un modello non sa nulla del Suo prodotto, le risposte preferite e non preferite in una coppia gli sono spesso ugualmente estranee, e il confronto offre pochi elementi utilizzabili.

C'è anche un motivo tecnico. La ricompensa implicita della DPO viene misurata rispetto al modello di riferimento, e il metodo funziona meglio quando le coppie assomigliano a risposte che tale riferimento potrebbe plausibilmente scrivere. Il documento sulla DPO utilizza un modello supervisionato come riferimento ogni volta che ne esiste uno; quando non ce n'è, esegue prima un fine-tuning sulle risposte preferite per ridurre il divario, il che equivale a una fase SFT sotto un altro nome.

Le prove confermano questo aspetto. Il team di Zephyr ha segnalato che, senza una fase supervisionata iniziale, i loro modelli “non erano in grado di apprendere affatto dal feedback e offrivano prestazioni pessime”, mentre la SFT seguita dalla DPO ha prodotto un notevole miglioramento su entrambi i benchmark di chat utilizzati. Eseguire un ulteriore addestramento supervisionato sulle risposte con il punteggio più alto, invece, non ha riprodotto tale miglioramento: la fase delle preferenze ha aggiunto qualcosa che la sola SFT non era in grado di offrire.

Continuare dal modello della fase 1

La fase 2 non parte dal modello di base. Inizia dai pesi prodotti dalla fase 1, e quello stesso modello diventa il riferimento congelato rispetto al quale la DPO effettua le misurazioni.

• Modelli in hosting: il provider avvia un nuovo processo a partire dal modello precedentemente sottoposto a fine-tuning, tramite il suo ID o con un warm-start dal suo adattatore.
• Modelli aperti addestrati con un adattatore LoRA: l'adattatore della fase 1 viene prima unito ai pesi di base. Il nuovo addestramento viene eseguito su tale modello unito, e il risultato viene nuovamente unito e salvato come modello completo.
• Stessa base per tutto il processo: l'esecuzione deve utilizzare lo stesso provider e modello di base dell'esecuzione che continua, in modo che i limiti e il prezzo del modello rimangano invariati.

Le impostazioni cambiano tra le fasi. L'addestramento delle preferenze richiede in genere meno epoche (1–2) e un tasso di apprendimento molto più basso. A titolo di esempio, Zephyr ha utilizzato un tasso di apprendimento di picco di 2e-5 per la sua fase supervisionata e di 5e-7 per la DPO, con β = 0,1.

Misurare la fase 2

Confronti il modello continuato con il modello della fase 1, non con il semplice modello di base. Una vittoria sul modello di base riflette principalmente ciò che è stato insegnato nella fase 1. Una vittoria sul modello della fase 1 rappresenta ciò che l'ottimizzazione delle preferenze ha aggiunto, ed è l'unico dato che Le indica se mantenere la fase DPO.

Cosa aspettarsi

La lezione generale che si apprende eseguendo i passaggi DPO nella pratica è che le stesse coppie possono essere utili, ininfluenti o dannose, a seconda del modello di partenza. Su un modello capace, un passaggio DPO può avvicinare le risposte a quelle del Suo team e migliorarne il tono. Su un modello molto piccolo, il risultato è spesso un pareggio: se il modello non è in grado di produrre una buona risposta, non c'è nulla che possa preferire. E a volte il modello ottimizzato peggiora.

Oltre le due fasi

• Nuove conoscenze dopo la DPO: continui l'addestramento supervisionato a partire dal modello ottimizzato in base alle preferenze. Un addestramento supervisionato esteso può in parte annullare l'ottimizzazione; un breve passaggio successivo sulle preferenze, a partire da questa nuova esecuzione supervisionata, la ripristina.
• DPO su DPO con le stesse coppie significa semplicemente più epoche sugli stessi dati e tende a causare un over-tuning: le risposte deviano, si allungano o iniziano a manipolare ciò che le coppie premiano.
• DPO iterativa (un secondo ciclo su nuove coppie raccolte dalle risposte del primo ciclo) è una tecnica valida, ma richiede una nuova fase di raccolta delle coppie tra un ciclo e l'altro.

Errori comuni

• Saltare la fase 1 ed eseguire la DPO su un semplice modello di base.
• Valutare la fase 2 rispetto al modello di base e attribuire alla DPO i miglioramenti della fase 1.
• Sovraddestramento della fase 1. Zephyr ha rilevato che quando il modello supervisionato veniva addestrato per più di un'epoca, un addestramento DPO più lungo causava una regressione.
• Eseguire un secondo ciclo DPO su un modello DPO con le stesse coppie.
• Agire su un divario ridotto. 5 vittorie contro 1 su 20 domande sono un indizio, non una prova: esegua prima una valutazione più ampia.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

1. 01Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgLa pipeline originale con supervisione iniziale e RLHF come seconda fase.
2. 02Zephyr: Direct Distillation of LM Alignment↗Tunstall et al., 2023 · arXiv · arxiv.orgSFT seguito da DPO in dettaglio, incluso ciò che accade quando la fase SFT viene saltata.
3. 03Tulu 3: Pushing Frontiers in Open Language Model Post-Training↗Lambert et al., 2024 · arXiv · arxiv.orgUna ricetta completamente aperta: fine-tuning supervisionato, poi DPO, quindi apprendimento per rinforzo.
4. 04Direct preference optimization↗OpenAI API docs · developers.openai.comUn provider in hosting che consiglia il fine-tuning supervisionato sulle risposte preferite prima della DPO.
5. 05Direct Preference Optimization: Your Language Model is Secretly a Reward Model↗Rafailov et al., 2023 · arXiv · arxiv.orgSpiega perché il modello di riferimento dovrebbe essere un modello supervisionato e cosa fare quando non ne esiste uno.

Concetti correlati