Apprendimento dal feedback della chat

Cos'è il feedback della chat

Ogni risposta nella chat può essere valutata: 👍, 👎 — con un massimo di due motivazioni come “Dettagli mancanti” e un commento opzionale — oppure Aggiorna, per chiedere una nuova risposta. Ogni persona ha a disposizione una valutazione per risposta, e conta l'ultima effettuata. L'eccezione è un Aggiorna dopo un 👎: il 👎 e le sue motivazioni vengono mantenuti, perché si tratta comunque di un “no”.

Queste valutazioni sono una registrazione di ciò che gli utenti reali hanno pensato delle risposte reali, il che le rende preziose. Tuttavia, un pollice da solo è un'etichetta debole e rumorosa, e la maggior parte dei metodi di fine-tuning non può utilizzarlo direttamente. Il compito dell'importazione è trasformare le valutazioni nei tipi di esempi da cui i metodi supportati da ogni fornitore possono apprendere.

Dalle valutazioni agli esempi

Regole che mantengono i dati affidabili

• Una risposta non apprezzata non è mai una risposta da cui apprendere. Appare solo come la parte scartata di una coppia, o come contesto precedente, su cui non viene mai eseguito l'addestramento.
• I disaccordi vengono esclusi. Una risposta apprezzata da una persona e non apprezzata da un'altra è considerata mista e viene ignorata.
• Le risposte identiche non formano una coppia. Se un Aggiorna ha restituito lo stesso testo, “preferire A ad A” non insegna nulla.
• Un Aggiorna da solo è un segnale debole. Le persone aggiornano anche per curiosità. Conta come risposta errata solo se si sceglie di considerarla tale; per le coppie, “chiesto di nuovo, poi apprezzata la nuova” viene sempre utilizzato.
• Le importazioni sono stabili. Importare di nuovo aggiorna gli esempi creati l'ultima volta invece di duplicarli.

Perché non eseguire l'addestramento direttamente su ogni pollice?

Le risposte errate non si adattano alla maggior parte dei metodi. L'addestramento supervisionato ha bisogno di una risposta corretta da imitare, e la DPO ha bisogno di una risposta migliore e una peggiore alla stessa domanda. Un singolo 👎 non è nessuna delle due. Esiste un metodo creato per singole etichette buono/cattivo, la KTO (Kahneman-Tversky Optimization, 2024), i cui autori segnalano che eguaglia o supera i metodi basati sulle preferenze su scale da 1 a 30 miliardi di parametri, apprendendo solo se ogni risposta fosse desiderabile. I trainer open-source come Hugging Face TRL lo supportano, ma la maggior parte dei servizi di fine-tuning in hosting non lo offre. Un 👎 diventa utile per loro solo quando c'è una risposta migliore con cui confrontarlo.

I pollici grezzi possono insegnare la cosa sbagliata. Le persone apprezzano le risposte che concordano con loro e che sembrano sicure. Lo studio di Anthropic sull'adulazione (2023) ha scoperto che sia le persone che i modelli di preferenza a volte preferiscono una risposta scritta in modo convincente e condiscendente rispetto a una corretta. Uno studio del 2024 che ha addestrato i modelli direttamente sul feedback simulato degli utenti è andato oltre: i modelli hanno imparato in modo affidabile tattiche manipolative o ingannevoli per ottenere pollici in su e, anche quando solo il 2% degli utenti era vulnerabile, hanno imparato a individuarli. Indirizzare le risposte 👎 a un revisore fa in modo che sia una persona a decidere quale sia la risposta corretta.

L'ordine che di solito funziona

1. Fine-tuning supervisionato sulle risposte apprezzate — e sulle correzioni dei revisori — in modo che il modello impari come sono fatte le risposte corrette.
2. DPO sulle coppie, partendo dal modello supervisionato, in modo che impari quale tra due risposte plausibili sia la migliore.

Le linee guida sulla DPO di OpenAI raccomandano lo stesso flusso di lavoro: prima il fine-tuning supervisionato sulle risposte preferite, poi un processo di DPO a partire dal risultato.

Impostazioni

Errori comuni

• Addestrare su ogni risposta che non è stata valutata negativamente, come se il silenzio significasse approvazione.
• Attivare “conta anche Aggiorna” quando gli utenti aggiornano principalmente per vedere delle alternative.
• Eseguire la DPO sulle coppie di feedback senza prima un addestramento supervisionato sulle risposte corrette.
• Lasciare che i gusti di un piccolo gruppo di valutatori definiscano cosa sia “buono” senza verificare il risultato con una valutazione.
• Lasciare la coda di revisione in sospeso, in modo che il feedback più informativo — cosa è andato storto — non diventi mai un dato.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

1. 01KTO: Model Alignment as Prospect Theoretic Optimization↗Ethayarajh et al., 2024 · arXiv · arxiv.orgIl metodo creato per singole etichette desiderabile/indesiderabile.
2. 02KTO Trainer↗Hugging Face TRL docs · huggingface.coCosa richiede la KTO come dati e come differisce dalla DPO nella pratica.
3. 03Towards Understanding Sycophancy in Language Models↗Sharma et al., 2023 · arXiv · arxiv.orgCome le preferenze umane possano premiare le risposte condiscendenti rispetto a quelle corrette.
4. 04On Targeted Manipulation and Deception when Optimizing LLMs for User Feedback↗Williams et al., 2024 · arXiv · arxiv.orgCosa imparano i modelli quando vengono addestrati direttamente per ottenere i pollici in su degli utenti.
5. 05Direct preference optimization↗OpenAI API docs · developers.openai.comL'ordine consigliato: fine-tuning supervisionato sulle risposte preferite, poi DPO.

Concetti correlati