Cos'è una coppia
Una coppia di preferenze è composta da tre parti: il prompt (la conversazione fino a quel momento, incluso qualsiasi messaggio di sistema), la risposta preferita e la risposta non preferita. Alcuni strumenti chiamano queste ultime due scelta e rifiutata. Al modello non viene mai detto perché una sia migliore. Lo deduce da tutto ciò che differisce tra di esse.
Questo è il fatto centrale sulle coppie: la DPO impara la differenza. Se la risposta preferita è corretta e specifica mentre quella rifiutata è vaga, impara a essere specifica. Se la risposta preferita è anche sempre più lunga, potrebbe invece imparare che “più lungo è meglio”. Qualsiasi cosa separi costantemente le due parti nelle Sue coppie è ciò che viene rafforzato.
Le tre fonti nello strumento Coppie di preferenze
Ogni risposta in un set di dati può essere la parte migliore di una coppia. Quando costruisce coppie da un set di dati, la parte peggiore proviene da una di queste tre fonti:
| Fonte | Come viene creata la parte peggiore | Punto di forza | A cosa prestare attenzione |
|---|---|---|---|
| Valutazioni | Due modelli hanno risposto alla stessa domanda e un valutatore ha scelto un vincitore. Il vincitore è preferito, il perdente non preferito. I pareggi vengono ignorati: non esprimono alcuna preferenza. | Entrambe le risposte sono output reali del modello, quindi il contrasto è realistico. | I valutatori sono imperfetti e un vincitore errato insegna la lezione sbagliata. Effettui controlli a campione. |
| Le Sue modifiche | Ha corretto una risposta in un set di dati. La versione corretta è preferita, l'originale non preferita. | Il segnale di massima qualità: una persona che indica esattamente cosa c'era di sbagliato. | Le modifiche che si limitano a riformulare insegnano poco. |
| Scritto da un modello | Un modello da Lei scelto scrive una risposta semplice e generica, senza alcuna conoscenza della Sua azienda e senza strumenti. La Sua risposta è preferita. | Copre ogni risposta che non ha un'altra coppia; insegna al modello a rispondere come il Suo team anziché come un assistente generico. | Il contrasto è semplice, quindi la perdita può diminuire rapidamente senza che venga appreso molto. |
Aggiungere nuovamente la stessa valutazione aggiorna le sue coppie invece di duplicarle, quindi valutare, raccogliere coppie, addestrare e valutare di nuovo è un ciclo che può ripetere.
Coppie dal feedback della chat e dalla revisione umana
- Feedback della chat. Quando qualcuno ha posto la stessa domanda due volte in una chat, ha apprezzato una risposta e non ha apprezzato o ha aggiornato l'altra, l'importazione del feedback della chat la trasforma in una coppia: la risposta apprezzata è quella preferita, l'altra no. Le risposte valutate in entrambi i modi da persone diverse vengono ignorate, così come le risposte identiche. Una risposta non apprezzata da sola non diventa mai una risposta da cui imparare; attende una risposta migliore con cui essere confrontata.
- Code di annotazione. Un revisore che legge le risposte alla cieca sceglie la migliore o scrive una correzione. L'esportazione della coda rende la correzione, o la risposta scelta, la risposta da cui imparare e la risposta meno apprezzata la sua controparte peggiore, in modo che un singolo esempio serva sia per l'addestramento supervisionato che per la DPO. I pareggi senza una correzione non vengono esportati.
Cosa rende utile una coppia
- La differenza deve riguardare ciò che conta davvero. Se entrambe le risposte sono valide e differiscono solo nella formulazione, il modello apprende del rumore. La ricerca sulla DPO ha dimostrato che le coppie con due risposte molto simili possono persino spostare la probabilità su risposte non pertinenti.
- La risposta preferita deve essere effettivamente migliore. Un vincitore errato insegna la lezione sbagliata. Le risposte generate e i valutatori sono imperfetti, pertanto è consigliabile leggerne un campione.
- Le risposte scartate plausibili insegnano di più. "Vago ma cortese" è un contrasto più utile rispetto a parole senza senso. Una risposta scartata che il modello non scriverebbe mai fornisce poche informazioni.
- Vicinanza a ciò che scrive il modello. La DPO apprende maggiormente dalle risposte vicine al comportamento del modello stesso. Le coppie di valutazione, in cui una delle due parti è stata scritta dal modello, sono naturalmente in target.
- Controllo della lunghezza e dello stile. Se le risposte preferite sono sistematicamente più lunghe o più formattate, includa coppie in cui vince la risposta più breve o più semplice.
- Penalizzare l'invenzione. Se un modello inventa dei dettagli, aggiunga coppie in cui la risposta scartata è quella inventata e la risposta preferita è corretta, oppure dichiara chiaramente di non saperlo.
- Domanda: “Posso esportare una dashboard in PowerPoint?” La risposta preferita è sempre la stessa: i passaggi corretti, Condividi → Esporta → PowerPoint.
- Debole: rifiutata “asdf”. Il contrasto è banale: la loss su questa coppia scende quasi a 0 quasi subito e il modello non impara quasi nulla.
- Migliore: rifiutata “Non sono sicuro che questa funzionalità esista; si prega di controllare la documentazione.” Un fallimento realistico: vago e inutile.
- Ottimale, per un modello che inventa: rifiutata “Sì: premi Ctrl+Shift+P e scegli Esporta in diapositive.” Sicura ed errata, che è esattamente l'abitudine da eliminare.
Quante coppie
Decine di coppie possono mostrare un effetto su un comportamento specifico; centinaia o più ne producono uno robusto. La copertura conta quanto il numero: 200 coppie sulle stesse cinque domande insegnano meno di 200 coppie distribuite tra le domande che i Suoi utenti pongono effettivamente. Per dare un'idea delle proporzioni, uno dei primi studi sul fine-tuning dei modelli linguistici basato su confronti umani ha utilizzato 5.000 confronti per un'attività di stile e 60.000 per il riassunto.
Coppie da conversazioni a più turni
Le coppie possono provenire dall'interno di una conversazione. Alcuni provider si addestrano su una domanda per record, quindi i turni precedenti vengono accorpati nell'ultimo messaggio dell'utente come contesto. Altri accettano l'intera conversazione come prompt e mantengono i turni come messaggi separati. Le stesse coppie possono essere scritte in entrambi i modi.
Earlier in this conversation:
User: I uploaded a CSV yesterday.
Assistant: Thanks — it's in Local Storage.
Latest message:
Can I use it in a dashboard?Errori comuni
- Fidarsi di coppie generate o giudicate senza leggerne un campione.
- Coppie che differiscono solo nella formulazione, o in cui entrambe le risposte sono valide.
- Risposte rifiutate palesemente errate, da cui non si impara alcuna sfumatura.
- Un bias di lunghezza nascosto: le risposte preferite sono sempre più lunghe, quindi il modello impara a divagare.
- Costruire coppie dalle stesse domande su cui effettuerà la valutazione, il che sopravvaluta il risultato.
Riferimenti e letture di approfondimento
Le fonti esterne si aprono in una nuova scheda.
- 01Fine-Tuning Language Models from Human PreferencesZiegler et al., 2019 · arXiv · arxiv.orgI primi lavori sull'apprendimento dai confronti umani, incluso come le scorciatoie degli annotatori abbiano plasmato ciò che il modello ha appreso.
- 02Dataset formats and typesHugging Face TRL docs · huggingface.coIl formato prompt / scelto / scartato, nelle forme standard e conversazionali.
- 03Direct preference optimizationOpenAI API docs · developers.openai.comUn formato ospitato con output preferiti e non preferiti, addestrato un turno alla volta.
- 04Unintentional Unalignment: Likelihood Displacement in Direct Preference OptimizationRazin et al., 2024 · arXiv · arxiv.orgPerché le coppie con risposte quasi identiche possono essere controproducenti e come filtrarle sia d'aiuto.