Cos'è
L'addestramento produce numeri — perdita, accuratezza sulle Sue coppie, ricompensa — che Le indicano quanto il modello si sia adattato al segnale di addestramento. Nessuno di questi risponde alla domanda che Le interessa veramente: le sue risposte ora sono migliori? Una perdita inferiore può derivare dal fatto che il modello copia il fraseggio più fedelmente pur sbagliando i fatti; un'esecuzione di preferenza può aumentare la sua accuratezza sulle Sue coppie mentre le risposte diventano più lunghe e vaghe.
Una valutazione misura questo aspetto direttamente. Due modelli rispondono alla stessa serie di domande di test — il modello da cui è iniziato l'addestramento e quello addestrato — e le risposte vengono confrontate domanda per domanda.
Come funziona
- Domande di test. Per impostazione predefinita, ciascuna proviene dal test set escluso: una conversazione tenuta separata sia dall'addestramento che dalla validazione, posta fino a una delle sue risposte. Nessuno dei due modelli è stato addestrato su di essa e il provider non l'ha mai vista.
- Risposta di riferimento. La risposta originale tratta dai vostri dati. Non è una risposta perfetta, ma mostra ciò che il vostro team ha considerato corretto.
- Due risposte per domanda. Entrambi i modelli rispondono con le stesse impostazioni, quindi l'unica differenza è nei pesi.
- Un confronto. Di solito un giudice LLM sceglie la risposta migliore e le valuta entrambe, aggiungendo segnali più economici come la somiglianza al riferimento, la lunghezza e la latenza.
Il confronto è accoppiato: ogni domanda riceve risposta da entrambi i modelli e il risultato riguarda la differenza su quella domanda. Questo è rilevante dal punto di vista statistico. Alcune domande sono facili e altre difficili; valutare ogni modello separatamente su domande diverse mescolerebbe tale difficoltà nel risultato. Il confronto sulla stessa domanda la annulla, pertanto una valutazione accoppiata richiede un numero inferiore di domande per rilevare il medesimo miglioramento.
Da dove provengono le domande
Un modello valutato sulle domande su cui è stato addestrato sembra migliore di quanto non sia. Quindi, prima di ogni altra cosa, la preparazione dei dati tiene da parte un set di test: il 10% delle conversazioni, almeno 3, scelte a caso ma fisse per quella preparazione, e solo quando il set di dati ha almeno 10 conversazioni. Ogni replica in una conversazione di test diventa una domanda, posta con la conversazione fino a quel punto. Una replica di test che è identica parola per parola a una replica di addestramento viene scartata, perché il modello l'ha effettivamente vista. Il set di validazione è diverso: viene inviato al provider per monitorare l'addestramento, quindi non è un test pulito.
| Fonte | Visto durante l'addestramento? | Da utilizzare per |
|---|---|---|
| Set di test tenuto da parte | No | Giudicare se il modello è realmente migliorato (impostazione predefinita) |
| Validazione | Visto dal provider, non appreso | Un secondo parere quando non c'è un set di test |
| Campione di addestramento | Sì, appreso | Solo un controllo di coerenza; i risultati sono ottimistici |
Metodi per confrontare le risposte
| Metodo | Ideale per | Limiti |
|---|---|---|
| Corrispondenza esatta o numerica | Classificazione, estrazione, calcoli: qualsiasi cosa con una sola risposta corretta | Inutile per le risposte aperte, dove molte risposte sono corrette |
| Somiglianza al riferimento | Un segnale economico per capire se il modello ha assimilato la Sua terminologia e struttura | Premia la copiatura; una risposta migliore formulata diversamente ottiene un punteggio inferiore |
| LLM come giudice | Chat aperta su larga scala: correttezza, utilità, tono, formato | Presenta bias noti che la configurazione deve annullare; costa token del giudice |
| Revisione umana | L'ultima parola sulla qualità e il controllo del giudice | Lenta e costosa; difficile da ripetere per ogni esecuzione |
I benchmark pubblici misurano l'abilità generale. Il fine-tuning riguarda il Suo compito, quindi le Sue conversazioni tenute da parte sono un test molto migliore rispetto a un punteggio in classifica.
Valutare una catena di esecuzioni
Quando un'esecuzione continua da un'esecuzione precedente — ad esempio, un'esecuzione di preferenza in aggiunta a una supervisionata — il lato “base” della sua valutazione è quell'esecuzione precedente, non il modello di base originale. Il confronto con l'originale mescolerebbe due fasi: non si potrebbe stabilire se la fase di preferenza sia stata utile o abbia semplicemente ereditato i vantaggi della fase supervisionata. Giudicando un anello alla volta, ogni risultato risponde a una domanda: questa fase è stata utile?
Quando non c'è un modello di base con cui fare un confronto, o ci sono più modelli
- Un checkpoint precedente. I provider ritirano i modelli di base e, una volta che un modello di base non può più essere distribuito, un confronto fianco a fianco è impossibile. Il modello finale può invece essere confrontato con un checkpoint salvato a metà della stessa esecuzione. Questo risponde alla domanda “le fasi di addestramento successive sono state utili?”, non “è migliore del modello originale?”.
- Solo punteggio. Il giudice legge la conversazione, la Sua replica e una risposta, e assegna da 1 a 5 per criterio. Non ci sono vittorie: è un punteggio di qualità assoluto, utile per monitorare o classificare i modelli, ma non può mostrare il miglioramento rispetto a una base.
- Un confronto tra modelli. Per scegliere tra diversi modelli, tutti rispondono esattamente alle stesse domande e affrontano lo stesso giudice, e vengono classificati in base al punteggio medio del giudice. Altrimenti i punteggi non sono sulla stessa scala.
- Un'esecuzione supervisionata su 1.200 conversazioni si conclude con una validation loss in calo da 1,9 a 1,1. Promettente, ma non è una prova.
- La valutazione utilizza le 120 conversazioni del test set, che non sono state toccate né dall'addestramento né dalla validazione. Il modello di base e quello ottimizzato rispondono a tutte e 120.
- Il giudice preferisce la risposta del modello ottimizzato in 68 domande, quella del modello di base in 31 e ne giudica 21 un pareggio.
- Le risposte del modello ottimizzato sono più brevi del 40% e molto più vicine al riferimento. Le motivazioni del giudice menzionano "indica il percorso di menu corretto" in molte delle vittorie del modello ottimizzato.
- Tra le vittorie del modello di base, otto motivazioni affermano che la risposta del modello ottimizzato "inventa un'impostazione inesistente". Questo indica una lacuna nei dati — e fornisce otto coppie di preferenze già pronte.
Errori comuni
- Considerare una curva di loss in calo come prova del miglioramento delle risposte.
- Valutare sulle domande su cui il modello è stato addestrato e interpretare il risultato come prestazioni nel mondo reale.
- Confrontare un'esecuzione continuata con il modello di base originale, il che nasconde se l'ultimo step sia stato utile.
- Modificare le impostazioni di generazione tra le due parti, in modo che il confronto misuri le impostazioni anziché i pesi.
- Eseguire una valutazione e fermarsi: le motivazioni del giudice costituiscono il piano per il ciclo di dati successivo.
Riferimenti e letture di approfondimento
Le fonti esterne si aprono in una nuova scheda.
- 01A Survey on Evaluation of Large Language ModelsChang et al., 2023 · arXiv · arxiv.orgUna panoramica su cosa valutare, dove e come.
- 02Holistic Evaluation of Language ModelsLiang et al., 2022 · arXiv · arxiv.orgPerché un solo numero non è mai sufficiente: misurare molte qualità in molti scenari.
- 03Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgL'articolo che ha stabilito il giudizio LLM a coppie per le risposte aperte.
- 04Adding Error Bars to Evals: A Statistical Approach to Language Model EvaluationsMiller, 2024 · arXiv · arxiv.orgPerché i confronti accoppiati sulle stesse domande sono più precisi.