Interpretare i risultati della valutazione

I numeri

win rate          = tuned wins ÷ questions judged
score difference  = mean(tuned criteria score) − mean(base criteria score)

decided share     = tuned wins ÷ (tuned wins + base wins)

• Tasso di vittoria. La percentuale di domande giudicate in cui il modello ottimizzato ha vinto. Un pareggio non è una vittoria per nessuna delle due parti, quindi in presenza di molti pareggi un tasso di vittoria del 45% può comunque rappresentare un netto miglioramento — verificate con quale frequenza ha vinto il modello di base.
• Differenza di punteggio. Il punteggio medio da 1 a 5 dei criteri delle risposte ottimizzate meno quello delle risposte di base, complessivo e per criterio. Mostra quanto è migliore o peggiore, e dove: correttezza, utilità, tono o formato.
• Somiglianza con il riferimento. Quanto le risposte si avvicinano alle vostre repliche originali. Una maggiore somiglianza significa che il modello ha acquisito il vostro stile; non significa di per sé che le risposte siano migliori.
• Lunghezza e latenza. Se il modello ottimizzato vince e le sue risposte sono diventate molto più lunghe, sospettate un pregiudizio di verbosità da parte del giudice. La latenza è importante per l'uso reale: un modello ottimizzato più piccolo che pareggia con uno più grande può comunque rivelarsi la scelta migliore.

Segnale o rumore?

Ogni valutazione è un campione: poche decine o centinaia di domande che rappresentano tutte le domande che gli utenti porranno mai. Eseguendo lo stesso confronto su un campione diverso, il tasso di vittoria cambia. La domanda non è “è superiore al 50%?”, ma “è sufficientemente superiore al 50% da rendere improbabile che si tratti di un caso?”

Un intervallo di confidenza al 95% è l'intervallo dei tassi di vittoria coerente con quanto osservato. La sua ampiezza è determinata principalmente dal numero di domande e si dimezza all'incirca ogni volta che il numero di domande quadruplica. Con 10 domande, una divisione 6 a 4 è del tutto coerente con due modelli equivalenti; con 100 domande, una divisione 60/40 supera appena la soglia; con 300 è inequivocabile.

I pareggi richiedono attenzione. Se il giudice stabilisce molti pareggi, confronti le vittorie con le sconfitte solo tra le domande decise. È questa la percentuale che fornisce informazioni su quale modello sia migliore.

Domande di test rispetto a quelle di addestramento

I risultati sul test set escluso dall'addestramento sono quelli di cui fidarsi. Le domande di validazione sono un gradino sotto: il modello non ha appreso da esse, ma il fornitore le ha viste durante l'addestramento. Quando un dataset era troppo piccolo per entrambi, le uniche domande disponibili sono quelle su cui il modello ottimizzato è stato addestrato. Potrebbe semplicemente richiamare la Sua risposta di riferimento, sembrando migliore di quanto non sarà su nuove domande. Consideri tale risultato come un limite superiore: se il modello ottimizzato non vince nemmeno sulle domande note, non lo farà su quelle nuove; se vince, non si sa comunque di quanto.

Altri tipi di risultati

• Contro un checkpoint precedente: il risultato indica se le fasi di addestramento successive sono state utili. L'ultimo checkpoint è solitamente identico al modello finale, quindi il confronto con esso produce per lo più pareggi.
• Valutato singolarmente: un punteggio assoluto da 1 a 5 senza vittorie. Lo stesso giudice assegna punteggi notevolmente inferiori a una risposta letta da sola rispetto a una letta accanto a un'altra, pertanto un modello valutato singolarmente non può essere classificato rispetto a modelli giudicati fianco a fianco; un confronto tra modelli lo elenca separatamente.
• Un risultato ravvicinato o sorprendente: prima di agire di conseguenza, è opportuno verificare il giudice. Le persone che esaminano un campione alla cieca in una coda di annotazione mostrano quanto spesso concordano con esso, e le loro correzioni diventano dati di addestramento.

Trasformare i risultati in azioni

Errori comuni

• Definire 6 vittorie su 10 un miglioramento.
• Interpretare un basso tasso di vittoria come una sconfitta senza verificare quante domande si sono concluse in parità.
• Considerare un punteggio sulle domande di addestramento come una previsione per quelle nuove.
• Festeggiare una vittoria ottenuta con risposte molto più lunghe, senza leggere il motivo per cui il giudice le ha preferite.
• Confrontare i tassi di vittoria di due esecuzioni valutate su set di domande diversi o con giudici diversi.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

1. 01Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations↗Miller, 2024 · arXiv · arxiv.orgIntervalli di confidenza, confronti a coppie e quante domande sono necessarie.
2. 02Binomial proportion confidence interval↗Wikipedia · en.wikipedia.orgLa matematica alla base di un intervallo sul tasso di vittoria, incluso l'intervallo di Wilson utilizzato nella figura.
3. 03Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference↗Chiang et al., 2024 · arXiv · arxiv.orgTassi di vittoria a coppie su larghissima scala, con la relativa incertezza.
4. 04Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators↗Dubois et al., 2024 · arXiv · arxiv.orgPerché la lunghezza va considerata insieme al tasso di vittoria.

Concetti correlati