LLM-as-a-judge

Cos'è

Le risposte aperte non hanno un'unica stringa corretta con cui essere confrontate. Due risposte a “Come esporto il mio report?” possono essere entrambe corrette, e la migliore potrebbe essere quella più breve, quella che indica il percorso del menu o quella che avverte di una trappola comune. Gli esseri umani possono giudicarlo, ma sono lenti e costosi. LLM-as-a-judge utilizza un modello linguistico avanzato per formulare lo stesso giudizio su larga scala.

Zheng et al. (2023) hanno studiato questo aspetto in modo sistematico e hanno scoperto che giudici avanzati come GPT-4 corrispondevano alle preferenze umane in oltre l'80% dei casi, lo stesso livello di accordo che si registra tra due esseri umani. Hanno descritto tre configurazioni: confronto a coppie (quale tra due risposte è migliore), valutazione a risposta singola (un punteggio per una singola risposta) e valutazione guidata da riferimento (giudizio con una risposta corretta nota a disposizione). La configurazione utilizzata qui le combina tutte e tre.

Come funziona

Question:          <the held-out user message and its context>
Reference answer:  <the reply from your data>
Answer A:          <one model's answer>
Answer B:          <the other model's answer>

Score each answer 1–5 on correctness, helpfulness, tone and format.
Then name the winner (A, B or tie) and give a one-sentence reason.

Il giudice vede la domanda con il suo contesto, la risposta di riferimento tratta dai vostri dati e due risposte etichettate solo come A e B. Assegna a ciascuna un punteggio da 1 a 5 su quattro criteri, decreta un vincitore assoluto o una parità e scrive una breve motivazione. I punteggi vengono calcolati in media tra le domande; i vincitori determinano la percentuale di vittorie; le motivazioni sono ciò che si legge per capirne il motivo.

Bias noti e come annullarli

• Bias di posizione. I giudici tendono a preferire la prima risposta (alcuni preferiscono la seconda). Wang et al. (2023) hanno dimostrato quanto possa essere forte questo fenomeno: semplicemente cambiando l'ordine, è stato possibile far sì che Vicuna-13B battesse ChatGPT in 66 domande su 80, utilizzando ChatGPT come giudice. Soluzione: mescolare l'ordine per ogni domanda, in modo che il bias ricada equamente su entrambi i modelli e si compensi.
• Auto-preferenza. I modelli valutano con punteggi più alti i testi che assomigliano al loro stesso stile di scrittura. Panickssery et al. (2024) hanno scoperto che più un modello riconosce il proprio output, più questo bias è forte. Soluzione: utilizzare un giudice proveniente da una famiglia di modelli diversa rispetto a quelli confrontati.
• Bias di verbosità. Le risposte più lunghe e apparentemente più dettagliate tendono a vincere anche quando non sono migliori. AlpacaEval, controllando la lunghezza, corregge questo aspetto e ha aumentato il suo accordo con le classifiche umane (correlazione di Spearman con Chatbot Arena passata da 0,94 a 0,98). Soluzione: confrontare le lunghezze medie insieme alla percentuale di vittorie e leggere le motivazioni dei vincitori più lunghi.
• Bias di marchio. Se il giudice sa quale risposta proviene dal modello sottoposto a “fine-tuning”, potrebbe favorirla o penalizzarla. Soluzione: etichette alla cieca; il giudice vede sempre e solo A e B.

Anche la risposta di riferimento è d'aiuto. I giudici sono molto più abili nell'individuare fatti errati quando hanno a disposizione una risposta corretta nota con cui fare un confronto, il che è fondamentale per le domande di dominio in cui il giudice stesso potrebbe non conoscere i passaggi corretti.

Verifica manuale del giudice

Un giudice è pur sempre un modello: può preferire risposte lunghe, non notare un numero errato o premiare un tono sicuro. La soluzione consiste nel far esaminare a revisori umani un campione delle stesse domande, in cieco, e misurare con quale frequenza scelgono la stessa risposta del giudice. Con una concordanza pari o superiore all'80% circa, le percentuali di successo del giudice sono un indicatore affidabile; al di sotto del 60% circa, è meglio non basarsi esclusivamente sui numeri del giudice — occorre esaminare più dati, cambiare il modello giudice o modificare i criteri di verifica. Le domande su cui le persone e il giudice non concordano sono le più utili da leggere.

Errori comuni

• Utilizzare la stessa famiglia di modelli come giudice e concorrente, per poi fidarsi di una vittoria di stretta misura.
• Inserire sempre la risposta ottimizzata nella stessa posizione.
• Leggere solo la percentuale di vittorie: le motivazioni mostrano se una vittoria deriva dalla correttezza o semplicemente dalla lunghezza.
• Dare per scontato che il giudice conosca il vostro dominio. Senza una risposta di riferimento, può premiare errori sicuri e plausibili.
• Non effettuare mai controlli a campione sul giudice confrontandolo con la propria lettura di una dozzina di domande.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena↗Zheng et al., 2023 · arXiv · arxiv.orgOltre l'80% di concordanza con gli esseri umani, e i bias di posizione, prolissità e auto-esaltazione.
2. 02Large Language Models are not Fair Evaluators↗Wang et al., 2023 · arXiv · arxiv.orgQuanto è forte il bias di posizione e le strategie di calibrazione per contrastarlo.
3. 03LLM Evaluators Recognize and Favor Their Own Generations↗Panickssery et al., 2024 · arXiv · arxiv.orgL'auto-preferenza e perché un giudice di un'altra famiglia è utile.
4. 04Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators↗Dubois et al., 2024 · arXiv · arxiv.orgCorreggere l'attrazione verso le risposte più lunghe.
5. 05A Survey on LLM-as-a-Judge↗Gu et al., 2024 · arXiv · arxiv.orgUn'ampia revisione delle architetture dei giudici, dei bias e dell'affidabilità.

Concetti correlati