Code di annotazione: verificare il giudice manualmente

Che cos'è

Un giudice LLM è veloce ed economico, ma è pur sempre un modello. Può preferire la risposta più lunga, non notare un numero errato o premiare un tono sicuro. I giudici più validi concordano con le persone con la stessa frequenza con cui le persone concordano tra loro — oltre l'80% in Zheng et al. (2023) — ma si tratta di una media sui benchmark pubblici, non di una garanzia per le domande sul Suo prodotto. Le code di annotazione sottopongono le risposte a una persona, in modo che Lei sappia fino a che punto fidarsi del giudice sui Suoi dati.

Un'annotazione è l'etichetta assegnata da una persona all'output di un modello: un punteggio per criterio, una scelta tra due risposte o una risposta corretta. Una coda di annotazione è un elenco di attività contenente tali elementi, con le relative regole di revisione.

Come funziona una coda

• Gli elementi sono l'oggetto della revisione. Da una valutazione, ogni domanda giudicata: la domanda, entrambe le risposte e il verdetto del giudice. Da un set di dati, ogni risposta addestrabile nella sua conversazione. Gli elementi sono copie, quindi l'archiviazione o l'eliminazione dell'origine non modifica la coda.
• La rubrica è l'insieme dei criteri valutati da 1 a 5 per ogni risposta. Utilizzare gli stessi criteri del giudice — correttezza, utilità, tono, formato — rende comparabili i punteggi umani e quelli del giudice. Si blocca non appena viene revisionato un elemento; altrimenti i punteggi precedenti assumerebbero un significato diverso.
• La revisione cieca mostra “Risposta A / Risposta B” senza i nomi dei modelli e nasconde il verdetto del giudice, finché la revisione non viene salvata.
• Il blocco assegna un elemento alla persona che lo sta revisionando mentre ci lavora, in modo che due persone non revisionino lo stesso elemento.

Perché la revisione cieca è importante

Le persone sono influenzate da ciò che vedono per primo. Se mostra a un revisore che la risposta A proviene dal modello appena ottimizzato, tenderà a preferirla, perché è il risultato che spera di ottenere. Se gli mostra il verdetto del giudice, tenderà a concordare con esso — il che vanifica lo scopo di verificare il giudice. Nascondere entrambi finché la revisione non viene salvata mantiene indipendente l'etichetta umana. Il salvataggio rivela poi l'identità dei modelli e il parere del giudice, ed è in quel momento che i disaccordi diventano visibili.

Con cosa riempire una coda

Solo un campione casuale misura quanto spesso il giudice ha ragione in generale. Le altre selezioni sono deliberatamente sbilanciate verso i casi difficili: ottime per trovare problemi e scrivere correzioni, ma fuorvianti come stima dell'accordo complessivo.

Leggere i risultati

agreement      = questions where you and the judge picked the same answer
                 ÷ questions you both decided

score gap      = your average − judge's average, per criterion,
                 on the same answers          (|gap| ≥ 1 point → look closer)

• Accordo con il giudice. Intorno all'80% o più: le percentuali di vittoria del giudice sono un indicatore affidabile. Sotto il 60% circa: non prenda decisioni basandosi solo sui numeri del giudice — effettui ulteriori revisioni, cambi il modello del giudice o modifichi ciò che gli viene chiesto di verificare. Ricordi che, dovendo scegliere tra due risposte, il lancio di una moneta produrrebbe un accordo la metà delle volte, quindi il 60% è solo leggermente migliore del caso.
• Divari di punteggio. Per ogni criterio, la Sua media rispetto a quella del giudice sulle stesse risposte. Un divario di 1 punto o più significa che il giudice valuta quel criterio diversamente dalle persone. I giudici spesso sono indulgenti sulla correttezza dei fatti relativi al prodotto e severi sul formato.
• I disaccordi sono gli elementi interessanti. Legga perché il giudice ha scelto diversamente. O si tratta di un problema del giudice — corregga il giudice — oppure di un problema nei dati: la risposta di riferimento stessa era errata o obsoleta.

Trasformare le revisioni in dati di addestramento

• Una correzione diventa la risposta su cui effettuare l'addestramento (dati supervisionati). La risposta che ha apprezzato di meno viene archiviata come la sua controparte peggiore, in modo che lo stesso esempio serva anche per l'ottimizzazione delle preferenze (DPO).
• Senza una correzione, la risposta che ha selezionato diventa la risposta di riferimento e l'altra la sua controparte peggiore.
• I pareggi senza una correzione e i punteggi a sé stanti non vengono esportati. Esportare nuovamente aggiorna gli stessi esempi invece di aggiungere copie.

{"messages": [
  {"role": "user", "content": "How do I share a report with a client?"},
  {"role": "assistant", "content": "Open the report → Share → pick the client. They get an email link.",
   "rejected": "You can export the report as a PDF and email it.", "rejectedSource": "review"}
]}

Impostazioni e numeri

Errori comuni

• Revisionare con i nomi dei modelli o il verdetto del giudice visibili, per poi “confermare” il giudice.
• Stimare l'accordo complessivo da una coda piena di pareggi e sconfitte piuttosto che da un campione casuale.
• Scegliere A o B quando entrambe le risposte sono errate, invece di scrivere una correzione.
• Cambiare il significato dei criteri a metà del processo — la rubrica si blocca per questo motivo.
• Incolpare il giudice per ogni disaccordo quando la risposta di riferimento stessa era obsoleta.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena↗Zheng et al., 2023 · arXiv · arxiv.orgAccordo giudice-umano superiore all'80%, circa al livello umano-umano, e i bias del giudice.
2. 02Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences↗Shankar et al., 2024 · arXiv · arxiv.orgVerificare i valutatori LLM rispetto alle valutazioni umane e come i criteri si discostano durante le revisioni.
3. 03Cohen's kappa↗Wikipedia · en.wikipedia.orgConcordanza corretta per il caso — perché il 60% su una scelta binaria è un risultato debole.
4. 04Inter-rater reliability↗Wikipedia · en.wikipedia.orgCome viene misurata e interpretata la concordanza tra i valutatori.
5. 05Anchoring effect↗Wikipedia · en.wikipedia.orgI pregiudizi da cui protegge la revisione alla cieca.

Concetti correlati