ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Valutazione

Metodo

Valutare un modello singolarmente

Invece di confrontare due risposte, il giudice legge una singola risposta accanto alla conversazione e alla risposta di riferimento, assegnando un punteggio da 1 a 5 per ogni criterio. Il risultato è un punteggio di qualità assoluto: nessuna vittoria e nessuna misura di miglioramento.

Capitolo 8Lettura di 4 min5 riferimenti

Cos'è

Una valutazione normale è a coppie: due modelli rispondono e il giudice stabilisce quale risposta sia migliore. La valutazione singola — chiamata anche valutazione assoluta, puntuale o a risposta singola — elimina la seconda risposta. Il giudice legge una risposta, la confronta con la Sua risposta di riferimento e le assegna un punteggio per ciascun criterio. Zheng et al. (2023) l'hanno descritta, insieme al confronto a coppie, come uno dei metodi standard per utilizzare un giudice LLM; MT-Bench la utilizza per assegnare a ciascun modello un punteggio unico.

Nella pratica, vi si ricorre quando non c'è nulla di sensato con cui fare un confronto: il modello di base è stato ritirato, non esiste alcun checkpoint utile, o semplicemente si desidera un valore assoluto per un singolo modello.

Come funziona

cosa viene fornito al giudice (semplificato)
You are grading one assistant answer.

Conversation so far:   …
Reference answer:      (the reply from your data)
Answer:                (the model's answer)

Score the answer from 1 to 5 on correctness, helpfulness,
tone and format, and give a short reason.
  1. Una risposta per domanda. Il modello risponde una volta a ciascuna domanda di test.
  2. Guidato dal riferimento. Il giudice vede la Sua risposta reale, in modo da poter verificare fatti che potrebbe non conoscere direttamente.
  3. Quattro criteri, 1–5. Correttezza, utilità, tono e formato — gli stessi criteri della valutazione tramite confronto diretto, accompagnati da una breve motivazione.
  4. Medie, non vittorie. Il risultato è il punteggio medio per criterio e complessivo. Non c'è alcun avversario da battere.

Una scala diversa rispetto al confronto diretto

Giudicato accanto a un'altra risposta3.5Valutato singolarmente2.5≈ 1 PUNTO · STESSO MODELLO12345
Punteggi illustrativi per un modello, un giudice e le stesse domande. Letto accanto a un'altra risposta, la media è di circa 3,5; letto da solo, circa 2,5. Il divario deriva dall'impostazione, non dal modello, pertanto i punteggi delle due impostazioni non possono essere confrontati tra loro.

In un confronto diretto, ogni punteggio è in parte relativo: il giudice vede una seconda risposta e si calibra su di essa. Nella valutazione singola, ha solo il riferimento come metro di giudizio e tende a essere più severo. Nelle misurazioni interne di Scalata, lo stesso modello sulle stesse domande con lo stesso giudice ha ottenuto un punteggio inferiore di circa un punto intero (sulla scala da 1 a 5) se valutato singolarmente rispetto a quando giudicato accanto a un checkpoint precedente. Non è cambiato nulla nel modello — solo la configurazione.

La ricerca indica la stessa direzione: il protocollo modella il risultato. Tripathi et al. (2025) hanno scoperto che i giudizi a coppie sono più facili da influenzare con caratteristiche superficiali — le preferenze si sono invertite in circa il 35% dei casi, contro il 9% dei punteggi assoluti — mentre Liu et al. (2024) hanno rilevato che il confronto a coppie si allinea meglio al giudizio umano rispetto alla valutazione diretta. Ogni configurazione ha i suoi punti di forza; ciò che non si può fare è mescolarne i numeri.

Cosa può e non può dirLe

DomandaValutato singolarmente?
Quanto sono buone le risposte, in termini assoluti?Sì
Qual è il criterio più debole?Sì — confronti le medie per criterio
È migliore ora rispetto a tre mesi fa?Sì, se entrambi sono stati valutati singolarmente sulle stesse domande con lo stesso giudice
L'addestramento ha migliorato il modello di base?No — non c'è nulla con cui fare un confronto
È migliore di un modello giudicato tramite confronto diretto?No — i due si basano su scale diverse
Esempio pratico: un modello la cui base è stata ritirata (a scopo illustrativo)
  1. Un modello di supporto ottimizzato tramite rinforzo viene valutato da solo su 20 domande escluse dall'addestramento. Il suo modello di base non può più essere implementato.
  2. Risultato: 2,45 / 5 complessivo — correttezza 2,0, utilità 2,1, tono 3,0, formato 2,7.
  3. Interpretazione: il tono e il formato sono accettabili, quindi lo stile è più simile alle Sue risposte rispetto al contenuto. La correttezza è carente: le motivazioni del giudice indicano percorsi di menu errati e impostazioni inventate. Il modello non conosce il prodotto.
  4. Prossimo passo: maggiore conoscenza del prodotto tramite dati supervisionati, non ulteriore rinforzo — il rinforzo affina i comportamenti che il modello possiede già.
  5. Dopo un ciclo supervisionato, il nuovo modello viene valutato singolarmente sulle stesse 20 domande con lo stesso giudice: 3,3. Questo confronto è valido, poiché entrambi i punteggi derivano dalla medesima configurazione.

Come utilizzarlo al meglio

  • Mantenere fissa la configurazione durante il monitoraggio nel tempo: stesse domande, stesso giudice, stessi criteri. Modificandone anche solo uno, i punteggi precedenti non saranno più comparabili.
  • Leggere i criteri, non solo la media. Un 2,5 ottenuto con un tono forte e una scarsa correttezza richiede dati diversi rispetto a un 2,5 ottenuto con la situazione opposta.
  • Preferire un confronto tra checkpoint quando è necessaria una classifica insieme a modelli affiancati: mantiene il modello sulla stessa scala degli altri.

Impostazioni

Valutazione singolaTipico quando non c'è nulla di sensato con cui fare un confronto#

Valutare il modello senza un secondo modello. Da utilizzare quando il modello di base non può essere distribuito e non esiste alcun checkpoint utile, oppure quando si desidera un punteggio assoluto da monitorare nel tempo.

Errori comuni

  • Classificare un modello valutato singolarmente rispetto a modelli giudicati tramite confronto diretto.
  • Interpretare un punteggio assoluto basso come “l'addestramento lo ha peggiorato” — non c'è un prima con cui fare un confronto.
  • Cambiare il giudice o le domande tra due esecuzioni, per poi confrontarne i punteggi.
  • Guardare solo alla media complessiva, ignorando quale criterio stia abbassando il punteggio.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgValutazione a coppie, a risposta singola e guidata dal riferimento, a confronto.
  2. 02Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based EvaluationTripathi et al., 2025 · arXiv · arxiv.orgCome la scelta tra valutazione assoluta e a coppie cambia il risultato.
  3. 03Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model EvaluatorsLiu et al., 2024 · arXiv · arxiv.orgI vantaggi del confronto a coppie rispetto alla valutazione diretta.
  4. 04Prometheus: Inducing Fine-grained Evaluation Capability in Language ModelsKim et al., 2023 · arXiv · arxiv.orgValutazione assoluta da 1 a 5 basata su una rubrica e una risposta di riferimento.
  5. 05G-Eval: NLG Evaluation using GPT-4 with Better Human AlignmentLiu et al., 2023 · arXiv · arxiv.orgUn metodo iniziale e ampiamente utilizzato per valutare i singoli output con un LLM.
MetodoLLM-as-a-judgeUn modello linguistico separato legge la domanda, la risposta di riferimento e due risposte candidate, assegna un punteggio a entrambe e sceglie un vincitore. Se configurato in cieco, con ordine casuale e una famiglia di modelli diversa, concorda con i valutatori umani con la stessa frequenza con cui gli esseri umani concordano tra loro.ConcettoCheckpoint: quando il modello di base non è più disponibileI checkpoint sono copie del modello che il provider salva durante l'addestramento. Quando il modello di base non può più essere distribuito, il confronto del modello finale con un checkpoint precedente mostra se i passaggi di addestramento successivi sono stati utili.Best practiceConfrontare più modelliPer scegliere tra i modelli — fornitori, metodi o dimensioni di base diversi — questi devono rispondere alle stesse domande ed essere valutati dallo stesso giudice. Un confronto esegue una valutazione per modello su un set di domande condiviso e li classifica in base al punteggio medio del giudice.MetricaInterpretare i risultati della valutazioneCome interpretare il tasso di vittoria, la differenza di punteggio e i segnali secondari di una valutazione — e come distinguere un miglioramento reale dal rumore quando il numero di domande è ridotto.ConcettoModello di base e ottimizzato a confrontoUna valutazione pone al modello di partenza e al modello addestrato le stesse domande tenute da parte e ne confronta le risposte, in modo che Lei possa vedere se l'addestramento ha effettivamente migliorato le risposte.MetodoFine-tuning supervisionato (SFT)Il fine-tuning supervisionato addestra un modello tramite esempi: gli viene mostrata una conversazione e la risposta desiderata, e i suoi pesi vengono calibrati affinché tale risposta diventi più probabile, token dopo token.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite