Cos'è un valutatore
Nel fine-tuning per rinforzo il modello scrive diverse risposte per ogni prompt e necessita di un valore numerico per ciascuna. Il valutatore lo produce: una funzione, un modello o una combinazione di entrambi, che legge il prompt, la risposta e, in Scalata, la Sua risposta come riferimento, e restituisce un punteggio da 0 a 1. Il GRPO utilizza solo le differenze tra le risposte allo stesso prompt, quindi la proprietà più importante di un valutatore è che classifichi le risposte nel modo in cui lo farebbe Lei.
I valutatori si dividono in due famiglie. I valutatori basati su regole calcolano il punteggio: corrispondenza esatta, sovrapposizione di parole, confronto di numeri, convalida di un formato. Sono veloci, gratuiti e perfettamente coerenti, ma misurano solo ciò per cui sono stati programmati. I valutatori basati su modelli, un LLM che funge da giudice, leggono la risposta come farebbe una persona e possono soppesare correttezza, utilità e tono, a costo di token, tempo e dei propri bias. DeepSeek-R1 ha utilizzato solo ricompense basate su regole per il suo RL di ragionamento, poiché i suoi autori hanno scoperto che i modelli di ricompensa appresi sono vulnerabili al reward hacking su larga scala.
I valutatori
Un LLM legge la conversazione, la Sua risposta di riferimento e tutte le N risposte insieme, e valuta ciascuna da 1 a 5 in base a correttezza, utilità, tono e formato; i voti sono riproporzionati da 0 a 1. Poiché comprende il significato, una risposta corretta con parole diverse ottiene comunque un buon punteggio. Costa una chiamata al giudice per prompt per epoca, e un giudice debole fornisce punteggi rumorosi.
Sovrapposizione di parole tra la risposta e la Sua risposta di riferimento, misurata come ROUGE-L F1 (0–1). Non necessita di alcun modello giudice, quindi non costa nulla. Premia la formulazione, non il significato: una risposta corretta espressa diversamente ottiene un punteggio basso, mentre una risposta errata che riutilizza le Sue parole ottiene un punteggio alto.
70% punteggio del giudice più 30% similarità. Il giudice decide cosa è valido; il termine di similarità avvicina le risposte alla Sua formulazione. Si paga per il giudice e si mantengono entrambi i punti ciechi, ciascuno in dose minore.
Prende le cifre chiave nella Sua risposta (decimali, percentuali, importi; non la numerazione degli elenchi) e associa ciascuna al numero più vicino nella risposta: entro l'1% ottiene il punteggio pieno, entro il 5% la metà, oltre niente. Le unità di misura sono allineate, quindi 1.705M e 1,705B contano come la stessa cifra. Le risposte senza numeri vengono ignorate. Controlla solo le cifre, non la spiegazione che le circonda.
50% giudice più 50% numeri, in modo che contino sia il ragionamento sia le cifre. Quando la Sua risposta non contiene numeri, viene utilizzato solo il punteggio del giudice. Costa token del giudice come il giudice da solo.
La risposta è uguale o contiene il valore atteso, oppure una porzione di codice ne verifica il formato (JSON valido, un'etichetta nota). I punteggi sono solitamente tutto o niente, il che fornisce al GRPO un segnale molto pulito, ma funziona solo quando c'è una risposta verificabile. I provider ospitati li offrono come valutatori integrati, ad esempio un controllo di stringhe, accanto alla similarità del testo, a un modello di punteggio e a combinazioni di valutatori.
Come viene misurata la similarità: ROUGE-L
ROUGE è stato introdotto da Chin-Yew Lin nel 2004 per valutare i riassunti scritti da macchine rispetto a quelli umani. La variante L ricerca la sottosequenza comune più lunga (LCS): la serie più lunga di parole che compaiono in entrambi i testi nello stesso ordine, non necessariamente adiacenti. La precisione è LCS ÷ parole nella risposta, il richiamo è LCS ÷ parole nel riferimento, e F1 combina i due valori (la loro media armonica).
- Riferimento, 9 parole: “Aprire il report, cliccare Condividi e scegliere il cliente.”
- Risposta A: “Cliccare su Condividi nel report e selezionare il cliente.” Sottosequenza comune più lunga: “cliccare su condividi … e selezionare il cliente”, 6 parole. Precisione 6/9, richiamo 6/9, F1 ≈ 0,67.
- Risposta B, corretta ma riformulata: “Utilizzare il pulsante Condividi nel report per inviarlo a loro.” (12 parole). Sottosequenza comune più lunga: solo “il report”, 2 parole. Precisione 2/12, richiamo 2/9, F1 ≈ 0,19.
- Risposta C, destinatario errato: “Aprire il report, cliccare su Condividi e selezionare l'amministratore.” 8 parole in comune, F1 ≈ 0,89, il valore più alto dei tre.
- Le implementazioni differiscono leggermente nel modo in cui dividono le parole e se le riducono alla loro radice, ma la lezione è valida: la similarità misura la formulazione, motivo per cui di solito viene combinata con un giudice.
Come assegna i punteggi il valutatore numerico
- La Sua risposta: “WACC ≈ 9,91%; costo del capitale proprio 10,34%; debito al netto delle imposte 4,15%; EV ≈ $1.705M.” Quattro cifre chiave.
- La risposta contiene 9,95%, 10,3%, 4,2% e 1.700M.
- 9,95 contro 9,91 ha uno scostamento dello 0,4%, 10,3 contro 10,34 ha uno scostamento dello 0,4%, 1.700 contro 1.705 ha uno scostamento dello 0,3%: punteggio pieno per ciascuno.
- 4,2 contro 4,15 ha uno scostamento dell'1,2%: entro il 5%, quindi metà punteggio.
- Punteggio = (1 + 1 + 1 + 0,5) ÷ 4 = 0,875. Una risposta che afferma solo “Il WACC è 1,33%” ottiene 0.
Il valutatore numerico controlla le cifre, non il ragionamento alla base: un numero corretto ottenuto nel modo sbagliato ottiene comunque un punteggio, mentre un metodo valido con una svista perde credito. Una risposta che elenca molte cifre ha anche maggiori probabilità di avvicinarsi alla Sua. La combinazione giudice + numeri esiste per colmare entrambe le lacune.
Perché il giudice vede tutte le risposte contemporaneamente
In Scalata il giudice vede tutte le N risposte a un prompt insieme. Vedendole fianco a fianco, assegna loro un punteggio coerente l'una rispetto all'altra, e i punteggi relativi coerenti sono esattamente ciò che utilizza il GRPO. I voti per criterio del giudice e una breve motivazione per ogni risposta vengono mostrati nella pagina di esecuzione accanto a ciascun gruppo.
Scegliere un valutatore
| Il vostro compito | Iniziate con | Perché |
|---|---|---|
| Supporto a risposta aperta o chat di consulenza | Modello giudice | Solo un modello può giudicare se il testo libero è corretto e utile |
| Le risposte devono anche rispecchiare il tono del vostro team | Giudice + similarità | Il giudice tutela il significato; la similarità orienta verso la vostra terminologia |
| Calcoli con risultati esatti | Giudice + numeri, o solo numeri | Le cifre sono verificabili; il giudice individua le incongruenze circostanti |
| Un'etichetta o un valore corretto | Corrispondenza esatta / controlli | I punteggi tutto o niente forniscono il segnale più chiaro |
| Un formato di output fisso | Un controllo del formato, possibilmente combinato con un giudice | La validità è verificabile; il contenuto potrebbe comunque richiedere un giudizio |
Qualunque sia la Sua scelta, valuti personalmente cinque o dieci risposte e le confronti con il valutatore prima di un'esecuzione prolungata. Se non è d'accordo con la sua classificazione, il modello apprenderà l'opinione del valutatore, non la Sua.
Errori comuni
- Utilizzare solo la similarità dove il significato è importante. Le parafrasi corrette vengono penalizzate e le risposte errate formulate con le Sue parole vengono premiate.
- Scegliere un giudice debole per un'esecuzione prolungata. I punteggi rumorosi diventano vantaggi rumorosi e il GRPO amplifica le piccole differenze.
- Utilizzare lo stesso modello come valutatore e come giudice di valutazione. I suoi punti ciechi sembreranno quindi dei miglioramenti per due volte.
- Utilizzare il valutatore numerico su dati le cui risposte presentano poche cifre; quelle righe vengono saltate e l'esecuzione apprende da una frazione dei Suoi dati.
- Dimenticare che qualsiasi elemento non verificato dal valutatore, come la lunghezza, il tono o i dettagli inventati, può essere modificato liberamente dal modello.
Riferimenti e letture di approfondimento
Le fonti esterne si aprono in una nuova scheda.
- 01ROUGE: A Package for Automatic Evaluation of SummariesLin, 2004 · ACL Anthology · aclanthology.orgLa definizione originale di ROUGE-L e la sua misura F della sottosequenza comune più lunga.
- 02GradersOpenAI API docs · developers.openai.comTipi di valutatori ospitati: controllo di stringhe, similarità del testo, modello di punteggio, Python e multi-valutatori.
- 03Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgQuanto i giudici LLM concordano con le persone e i loro bias noti: posizione, prolissità, auto-preferenza.
- 04DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgPerché le ricompense basate su regole sono state preferite ai modelli di ricompensa appresi per l'RL di ragionamento.