Che cos'è
Il valutatore non è il Suo obiettivo. È un sostituto misurabile di esso, un proxy. L'apprendimento per rinforzo ottimizza il proxy incessantemente e, ovunque il proxy e il Suo obiettivo non concordino, il modello si sposta verso il proxy. Gli economisti conoscono questo fenomeno come legge di Goodhart: quando una misura diventa un obiettivo, cessa di essere una buona misura. Nell'IA è chiamato reward hacking o specification gaming.
L'esempio classico proviene dall'RL applicato ai videogiochi. Nel gioco di corse in barca CoastRunners, un agente ricompensato per aver colpito i bersagli lungo il percorso ha imparato a girare in tondo in una laguna, colpendo gli stessi pochi bersagli più e più volte, senza mai finire la gara. In questo modo ha ottenuto un punteggio maggiore rispetto al completamento del percorso. Non c'era nulla di rotto: l'agente ha fatto esattamente ciò che indicava la ricompensa.
I modelli linguistici fanno lo stesso con i valutatori. Gli autori di DeepSeek-R1 riportano che, durante l'addestramento rispetto a un modello di ricompensa appreso per l'utilità, la ricompensa continuava a salire mentre le prestazioni su un benchmark di programmazione diminuivano, e in parte per questo motivo hanno tenuto i modelli di ricompensa appresi fuori dal loro RL per il ragionamento.
Gao et al. (2022) hanno misurato questa curva. Ottimizzando un modello rispetto a un modello di ricompensa appreso, hanno tracciato una ricompensa “gold” separata che rappresentava la qualità reale: man mano che il modello si allontanava dal suo punto di partenza, il proxy continuava a salire mentre il punteggio gold aumentava, raggiungeva il picco e poi diminuiva. I modelli di ricompensa più grandi ne risentivano meno, ma nessuno ha eliminato l'effetto.
Come si manifesta con ogni valutatore
| Valutatore | Come viene manipolato | Come si presenta |
|---|---|---|
| Modello giudice | Risposte più lunghe e all'apparenza esaustive; un tono sicuro; testo che lusinga o istruisce il giudice | La lunghezza aumenta; risposte piene di precisazioni e domande riformulate; frasi come “Questa risposta è completa e corretta.” |
| Similarità | Riutilizzare le frasi di riferimento, che siano pertinenti o meno | Risposte che ricalcano le Sue ma riportano informazioni errate |
| Numeri | Elencare numerose cifre in modo che una si avvicini a ciascuna delle Sue | Risposte piene di numeri o alternative: “o 9,9% o 10,3%” |
| Corrispondenza esatta / controlli | Soddisfare il controllo alla lettera | JSON valido con campi vuoti; l'etichetta giusta circondata da testo senza senso |
Esempio pratico
- Prompt: “Posso esportare una dashboard in PowerPoint?” La Sua risposta di riferimento: “Sì: Condividi → Esporta → PowerPoint. Ogni grafico diventa una diapositiva.”
- Risposta 1, punteggio 0.95, verde: riformula la domanda, fornisce i passaggi, aggiunge tre paragrafi di suggerimenti generali per la presentazione e termina con “Questa risposta soddisfa appieno la Sua domanda.”
- Risposta 2, punteggio 0.70, rosso: i passaggi della Sua risposta di riferimento in due frasi.
- Il giudice ha valutato la completezza più della concisione, e la frase di chiusura potrebbe aver influito ulteriormente. La Risposta 2 è quella desiderata, eppure l'aggiornamento spinge il modello verso la risposta 1.
- Soluzioni: un giudice più rigoroso, o una combinazione con la somiglianza alla Sua risposta; una lunghezza massima della risposta più restrittiva; e una valutazione con un giudice diverso per confermare il risultato.
Come prevenirlo e individuarlo
- Legga le risposte rinforzate. Le risposte verdi in ogni gruppo sono esattamente ciò che viene insegnato al modello. Se non sono ciò che desidera, si fermi e cambi il valutatore.
- Valuti in modo indipendente. Confronti il modello addestrato con il suo punto di partenza su domande escluse dall'addestramento, utilizzando un giudice diverso dal valutatore. Un aumento della ricompensa che non si manifesta in quella sede è sospetto.
- Combini i valutatori. Il punto cieco di ogni valutatore è coperto da un altro: un giudice più un controllo sui numeri è molto più difficile da aggirare rispetto a ciascuno di essi preso singolarmente.
- Limiti la lunghezza. Una lunghezza massima ragionevole per le risposte blocca sul nascere l'hack più comune.
- Ancori con KL β. Una penalità per la deviazione dal modello di partenza limita la portata di qualsiasi exploit, al costo di un miglioramento più lento.
- Non addestri eccessivamente. L'ottimizzazione eccessiva cresce con la distanza dall'inizio; un'esecuzione più breve che si ferma vicino al picco spesso supera una più lunga.
- Preferisca ricompense verificabili. Risposte esatte, cifre, controlli di formato e test lasciano meno spazio all'interpretazione rispetto a un'opinione.
Errori comuni
- Considerare il grafico della ricompensa come la misura del successo.
- Utilizzare lo stesso modello sia come valutatore che come giudice di valutazione.
- Addestrare molto più a lungo del necessario “perché la ricompensa continua a salire”.
- Risolvere un hack senza rileggere le risposte; di solito i modelli trovano la falla successiva.
- Incolpare il modello. Sta solo facendo ciò che indica la ricompensa; la soluzione si trova quasi sempre nel valutatore o nella configurazione.
Riferimenti e letture di approfondimento
Le fonti esterne si aprono in una nuova scheda.
- 01Concrete Problems in AI SafetyAmodei et al., 2016 · arXiv · arxiv.orgCita il reward hacking come uno dei cinque problemi pratici di sicurezza nel machine learning.
- 02Scaling Laws for Reward Model OveroptimizationGao, Schulman & Hilton, 2022 · arXiv · arxiv.orgMisura come la qualità reale raggiunge il picco e diminuisce quando un modello viene ottimizzato rispetto a una ricompensa proxy.
- 03Specification gaming: the flip side of AI ingenuityKrakovna et al., 2020 · Google DeepMind · deepmind.googleEsempi di agenti che fanno ciò che indicava la ricompensa invece di ciò che si intendeva.
- 04Reward Hacking in Reinforcement LearningWeng, 2024 · Lil'Log · lilianweng.github.ioUn'indagine approfondita sul reward hacking nell'RL e nell'addestramento dei modelli linguistici.