Reinforcement fine-tuning (RFT)

Cos'è

Nel fine-tuning supervisionato al modello viene mostrata la risposta e viene valutato su ogni suo token. Il fine-tuning per rinforzo (RFT) non mostra mai una risposta al modello. Quest'ultimo scrive la propria, un valutatore assegna un punteggio al risultato e l'addestramento rende più probabili i tipi di risposte con punteggi elevati. L'unica cosa che deve fornire è un modo per distinguere una risposta migliore da una peggiore.

Questo rende l'RFT il metodo d'elezione quando una buona risposta è facile da riconoscere ma difficile da scrivere in anticipo: un calcolo il cui risultato può essere verificato, una classificazione con un'etichetta nota, un oggetto JSON che deve essere convalidato, o una domanda aperta in cui un modello giudice capace sa distinguere una risposta accurata da una approssimativa.

Il vocabolario dell'apprendimento per rinforzo

L'RFT prende in prestito i suoi termini dall'apprendimento per rinforzo (RL), il campo che addestra agenti di gioco e robot. Applicati a un modello linguistico, significano:

Due aspetti rendono l'RL sui modelli linguistici diverso dall'addestramento supervisionato. La ricompensa arriva solo alla fine: il valutatore assegna un punteggio alla risposta finita, quindi l'addestramento deve capire quali tra centinaia di token meritino il merito. Inoltre, i dati vengono generati durante l'addestramento: a ogni passaggio, il modello attuale scrive nuove risposte, quindi ciò da cui apprende cambia man mano che migliora. Questo processo è chiamato apprendimento on-policy.

Come un punteggio diventa un aggiornamento

La regola di aggiornamento al centro dell'RFT è chiamata gradiente di policy. In parole povere: per ogni risposta, si prende ogni token scritto dal modello e se ne aumenta la probabilità se il vantaggio della risposta è positivo, o la si diminuisce se è negativo, di una quantità proporzionale al vantaggio. Un token apparso in una risposta con un buon punteggio diventa un po' più probabile in quel contesto; un token di una risposta con un punteggio scarso lo diventa un po' meno.

I punteggi grezzi da soli costituiscono un segnale debole. Se ogni risposta a un prompt facile ottiene 0,9, aumentarle tutte non dice nulla su cosa le abbia rese buone. Pertanto, i metodi RL confrontano ogni punteggio con una baseline, una stima del punteggio di una risposta ordinaria a quel prompt, e conta solo la differenza. Metodi più vecchi come il PPO apprendono la baseline con una seconda rete neurale. Il GRPO, il metodo attualmente utilizzato dalla maggior parte dei servizi RFT, prende semplicemente il punteggio medio di diverse risposte allo stesso prompt; si veda GRPO, passo dopo passo.

for each step:
    prompts = a few rows from your data
    answers = model.sample(prompts, n = 4)          # 4 tries per prompt
    scores  = grader(prompt, answers, reference)    # 0–1 each; the model never sees the reference
    adv     = (scores − group mean) / group std     # per prompt
    update the model: tokens of answers with adv > 0 become more likely,
                      tokens of answers with adv < 0 less likely

La Sua risposta appare solo nell'input del valutatore, come riferimento. Il modello in fase di addestramento non la vede mai, il che rappresenta la principale differenza pratica rispetto all'addestramento supervisionato: il modello non può copiare per ottenere un punteggio alto, deve trovarlo da solo.

{"prompt": [{"role": "user", "content": "How do I share a report with a client?"}],
 "reference": "Open the report → Share → pick the client. They get an email link."}

• Una riga per risposta, che termina con quella risposta. Una chat con tre delle Sue risposte produce tre righe. Il riferimento di ogni riga è solo la sua ultima risposta; le risposte precedenti rimangono nel prompt come contesto.
• Istruzioni di sistema come messaggio `developer`. I modelli di ragionamento in hosting (la serie o) non accettano un messaggio system negli esempi di rinforzo. Le stesse istruzioni vanno in un messaggio developer, che questi modelli trattano nel modo in cui gli altri modelli trattano system.

Cosa può e non può fare il RL

Poiché apprende solo dai propri tentativi, l'RFT può rinforzare solo i comportamenti che il modello produce già in alcune occasioni. Se nessuna delle N risposte a un prompt è mai buona, ogni risposta ottiene all'incirca lo stesso punteggio, il confronto è vuoto e il prompt non insegna nulla. La ricerca lo conferma: Yue et al. (2025) hanno scoperto che i modelli di ragionamento addestrati con RL superavano i loro modelli di base quando era consentito un solo tentativo per problema, ma che con molti tentativi i modelli di base ne risolvevano di più. L'RL ha permesso al modello di trovare le sue buone risposte in modo più affidabile; non gli ha fornito risposte che non avrebbe mai potuto raggiungere.

Ecco perché la ricetta standard è prima supervisionato, poi RL. L'addestramento supervisionato su buone risposte insegna il compito, in modo che i tentativi del modello inizino a cadere nell'area giusta; l'RL poi affina quali di questi tentativi preferisce. Su una base molto solida, l'RL da solo può andare lontano: DeepSeek-R1-Zero, addestrato solo con ricompense basate su regole, ha aumentato il suo pass@1 all'AIME 2024 dal 15,6% al 77,9%. La maggior parte del fine-tuning parte da modelli molto più piccoli, dove un passaggio supervisionato iniziale fa la differenza.

Quando utilizzarlo

• La risposta può essere verificata: una cifra, un'etichetta, un formato, un test. I correttori basati su regole sono economici, esatti e difficili da manipolare.
• Il modello di partenza ottiene già una buona percentuale di successi, ad esempio dopo un addestramento supervisionato sui propri dati, o perché è di grandi dimensioni.
• È possibile giudicare la qualità ma non scrivere risposte ideali su larga scala: un modello giudice potente può valutare le risposte a testo libero confrontandole con la propria risposta.
• Non per insegnare nuovi fatti o un nuovo prodotto: questi devono provenire da dati supervisionati o dal retrieval.

Errori comuni

• Eseguire il RFT su un modello che non risponde quasi mai bene. Con ogni punteggio vicino al minimo non c'è nulla da confrontare; lo addestri prima in modo supervisionato.
• Considerare una ricompensa in aumento come prova di miglioramento. La ricompensa è l'opinione del valutatore; confermi con una valutazione indipendente.
• Scegliere un valutatore che misura l'aspetto sbagliato, come la sovrapposizione di parole in un'attività in cui conta il significato. Il modello ottimizza esattamente ciò che viene misurato.
• Aspettarsi che il RFT aggiunga conoscenza. Si limita a riordinare ciò che il modello fa già.
• Impostare il limite della risposta al di sotto della lunghezza di una buona risposta, in modo che le risposte complete vengano tagliate e valutate negativamente.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

1. 01DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning↗DeepSeek-AI, 2025 · arXiv · arxiv.orgRL su larga scala con ricompense basate su regole, e perché un avvio a freddo supervisionato è stato comunque d'aiuto.
2. 02Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?↗Yue et al., 2025 · arXiv · arxiv.orgProve che l'RL affina ciò che un modello di base sa già fare piuttosto che aggiungere nuovi ragionamenti.
3. 03Reinforcement fine-tuning↗OpenAI API docs · developers.openai.comUn servizio RFT in hosting: valutatori, dati e quando l'RFT è la scelta giusta.
4. 04Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgL'articolo che ha reso l'RL basato su feedback il passaggio finale standard per i modelli di chat.

Concetti correlati