ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Metodi di addestramento

Metrica

Controlli held-out nel fine-tuning con rinforzo

Quando un fornitore esegue il fine-tuning di rinforzo su un modello di ragionamento in hosting, ripropone alcune domande di validazione escluse ogni pochi step e valuta le risposte con lo stesso valutatore. Ogni domanda diventa una cronologia che mostra se l'addestramento si generalizza a domande su cui il modello non si è mai addestrato.

Capitolo 7Lettura di 6 min4 riferimenti

Cosa sono

Sui modelli aperti, Scalata può mostrarLe i veri gruppi di risposte valutate dal valutatore. Sui modelli di ragionamento in hosting, il fornitore esegue il valutatore in proprio e non condivide le risposte valutate durante l'addestramento. Ciò che condivide è un set di controlli esclusi: ogni pochi step pone una manciata di domande di validazione su cui il modello non si addestra mai, e valuta tali risposte con lo stesso valutatore.

Poiché il primo controllo viene eseguito allo step 0, prima di qualsiasi addestramento, ogni domanda di validazione diventa una piccola cronologia: come è cambiata la risposta alla stessa domanda con il procedere dell'addestramento. Ciò rende i controlli la migliore prova disponibile che i miglioramenti si generalizzano a domande che il modello non ha mai visto, e non solo a quelle su cui si è esercitato.

0.000.501.0005101520step di addestramento (0 = prima dell'addestramento)tetto massimo: costantemente a 1,00calo, poi si riprendepartenza bassa, in crescitaricompensa di validazioneun campione negativo
Tre domande messe da parte, verificate agli step 0, 5, 10, 15 e 20, più la ricompensa di validazione (tratteggiata, la media di tutte le domande verificate). Lo step 0 rappresenta il modello prima dell'addestramento. Una crescita da un livello iniziale basso indica un apprendimento che si consolida; un andamento piatto a 1,00 rappresenta un tetto massimo; un singolo calo che poi si riprende indica un campione sfortunato. Numeri illustrativi.

Lettura della cronologia

  • Basso allo step 0, poi in aumento: il segno più evidente di un apprendimento che si generalizza a nuove domande.
  • 1.00 dallo step 0 in poi: un limite massimo. Il modello ha già risposto abbastanza bene, quindi questa domanda non può mostrare miglioramenti. Molte di queste indicano che il valutatore è troppo indulgente, o lo sono le domande.
  • Un calo nel mezzo: rumore normale. Ogni controllo è una risposta campionata, e un campione sfortunato può ottenere un punteggio basso. Osservi la tendenza attraverso i controlli e le domande, non una singola scheda.
  • Piatto ovunque al di sotto del limite massimo: il modello non sta trovando risposte migliori. La causa abituale è un modello di partenza che raramente risponde correttamente a queste domande; un'esecuzione supervisionata preliminare è d'aiuto.
Domanda (illustrativa)Step 05101520Lettura
Come esportare una dashboard in PowerPoint?0.250.380.560.810.81Apprendimento, si stabilizza dopo 15
Un cliente può aprire un link condiviso senza un account?0.500.690.750.940.94Apprendimento
Quali tipi di file posso caricare?0.750.940.320.880.94Un campione negativo a 10
Come reimpostare la password?1.001.001.001.001.00Limite: non dice nulla
Ricompensa di validazione (media)0.630.750.660.910.92Guadagno reale; piatto dopo 15
Lettura dell'esecuzione illustrativa qui sopra
  1. Le prime due domande partono dal basso e salgono: le risposte si sono avvicinate ai fatti presenti nelle Sue risposte di riferimento. Questo è l'apprendimento per cui ha effettuato l'addestramento.
  2. La terza scende a 0,32 al passaggio 10 e recupera a 0,88 e 0,94. Un campione scadente, non una tendenza, ma trascina la media del passaggio 10 verso il basso rispetto a dove sarebbe altrimenti.
  3. La quarta ottiene 1,00 per tutto il tempo. Aveva già ricevuto una buona risposta prima dell'addestramento, quindi non può mostrare nulla.
  4. La ricompensa di convalida sale da 0,63 a 0,92, ma 0,91 al passaggio 15 e 0,92 al passaggio 20 sono quasi identici. Il checkpoint del passaggio 15 è probabilmente valido quanto il modello finale.

Ricompensa di convalida vs ricompensa di addestramento

Il fornitore riporta due ricompense. La ricompensa di addestramento è il punteggio medio del valutatore sulle domande su cui il modello si sta addestrando in quello step; tali domande cambiano da uno step all'altro, quindi il numero oscilla, e un modello può aumentarlo migliorando esattamente su quei prompt. La ricompensa di validazione è la media dei controlli esclusi: le stesse domande ogni volta, mai usate per l'addestramento. Riponga in essa maggiore fiducia, per lo stesso motivo per cui la perdita di validazione è preferibile alla perdita di addestramento. La documentazione di OpenAI la descrive allo stesso modo: i valori della ricompensa di addestramento “possono fluttuare drasticamente da uno step all'altro”, mentre la ricompensa di validazione è “una metrica più stabile”.

Controlli e checkpoint

I fornitori di solito salvano un checkpoint agli stessi step dei controlli. Quindi, se i controlli smettono di migliorare a metà, il checkpoint corrispondente potrebbe essere altrettanto valido quanto il modello finale, e un'esecuzione più breve sarebbe costata meno. Il fine-tuning di rinforzo in hosting viene fatturato per ora di addestramento e i modelli di ragionamento scrivono risposte lunghe, quindi ogni step è lento: notare dove i controlli si appiattiscono rappresenta un risparmio diretto sull'esecuzione successiva.

Su cosa si addestra il modello

Il fine-tuning di rinforzo utilizza le stesse chat dell'addestramento supervisionato, trasformate in una riga per risposta, che termina con tale risposta. La conversazione fino alla risposta costituisce il prompt; la risposta stessa diventa un riferimento che solo il valutatore vede. Una chat con tre risposte produce tre righe, e il riferimento di ciascuna riga è solo la sua ultima risposta, mentre le risposte precedenti vengono mantenute nel prompt come contesto.

Riga 1
sviluppatore: le Sue istruzioniutente 1→risposta 1riferimento, visto solo dal valutatore
Riga 2
sviluppatore: le Sue istruzioniutente 1risposta 1utente 2→risposta 2riferimento, visto solo dal valutatore
Riga 3
sviluppatore: le Sue istruzioniutente 1risposta 1utente 2risposta 2utente 3→risposta 3riferimento, visto solo dal valutatore
Una chat con tre risposte diventa tre righe di rinforzo. Ogni riga termina con una risposta: tutto ciò che la precede è il prompt, e solo quella risposta costituisce il riferimento con cui il valutatore effettua il confronto. Per i modelli di ragionamento in hosting, le istruzioni di sistema viaggiano come messaggio sviluppatore.
Una chat, tre righe
chat:  system · user 1 · reply 1 · user 2 · reply 2 · user 3 · reply 3

row 1  prompt: developer · user 1                                   reference: reply 1
row 2  prompt: developer · user 1 · reply 1 · user 2                reference: reply 2
row 3  prompt: developer · user 1 · reply 1 · user 2 · reply 2 · user 3   reference: reply 3

I modelli di ragionamento in hosting (la serie o) non accettano un messaggio system negli esempi di rinforzo. Le stesse istruzioni vanno in un messaggio developer, che questi modelli trattano nel modo in cui gli altri modelli trattano system; un file di addestramento contenente un messaggio di sistema in quella posizione non supera la validazione.

Una riga di rinforzo per un modello di ragionamento ospitato
{"messages": [
   {"role": "developer", "content": "You are Scalata's support assistant. Be brief."},
   {"role": "user",      "content": "How do I share a report with a client?"}],
 "reference": "Open the report → Share → pick the client. They get an email link."}

Metriche

Ricompensa di validazioneTipico Dovrebbe tendere al rialzo dallo step 0; alti e bassi tra i controlli sono normali#

Il punteggio medio del valutatore sui controlli esclusi in un determinato step. Le stesse domande ogni volta, mai usate per l'addestramento, quindi è un segnale più stabile e onesto rispetto alla ricompensa di addestramento. Una ricompensa di validazione in aumento indica un apprendimento che si generalizza; una che si appiattisce segna il punto in cui un'esecuzione più breve sarebbe stata sufficiente.

Step 0Tipico La base di riferimento per ogni domanda#

Il controllo prima di qualsiasi addestramento: le risposte del modello di partenza alle domande di validazione. Ogni controllo successivo viene letto rispetto ad esso. Una domanda che è già alta allo step 0 ha poco margine per mostrare miglioramenti.

Limite massimoTipico Al massimo alcune per esecuzione#

Una domanda che ottiene un punteggio di 1.00 dallo step 0 in poi. Il valutatore non può assegnare un punteggio superiore, quindi non può mostrare alcun cambiamento. Alcune sono normali; molte indicano che il valutatore o le domande di validazione sono troppo facili per misurare i progressi.

Errori comuni

  • Leggere una sola scheda. Un singolo controllo è una risposta campionata; valuti la tendenza attraverso i controlli e le domande.
  • Riporre fiducia in una ricompensa di addestramento in aumento quando la ricompensa di validazione è piatta. Il modello potrebbe adattarsi eccessivamente ai prompt di addestramento o ingannare il valutatore.
  • Ignorare i limiti massimi. Le domande costantemente a 1.00 gonfiano la media e nascondono eventuali cambiamenti.
  • Utilizzare sempre il modello finale. Se i controlli si sono appiattiti a metà, il checkpoint corrispondente è altrettanto valido e l'esecuzione successiva può essere più breve.
  • Scrivere un messaggio di sistema in file di rinforzo creati manualmente per i modelli della serie o. Utilizzi invece un messaggio sviluppatore.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01Reinforcement fine-tuningOpenAI API docs · developers.openai.comIl servizio RFT in hosting: file di validazione, ricompensa di addestramento e di validazione, e checkpoint.
  2. 02GradersOpenAI API docs · developers.openai.comCome sono definiti i valutatori del fornitore e cosa leggono da ciascuna riga.
  3. 03Fine-tune a model with reinforcement fine-tuning in Microsoft FoundryMicrosoft Learn · learn.microsoft.comFine-tuning di rinforzo dei modelli di ragionamento su Azure, inclusi i dati di validazione.
  4. 04Scaling Laws for Reward Model OveroptimizationGao, Schulman & Hilton, 2022 · arXiv · arxiv.orgPerché un punteggio rispetto al quale il modello è ottimizzato può aumentare mentre la vera qualità diminuisce.
MetodoReinforcement fine-tuning (RFT)Il reinforcement fine-tuning addestra un modello sui punteggi anziché su risposte di esempio: risponde a ogni prompt diverse volte, un correttore valuta ogni tentativo e il modello si orienta verso ciò che ha ottenuto il punteggio migliore.MetricaMetriche RFT da monitorareRicompensa, tasso di troncamento, dispersione della ricompensa e lunghezza del completamento: i quattro grafici che indicano se un'esecuzione di rinforzo sta imparando, è in stallo o sta manipolando il suo valutatore.ImpostazioneValutatori: come vengono valutate le risposteUn valutatore trasforma una risposta in un numero compreso tra 0 e 1. Nel fine-tuning con rinforzo è l'unica definizione di "buono" che il modello vede, quindi la scelta del valutatore decide cosa impara il modello.ConcettoCheckpoint: quando il modello di base non è più disponibileI checkpoint sono copie del modello che il provider salva durante l'addestramento. Quando il modello di base non può più essere distribuito, il confronto del modello finale con un checkpoint precedente mostra se i passaggi di addestramento successivi sono stati utili.Fase della pipelineSplit di validazioneUna quota di conversazioni viene esclusa dall'addestramento e utilizzata per osservare la loss su dati da cui il modello non apprende. La suddivisione avviene per intere conversazioni, in modo che nessuna parte di una chat riservata contamini l'addestramento — e non coincide con il set di test conservato per la valutazione.Best practiceReward hackingIl reward hacking si verifica quando un modello aumenta il proprio punteggio senza migliorare nell'attività, sfruttando ciò che il valutatore non riesce a controllare. È il motivo principale per cui il fine-tuning per rinforzo fallisce.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite