ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Valutazione

Concetto

Checkpoint: quando il modello di base non è più disponibile

I checkpoint sono copie del modello che il provider salva durante l'addestramento. Quando il modello di base non può più essere distribuito, il confronto del modello finale con un checkpoint precedente mostra se i passaggi di addestramento successivi sono stati utili.

Capitolo 8Lettura di 5 min4 riferimenti

Cos'è

Durante l'addestramento il provider salva il modello in alcuni momenti: alcuni provider alla fine di ogni epoca, altri a fasi fisse come la fase 5 e la fase 10 di un'esecuzione a 10 fasi. Ogni copia salvata è un checkpoint: un modello completo e ottimizzato che può essere distribuito e interrogato come qualsiasi altro. L'ultimo checkpoint è solitamente identico al modello finale.

I checkpoint sono fondamentali quando la normale valutazione smette di funzionare. Una valutazione comparativa richiede che il modello di base e il modello addestrato siano in esecuzione contemporaneamente. I provider ritirano i modelli secondo una pianificazione e, una volta che un modello è contrassegnato come in fase di deprecazione, non sono consentite nuove distribuzioni, spesso settimane prima della data di ritiro ufficiale. I modelli già addestrati su di esso possono ancora essere distribuiti; la base stessa no. Il confronto diretto con la base non è più possibile e rimangono due alternative: confrontare con un checkpoint precedente o valutare il modello singolarmente.

Come funziona il confronto

UNA ESECUZIONE DI ADDESTRAMENTO12345678910checkpoint · passaggio 5passaggio 10 = finalePASSAGGI DI ADDESTRAMENTO
Modello di basein via di deprecazione · nessuna nuova distribuzioneDistribuzione 1 · checkpoint passaggio 5fatturato all'ora durante l'esecuzione⇄Distribuzione 2 · modello finalefatturato all'ora durante l'esecuzione
checkpoint salvato: un modello che è possibile distribuirenon può più essere distribuito
Un'esecuzione di 10 passaggi salva i checkpoint al passaggio 5 e al passaggio 10. Il checkpoint del passaggio 10 è il modello finale, quindi il confronto utile è tra il modello finale e un checkpoint precedente. Entrambi sono modelli ottimizzati e necessitano di una propria distribuzione ospitata durante l'esecuzione della valutazione.

Il modello finale e un checkpoint precedente della stessa esecuzione rispondono alle stesse domande escluse dall'addestramento e il giudice li confronta alla cieca, esattamente come confronterebbe il modello ottimizzato e quello di base. La differenza sta nel significato del risultato. Il checkpoint iniziale contiene già la prima parte dell'addestramento, quindi il confronto isola le fasi tra il checkpoint e la fine.

ConfrontoRisposteNon risponde
Finale contro baseL'addestramento è stato utile?Quale parte dell'addestramento è stata utile
Checkpoint finale vs inizialeI passaggi successivi sono stati utili?Se il modello supera l'originale
Checkpoint finale vs ultimo checkpointQuasi nulla: di solito sono lo stesso modelloQualsiasi indicazione utile — ci si aspettano per lo più pareggi
Valutato singolarmenteQuanto sono valide le risposte in termini assoluti?Qualsiasi miglioramento rispetto a un altro modello

Interpretazione del risultato

  • Il finale vince nettamente. Le fasi successive hanno apportato un miglioramento reale. L'intera durata dell'esecuzione è valsa la pena.
  • Prevalenza di pareggi, medie quasi uguali. Le fasi successive hanno cambiato poco. Un'esecuzione più breve — meno fasi o epoche — avrebbe probabilmente ottenuto lo stesso risultato a una frazione del costo di addestramento. Se anche i controlli esclusi dall'addestramento si erano appiattiti in corrispondenza del checkpoint, i due segnali coincidono.
  • Il checkpoint vince. L'addestramento oltre quel punto ha peggiorato le risposte, un classico segno di overfitting: il modello è migliorato all'inizio, poi ha iniziato a memorizzare. La prossima volta, addestrare per un numero inferiore di fasi o epoche.

Costi e tempi

Ogni checkpoint è un modello ottimizzato a sé stante, quindi necessita della propria distribuzione in hosting. Durante la valutazione vengono distribuiti sia il modello finale che il checkpoint, ciascuno fatturato all'ora, quindi l'hosting viene pagato due volte. Per una piccola valutazione il costo è costituito principalmente dal tempo di hosting, non dai token.

I modelli di ragionamento rispondono lentamente. I modelli che elaborano prima di rispondere possono impiegare circa un minuto per coppia di domande, mentre un normale modello di chat risponde a un'intera piccola valutazione in un minuto o due. Venti domande possono quindi mantenere due distribuzioni in esecuzione per un quarto d'ora o più, e il tempo di hosting, e di conseguenza il costo, cresce di pari passo.

Esempio pratico: il modello di base è in fase di ritiro (illustrativo)
  1. Un'esecuzione di rinforzo a 10 fasi è terminata su un modello di ragionamento che da allora è stato contrassegnato come in fase di deprecazione. Il modello addestrato può ancora essere distribuito; quello di base no.
  2. Il provider ha salvato dei checkpoint alla fase 5 e alla fase 10. La fase 10 è il modello finale, quindi il confronto è finale contro fase 5, su 24 domande di test escluse dall'addestramento.
  3. Risultato: il finale vince 6 volte, la fase 5 vince 7 volte, 11 pareggi. I punteggi medi del giudice sono 3,6 per entrambi.
  4. Interpretazione: le fasi 6–10 non hanno cambiato quasi nulla e anche i controlli esclusi dall'addestramento si erano appiattiti già alla fase 5. Un'esecuzione a 5 fasi avrebbe probabilmente ottenuto lo stesso risultato, a circa metà del costo di addestramento.
  5. Costo: due distribuzioni sono state eseguite per circa 25 minuti, poiché il modello di ragionamento risponde lentamente. La maggior parte del costo della valutazione è dovuta all'hosting. Per capire la qualità del modello in termini assoluti, il passo successivo è valutarlo singolarmente.

Impostazioni

Checkpoint con cui effettuare il confrontoTipico un checkpoint iniziale o intermedio, ad es. a metà percorso#

Quale punto salvato della stessa esecuzione funge da “base”. Un checkpoint iniziale o intermedio isola ciò che è stato aggiunto dai passaggi successivi; l'ultimo checkpoint è di solito il modello finale e produce per lo più pareggi.

Errori comuni

  • Confrontare con l'ultimo checkpoint e interpretare i pareggi come “l'addestramento non è servito a nulla”.
  • Interpretare una vittoria su un checkpoint iniziale come prova che il modello supera la base originale.
  • Dimenticare che entrambe le versioni sono distribuite: l'hosting si paga due volte.
  • Rimandare la valutazione fino al ritiro del modello di base — confrontare con la base finché può ancora essere distribuita.
  • Ignorare un pareggio con il checkpoint invece di abbreviare l'esecuzione successiva.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01Supervised fine-tuningOpenAI API docs · developers.openai.comCome un provider salva checkpoint utilizzabili durante l'addestramento e perché uno precedente può rivelarsi il modello migliore.
  2. 02Foundry Models lifecycle and support policyMicrosoft Learn · learn.microsoft.comCosa significano “deprecato” e “ritirato” per la creazione di nuovi deployment di un modello.
  3. 03DeprecationsOpenAI API docs · developers.openai.comIl programma pubblicato da un provider relativo alla dismissione dei modelli.
  4. 04Early stoppingWikipedia · en.wikipedia.orgPerché un addestramento più lungo può peggiorare un modello sui nuovi dati e come capire quando fermarsi.
ConcettoModello di base e ottimizzato a confrontoUna valutazione pone al modello di partenza e al modello addestrato le stesse domande tenute da parte e ne confronta le risposte, in modo che Lei possa vedere se l'addestramento ha effettivamente migliorato le risposte.MetodoValutare un modello singolarmenteInvece di confrontare due risposte, il giudice legge una singola risposta accanto alla conversazione e alla risposta di riferimento, assegnando un punteggio da 1 a 5 per ogni criterio. Il risultato è un punteggio di qualità assoluto: nessuna vittoria e nessuna misura di miglioramento.MetricaControlli held-out nel fine-tuning con rinforzoQuando un fornitore esegue il fine-tuning di rinforzo su un modello di ragionamento in hosting, ripropone alcune domande di validazione escluse ogni pochi step e valuta le risposte con lo stesso valutatore. Ogni domanda diventa una cronologia che mostra se l'addestramento si generalizza a domande su cui il modello non si è mai addestrato.MetricaOverfitting e underfittingL'overfitting si verifica quando un modello memorizza i propri esempi di addestramento invece di apprenderne lo schema sottostante, ottenendo così buoni risultati su quegli esempi e risultati peggiori su quelli nuovi. L'underfitting è l'opposto: non ha appreso affatto lo schema.ConcettoEpoca, batch e stepUn batch è il gruppo di esempi alla base di un aggiornamento dei pesi, uno step è un singolo aggiornamento e un'epoca è un passaggio completo sui dati di addestramento. Insieme determinano la frequenza con cui il modello cambia e quante volte analizza ciascun esempio.ConcettoServerless vs dedicatoIl serving serverless fattura per token su capacità condivisa senza costi di inattività; un deployment dedicato riserva le GPU per il modello e fattura per ogni ora di esistenza. La convenienza dipende dall'utilizzo.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite