ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Cosa accade durante l'addestramento

Impostazione

Tasso di apprendimento

Il tasso di apprendimento stabilisce di quanto si spostano i pesi a ogni aggiornamento. È l'impostazione di addestramento più sensibile: se troppo alto va oltre il limite e può cancellare le competenze, se troppo basso cambia a malapena il modello. Una pianificazione solitamente lo incrementa con un warm-up per poi farlo decadere nel corso dell'esecuzione.

Capitolo 6Lettura di 4 min5 riferimenti

Che cos'è

Ogni fase di addestramento calcola, per ciascun peso, quale direzione ridurrebbe la loss. Il tasso di apprendimento decide quanto procedere in tale direzione. Si tratta di un singolo numero, solitamente scritto in notazione scientifica: 1e-5 significa 0,00001. Sembra minuscolo perché un modello ha miliardi di pesi e ogni fase li sposta tutti contemporaneamente; piccole modifiche individuali si sommano creando un grande cambiamento nel comportamento.

L'aggiornamento e come interpretare la notazione
new weight = old weight − learning rate × (gradient, as scaled by the optimizer)

1e-4 = 0.0001      2e-5 = 0.00002      1e-5 = 0.00001

Con Adam e AdamW, il gradiente viene prima normalizzato per peso, in modo che il tasso di apprendimento sia vicino all'entità effettiva della modifica di ciascun peso per fase, indipendentemente dalla dimensione grezza del gradiente. Questo è il motivo per cui i tassi tipici si trasferiscono in modo ragionevole tra modelli di dimensioni simili e per cui un tasso dieci volte troppo alto rappresenta un problema grave anziché di lieve entità.

Troppo basso, adeguato, troppo alto

perdita di addestramentostep di addestramento →troppo bassoottimaletroppo altoaltobasso
Gli stessi dati addestrati con tre tassi di apprendimento. Troppo basso: la perdita scende lentamente e l'esecuzione termina prima che il modello abbia appreso molto. Ottimale: un calo rapido, seguito da un appiattimento costante. Troppo alto: un inizio rapido, poi una curva frastagliata che risale poiché gli aggiornamenti eccedono.
Cosa si osservaCausa probabileDa provare
La loss diminuisce molto lentamente; le risposte differiscono a malapena dal modello di baseTroppo bassoAumentarlo, ad es. con un moltiplicatore di 1,5–2
Un calo rapido, poi un appiattimento graduale seguito dalla loss di validazioneAdeguatoMantenerlo
La loss è irregolare, presenta picchi o risale; le risposte diventano ripetitive o straneTroppo altoDimezzarlo; aggiungere o prolungare il warm-up
La loss di addestramento diminuisce rapidamente ma la loss di validazione aumenta prestoTroppo alto per questa dimensione dei dati, o troppe epocheRidurre il tasso o il numero di epoche
La loss diventa NaN (not a number)Decisamente troppo alto, o un problema numericoRidurlo in modo sostanziale

Un tasso troppo elevato peggiora anche il forgetting: aggiornamenti ampi sovrascrivono le competenze generali che il modello di base possedeva, anche quando la loss sui Suoi dati appare adeguata.

Pianificazioni: warm-up e decadimento

  • Warm-up. Per i primi punti percentuali delle fasi, il tasso sale in modo lineare da quasi zero al suo picco. All'inizio le medie mobili di Adam si basano su pochissimi gradienti, quindi passi di dimensioni complete rischiano di causare una prima mossa errata. Il warm-up graduale è stato reso popolare per l'addestramento con batch di grandi dimensioni ed è ora una pratica standard.
  • Decadimento. Dopo il picco, il tasso diminuisce verso lo zero, in modo che gli ultimi aggiornamenti apportino regolazioni di precisione anziché saltare attorno a una buona soluzione. Il decadimento lineare lo riduce in linea retta ed è l'impostazione predefinita nel Trainer di Hugging Face. Il decadimento del coseno segue mezza onda del coseno: rimane alto più a lungo, per poi attenuarsi.
  • Costante. Alcune esecuzioni brevi mantengono il tasso piatto dopo il warm-up. È semplice e va bene quando ci sono solo poche fasi.
WARM-UPpicco del tasso di apprendimentodecadimento cosinusoidaledecadimento linearetasso di apprendimentostep di addestramento →010%100%
Una tipica pianificazione del tasso di apprendimento. Il warm-up incrementa il tasso da quasi zero al suo picco durante i primissimi step, in modo che i primi aggiornamenti, più rumorosi, siano di piccola entità. Il tasso diminuisce poi verso lo zero, seguendo una curva cosinusoidale o una linea retta, in modo che gli ultimi aggiornamenti apportino regolazioni di precisione anziché grandi salti.
Warm-up, seguito da decadimento lineare o del coseno
warm-up (step < W):  lr = peak × step / W
linear decay:        lr = peak × (T − step) / (T − W)
cosine decay:        lr = peak × ½ × (1 + cos(π × (step − W) / (T − W)))

W = warm-up steps,  T = total steps

Valori tipici

Tipo di addestramentoTasso di apprendimento tipico
Fine-tuning completo di un modello linguistico (AdamW)Circa 1e-5
Adattatore LoRADa circa 1e-4 a 2e-4, approssimativamente 10× il tasso del fine-tuning completo
Tuning delle preferenze (DPO)Inferiore rispetto alla corrispondente esecuzione supervisionata
Fine-tuning per rinforzoPassi molto più piccoli; circa 1e-5 con LoRA
Modelli in hosting con un moltiplicatorePredefinito del provider × 0,5–2

Questi sono punti di partenza, non regole. Il tasso migliore dipende dal modello, dai dati e dalla dimensione del batch, e l'unico modo affidabile per trovarlo consiste nell'effettuare alcune esecuzioni confrontate sulla loss di validazione e sulla valutazione.

Perché i metodi di preferenza e RL utilizzano passaggi più piccoli

L'addestramento supervisionato apprende da risposte fisse e corrette. L'ottimizzazione delle preferenze e l'apprendimento per rinforzo apprendono da confronti e punteggi degli output del modello stesso, un segnale più rumoroso, e il loro scopo è solitamente quello di perfezionare un modello già funzionante. Passi ampi lo allontanerebbero molto da quel punto di partenza, dove le risposte possono deviare, allungarsi o iniziare a manipolare ciò che il segnale premia. Tassi inferiori mantengono modesto ogni aggiornamento.

Cosa significa un moltiplicatore nella pratica
  1. Supponiamo che il tasso predefinito del provider per questo modello e set di dati sia 2e-5. I provider in hosting solitamente non lo mostrano.
  2. Moltiplicatore 1: l'esecuzione utilizza 2e-5.
  3. Moltiplicatore 2: 4e-5. Vale la pena provarlo quando un'esecuzione completa ha modificato appena il modello.
  4. Moltiplicatore 0.5: 1e-5. Vale la pena provarlo quando la perdita di validazione è aumentata precocemente, o se le risposte a domande generali sono peggiorate rispetto al modello di base.
  5. Procedere per fattori di circa 2. Le regolazioni più piccole solitamente si perdono nel rumore tra un'esecuzione e l'altra.

Errori comuni

  • Aumentare il tasso di apprendimento per far sì che un piccolo set di dati insegni di più. Questo aggiunge principalmente instabilità; disporre di dati più numerosi o di migliore qualità è più utile.
  • Utilizzare un tasso di fine-tuning completo per LoRA, o un tasso LoRA per il fine-tuning completo: nel primo caso l'apprendimento è minimo, nel secondo si rischia di danneggiare il modello.
  • Saltare il warm-up con un tasso elevato, il che rende i primi aggiornamenti i più ampi e i meno informati.
  • Valutare il tasso basandosi esclusivamente sulla loss di addestramento. Un tasso troppo elevato può comunque mostrare una loss di addestramento in diminuzione, mentre la loss di validazione e le risposte peggiorano.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01OptimizationHugging Face Transformers docs · huggingface.coAdamW e le pianificazioni standard (lineare, del coseno, costante con warm-up) come implementate.
  2. 02SGDR: Stochastic Gradient Descent with Warm RestartsLoshchilov & Hutter, 2016 · arXiv · arxiv.orgHa introdotto la pianificazione del tasso di apprendimento del coseno, ora utilizzata nell'addestramento dei modelli linguistici.
  3. 03Accurate, Large Minibatch SGD: Training ImageNet in 1 HourGoyal et al., 2017 · arXiv · arxiv.orgPerché un warm-up graduale stabilizza l'inizio dell'addestramento.
  4. 04LoRA Without RegretThinking Machines Lab, 2025 · thinkingmachines.aiMisura il miglior tasso di apprendimento LoRA a circa dieci volte il tasso di fine-tuning completo.
  5. 05Learning rateWikipedia · en.wikipedia.org
ImpostazioneIperparametriGli iperparametri sono le impostazioni di addestramento da Lei scelte, come le epoche, il tasso di apprendimento, la dimensione del batch e il rango dell'adattatore, in contrapposizione ai pesi che il modello apprende. Auto li seleziona dai Suoi dati ed effettua una prima esecuzione ottimale; questa pagina illustra ciascun iperparametro per consentirLe di perfezionarli successivamente.ConcettoIl ciclo di addestramentoIl fine-tuning è una breve procedura ripetuta migliaia di volte: prevedere la risposta target, misurare l'errore della previsione, calcolare in quale direzione deve muoversi ciascun peso e spostarlo leggermente.MetricaInterpretare le curve di lossLa loss di addestramento indica quanto il modello si adatti agli esempi da cui apprende; la loss di validazione indica la sua capacità di prevedere esempi esclusi su cui non è mai stato addestrato. Il divario tra le due curve è il segnale più utile fornito da un'esecuzione di addestramento.MetodoLoRA e adattatori (PEFT)LoRA congela il modello di base e addestra due piccole matrici accanto a layer selezionati, il cui prodotto viene aggiunto ai pesi congelati. Riduce drasticamente i pesi addestrabili e la memoria e, se ben configurato, eguaglia il fine-tuning completo sui tipici set di dati di fine-tuning.MetricaOverfitting e underfittingL'overfitting si verifica quando un modello memorizza i propri esempi di addestramento invece di apprenderne lo schema sottostante, ottenendo così buoni risultati su quegli esempi e risultati peggiori su quelli nuovi. L'underfitting è l'opposto: non ha appreso affatto lo schema.MetodoTuning delle preferenze (DPO)La Direct Preference Optimization addestra un modello su coppie di risposte, una migliore e una peggiore, in modo che impari a preferire la tipologia migliore, senza il modello di ricompensa e il ciclo di apprendimento per rinforzo necessari nel classico RLHF.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite