Iperparametri

Quanti passaggi completi compie l'addestramento sui dati. Troppo pochi e il modello cambia a malapena; troppi e inizia a riprodurre gli esempi parola per parola (overfitting), il che si manifesta con un aumento della loss di validazione mentre la loss di addestramento continua a diminuire. I dataset di piccole dimensioni possono sopportare qualche epoca in più; quelli grandi spesso ne richiedono solo una. Il preference tuning di solito necessita di meno epoche rispetto all'addestramento supervisionato. Inoltre, ogni epoca si aggiunge al costo.

L'entità di ogni aggiornamento dei pesi. È l'impostazione più sensibile: se è troppo alta, gli aggiornamenti vanno oltre il limite, la perdita diventa irregolare e il modello può perdere le competenze acquisite; se è troppo bassa, l'esecuzione termina prima che il modello abbia imparato a sufficienza. I modelli in hosting spesso espongono un moltiplicatore invece di un tasso assoluto: il tasso predefinito del provider per quel modello e per i Suoi dati viene moltiplicato per il valore inserito, quindi 1 mantiene il valore predefinito, 2 lo raddoppia e 0,5 lo dimezza. I modelli aperti accettano un tasso assoluto, come circa 1e-4 per un adattatore LoRA o 1e-5 per un fine-tuning completo.

Quanti esempi vengono mediati in ogni aggiornamento dei pesi. I batch più grandi offrono aggiornamenti più fluidi e affidabili, ma in numero minore per epoca, e richiedono più memoria; i batch più piccoli si aggiornano più spesso ma con maggiore rumore. Quando si modifica la dimensione del batch, è opportuno riconsiderare anche il tasso di apprendimento: un batch più grande di solito tollera, e necessita di, un tasso maggiore. Su un dataset di piccole dimensioni, un batch molto grande lascia troppi pochi passaggi da cui apprendere.

Per l'addestramento degli adattatori su modelli aperti. Il rango delle due piccole matrici che LoRA addestra accanto a ogni livello, il quale stabilisce quanto l'adattatore può apprendere. Un rango di 4–16 è sufficiente per tono, stile e formato; dataset più ampi e ricchi di conoscenze possono richiederne uno maggiore. Ranghi più elevati costano di più in termini di memoria e tempo, e smettono di essere utili una volta che l'adattatore ha capacità sufficiente. La pagina LoRA tratta alfa, moduli di destinazione e dropout.

Per i primi step di addestramento, il tasso di apprendimento aumenta da quasi zero al suo valore massimo invece di iniziare a piena potenza. Nelle fasi iniziali, le statistiche in esecuzione dell'ottimizzatore si basano su pochissimi gradienti, quindi step di dimensioni massime rischiano di causare una prima mossa errata; un breve warm-up evita un avvio instabile. Viene indicato come numero di step o come percentuale di tutti gli step. Dopo il warm-up, il tasso di solito decade verso lo zero per il resto dell'esecuzione.