Impostazioni di distillazione

Il modello il cui comportamento viene trasmesso. La sua qualità sulle Sue domande rappresenta il limite massimo per lo studente, e anche i suoi errori, la lunghezza e lo stile vengono appresi; pertanto, è opportuno valutarlo rispetto allo studente prima della distillazione. In modalità off-policy, qualsiasi insegnante è idoneo poiché viene trasferito solo il testo, ma i servizi gestiti consentono esclusivamente le coppie insegnante → studente in elenco. In modalità on-policy, l'insegnante deve condividere il vocabolario dello studente, trattandosi quindi di un modello più grande della stessa famiglia, e deve risiedere sulla GPU accanto allo studente. Gli insegnanti pensanti, che ragionano a lungo prima di rispondere, sono preziosi per problemi complessi a più fasi; per risposte brevi in chat, un insegnante non pensante è solitamente più adatto a un piccolo studente.

Il modello più piccolo in fase di addestramento, nonché quello che verrà distribuito, determinando così i costi di esecuzione e la velocità. Un modello più piccolo è più economico e veloce, ma ha meno capacità di assorbire il comportamento dell'insegnante, e uno studente raramente supera il proprio insegnante. In Scalata, lo studente è il modello di base selezionato; i modelli che non possono fungere da studenti per l'insegnante o il provider scelto sono visualizzati in grigio, con l'indicazione del motivo.

Off-policy, sui servizi che la espongono: la risposta più lunga, in token, che il teacher può scrivere per ogni prompt. Risposte più lunghe costano più token di output del teacher e più token di addestramento dello student, e lo student impara tale lunghezza. Se troppo breve, le risposte del teacher vengono interrotte e lo student impara un testo troncato.

Solo on-policy: la risposta più lunga che lo student scrive per ogni prompt in ciascun passaggio. La generazione è la parte più lenta del passaggio, quindi questa è la leva principale sul tempo di GPU. Le risposte più lunghe del limite vengono interrotte e lo student riceve feedback solo sulla parte che ha scritto.

Solo on-policy: quale divergenza confronta student e teacher a ogni token. 0 è la KL forward: lo student cerca di coprire tutto ciò che il teacher potrebbe dire, producendo risposte più ampie e variegate che possono sfumare tra le opzioni. 1 è la KL reverse: lo student si concentra sulla risposta più probabile del teacher, risultando più netto e deciso. 0.5 è la divergenza di Jensen-Shannon, una miscela simmetrica, e i valori intermedi si interpolano. A differenza del β della KL nel reinforcement fine-tuning, questo β non àncora il modello al suo stato iniziale; sceglie la misura stessa.