ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Il quadro generale

Concetto

Il pre-addestramento e il modello di base

Come un modello linguistico apprende il linguaggio in primo luogo, cosa sa già il modello di base da cui si parte e perché il fine-tuning lo regola anziché ricostruirlo.

Capitolo 1Lettura di 5 min5 riferimenti

Cos'è il pre-addestramento

Un modello linguistico di grandi dimensioni nasce come miliardi di numeri — i suoi pesi, o parametri — impostati in modo casuale. Il pre-addestramento regola questi numeri mostrando al modello enormi quantità di testo (pagine web, libri, codice, opere di consultazione) e ponendogli, ripetutamente, una domanda: dato il testo fino a questo punto, cosa viene dopo? Ogni ipotesi errata modifica leggermente i pesi. Dopo trilioni di tentativi, il modello ha assimilato grammatica, fatti, stili, schemi di ragionamento e una vasta conoscenza del mondo, poiché tutti questi elementi aiutano a prevedere la parola successiva.

Questo obiettivo è chiamato previsione del token successivo (next-token prediction), o modellazione linguistica causale. Nessuno deve etichettare i dati: il testo è la sua stessa chiave di risposta, motivo per cui il pre-addestramento può utilizzarne in quantità così elevate.

Le dimensioni in gioco

Il pre-addestramento è di gran lunga la fase più costosa nella vita di un modello. GPT-3, descritto nel 2020, aveva 175 miliardi di parametri ed è stato addestrato su circa 300 miliardi di token. Lo studio Chinchilla di DeepMind (2022) ha poi dimostrato che, a parità di budget computazionale, i modelli dovrebbero elaborare molto più testo per parametro: il loro Chinchilla da 70 miliardi di parametri, addestrato su 1,4 trilioni di token, ha superato modelli notevolmente più grandi. Gli attuali modelli aperti vengono addestrati su molti trilioni di token, su migliaia di GPU, per settimane.

Questo è il motivo per cui nessuno che esegua il fine-tuning di un modello per uso personale ripete questa fase. È anche il motivo per cui il modello di partenza è così importante: le sue conoscenze, le sue lingue e la sua capacità di ragionamento stabiliscono il limite massimo di ciò che qualsiasi addestramento successivo può raggiungere.

Pre-addestramentomigliaia di miliardi di token di testo pubblicocreatore del modello · settimane su migliaia di GPU
→checkpoint di base grezzoInstruction tuningconversazioni di esempio e feedbackcreatore del modello · impara a seguire le richieste
→il modello di base di partenzaIl Suo fine-tuningda centinaia a migliaia di Suoi esempiLei · da minuti a ore
Tre fasi, molto diverse per scala. Quasi tutta la conoscenza di un modello deriva dalla prima; il Suo fine-tuning adatta il risultato della seconda.

Dal modello grezzo al modello di partenza

Un modello appena uscito dal pre-addestramento è abile nel continuare un testo, ma non nel seguire le istruzioni. Se gli si pone una domanda, potrebbe rispondere con altre tre domande, perché è così che si presenta gran parte del testo sul web. I creatori di modelli, pertanto, lo addestrano ulteriormente — tramite instruction tuning (fine-tuning supervisionato su conversazioni di esempio), solitamente seguito dal preference tuning basato sul feedback umano o dell'IA — per trasformarlo in un assistente. Il lavoro su InstructGPT di OpenAI ha dimostrato l'importanza di questo aspetto: le persone hanno preferito le risposte di un modello da 1,3 miliardi di parametri sottoposto a instruction tuning rispetto a quelle di GPT-3 da 175 miliardi di parametri, nonostante avesse oltre 100 volte meno parametri.

Le famiglie di modelli aperti vengono spesso pubblicate in entrambe le forme: un checkpoint "di base" grezzo e una versione "instruct" o "chat". In Scalata, e in questa guida, per modello di base si intende semplicemente il modello da cui parte un'esecuzione di addestramento. Nella pratica si tratta quasi sempre di un modello sottoposto a instruction tuning, pertanto i Suoi esempi dovranno insegnare solo ciò che è specifico per la Sua realtà.

Cosa il fine-tuning può e non può cambiare

Il fine-tuning utilizza lo stesso meccanismo del pre-addestramento — prevedere il token successivo, misurare l'errore, regolare i pesi — ma su centinaia o migliaia dei Suoi esempi invece che su trilioni di token. Su tale scala è molto efficace nel rimodellare il comportamento, e molto meno efficace nell'aggiungere conoscenza. La ricerca suggerisce che i modelli apprendono fatti genuinamente nuovi dal fine-tuning in modo lento, e che forzarli a farlo può renderli più inclini a inventare le risposte.

  • Cambia efficacemente: tono e stile, formato di output, lunghezza, fraseologia di dominio, gestione coerente di richieste ricorrenti, capacità di far svolgere a un modello piccolo una singola mansione come farebbe uno più grande.
  • Cambia scarsamente: grandi insiemi di nuovi fatti, informazioni che cambiano spesso e capacità di cui il modello di base è fondamentalmente privo — un modello piccolo non apprenderà il ragionamento avanzato da poche centinaia di chat.
  • Non cambia: l'architettura del modello, il suo tokenizer e la sua finestra di contesto.
Cosa offre già un modello di base
  1. Desidera un assistente che risponda alle domande sul Suo prodotto di fatturazione con il tono del Suo team di supporto.
  2. Il modello di base conosce già l'inglese, il funzionamento generale delle fatture, come essere cortese e come scrivere passaggi numerati — grazie al pre-addestramento e all'instruction tuning.
  3. Non conosce i nomi dei Suoi menu, le Sue policy o l'abitudine del Suo team di concludere con un link al centro di assistenza.
  4. Poche centinaia di chat di supporto di buona qualità possono insegnare il tono e il formato. I nomi dei menu e le policy vengono forniti in modo più efficace al momento della richiesta, tramite retrieval o prompt di sistema, affinché rimangano corretti in caso di modifiche.

Scegliere un modello di base

Tutto ciò che viene addestrato si basa sul modello di base, pertanto lo scelga con attenzione:

  • Capacità nel Suo task. Provi prima il modello di base su domande reali. Il fine-tuning affina ciò che è già presente; raramente crea abilità dal nulla.
  • Dimensioni e costi. I modelli più grandi possiedono maggiori conoscenze, ma comportano costi di addestramento ed esecuzione superiori. Un obiettivo comune è individuare il modello più piccolo in grado di svolgere adeguatamente il compito una volta eseguito il fine-tuning.
  • Lingue. Se i Suoi utenti scrivono in tedesco o giapponese, verifichi che il modello gestisca bene tali lingue; i dati di pre-addestramento sono solitamente dominati dall'inglese.
  • Limiti. La finestra di contesto e il limite di addestramento per esempio sono intrinseci al modello e non cambiano con l'addestramento.

Errori comuni

  • Aspettarsi che il fine-tuning insegni un ampio e mutevole insieme di fatti, come un catalogo prodotti completo o un listino prezzi.
  • Partire da un modello del tutto incapace di svolgere il compito e aspettarsi che poche centinaia di esempi risolvano il problema.
  • Scegliere un checkpoint pre-addestrato grezzo quando si intendeva utilizzare una versione sottoposta a instruction tuning dello stesso modello aperto.
  • Non testare prima il modello di base, non avendo così alcuna baseline con cui confrontare il modello addestrato.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01Language Models are Few-Shot LearnersBrown et al., 2020 · arXiv · arxiv.orgIl paper su GPT-3: cosa può fare da solo il pre-addestramento su larga scala.
  2. 02Training Compute-Optimal Large Language ModelsHoffmann et al., 2022 · arXiv · arxiv.orgLo studio Chinchilla su quanto testo dovrebbe essere utilizzato per addestrare un modello di determinate dimensioni.
  3. 03Training language models to follow instructions with human feedbackOuyang et al., 2022 · arXiv · arxiv.orgInstructGPT: come un modello pre-addestrato diventa un assistente in grado di seguire le istruzioni.
  4. 04How do Transformers work?Hugging Face LLM Course · huggingface.coUna semplice introduzione al pre-addestramento, al transfer learning e al fine-tuning.
  5. 05Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?Gekhman et al., 2024 · arXiv · arxiv.orgProve che i nuovi fatti vengono appresi lentamente nel fine-tuning e possono aumentare le allucinazioni.
ConcettoPrompting, recupero o fine-tuningTre modi per adattare un modello al vostro utilizzo: cosa cambia ciascuno di essi, quanto costa e come scegliere tra di essi o combinarli.ConcettoTokenI frammenti di testo che un modello effettivamente legge e scrive — come vengono creati, perché i conteggi differiscono tra i modelli e perché ogni limite e prezzo nell'addestramento viene misurato in essi.MetodoFine-tuning supervisionato (SFT)Il fine-tuning supervisionato addestra un modello tramite esempi: gli viene mostrata una conversazione e la risposta desiderata, e i suoi pesi vengono calibrati affinché tale risposta diventi più probabile, token dopo token.MetodoContinuare da un modello addestratoUn'esecuzione di addestramento può partire dai pesi di una delle Sue esecuzioni precedenti anziché dal modello di base, in modo che il modello mantenga ciò che ha appreso e aggiunga quanto insegnato dai nuovi dati. È così che si costruiscono le ricette in più fasi, come il fine-tuning supervisionato seguito da quello basato sulle preferenze.ConcettoModello di base e ottimizzato a confrontoUna valutazione pone al modello di partenza e al modello addestrato le stesse domande tenute da parte e ne confronta le risposte, in modo che Lei possa vedere se l'addestramento ha effettivamente migliorato le risposte.MetodoLoRA e adattatori (PEFT)LoRA congela il modello di base e addestra due piccole matrici accanto a layer selezionati, il cui prodotto viene aggiunto ai pesi congelati. Riduce drasticamente i pesi addestrabili e la memoria e, se ben configurato, eguaglia il fine-tuning completo sui tipici set di dati di fine-tuning.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite