ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Cosa accade durante l'addestramento

Concetto

Modelli open-weight

Un modello open-weight è un modello i cui pesi addestrati vengono pubblicati affinché chiunque possa scaricarli, in modo che possa essere sottoposto a fine-tuning ed eseguito sull'hardware prescelto. La sua licenza stabilisce cosa è possibile farne, e la versione di partenza è tanto importante quanto la famiglia di appartenenza.

Capitolo 6Lettura di 5 min4 riferimenti

Che cos'è

Un modello chiuso, come Gemini o GPT, risiede solo sui server del suo fornitore. Potete sottoporlo a fine-tuning tramite il fornitore, ma non potrete mai scaricarlo, quindi non può essere addestrato sulla vostra macchina. Un modello open-weight viene pubblicato come file di pesi che chiunque può scaricare: Qwen, Llama, Mistral, Phi e Gemma, la famiglia aperta di Google, tra gli altri. I pesi aperti non sono la stessa cosa dell'open source: i dati di addestramento e il codice spesso non vengono pubblicati, e la licenza stabilisce cosa potete fare con il modello.

Il compromesso è tra controllo e convenienza. Con i pesi aperti scegliete l'hardware, conservate il modello addestrato e potete eseguirlo ovunque desideriate, anche completamente offline. Con un modello chiuso il fornitore gestisce l'hardware, ma il modello ottimizzato rimane sui suoi server e può essere utilizzato solo tramite il suo servizio.

Cosa controllare prima di sceglierne uno

Esempio di modello instruct da 7Bopen-weight · testo in ingresso, testo in uscita✓Pesi apertii file dei pesi possono essere scaricati✓Formatosafetensors✓PrecisioneBF16, non FP8 o MXFP4✓Dimensioni7B · circa 17 GB per l'addestramento con LoRA✓Rilascioinstruct, pronto per i dati di chatiLicenzada leggere; stabilisce cosa è consentito fareiGatedda accettare una volta su Hugging Face
Cosa controllare sulla pagina di un modello prima di effettuarne il fine-tuning, per un modello illustrativo da 7B. I primi cinque determinano se si tratta di un punto di partenza sensato; licenza e gating sono condizioni che è necessario leggere e accettare personalmente.
  • Dimensioni, che stabiliscono la memoria di cui una macchina ha bisogno per addestrarlo.
  • Licenza. Molti modelli utilizzano licenze permissive come Apache 2.0; altri hanno i propri termini, come la licenza comunitaria di Llama o i termini di utilizzo di Gemma. Leggeteli prima di utilizzare un modello a fini commerciali.
  • Gating, ovvero se Hugging Face richiede di accettare i termini prima del download.
  • Formato. Preferite i pesi in safetensors, un formato di file che contiene solo numeri, in modo che il suo caricamento non possa eseguire codice nascosto. I vecchi checkpoint basati su pickle possono eseguire codice quando vengono caricati.
  • Architettura e strumenti. Una nuova architettura può richiedere tempo prima di essere supportata dalle comuni librerie di addestramento; una famiglia ben consolidata rappresenta un punto di partenza più sicuro.

Leggere una release

Una famiglia di solito pubblica diverse versioni per ogni dimensione. Un modello base viene addestrato solo per continuare il testo; un modello instruct (chat) viene ulteriormente ottimizzato per seguire le istruzioni; e spesso ci sono copie pre-quantizzate, in formati come FP8, MXFP4, GGUF o AWQ, realizzate per funzionare a basso costo. Il numero nel nome, come 7B, conta i parametri in miliardi e stabilisce quanta memoria richiede l'addestramento.

Solo a precisione completa

Alcuni modelli vengono pubblicati già compressi, in formati a 8 bit (FP8) o a 4 bit (MXFP4), per renderne più economica l'esecuzione. L'addestramento richiede la versione a precisione completa, poiché le piccole modifiche che l'addestramento apporta a ciascun peso si perdono in numeri così approssimativi. Cercate la versione in BF16, ad esempio le versioni di Ministral 3 che terminano in -BF16. QLoRA comprime autonomamente un modello a precisione completa, quindi parte anch'esso dalla versione BF16.

Scegliere una versione per il fine-tuning (illustrativo)
  1. Un modello instruct da 7B in safetensors BF16, Apache 2.0: un buon punto di partenza. LoRA richiede circa 2 × 7 + 3 ≈ 17 GB per addestrarlo.
  2. La versione FP8 dello stesso modello: più economica da eseguire, ma non un punto di partenza per l'addestramento. Utilizzate la versione BF16, oppure lasciate che QLoRA la quantizzi a 4 bit, circa 8 GB per l'addestramento.
  3. Un modello gated da 8B con licenza comunitaria: utilizzabile una volta accettati i suoi termini su Hugging Face, ma leggete la licenza per i limiti sull'uso commerciale prima di svilupparci sopra.

Modelli gated

Alcuni editori, tra cui Meta per Llama e Google per Gemma 3, limitano l'accesso ai propri modelli: è necessario accettare la licenza una volta sulla pagina Hugging Face del modello prima di poterlo scaricare. L'accesso è associato al Suo account Hugging Face, pertanto qualsiasi strumento che scarichi il modello per Suo conto deve agire per conto di un account che ha accettato i Termini e condizioni.

Modelli con capacità di elaborazione delle immagini

Alcuni modelli, come Gemma 3 e 4, Qwen3.5 e Ministral 3, possono anche leggere le immagini. Il loro fine-tuning su dati esclusivamente testuali addestra la componente linguistica; le loro capacità visive di solito rimangono pressoché inalterate, sebbene un addestramento intensivo basato solo sul testo possa indebolirle leggermente. Se le immagini sono importanti per la Sua attività, includa esempi di immagini o verifichi il comportamento con le immagini dopo l'addestramento.

Scegliere un modello di base

  • Compatibilità prima di tutto. Scegliete tra i modelli che il vostro hardware è in grado di addestrare: la regola empirica della pagina sulla memoria fornisce una risposta rapida.
  • Versioni instruct per le chat. La maggior parte delle famiglie pubblica una versione di base grezza e una versione instruct (chat). Per l'addestramento sulle conversazioni, la versione instruct segue già il formato della chat e necessita di meno esempi per comportarsi correttamente.
  • Spesso un modello più piccolo è sufficiente. Un modello piccolo sottoposto a fine-tuning su un'attività specifica può eguagliare un modello generale molto più grande su tale attività, e si addestra e risponde più velocemente. Provate prima un modello piccolo e passate a uno più grande solo se la valutazione mostra che non è all'altezza.
  • Lingue e dominio. Le famiglie differiscono nella capacità di gestire lingue diverse dall'inglese, codice o documenti lunghi. Una rapida chat di prova con il modello di base mostra il suo punto di partenza.

Errori comuni

  • Cercare i pesi di Gemini o GPT da scaricare. Sono chiusi; Gemma è la famiglia open-weight di Google.
  • Partire dalla versione FP8 o MXFP4 di un modello invece che dalla sua versione BF16.
  • Dimenticare di accettare la licenza di un modello gated su Hugging Face prima della prima esecuzione.
  • Presumere che pesi aperti significhi che qualsiasi uso è consentito. È la licenza a decidere.
  • Scegliere un modello di grandi dimensioni prima di verificare se entrerà in memoria per l'addestramento.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01Gated modelsHugging Face Hub docs · huggingface.coCome funzionano le limitazioni di accesso e come viene richiesto e concesso l'accesso.
  2. 02LicensesHugging Face Hub docs · huggingface.co
  3. 03SafetensorsHugging Face docs · huggingface.coIl formato dei pesi che archivia i tensori in modo sicuro, senza codice eseguibile.
  4. 04Downloading modelsHugging Face Hub docs · huggingface.co
ConcettoIl pre-addestramento e il modello di baseCome un modello linguistico apprende il linguaggio in primo luogo, cosa sa già il modello di base da cui si parte e perché il fine-tuning lo regola anziché ricostruirlo.Best practiceScegliere un metodo di addestramentoIl metodo di addestramento corretto dipende principalmente dai dati che ha già a disposizione e dal cambiamento che desidera ottenere. Le chat insegnano le risposte, le coppie insegnano le preferenze, i punteggi insegnano le competenze verificabili, i documenti insegnano la conoscenza e un modello di grandi dimensioni può insegnare a uno più piccolo.Best practiceCi sarà spazio per il modello? Memoria per l'addestramentoL'addestramento richiede spazio per i pesi del modello, i suoi gradienti e lo stato dell'ottimizzatore, oltre alla memoria di lavoro. Una semplice regola empirica, circa 2 GB per miliardo di parametri per LoRA e 12 GB per il full fine-tuning, permette di sapere prima di iniziare se un modello è adatto alla propria macchina.MetodoQLoRA (LoRA a 4 bit)QLoRA addestra un normale adapter LoRA su un modello di base archiviato a 4 bit anziché a 16. La memoria di addestramento si riduce a circa un terzo, consentendo alla stessa macchina di effettuare il fine-tuning di un modello circa tre volte più grande, con un lieve impatto sulla velocità.MetodoLoRA e adattatori (PEFT)LoRA congela il modello di base e addestra due piccole matrici accanto a layer selezionati, il cui prodotto viene aggiunto ai pesi congelati. Riduce drasticamente i pesi addestrabili e la memoria e, se ben configurato, eguaglia il fine-tuning completo sui tipici set di dati di fine-tuning.ConcettoDataset pubblici da Hugging FaceCosa contiene un dataset pubblico di Hugging Face, i formati comuni in cui si presentano tali dataset e perché alcuni dataset diventano chat, altri documenti e altri ancora non possono essere utilizzati affatto per l'addestramento.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite