Perché la qualità domina
Il fine-tuning supervisionato ha un'unica fonte di verità: i vostri esempi. Il modello non è in grado di distinguere una risposta approssimativa da una accurata, pertanto le apprende entrambe. Un piccolo set di esempi corretti e coerenti di solito supera un ampio set di esempi misti. Lo studio LIMA (2023) ha illustrato chiaramente questo punto: un modello da 65 miliardi di parametri, sottoposto a fine-tuning su soli 1.000 esempi accuratamente selezionati, ha fornito risposte che le persone hanno valutato equivalenti o migliori rispetto a quelle di GPT-4 nel 43% dei casi.
Le cinque proprietà
| Proprietà | Cosa significa | Come verificare |
|---|---|---|
| Corretto | Ogni target è esatto: fatti, passaggi, numeri, nomi. | Far leggere 30–50 target casuali a qualcuno che conosca l'argomento. |
| Coerente | Domande simili ottengono risposte strutturate in modo simile. | Raggruppare le risposte per argomento e confrontarle fianco a fianco; concordare prima uno stile aziendale. |
| Vario | Domande brevi, vaghe, articolate in più parti e di follow-up, non solo quelle ben formulate. | Elencare i tipi di domande ricevute e verificare che ciascuna sia presente. |
| Mirato | Un'attività ben definita, o alcune nettamente separate. | Siete in grado di descrivere cosa dovrebbe fare il modello in due frasi? |
| Rappresentativo | Gli input assomigliano a ciò che il modello vedrà nell'uso reale. | Confrontare il mix di argomenti e lunghezze con il traffico reale. |
Quanti esempi
Non esiste un numero universale, ma ci sono intervalli utili. Le attività circoscritte con un formato chiaro — rispondere a un tipo di domanda con uno stile fisso, classificare una richiesta — mostrano spesso un effetto evidente con poche centinaia di esempi. Gli assistenti generici che coprono molti argomenti ne richiedono migliaia. La guida al fine-tuning di OpenAI riporta miglioramenti a partire da 50–100 esempi e suggerisce di iniziare con circa 50 esempi ben strutturati, valutarli e aggiungerne altri in seguito. Una maggiore quantità di dati è più utile quando aggiunge varietà; aggiungere dati dello stesso tipo aumenta i costi senza apportare grandi benefici.
Duplicati e ripetizioni
Una conversazione che compare due volte viene utilizzata due volte per l'addestramento, e una risposta preimpostata usata come target per cinquanta domande diverse insegna al modello a riprodurla ovunque. La ricerca sui dati di pre-addestramento mostra quanto sia importante la ripetizione: la rimozione dei quasi-duplicati dai set di addestramento comuni ha permesso ai modelli di riprodurre testo memorizzato circa dieci volte meno frequentemente. Su scala di fine-tuning, il sintomo è un modello ripetitivo che abusa di poche frasi fatte.
Target che si basano su fatti nuovi
Prestate attenzione ai target basati principalmente su fatti che il modello di base non ha mai visto. Uno studio del 2024 di Gekhman e colleghi ha rilevato che i modelli apprendono tali esempi più lentamente rispetto a quelli coerenti con ciò che già conoscono e che, man mano che li apprendono, diventano più inclini alle allucinazioni. Ove possibile, fornite fatti specializzati o mutevoli al momento della richiesta e utilizzate il dataset per insegnare come usarli.
- Inizio: 600 chat di supporto con 900 target candidati.
- Correttezza: un revisore legge 50 target casuali e ne trova 6 con un nome di menu obsoleto. Una ricerca ne trova altri 40 con lo stesso problema; tutti vengono corretti.
- Coerenza: alle domande sulle password viene risposto in tre formati diversi. Il team ne sceglie uno e corregge gli altri.
- Varietà: le domande molto brevi (“esportare?”) rappresentano il 15% del traffico reale ma sono quasi assenti dal dataset, quindi vengono aggiunte 60 chat di questo tipo.
- Ripetizioni: una risposta predefinita è il target 70 volte; il limite di Data Prep sulle risposte ripetute le impedisce di dominare.
- Risultato: meno target utilizzabili rispetto all'inizio, ma ognuno insegna il comportamento che Lei desidera.
Errori comuni
- Aggiungere più esempi dello stesso tipo invece di coprire le tipologie mancanti.
- Addestrare su tutto ciò che è stato detto anziché su ciò che si sarebbe dovuto dire.
- Mescolare diversi stili di risposta perché le risposte sono state scritte da persone diverse.
- Tralasciare domande brevi, vaghe e formulate male perché fanno sembrare disordinato il dataset.
- Dare per scontato che la pulizia automatica verifichi la correttezza delle risposte.
Riferimenti e letture di approfondimento
Le fonti esterne si aprono in una nuova scheda.
- 01LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.org1.000 esempi scelti con cura e i risultati ottenuti.
- 02Deduplicating Training Data Makes Language Models BetterLee et al., 2021 · arXiv · arxiv.orgIl costo misurato dei dati di addestramento duplicati.
- 03Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?Gekhman et al., 2024 · arXiv · arxiv.orgPerché i target pieni di fatti non familiari possono rivelarsi controproducenti.
- 04Supervised fine-tuningOpenAI API docs · developers.openai.comI consigli di un provider su quanti esempi utilizzare per iniziare.
- 05Datasets: Data characteristicsGoogle Machine Learning Crash Course · developers.google.comUna breve introduzione sull'affidabilità e la qualità dei dati.