ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Dalle chat agli esempi di addestramento

Concetto

Target (risposte addestrabili)

Le risposte dell'assistente che Lei sceglie di far apprendere al modello: come viene appreso un target, cosa lo rende valido e perché tutto ciò che lo precede è contesto.

Capitolo 3Lettura di 3 min4 riferimenti

Cos'è un target

Il fine-tuning supervisionato insegna tramite l'esempio: ecco una situazione, ecco la risposta che vogliamo. In una chat, la situazione è la conversazione fino a quel momento e la risposta è un messaggio dell'assistente. Le risposte che Lei contrassegna come degne di essere apprese sono i target, chiamati anche risposte addestrabili. Tutto ciò che precede un target è il suo contesto.

Un record di addestramento — l'ultimo messaggio è il target
{"messages": [
  {"role": "system",    "content": "You are Scalata's support assistant."},
  {"role": "user",      "content": "How do I reset my password?"},
  {"role": "assistant", "content": "Open Settings → Security and choose Reset password. You'll get an email link valid for 30 minutes."}
]}

Il modello apprende una mappatura: dato questo prompt di sistema e questa domanda, produci questa risposta. Attraverso centinaia di record, coglie ciò che le risposte hanno in comune — lo stile del percorso del menu, la lunghezza, il livello di dettaglio, il tono.

systemLei è l'assistente di supporto di Scalata.letto · mascherato
userCome posso reimpostare la mia password?letto · mascherato
assistantApra Impostazioni → Sicurezza e scelga Reimposta password.valutato · loss calcolata
Il modello legge ogni token, ma il suo errore viene misurato solo sulla risposta di destinazione. Il contesto modella la previsione; non viene mai valutato di per sé.

Come viene appreso un target

Per ogni target il modello legge il contesto e prevede la risposta un token alla volta. In ogni posizione assegna una probabilità a ogni possibile token successivo, e l'errore di addestramento — perdita di entropia incrociata — è basso quando ha assegnato un'alta probabilità al token che effettivamente segue. I pesi vengono quindi regolati in modo che i token del target diventino più probabili la volta successiva in cui appare un contesto simile. I token di contesto vengono letti ma non valutati; veda Loss masking.

Ne conseguono due implicazioni. Primo, il modello apprende tutto di un target: i suoi fatti, il fraseggio, la lunghezza e gli errori. Secondo, apprende ogni target nel suo contesto: una risposta corretta dopo una domanda potrebbe essere errata dopo una simile, e il modello può notare la differenza solo se il contesto la mostra.

Scegliere buoni target

  • Corretto. Fatti errati, passaggi non funzionanti e nomi di menu obsoleti vengono appresi tanto fedelmente quanto quelli validi.
  • La risposta che desidera, non la risposta che ha ottenuto. Se una risposta era quasi corretta, la corregga piuttosto che mantenerla così com'è.
  • Autosufficiente. Una risposta che ha senso solo a causa di qualcosa che il modello non vedrà — un file allegato, uno schermo condiviso — gli insegna a fare riferimento a cose che non ci sono.
  • Coerente. Domande simili dovrebbero ottenere risposte strutturate in modo simile, altrimenti il modello apprende l'incoerenza.
  • Risposte reali. Messaggi di errore, rifiuti della piattaforma e risposte che annunciano solo un file generato non sono risposte da apprendere.
Scegliere i target in una chat a tre risposte
  1. Risposta 1: “Salve! Come posso aiutarLa oggi?” — un saluto. Innocuo, ma non vale la pena apprenderlo; lo lasci come contesto.
  2. Risposta 2: “La preghiamo di controllare le Sue impostazioni.” — vago. Lo corregga inserendo i passaggi effettivi, oppure lo lasci come contesto.
  3. Risposta 3: “Apra Impostazioni → Notifiche e disattivi ‘Riepilogo settimanale’.” — specifico e corretto. Lo contrassegni come target.
  4. Risultato: un target, con il saluto e la risposta vaga come contesto. Se corregge la risposta 2, può diventare un secondo target.

Errori comuni

  • Contrassegnare ogni risposta dell'assistente come target per impostazione predefinita, inclusi saluti e riempitivi.
  • Mantenere una risposta quasi corretta come target invece di correggerla.
  • Includere risposte che dipendono da allegati o risultati di strumenti che il modello non avrà a disposizione.
  • Addestrare su una risposta che in seguito si è rivelata errata.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01SFT TrainerHugging Face TRL docs · huggingface.coCome un trainer open-source si addestra solo sulle risposte dell'assistente.
  2. 02Supervised fine-tuningOpenAI API docs · developers.openai.comLe linee guida di un provider in hosting sulla preparazione degli esempi di addestramento.
  3. 03LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.orgFino a che punto possono arrivare 1.000 target scelti con cura.
  4. 04Supervised Fine-TuningHugging Face LLM Course · huggingface.coUna guida pratica al fine-tuning supervisionato sui dati di chat.
ConcettoRuoli dei messaggiCome una conversazione viene archiviata sotto forma di messaggi di sistema, utente e assistente, e come questi ruoli diventano il singolo flusso di token che un modello legge effettivamente.ConcettoMascheramento della lossPerché un modello viene valutato solo sui token target di ciascun record, come ciò avviene nella pratica e cosa cambia o non cambia.ConcettoConversazioni multi-turno e pesiCome una conversazione con diverse risposte dell'assistente diventa un dato di addestramento, i due formati utilizzati dai provider a tale scopo e l'effetto collaterale a cui prestare attenzione.Best practiceCosa rende valido un datasetLe proprietà che determinano se il fine-tuning migliora un modello — corretto, coerente, vario, mirato e rappresentativo — e come verificare ciascuna di esse prima dell'addestramento.MetodoFine-tuning supervisionato (SFT)Il fine-tuning supervisionato addestra un modello tramite esempi: gli viene mostrata una conversazione e la risposta desiderata, e i suoi pesi vengono calibrati affinché tale risposta diventi più probabile, token dopo token.Best practiceDa dove provengono le buone coppie di preferenzeUna coppia di preferenze è un prompt con una risposta migliore e una peggiore. L'efficacia della DPO dipende principalmente dal fatto che la differenza tra le due risposte sia ciò che Lei desidera effettivamente cambiare.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite