ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Token e contesto

Concetto

Perché i token determinano i costi

Come i conteggi dei token si traducono nel prezzo di addestramento e di utilizzo di un modello, con esempi numerici pratici, e quali leve riducono effettivamente i costi.

Capitolo 2Lettura di 4 min4 riferimenti

Per cosa si paga

I provider misurano il lavoro dei modelli linguistici in token perché il calcolo eseguito da un modello cresce con il numero di token elaborati. L'addestramento legge ogni token di ogni record, una volta per epoca. L'utilizzo di un modello legge ogni token di input e genera ogni token di output, uno alla volta.

Addestramento · fatturazione per token
token nel file di addestramentocontesto + target, ogni record×epoche×prezzo per token di addestramento=costo di addestramento
Utilizzo · per richiesta
token di input × prezzo di inputprompt di sistema, cronologia, documenti, domanda+token di output × prezzo di outputsolitamente il prezzo più alto=costo di una richiesta
L'addestramento si paga una volta per esecuzione e scala in base alle epoche. L'utilizzo di un modello si paga a ogni richiesta e l'input viene inviato nuovamente ogni volta.

Costo di addestramento

Con l'addestramento per token — il metodo di fatturazione della maggior parte dei servizi di fine-tuning gestiti — la formula è semplice:

Addestramento per token
training cost = tokens in the training file × epochs × price per training token

Ogni token nel file viene conteggiato, non solo le risposte target. Anche il prompt di sistema e il contesto di ciascun record vengono letti durante l'addestramento, sebbene il modello venga valutato solo sui target. Un prompt di sistema lungo ripetuto in ogni record, o lunghe cronologie di conversazione, rendono l'addestramento più costoso.

L'addestramento su GPU a noleggio viene invece fatturato a tempo: tempo di esecuzione × prezzo orario della GPU. I token sono comunque importanti, poiché un numero maggiore di token richiede più tempo, ma le dimensioni del modello, il metodo di addestramento e l'hardware contano altrettanto.

Stimare un ciclo di addestramento
  1. Un dataset preparato contiene 500 record con una media di 800 token: 400.000 token.
  2. Tre epoche significano che il modello elabora 1,2 milioni di token.
  3. A un prezzo indicativo di 3 $ per milione di token di addestramento, si tratta di circa 3,60 $.
  4. Dimezzare un prompt di sistema di 200 token rimuove 50.000 token dal file — 150.000 token in meno elaborati in tre epoche.

Costo di utilizzo

Un modello addestrato viene erogato per token su capacità condivisa, oppure su un deployment dedicato fatturato all'ora, indipendentemente dal suo utilizzo. I prezzi per token separano i token di input (tutto ciò che viene inviato: prompt di sistema, cronologia, documenti recuperati, la domanda) dai token di output (la risposta). I token di output sono solitamente molto più costosi, poiché vengono generati uno alla volta.

Utilizzo per token
cost per request = input tokens × input price  +  output tokens × output price

Poiché l'input viene inviato nuovamente a ogni chiamata, un prompt lungo rappresenta un costo ricorrente. Questo è uno degli argomenti pratici a favore del fine-tuning: il comportamento appreso nei pesi non deve più essere spiegato in ogni richiesta.

Quanto costa un prompt lungo in un mese
  1. Un assistente gestisce 100.000 richieste al mese. Le sue istruzioni sono di 1.500 token; la domanda e la cronologia ne aggiungono altri 500.
  2. Si tratta di 2.000 token di input per richiesta, ovvero 200 milioni di token di input al mese.
  3. Dopo il fine-tuning, le istruzioni si riducono a 150 token: 650 token di input per richiesta, ovvero 65 milioni al mese — circa un terzo.
  4. Se questo comporti un risparmio dipende dal prezzo del modello sottoposto a fine-tuning, che per alcuni provider è superiore a quello del modello di base. Li confronti entrambi prima di decidere.

Cosa riduce i costi

  • Meno esempi, ma migliori. Poche centinaia di record ben scelti spesso superano migliaia di record rumorosi, a una frazione del costo di addestramento.
  • Meno epoche. Il costo cresce di pari passo con le epoche, e un numero maggiore di epoche non è sempre sinonimo di risultati migliori.
  • Record più brevi. Tagliare la cronologia passata e mantenere breve il prompt di sistema riduce i token sia per l'addestramento che per l'utilizzo.
  • Un modello più piccolo. I prezzi per token diminuiscono drasticamente al ridursi delle dimensioni del modello.
  • Erogazione per token ove possibile. Un deployment dedicato ha un costo per ogni ora in cui è attivo.

Errori comuni

  • Conteggiare solo le risposte target quando si stimano i token di addestramento.
  • Dimenticare di moltiplicare per il numero di epoche.
  • Confrontare i modelli basandosi solo sul prezzo di input, quando i token di output solitamente costano di più.
  • Lasciare in esecuzione un deployment di test dedicato dopo aver terminato di utilizzarlo.
  • Considerare una stima come un preventivo.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01PricingClaude Platform Docs · platform.claude.comUn esempio di prezzi separati per i token di input e di output.
  2. 02Amazon Bedrock PricingAmazon Web Services · aws.amazon.comPrezzi per l'inferenza per token, la personalizzazione e l'hosting orario in un'unica pagina.
  3. 03Token countingClaude Platform Docs · platform.claude.comConteggio dei token prima dell'invio di una richiesta.
  4. 04Understand and count tokensGemini API docs · ai.google.devCome un altro provider conteggia e fattura i token.
ConcettoTokenI frammenti di testo che un modello effettivamente legge e scrive — come vengono creati, perché i conteggi differiscono tra i modelli e perché ogni limite e prezzo nell'addestramento viene misurato in essi.ConcettoFinestra di contestoIl numero massimo di token che un modello può prendere in considerazione contemporaneamente, come viene condiviso tale spazio e in che modo differisce dal limite per esempio applicato durante l'addestramento.ConcettoCome viene fatturato l'addestramentoLa maggior parte del fine-tuning gestito viene fatturata per token elaborato: token nel file di addestramento moltiplicati per le epoche e per un prezzo. I job su GPU a noleggio vengono invece fatturati a tempo. L'utilizzo successivo del modello rappresenta un costo separato.ConcettoI costi: come leggere i numeriL'attività del modello viene fatturata in diversi modi, pertanto ogni costo mostrato da Scalata presenta uno stato — Definitivo, Stimato, In sospeso o Non fatturato — che indica su cosa si basa la cifra.ConcettoServerless vs dedicatoIl serving serverless fattura per token su capacità condivisa senza costi di inattività; un deployment dedicato riserva le GPU per il modello e fattura per ogni ora di esistenza. La convenienza dipende dall'utilizzo.ConcettoInferenza e deploymentL'inferenza consiste nell'utilizzare un modello per generare risposte. Un modello addestrato deve prima essere sottoposto a deployment — i suoi pesi caricati sull'hardware dietro a un endpoint — un processo che può richiedere minuti, per poi comportare un costo per token o per ora.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite