ProssimamenteL'Addestramento Modelli sarà presto disponibile in Scalata Enterprise. Insegni a un modello a rispondere come il Suo team.Scoprire le novità in arrivo

Risorse/Addestramento del modello/Test e distribuzione di un modello

Concetto

I costi: come leggere i numeri

L'attività del modello viene fatturata in diversi modi, pertanto ogni costo mostrato da Scalata presenta uno stato — Definitivo, Stimato, In sospeso o Non fatturato — che indica su cosa si basa la cifra.

Capitolo 9Lettura di 5 min5 riferimenti

Che cos'è

Un singolo progetto può includere un job di fine-tuning fatturato per token, un'esecuzione di distillazione su GPU a noleggio fatturata al minuto, un job di rinforzo fatturato per ora di addestramento e valutazioni fatturate per token più un addebito orario per una distribuzione temporanea. Alcuni di questi costi sono noti con esattezza al termine del job; alcuni provider non emettono mai alcuna fattura per un job. Un singolo numero per elemento nasconderebbe questa differenza.

Pertanto, ogni costo ha uno stato. Lo stato indica quanta Fiducia riporre nella cifra: se si tratta di un importo misurato, di una stima che non verrà mai confermata o di un numero ancora in variazione.

I quattro stati

Un processo in esecuzione
Avviatopreventivo e prezzi salvati→In sospesocosto finora, o la stima→Finalecifra del provider, o utilizzo misurato × prezzi inizialiStimatonessun addebito segnalato: rimane valido il valore medio dell'intervallo
Un processo interrotto prima di qualsiasi addebito
Avviatopreventivo e prezzi salvati→Non fatturatoad esempio, rifiutato all'invio
Ogni costo inizia come stima. Durante l'esecuzione del processo è In sospeso; al termine diventa Finale se esiste una cifra reale, oppure rimane Stimato se il provider non ne segnala alcuna. Un processo interrotto prima di qualsiasi addebito è Non fatturato.
StatoSu cosa si basaEsempio
FinaleLa cifra del provider (l'importo fatturato o il tempo di GPU misurato × il prezzo), oppure l'utilizzo misurato da Scalata (token, tempo di hosting) × i prezzi indicati all'inizio del jobUn job su GPU eseguito per 6 minuti a 1,00 $/h = 0,10 $
StimatoIl job è terminato, ma il provider non riporta alcuna fattura per quel tipo di job, quindi rimane valida la stima effettuata all'inizio (il valore medio del suo intervallo minimo-massimo)Un job di preference-tuning per il quale il provider non restituisce alcun costo
In sospesoAncora in esecuzione: il costo parziale quando può essere misurato, altrimenti la stima. Diventa definitivo al termine del jobUn job di rinforzo fatturato per ora di addestramento, a metà esecuzione
Non fatturatoInterrotto prima di qualsiasi addebitoUn job rifiutato dal provider al momento dell'invio

Come vengono fatturate le tipologie principali

i quattro modelli di fatturazione
per training token   dataset tokens × epochs × price per token
per GPU minute       run time × the GPU's hourly rate
per training hour    training hours × hourly rate          (hosted RFT)
per token, inference input + output tokens × the model's price
                     + hours deployed × hosting rate       (temporary endpoints)
  • Per token di addestramento (la maggior parte del fine-tuning gestito): token del dataset × epoche × prezzo. Noto con largo anticipo, a parte il numero di epoche scelto dall'impostazione “auto”.
  • Per minuto di GPU (job su GPU a noleggio): tempo × tariffa oraria della GPU. Dipende dalle dimensioni del modello, dalla quantità di dati e dal metodo; i metodi on-policy come la distillazione e il rinforzo impiegano la maggior parte del tempo a generare risposte.
  • Per ora di addestramento (fine-tuning di rinforzo in hosting): ore × una tariffa oraria elevata. I provider non pubblicano stime di durata, quindi le cifre iniziali sono intervalli basati su un'ipotesi dichiarata.
  • Per token in inferenza (valutazioni, giudici, insegnanti, chat di test): token di input e output × prezzo del modello, più l'hosting orario quando viene distribuito un endpoint temporaneo. L'hosting viene addebitato per tutta la durata della distribuzione, che venga utilizzato o meno.
Esempio pratico: una settimana nella pagina Costi (prezzi illustrativi)
  1. Un job supervisionato: 1,5 milioni di token del dataset × 3 epoche × $3 per milione di token = $13,50, Definitivo — token misurati al prezzo salvato al momento dell'avvio.
  2. Un'esecuzione di distillazione su una GPU a noleggio: 42 minuti a $2,40 all'ora = $1,68, Definitivo.
  3. Un job di preference-tuning su un provider che non ne restituisce il costo: la stima iniziale era di $4–6, quindi mostra $5,00, Stimato, e rimane tale.
  4. Un job di rinforzo in hosting, in esecuzione da 1,5 ore a $100 per ora di addestramento: $150 finora, In sospeso. Verrà saldato al termine del job.
  5. Una valutazione: $0,12 di token di risposta e di giudizio, più due deployment temporanei di 25 minuti ciascuno a $1,70 all'ora ($1,42) = $1,54, Definitivo. La maggior parte è dovuta all'hosting.
  6. Un job rifiutato dal provider al momento dell'invio: $0, Non fatturato.

Lettura della pagina Costi

  • Le date indicano l'inizio di ogni elemento. Un job iniziato il 31 e terminato l'1 viene conteggiato nel mese in cui è iniziato.
  • Il riepilogo copre l'intero intervallo di date; la tabella segue i filtri. Il piè di pagina della tabella somma solo ciò che viene mostrato, quindi un piè di pagina filtrato non rappresenta la spesa totale.
  • Gli elementi archiviati sono inclusi, perché il denaro è stato speso. L'archiviazione riordina gli elenchi; non rimborsa nulla.

Quando differisce dalla fattura

I prezzi sono quelli pubblicati da ciascun provider e il prezzo indicato all'inizio di un'esecuzione è la tariffa su cui viene calcolato il costo finale. La fattura del provider rimane l'unica fonte di verità: potrebbe arrotondare in modo diverso, aggiungere tasse, applicare crediti o addebiti minimi, e i prezzi cambiano nel tempo. Piccole differenze sono normali; una differenza elevata di solito significa che qualcosa ha continuato a funzionare — molto spesso una distribuzione inattiva.

Stati dei costi

FinaleTipico la maggior parte dei job terminati, valutazioni e chat di test#

Basato sulla cifra del provider o sull'utilizzo misurato da Scalata (token, tempo di hosting, tempo di GPU) ai prezzi indicati all'inizio del job. La cifra non cambierà.

StimatoTipico job per i quali il provider non restituisce alcun costo#

Il job è terminato, ma il provider non riporta alcuna fattura per quel tipo di job, quindi rimane valida la stima effettuata all'inizio: il valore medio del suo intervallo minimo-massimo. Controllare la fattura per l'importo reale.

In sospesoTipico qualsiasi processo ancora in esecuzione#

Il job è ancora in esecuzione. Mostra il costo parziale quando può essere misurato, altrimenti la stima, e diventa definitivo al termine del job.

Non fatturatoTipico $0#

Il processo si è interrotto prima che venisse addebitato alcun costo, ad esempio perché il provider lo ha rifiutato al momento dell'invio.

Errori comuni

  • Considerare una cifra Stimata come una fattura anziché controllare la fattura del provider.
  • Leggere una cifra In sospeso per un job fatturato per ora di addestramento come costo finale.
  • Leggere il piè di pagina di una tabella filtrata come spesa totale.
  • Abbinare i costi alla fattura in base al giorno in cui un job è terminato anziché al giorno in cui è iniziato.
  • Dimenticare che una distribuzione ha un costo per ogni ora in cui esiste, anche quando è inattiva.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

  1. 01Plan and Manage Costs - Microsoft FoundryMicrosoft Learn · learn.microsoft.comModelli sottoposti a fine-tuning fatturati in tre modi: addestramento, hosting orario anche se inutilizzato e token di inferenza.
  2. 02Understand Cost Management dataMicrosoft Learn · learn.microsoft.comPerché i dati sui costi in una dashboard e la fattura finale possono differire.
  3. 03Review your individual Azure subscription billMicrosoft Learn · learn.microsoft.comLeggere una fattura: addebiti, crediti e tasse.
  4. 04Amazon Bedrock PricingAmazon Web Services · aws.amazon.comPrezzi di personalizzazione e Provisioned Throughput orario per modelli personalizzati su un provider.
  5. 05PricingOpenAI API docs · developers.openai.comPrezzi del fine-tuning per token e per ora, incluso il fine-tuning di rinforzo.
ConcettoCome viene fatturato l'addestramentoLa maggior parte del fine-tuning gestito viene fatturata per token elaborato: token nel file di addestramento moltiplicati per le epoche e per un prezzo. I job su GPU a noleggio vengono invece fatturati a tempo. L'utilizzo successivo del modello rappresenta un costo separato.ConcettoPerché i token determinano i costiCome i conteggi dei token si traducono nel prezzo di addestramento e di utilizzo di un modello, con esempi numerici pratici, e quali leve riducono effettivamente i costi.ConcettoServerless vs dedicatoIl serving serverless fattura per token su capacità condivisa senza costi di inattività; un deployment dedicato riserva le GPU per il modello e fattura per ogni ora di esistenza. La convenienza dipende dall'utilizzo.ConcettoInferenza e deploymentL'inferenza consiste nell'utilizzare un modello per generare risposte. Un modello addestrato deve prima essere sottoposto a deployment — i suoi pesi caricati sull'hardware dietro a un endpoint — un processo che può richiedere minuti, per poi comportare un costo per token o per ora.Best practiceArchiviazione delle esecuzioniL'archiviazione nasconde un dataset, una preparazione, un modello o una valutazione dagli elenchi e dai selettori quotidiani senza eliminare nulla, in modo che lo storico di ciò che è stato provato — e del perché ha fallito — rimanga disponibile e possa essere ripristinato.ImpostazioneImpostazioni RFTLe sei impostazioni di un'esecuzione di reinforcement fine-tuning: cosa valuta le risposte, quante risposte scrive il modello e quanto possono essere lunghe, oltre all'entità e all'ancoraggio di ciascun aggiornamento.

Trasformate settimane di lavoro esperto in pochi minuti

Scoprite come Scalata si adatta al vostro team, ai vostri dati e ai vostri Controlli.

Contatta il team vendite