Em breveO Treinamento de Modelos será lançado em breve no Scalata Enterprise. Ensine um modelo a responder como a sua equipe.Veja o que está por vir

Recursos/Treinamento de modelo/Teste e disponibilização de um modelo

Conceito

Quanto custa: interpretando os números

O trabalho do modelo é faturado de diversas maneiras; portanto, cada custo apresentado pela Scalata carrega um status — Final, Estimado, Pendente ou Não faturado — que indica a base do valor.

Capítulo 95 min de leitura5 referências

O que é

Um projeto pode envolver uma tarefa de ajuste fino cobrada por token, uma execução de destilação em GPUs alugadas cobrada por minuto, uma tarefa de reforço cobrada por hora de treinamento e avaliações cobradas por token, além de uma cobrança por hora para uma implantação temporária. Alguns desses custos são conhecidos exatamente quando a tarefa termina; alguns provedores nunca relatam a cobrança de uma tarefa. Um único número por item ocultaria essa diferença.

Portanto, cada custo carrega um estado. O estado indica o nível de Confiança no valor: se é uma quantia medida, uma estimativa que nunca será confirmada ou um número que ainda está mudando.

Os quatro status

Um trabalho que é executado
Iniciadoestimativa e preços salvos→Pendentecusto até o momento, ou a estimativa→Finalvalor do provedor, ou uso medido × preços iniciaisEstimadonenhuma fatura relatada: o meio do intervalo é mantido
Um trabalho interrompido antes de qualquer cobrança
Iniciadoestimativa e preços salvos→Não faturadopor exemplo, rejeitado no envio
Todo custo começa como uma estimativa. Enquanto o trabalho é executado, ele fica como Pendente; quando termina, torna-se Final se existir um valor real, ou permanece Estimado se o provedor não relatar nenhum. Um trabalho interrompido antes de qualquer cobrança fica como Não faturado.
StatusBase de cálculoExemplo
FinalO próprio valor do provedor (seu valor faturado ou tempo de GPU medido × o preço), ou o uso que a Scalata mediu (tokens, tempo de hospedagem) × os preços cotados quando a tarefa começouUma tarefa de GPU que foi executada por 6 minutos a $1,00/h = $0,10
EstimadoA tarefa terminou, mas o provedor não relata nenhuma cobrança para esse tipo de tarefa, portanto, a estimativa feita no início é mantida (o meio de seu intervalo entre o mínimo e o máximo)Uma tarefa de ajuste de preferência cujo provedor não retorna nenhum custo
PendenteAinda em execução: o custo até o momento quando pode ser medido, caso contrário, a estimativa. Ele é consolidado quando a tarefa terminaUma tarefa de reforço cobrada por hora de treinamento, no meio da execução
Não cobradoInterrompido antes que qualquer valor fosse cobradoUma tarefa que o provedor rejeitou no envio

Como os principais tipos são faturados

os quatro modelos de faturamento
per training token   dataset tokens × epochs × price per token
per GPU minute       run time × the GPU's hourly rate
per training hour    training hours × hourly rate          (hosted RFT)
per token, inference input + output tokens × the model's price
                     + hours deployed × hosting rate       (temporary endpoints)
  • Por token de treinamento (maioria dos ajustes finos gerenciados): tokens do conjunto de dados × épocas × preço. Conhecido com bastante antecedência, exceto por quantas épocas a opção "auto" escolhe.
  • Por minuto de GPU (tarefas em GPUs alugadas): tempo × a taxa horária da GPU. Depende do tamanho do modelo, do tamanho dos dados e do método; métodos on-policy, como destilação e reforço, passam a maior parte do tempo gerando respostas.
  • Por hora de treinamento (ajuste fino de reforço hospedado): horas × uma alta taxa horária. Os provedores não publicam estimativas de duração, portanto, os valores iniciais são intervalos com uma premissa declarada.
  • Por token na inferência (avaliações, juízes, professores, chats de teste): tokens de entrada e saída × o preço do modelo, mais a hospedagem por hora quando um endpoint temporário é implantado. A hospedagem é cobrada enquanto a implantação existir, sendo utilizada ou não.
Exemplo prático: uma semana na página de Custos (preços ilustrativos)
  1. Um trabalho supervisionado: 1,5 milhão de tokens de conjunto de dados × 3 épocas × $ 3 por milhão de tokens = $ 13,50, Final — tokens medidos ao preço salvo quando foi iniciado.
  2. Uma execução de destilação em uma GPU alugada: 42 minutos a $ 2,40 por hora = $ 1,68, Final.
  3. Um trabalho de ajuste de preferência em um provedor que não retorna nenhum custo para ele: a estimativa inicial era de $ 4–6, portanto, exibe $ 5,00, Estimado, e permanece assim.
  4. Um trabalho de reforço hospedado, com 1,5 horas de duração a $ 100 por hora de treinamento: $ 150 até o momento, Pendente. O valor é liquidado quando o trabalho termina.
  5. Uma avaliação: $ 0,12 em tokens de resposta e juiz, mais duas implantações temporárias por 25 minutos cada a $ 1,70 por hora ($ 1,42) = $ 1,54, Final. A maior parte refere-se à hospedagem.
  6. Um trabalho que o provedor rejeitou no envio: $ 0, Não faturado.

Lendo a página de Custos

  • As datas referem-se ao início de cada item. Uma tarefa que começou no dia 31 e terminou no dia 1º é contabilizada no mês em que começou.
  • O resumo abrange todo o intervalo de datas; a tabela segue os filtros. O rodapé da tabela totaliza apenas o que é exibido, portanto, um rodapé filtrado não representa o seu gasto total.
  • Itens arquivados estão incluídos, pois o dinheiro foi gasto. O arquivamento organiza as listas; não reembolsa nada.

Quando difere da fatura

Os preços são os preços publicados por cada provedor, e o preço cotado quando uma execução começa é a taxa pela qual seu custo final é calculado. A fatura do provedor continua sendo a fonte da verdade: ela pode arredondar de forma diferente, adicionar impostos, aplicar créditos ou cobranças mínimas, e os preços mudam com o tempo. Pequenas diferenças são normais; uma grande diferença geralmente significa que algo continuou em execução — na maioria das vezes, uma implantação ociosa.

Status de custos

FinalTípico maioria das tarefas concluídas, avaliações e chats de teste#

Baseado no próprio valor do provedor, ou no uso que a Scalata mediu (tokens, tempo de hospedagem, tempo de GPU) aos preços cotados quando a tarefa começou. O valor não mudará.

EstimadoTípico tarefas cujo provedor não retorna nenhum custo#

A tarefa terminou, mas o provedor não relata nenhuma cobrança para esse tipo de tarefa, portanto, a estimativa feita no início é mantida: o meio de seu intervalo entre o mínimo e o máximo. Verifique a fatura para obter o valor real.

PendenteTípico qualquer processo ainda em execução#

A tarefa ainda está em execução. Exibe o custo até o momento quando pode ser medido, caso contrário, a estimativa, e é consolidado quando a tarefa termina.

Não faturadoTípico $0#

A tarefa foi interrompida antes que qualquer valor fosse cobrado, por exemplo, porque o provedor a rejeitou no momento do envio.

Erros comuns

  • Tratar um valor Estimado como uma cobrança em vez de verificar a fatura do provedor.
  • Interpretar um valor Pendente de uma tarefa cobrada por hora de treinamento como seu custo final.
  • Interpretar o rodapé de uma tabela filtrada como o gasto total.
  • Conciliar os custos com a fatura pelo dia em que uma tarefa terminou, em vez do dia em que começou.
  • Esquecer que uma implantação custa dinheiro a cada hora em que existe, mesmo quando ociosa.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

  1. 01Plan and Manage Costs - Microsoft FoundryMicrosoft Learn · learn.microsoft.comModelos com ajuste fino cobrados de três maneiras: treinamento, hospedagem por hora mesmo quando não utilizados e tokens de inferência.
  2. 02Understand Cost Management dataMicrosoft Learn · learn.microsoft.comPor que os dados de custo em um painel e a fatura final podem diferir.
  3. 03Review your individual Azure subscription billMicrosoft Learn · learn.microsoft.comLendo uma fatura: cobranças, créditos e impostos.
  4. 04Amazon Bedrock PricingAmazon Web Services · aws.amazon.comPreços de personalização e Throughput Provisionado por hora para modelos personalizados em um provedor.
  5. 05PricingOpenAI API docs · developers.openai.comPreços de ajuste fino por token e por hora, incluindo ajuste fino de reforço.
ConceitoComo o treinamento é cobradoA maior parte do ajuste fino gerenciado é faturada por token processado: tokens no arquivo de treinamento vezes épocas vezes um preço. Em vez disso, os trabalhos em GPUs alugadas são faturados por tempo. O uso posterior do modelo é um custo separado.ConceitoPor que os tokens determinam o custoComo as contagens de tokens se transformam no preço de treinamento e de uso de um modelo, com números calculados, e quais alavancas realmente reduzem a conta.ConceitoServerless vs. dedicadoO serviço serverless fatura por token em capacidade compartilhada sem custo de inatividade; uma implantação dedicada reserva GPUs para o seu modelo e fatura por cada hora de existência. Qual é o mais barato depende do quanto você o utiliza.ConceitoInferência e implantaçãoA inferência é o uso de um modelo para gerar respostas. Um modelo treinado deve primeiro ser implantado — seus pesos carregados em hardware por trás de um endpoint —, o que pode levar minutos, e então custa dinheiro por token ou por hora.Prática recomendadaArquivamento de execuçõesO arquivamento oculta um conjunto de dados, preparação, modelo ou avaliação das listas e seletores do dia a dia sem excluir nada, de modo que o registro do que foi testado — e por que falhou — permanece disponível e pode ser restaurado.ConfiguraçãoConfigurações de RFTAs seis configurações de uma execução de ajuste fino por reforço: o que pontua as respostas, quantas respostas o modelo escreve e qual pode ser o tamanho delas, e quão grande e quão ancorada é cada atualização.

Transforme semanas de trabalho especializado em minutos

Veja como o Scalata se adapta à sua equipe, aos seus dados e aos seus Controles.

Fale com vendas