Em breveO Treinamento de Modelos será lançado em breve no Scalata Enterprise. Ensine um modelo a responder como a sua equipe.Veja o que está por vir

Recursos/Treinamento de modelo/Tokens e contexto

Conceito

Por que os tokens determinam o custo

Como as contagens de tokens se transformam no preço de treinamento e de uso de um modelo, com números calculados, e quais alavancas realmente reduzem a conta.

Capítulo 24 min de leitura4 referências

Pelo que você paga

Os provedores medem o trabalho do modelo de linguagem em tokens porque a computação que um modelo realiza cresce com o número de tokens que ele processa. O treinamento lê cada token de cada registro, uma vez por época. O uso de um modelo lê cada token de entrada e gera cada token de saída, um de cada vez.

Treinamento · cobrança por token
tokens no arquivo de treinamentocontexto + alvos, cada registro×épocas×preço por token de treinamento=custo de treinamento
Uso · por solicitação
tokens de entrada × preço de entradaprompt do sistema, histórico, documentos, pergunta+tokens de saída × preço de saídageralmente o preço mais alto=custo de uma solicitação
O treinamento é pago uma vez por execução e escala com as épocas. O uso de um modelo é pago a cada solicitação, e a entrada é enviada novamente a cada vez.

Custo de treinamento

Com o treinamento por token — a forma como a maioria dos serviços gerenciados de ajuste fino fatura — a fórmula é simples:

Treinamento por token
training cost = tokens in the training file × epochs × price per training token

Todos os tokens no arquivo são contabilizados, não apenas as respostas alvo. O prompt do sistema e o contexto de cada registro também são lidos durante o treinamento, embora o modelo seja avaliado apenas nos alvos. Um prompt de sistema longo repetido em cada registro, ou históricos de conversas longos, tornam o treinamento mais caro.

O treinamento em GPUs alugadas é faturado por tempo: tempo de execução × o preço por hora da GPU. Os tokens ainda são importantes, pois mais tokens levam mais tempo, mas o tamanho do modelo, o método de treinamento e o hardware são igualmente importantes.

Estimando uma execução de treinamento
  1. Um conjunto de dados preparado tem 500 registros com média de 800 tokens: 400.000 tokens.
  2. Três épocas significam que o modelo processa 1,2 milhão de tokens.
  3. A um preço ilustrativo de US$ 3 por milhão de tokens de treinamento, isso equivale a cerca de US$ 3,60.
  4. Reduzir pela metade um prompt de sistema de 200 tokens remove 50.000 tokens do arquivo — 150.000 tokens a menos processados ao longo de três épocas.

Custo de uso

Um modelo treinado é servido por token em capacidade compartilhada, ou em uma implantação dedicada faturada por hora, seja ela usada ou não. A precificação por token separa os tokens de entrada (tudo o que é enviado: prompt do sistema, histórico, documentos recuperados, a pergunta) dos tokens de saída (a resposta). Os tokens de saída costumam ser várias vezes mais caros, pois são gerados um de cada vez.

Uso por token
cost per request = input tokens × input price  +  output tokens × output price

Como a entrada é reenviada a cada chamada, um prompt longo é um custo recorrente. Este é um dos argumentos práticos para o ajuste fino: o comportamento aprendido nos pesos não precisa mais ser explicado em cada solicitação.

O que um prompt longo custa ao longo de um mês
  1. Um assistente lida com 100.000 solicitações por mês. Suas instruções têm 1.500 tokens; a pergunta e o histórico adicionam mais 500.
  2. Isso representa 2.000 tokens de entrada por solicitação, ou 200 milhões de tokens de entrada por mês.
  3. Após o ajuste fino, as instruções encolhem para 150 tokens: 650 tokens de entrada por solicitação, ou 65 milhões por mês — cerca de um terço.
  4. Se isso economiza dinheiro, depende do preço do modelo com ajuste fino, que em alguns provedores é maior do que o do modelo base. Compare ambos antes de decidir.

O que reduz a conta

  • Menos exemplos, porém melhores. Algumas centenas de registros bem escolhidos geralmente superam milhares de registros com ruído, por uma fração do custo de treinamento.
  • Menos épocas. O custo cresce no mesmo ritmo que as épocas, e mais épocas nem sempre são melhores.
  • Registros mais curtos. Cortar o histórico antigo e manter o prompt do sistema curto reduz os tokens de treinamento e de uso.
  • Um modelo menor. Os preços por token caem drasticamente de acordo com o tamanho do modelo.
  • Serviço por token sempre que possível. Uma implantação dedicada custa dinheiro a cada hora em que existe.

Erros comuns

  • Contar apenas as respostas alvo ao estimar os tokens de treinamento.
  • Esquecer de multiplicar pelo número de épocas.
  • Comparar modelos apenas pelo preço de entrada, quando os tokens de saída geralmente custam mais.
  • Deixar uma implantação de teste dedicada em execução após terminar de usá-la.
  • Tratar uma estimativa como uma cotação.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

  1. 01PricingClaude Platform Docs · platform.claude.comUm exemplo de preços separados para tokens de entrada e de saída.
  2. 02Amazon Bedrock PricingAmazon Web Services · aws.amazon.comPreços de inferência por token, personalização e hospedagem por hora em uma única página.
  3. 03Token countingClaude Platform Docs · platform.claude.comContagem de tokens antes de enviar uma solicitação.
  4. 04Understand and count tokensGemini API docs · ai.google.devComo outro provedor conta e fatura os tokens.
ConceitoTokensOs pedaços de texto que um modelo realmente lê e escreve — como são feitos, por que as contagens diferem entre os modelos e por que todos os limites e preços no treinamento são medidos neles.ConceitoJanela de contextoO número máximo de tokens que um modelo pode levar em consideração de uma só vez, como esse espaço é compartilhado e como ele difere do limite por exemplo que se aplica durante o treinamento.ConceitoComo o treinamento é cobradoA maior parte do ajuste fino gerenciado é faturada por token processado: tokens no arquivo de treinamento vezes épocas vezes um preço. Em vez disso, os trabalhos em GPUs alugadas são faturados por tempo. O uso posterior do modelo é um custo separado.ConceitoQuanto custa: interpretando os númerosO trabalho do modelo é faturado de diversas maneiras; portanto, cada custo apresentado pela Scalata carrega um status — Final, Estimado, Pendente ou Não faturado — que indica a base do valor.ConceitoServerless vs. dedicadoO serviço serverless fatura por token em capacidade compartilhada sem custo de inatividade; uma implantação dedicada reserva GPUs para o seu modelo e fatura por cada hora de existência. Qual é o mais barato depende do quanto você o utiliza.ConceitoInferência e implantaçãoA inferência é o uso de um modelo para gerar respostas. Um modelo treinado deve primeiro ser implantado — seus pesos carregados em hardware por trás de um endpoint —, o que pode levar minutos, e então custa dinheiro por token ou por hora.

Transforme semanas de trabalho especializado em minutos

Veja como o Scalata se adapta à sua equipe, aos seus dados e aos seus Controles.

Fale com vendas