Os principais modelos de faturamento
| Faturado | Fórmula | Típico para |
|---|---|---|
| Por token de treinamento | Tokens no arquivo de treinamento × épocas × preço por token | A maioria dos serviços gerenciados de fine-tuning |
| Por tempo de GPU | Tempo de execução × taxa por hora × número de GPUs | Tarefas em GPUs alugadas, geralmente modelos abertos |
| Por hora de treinamento | Horas × uma taxa (alta) por hora | Alguns serviços hospedados de fine-tuning por reforço |
| Por token de inferência | Tokens de entrada e saída × o preço do modelo | Avaliações, juízes, modelos professores, chats de teste |
Treinamento por token
Os serviços gerenciados de ajuste fino contam os tokens no seu arquivo de treinamento e cobram por cada token que o treinamento processa. Cada época processa o arquivo inteiro novamente, portanto, a fatura é o número de tokens do arquivo vezes o número de épocas vezes o preço, geralmente cotado por milhão de tokens. Leia a lista de preços com atenção: alguns serviços também cobram por tokens de validação, aplicam uma cobrança mínima por trabalho, precificam o ajuste de preferência com um valor mais alto que o treinamento supervisionado, ou cobram uma taxa mensal para armazenar o modelo treinado.
per training token: cost = tokens in the training file × epochs × price per token
per GPU time: cost = runtime in hours × hourly rate × number of GPUs- Dados: 1.500 conversas com média de 1.200 tokens cada após a preparação: 1.800.000 tokens.
- Épocas: 3, portanto, 5.400.000 tokens de treinamento são processados.
- Preço: a um preço de exemplo de $ 3,00 por milhão de tokens de treinamento, 5,4 × $ 3,00 = $ 16,20.
- Com épocas Automáticas: se o provedor tivesse escolhido 2 ou 4 épocas, o mesmo trabalho custaria $ 10,80 ou $ 21,60. Essa variação é o motivo pelo qual um valor inicial é uma estimativa.
- Contagem de tokens: o provedor faz a contagem com seu próprio tokenizador, portanto, uma estimativa feita a partir do comprimento do texto pode variar alguns pontos percentuais para mais ou para menos.
Treinamento por tempo de GPU
Quando o treinamento é executado em GPUs alugadas, o que é típico para modelos abertos, você paga pelo tempo: o tempo de execução do trabalho vezes a tarifa horária da GPU, vezes o número de GPUs. O tempo de execução aumenta com o tamanho do modelo, o número de tokens, as épocas e o método. Métodos que geram texto durante o treinamento, como destilação on-policy e aprendizado por reforço, passam grande parte do tempo escrevendo respostas token por token, o que os torna mais lentos por exemplo do que o treinamento supervisionado. Um modelo maior também pode precisar de uma GPU maior, ou de várias, a uma tarifa horária mais alta.
- Trabalho: Ajuste fino LoRA de um pequeno modelo aberto que é executado por 45 minutos em uma GPU.
- Taxa: a um exemplo de $ 1,20 por hora de GPU, 0,75 h × $ 1,20 = $ 0,90.
- Um modelo com o dobro do tamanho pode precisar de uma GPU com mais memória a uma tarifa mais alta, e também leva mais tempo para ser executado: os dois fatores se multiplicam.
- O tempo de processamento adicional conta: a inicialização, o carregamento do modelo e o salvamento do resultado geralmente fazem parte do tempo faturado, o que tem maior impacto em trabalhos curtos.
O que mais gera custos
- Avaliação: a geração de respostas a partir dos modelos base e ajustados, e um modelo juiz que as pontua, é faturada por token.
- Modelos professores na destilação: as respostas do professor são faturadas por token de entrada e saída, além do treinamento do aluno.
- Disponibilização: a capacidade compartilhada (serverless) é faturada por token utilizado; uma implantação dedicada é faturada por hora enquanto existir, mesmo quando ociosa.
- Armazenamento: alguns provedores cobram para manter modelos treinados ou arquivos carregados.
Cada valor de custo é tão preciso quanto a base em que se apoia, e é por isso que cada um carrega um status — Final, Estimado, Pendente ou Não faturado — indicando se é o valor do próprio provedor, a estimativa feita no início, um trabalho ainda em execução ou um trabalho interrompido antes que qualquer cobrança fosse feita.
Como manter os custos baixos
- Limpe antes de treinar. Duplicatas, respostas de erro e conversas excessivamente longas adicionam tokens faturados sem adicionar sinal.
- Comece pequeno. Uma primeira execução em um subconjunto, ou com menos épocas, mostra se a abordagem funciona antes de você pagar pelo trabalho completo.
- Use o menor modelo base que passe na sua avaliação. Tanto o treinamento quanto a disponibilização ficam mais baratos.
- Prefira LoRA em modelos abertos: menos memória, GPUs menores, execuções mais rápidas.
- Exclua as implantações dedicadas quando os testes forem concluídos; elas são faturadas por hora.
Erros comuns
- Esquecer que as épocas multiplicam a fatura: quatro épocas custam quatro vezes mais que uma.
- Orçar apenas o treinamento e, em seguida, deixar uma implantação dedicada em execução por dias.
- Comparar preços por token entre provedores sem comparar suas épocas, cobranças mínimas e taxas de armazenamento.
- Treinar com dados não limpos e pagar por tokens que apenas ensinam ruído.
- Tratar uma estimativa inicial como uma cotação exata. A própria contagem de tokens do provedor e as épocas escolhidas decidem o valor final.
Referências e leitura complementar
Fontes externas abrem em uma nova aba.
- 01Amazon Bedrock PricingAmazon Web Services · aws.amazon.comUma lista de preços do provedor que detalha os tokens treinados como tokens do corpus × épocas, além de armazenamento e preços por hora.
- 02PricingTogether AI · together.aiPreços de ajuste fino por token de acordo com o tamanho do modelo, com cobranças mínimas e tarifas separadas para ajuste de preferência.
- 03GPU memory usageHugging Face Transformers docs · huggingface.coPor que o tamanho do modelo decide qual GPU, e consequentemente qual tarifa horária, um trabalho necessita.