Em breveO Treinamento de Modelos será lançado em breve no Scalata Enterprise. Ensine um modelo a responder como a sua equipe.Veja o que está por vir

Recursos/Treinamento de modelo/Tokens e contexto

Conceito

Tokens

Os pedaços de texto que um modelo realmente lê e escreve — como são feitos, por que as contagens diferem entre os modelos e por que todos os limites e preços no treinamento são medidos neles.

Capítulo 23 min de leitura5 referências

O que é um token

Um modelo de linguagem nunca vê letras ou palavras. Antes que qualquer texto chegue a ele, um tokenizador corta o texto em pedaços retirados de um vocabulário fixo e substitui cada pedaço por seu número nesse vocabulário. O modelo lê uma sequência desses números e escreve sua resposta também como números, que o tokenizador transforma de volta em texto.

“How do I reset my password?”
How2437␣do466␣I314␣reset13259␣my616␣password9206?30
27 caracteres6 palavras≈ 7 tokens
Uma frase, sete tokens. Um espaço geralmente acompanha a palavra seguinte, e é por isso que “ do” e “do” são tokens diferentes.

Os vocabulários atuais contêm de dezenas de milhares a algumas centenas de milhares de entradas. Palavras frequentes recebem sua própria entrada, geralmente com o espaço anterior anexado. Palavras menos frequentes são formadas por pedaços menores: um nome de produto incomum pode se tornar quatro ou cinco tokens.

Como os tokenizadores são construídos: codificação de pares de bytes

A maioria dos tokenizadores atuais usa uma forma de codificação de pares de bytes (BPE), adaptada para modelos de linguagem por Sennrich, Haddow e Birch. O vocabulário é aprendido a partir de uma grande amostra de texto antes que o próprio modelo seja treinado:

  1. Comece pelas menores unidades: caracteres únicos ou os 256 bytes possíveis.
  2. Conte cada par de unidades vizinhas na amostra e encontre o par mais frequente.
  3. Mescle esse par em uma nova unidade e adicione-a ao vocabulário.
  4. Repita até que o vocabulário atinja seu tamanho desejado.

O vocabulário acaba gastando suas entradas naquilo que era comum nessa amostra. As versões em nível de byte começam a partir de bytes em vez de caracteres, de modo que qualquer entrada — qualquer idioma, emoji ou símbolo avulso — ainda pode ser codificada, apenas com menos eficiência quando é incomum.

Como o BPE aprende “ing”
  1. A amostra contém “walking”, “talking” e “making” muitas vezes. No início, cada uma é dividida em caracteres: w a l k i n g.
  2. i seguido de n é o par mais frequente, então ele se torna uma unidade: w a l k in g.
  3. Agora in seguido de g é o par mais frequente: w a l k ing.
  4. Após dezenas de milhares de mesclagens, uma palavra frequente como “walking” provavelmente será um único token, enquanto uma palavra rara como “unwalkable” ainda será formada por várias partes.

Por que o mesmo texto resulta em contagens diferentes

Tipo de textoComportamento típico
Inglês cotidianoCerca de 4 caracteres, ou ¾ de uma palavra, por token
Números, IDs e datasDivididos em pedaços curtos: 2024-03-17 pode ocupar cinco ou mais tokens
Código e JSONColchetes, aspas e recuos custam tokens
Outros idiomasFrequentemente mais tokens para o mesmo significado; um estudo de 2023 mediu diferenças de até 15 vezes para o mesmo texto traduzido
Nomes raros e jargõesDivididos em vários pedaços de subpalavras

Cada família de modelos treina seu próprio tokenizador, portanto, um documento que tem 1.000 tokens para um modelo pode ter 1.150 para outro. Qualquer contagem feita com um tokenizador diferente, ou estimada a partir do número de caracteres, é uma aproximação.

Por que isso é importante para o treinamento

  • Custo. O treinamento é cobrado por token processado, e o uso por token de entrada e saída.
  • Limites. A janela de contexto e o limite de treinamento por exemplo são contados em tokens, não em mensagens ou palavras.
  • Fraquezas peculiares. Um modelo vê “strawberry” como alguns tokens, não dez letras, e é por isso que contar letras ou inverter uma palavra é surpreendentemente difícil para ele.

Erros comuns

  • Tratar um token como uma palavra ao estimar custos ou limites.
  • Presumir que uma contagem feita para um modelo se aplica a outro.
  • Orçar dados em outros idiomas com as proporções de caracteres por token do inglês.
  • Esquecer que a formatação — JSON, marcação, IDs longos — também consome tokens.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

  1. 01Neural Machine Translation of Rare Words with Subword UnitsSennrich, Haddow & Birch, 2016 · arXiv · arxiv.orgO artigo que introduziu a tokenização BPE no PLN.
  2. 02Byte-Pair Encoding tokenizationHugging Face LLM Course · huggingface.coTreinamento BPE detalhado passo a passo, com código.
  3. 03Language Model Tokenizers Introduce Unfairness Between LanguagesPetrov et al., 2023 · arXiv · arxiv.orgQuanto a mais o mesmo conteúdo custa em alguns idiomas.
  4. 04openai/tiktokenOpenAI · GitHub · github.comUm tokenizador BPE amplamente utilizado que você pode executar para contar os tokens por conta própria.
  5. 05Understand and count tokensGemini API docs · ai.google.devA explicação de outro provedor sobre tokens e como contá-los.
ConceitoJanela de contextoO número máximo de tokens que um modelo pode levar em consideração de uma só vez, como esse espaço é compartilhado e como ele difere do limite por exemplo que se aplica durante o treinamento.ConceitoPor que os tokens determinam o custoComo as contagens de tokens se transformam no preço de treinamento e de uso de um modelo, com números calculados, e quais alavancas realmente reduzem a conta.ConfiguraçãoLimites de tokens e cortesTodo provedor limita a quantidade de tokens que um exemplo de treinamento pode conter. Conversas longas que ultrapassam o limite são cortadas — as trocas mais antigas são removidas primeiro — ou descartadas.ConceitoArquivos de treinamento JSONLO JSONL (JSON Lines) é um arquivo de texto com um objeto JSON completo por linha. É o formato padrão para dados de fine-tuning: uma linha equivale a um registro de treinamento.ConceitoComo o treinamento é cobradoA maior parte do ajuste fino gerenciado é faturada por token processado: tokens no arquivo de treinamento vezes épocas vezes um preço. Em vez disso, os trabalhos em GPUs alugadas são faturados por tempo. O uso posterior do modelo é um custo separado.

Transforme semanas de trabalho especializado em minutos

Veja como o Scalata se adapta à sua equipe, aos seus dados e aos seus Controles.

Fale com vendas