Mascaramento de perda

O que é

Um registro de treinamento contém muito mais do que a resposta a ser aprendida: um prompt do sistema, talvez vários turnos anteriores e a pergunta do usuário. O mascaramento de perda significa que o erro de treinamento — a perda — é calculado apenas nos tokens da resposta alvo. O modelo lê cada token, e o contexto molda cada previsão que ele faz, mas ele nunca é pontuado por prever o próprio contexto.

Como funciona

Um modelo de linguagem é treinado prevendo cada próximo token. Em cada posição, ele gera uma probabilidade para cada token em seu vocabulário, e a perda nessa posição é o logaritmo negativo da probabilidade que ele atribuiu ao token correto: próximo de 0 quando estava confiante e certo, grande quando estava confiante e errado. A perda do registro é a média sobre as posições que contam.

loss for one record = average over target tokens of  −ln p(correct token | everything before it)

context tokens:  read, label = -100  →  ignored by the loss
target tokens:   read and scored     →  averaged into the loss

Sem o mascaramento, a média abrangeria todos os tokens do registro. Com o mascaramento, as posições de contexto são deixadas de fora. Os treinadores fazem isso atribuindo a cada token de contexto um rótulo especial — -100 em bibliotecas baseadas em PyTorch, como Hugging Face Transformers — que a função de perda é instruída a ignorar.

Por que mascarar

• O sinal vai para onde você deseja. Seus alvos são o comportamento que você escolheu. Sem o mascaramento, grande parte do esforço de treinamento seria direcionada a prever as perguntas dos usuários e a repetir o prompt do sistema.
• O modelo não aprende a imitar os usuários. Treinar com os turnos dos usuários ensina o modelo a escrever como as pessoas que perguntam — incluindo erros de digitação —, o que pode vazar para as suas respostas.
• Contextos longos não ofuscam respostas curtas. Em um registro com 2.000 tokens de histórico e uma resposta de 60 tokens, uma perda não mascarada seria cerca de 97% referente ao histórico.

O mascaramento é sempre melhor?

O mascaramento é a escolha padrão e a configuração predefinida na maioria dos serviços e bibliotecas de treinamento. Existem exceções: um estudo de 2024 de Shi e colegas descobriu que treinar também nas instruções pode ajudar quando as instruções são longas e as saídas curtas, ou quando há muito poucos exemplos. Para o ajuste fino em conversas reais, onde os turnos do usuário não são o comportamento que você deseja reproduzir, mascarar o contexto continua sendo o padrão sensato.

Mascarado não significa irrelevante

Um token mascarado não é avaliado, mas ainda é lido, e o modelo aprende a produzir o alvo dado aquele contexto. Se o contexto contiver uma afirmação incorreta com a qual o alvo concorda, o modelo aprende a concordar com ela. Se o prompt do sistema no treinamento for diferente daquele usado posteriormente, o comportamento aprendido pode não se manter. O mascaramento restringe o que é pontuado; ele não torna o restante do registro sem importância.

Erros comuns

• Presumir que, como o contexto não é pontuado, sua qualidade não importa.
• Interpretar uma baixa perda de treinamento como prova de qualidade quando os alvos são curtos e fáceis.
• Comparar valores de perda entre conjuntos de dados com comprimentos de alvo muito diferentes.
• Esperar que o modelo aprenda algo que só aparece nas mensagens dos usuários.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

1. 01Instruction Tuning With Loss Over Instructions↗Shi et al., 2024 · arXiv · arxiv.orgQuando treinar tanto no prompt quanto na resposta ajuda.
2. 02SFT Trainer↗Hugging Face TRL docs · huggingface.coAs opções de perda apenas para conclusão e apenas para assistente na prática.
3. 03Causal language modeling↗Hugging Face Transformers docs · huggingface.coA previsão do próximo token e como os rótulos são preparados para ela.
4. 04Supervised Fine-Tuning↗Hugging Face LLM Course · huggingface.coAjuste fino em dados de chat, passo a passo.

Conceitos relacionados