Em breveO Treinamento de Modelos será lançado em breve no Scalata Enterprise. Ensine um modelo a responder como a sua equipe.Veja o que está por vir

Recursos/Treinamento de modelo/Métodos de treinamento

Método

Destilação

A destilação treina um modelo estudante pequeno e barato para se comportar como um grande modelo professor em suas tarefas, seja aprendendo com as respostas do professor ou com o julgamento do professor sobre as respostas do próprio estudante.

Capítulo 75 min de leitura4 referências

O que é

Um modelo grande costuma ser bom o suficiente para uma tarefa, mas muito lento ou caro para ser executado em escala. A Destilação transfere o que ele faz na sua tarefa para um modelo muito menor. O grande é o professor, o pequeno é o aluno, e o aluno é treinado na saída do professor em vez de, ou além de, respostas escritas por humanos.

A ideia é anterior aos modelos de linguagem. O artigo de 2015 de Hinton, Vinyals e Dean, “Distilling the Knowledge in a Neural Network”, mostrou que uma rede pequena aprende muito mais com as probabilidades de saída completas de um modelo grande, que eles chamaram de soft targets, do que apenas com os rótulos corretos.

Por que as probabilidades de um professor ensinam mais

Um rótulo correto diz apenas qual resposta estava certa. As probabilidades de um professor também dizem quão errada estava cada resposta errada. O exemplo de Hinton: uma imagem de um BMW pode ter apenas uma chance minúscula de ser confundida com um caminhão de lixo, mas isso ainda é muitas vezes mais provável do que confundi-la com uma cenoura. Esse padrão de quase acertos descreve como o professor vê o problema, e um aluno que o aprende generaliza melhor a partir de menos exemplos.

1.00PDF0CSV0file0link0zipAlvo rígidoO que o treinamento no texto do professor vê: uma palavra certa, todo o resto zero.
.86PDF.07CSV.04file.02link.01zipProfessor, T = 1A crença real do professor. Os números pequenos indicam quais alternativas eram plausíveis.
.43PDF.19CSV.16file.12link.10zipProfessor, T = 3Suavizado pela temperatura: a mesma classificação, mas as alternativas seguintes agora são grandes o suficiente para se aprender com elas.
A próxima palavra após “Sua fatura está anexada como um…”. Um alvo rígido descarta tudo, exceto o vencedor. A distribuição completa do professor também indica que CSV foi quase um acerto e zip não, e uma temperatura mais alta torna essas diferenças grandes o suficiente para serem relevantes no treinamento.

Para um modelo de linguagem, o mesmo se aplica a cada token. Ao continuar “Sua fatura está anexada como um…”, um professor pode dar PDF 86%, CSV 7%, arquivo 4%. Treinar no texto do professor mantém apenas “PDF”. Treinar em sua distribuição também ensina que CSV era uma alternativa razoável e que a maioria das outras palavras não era.

A Temperatura controla quanto desse detalhe sobrevive. As probabilidades vêm de um softmax sobre as pontuações brutas do modelo (logits); dividir os logits por uma temperatura T acima de 1 achata a distribuição, mantendo a classificação, mas tornando as probabilidades pequenas grandes o suficiente para influenciar o treinamento. Hinton et al. usaram a mesma temperatura alta para o professor e o aluno, e multiplicaram a perda do soft-target por T² porque seus gradientes encolhem em 1/T² à medida que T aumenta.

Softmax com temperatura, para o exemplo acima
p_i = exp(z_i / T) / Σ_j exp(z_j / T)        # z = the model's raw scores (logits)

T = 1   PDF 0.86   CSV 0.07   file 0.04   link 0.02   zip 0.01
T = 3   PDF 0.43   CSV 0.19   file 0.16   link 0.12   zip 0.10    # same order, softer

Duas maneiras de destilar um modelo de linguagem

Com modelos de linguagem, existem duas rotas práticas, e elas diferem em de quem são as respostas com as quais o aluno aprende.

Abordagem 1 · professor escreve as respostas
seu prompt→professor (grande)→texto completo da resposta→aluno aprende prompt → resposta

Quaisquer famílias de modelos. Apenas o texto é transferido. Treina exatamente como o ajuste fino supervisionado.

Abordagem 2 · professor avalia a própria resposta do aluno
seu prompt→aluno escreve→professor pontua cada token→aluno se aproxima do professor

Requer o mesmo tokenizador, portanto o professor geralmente é um modelo maior da mesma família. Aprende com seus próprios erros.

A destilação off-policy passa o texto finalizado do professor para o aluno. A destilação on-policy permite que o aluno escreva e, em seguida, mostra a ele, token por token, o que o professor teria dito em seu lugar.
AspectoOff-policy (nível de sequência)On-policy (nível de token)
Quem escreve as respostasO professor, uma vez, antes do treinamentoO estudante, gerando novamente a cada etapa
O que é transferidoTexto finalizadoAs probabilidades do professor em cada token da resposta do estudante
Professor e estudanteQuaisquer famílias; apenas o texto é compartilhadoMesmo vocabulário (tokenizador), portanto, geralmente a mesma família
TreinamentoAjuste fino supervisionado simples no prompt → resposta do professorUma divergência entre estudante e professor, token por token
Sinal por promptUma resposta para imitarUma correção em cada token que o estudante escreveu

A destilação off-policy é como a DeepSeek construiu seus pequenos modelos R1: cerca de 800.000 amostras geradas com o DeepSeek-R1 foram usadas para fazer o ajuste fino dos modelos Qwen e Llama apenas com treinamento supervisionado, sem RL. Seu modelo destilado de 32B superou claramente o mesmo modelo base treinado diretamente com RL em larga escala. Quando existe um professor forte, copiá-lo costuma ser um uso melhor da computação do que fazer com que um modelo pequeno descubra tudo por tentativa e erro.

Quando usar

  • Você busca um modelo mais rápido e econômico que responda como um modelo maior sobre o seu tema.
  • Você tem muitas perguntas, mas poucas respostas bem redigidas: o professor fornece as respostas.
  • Um modelo grande já faz o trabalho bem, mas seu custo ou latência é muito alto em escala.

E quando não usar: se nenhum modelo, por maior que seja, responder bem às suas perguntas, porque elas dependem do seu produto ou conhecimento interno, a destilação não tem nada a transferir. Treine primeiro em suas próprias respostas.

A destilação vale a pena aqui?
  1. Um modelo grande hospedado responde bem às suas perguntas de suporte, mas custa muitas vezes mais por token do que um modelo aberto pequeno.
  2. Passo 1: avalie o professor em relação ao aluno em perguntas separadas para teste. Se o professor vencer claramente, há algo a destilar; se houver empate na maioria das vezes, não há.
  3. Passo 2: destile e, em seguida, avalie o aluno destilado em relação ao aluno comum. O resultado útil é “próximo ao professor” pelo preço do aluno, não “melhor que o professor”.
  4. Passo 3: se as respostas estiverem corretas, mas não soarem como as da sua equipe, execute um treinamento supervisionado em suas próprias respostas, continuando a partir do modelo destilado.

Erros comuns

  • Destilar de um professor que você não avaliou em suas perguntas. Seus erros também são aprendidos.
  • Esperar que o aluno supere o professor.
  • Esperar o estilo da sua empresa. Ambas as rotas ensinam o estilo do professor; suas respostas são, no máximo, exemplos para o professor.
  • Destilar quando o professor e o aluno já respondem quase igualmente bem; há pouco a transferir.
  • Usar algumas dezenas de prompts na rota off-policy. Essa quantidade de texto do professor raramente muda os hábitos de um modelo.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

  1. 01Distilling the Knowledge in a Neural NetworkHinton, Vinyals & Dean, 2015 · arXiv · arxiv.orgO artigo que deu nome à destilação: soft targets, temperatura e o fator T².
  2. 02Sequence-Level Knowledge DistillationKim & Rush, 2016 · arXiv · arxiv.orgDestilar treinando nas sequências geradas pelo professor, a base da destilação off-policy.
  3. 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgModelos pequenos destilados do R1 apenas com treinamento supervisionado, em comparação com RL nas mesmas bases.
  4. 04Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?Yue et al., 2025 · arXiv · arxiv.orgRevela que a destilação, ao contrário do RL, pode introduzir padrões de raciocínio genuinamente novos em um modelo.
MétodoDestilação off-policy: o professor escreve as respostasNa destilação off-policy, o professor responde aos seus prompts e o aluno passa por um ajuste fino nessas respostas, como em um treinamento supervisionado comum. Professor e aluno podem vir de quaisquer famílias de modelos.MétodoDestilação on-policy: o professor avalia o alunoNa destilação on-policy, o aluno escreve suas próprias respostas e o professor avalia cada token delas, para que o aluno aprenda exatamente onde errou. O professor e o aluno devem compartilhar um vocabulário.ConfiguraçãoConfigurações de destilaçãoProfessor, estudante, os dois limites de tamanho de resposta e a divergência β: o que cada configuração de destilação faz, a qual rota se aplica e como escolhê-la.MétodoAjuste fino supervisionado (SFT)O ajuste fino supervisionado ensina um modelo por meio de exemplos: ele visualiza uma conversa e a resposta desejada, e seus pesos são ajustados para que essa resposta se torne mais provável, token por token.MétodoContinuando a partir de um modelo treinadoUma execução de treinamento pode começar a partir dos pesos de uma de suas execuções anteriores em vez do modelo base, para que o modelo mantenha o que aprendeu e adicione o que os novos dados ensinam. É assim que receitas de múltiplas etapas, como o ajuste supervisionado seguido pelo ajuste de preferência, são construídas.ConceitoBase vs. ajustado, lado a ladoUma avaliação faz as mesmas perguntas reservadas ao modelo inicial e ao modelo treinado e compara as suas respostas, para que você possa ver se o treinamento realmente melhorou as respostas.

Transforme semanas de trabalho especializado em minutos

Veja como o Scalata se adapta à sua equipe, aos seus dados e aos seus Controles.

Fale com vendas