Em breveO Treinamento de Modelos será lançado em breve no Scalata Enterprise. Ensine um modelo a responder como a sua equipe.Veja o que está por vir

Recursos/Treinamento de modelo/Métodos de treinamento

Método

Destilação on-policy: o professor avalia o aluno

Na destilação on-policy, o aluno escreve suas próprias respostas e o professor avalia cada token delas, para que o aluno aprenda exatamente onde errou. O professor e o aluno devem compartilhar um vocabulário.

Capítulo 74 min de leitura4 referências

Como funciona

  1. O aluno responde. Para cada prompt, o aluno escreve sua própria resposta, uma resposta de prática.
  2. O professor lê. O professor processa o mesmo prompt e resposta em uma única passagem e, em cada posição, gera sua distribuição de probabilidade para o próximo token: o que ele teria dito ali.
  3. Compare e atualize. Em cada token, a distribuição do aluno é comparada com a do professor usando uma divergência, e o aluno é aproximado do professor.
Linha de treinamento: apenas o prompt
{"prompt": [
  {"role": "user", "content": "What's the difference between EBITDA and EBIT?"}
]}

Nenhuma resposta de referência é necessária e suas respostas não são usadas como alvos; apenas os prompts são. O professor nunca escreve uma resposta inteira, ele apenas lê uma, o que é muito mais barato por token do que gerar.

Por que funciona tão bem

A destilação on-policy aproveita o melhor de dois outros métodos. Como no treinamento supervisionado, seu sinal é denso: cada token recebe feedback. Como no aprendizado por reforço, seus dados são on-policy: vêm das próprias respostas do aluno, cobrindo assim os erros que o aluno realmente comete. Os alunos off-policy veem apenas os caminhos impecáveis do professor; os alunos de RL veem seus próprios caminhos, mas recebem um número por resposta inteira.

Abordagem 1 · professor escreve as respostas
seu prompt→professor (grande)→texto completo da resposta→aluno aprende prompt → resposta

Quaisquer famílias de modelos. Apenas o texto é transferido. Treina exatamente como o ajuste fino supervisionado.

Abordagem 2 · professor avalia a própria resposta do aluno
seu prompt→aluno escreve→professor pontua cada token→aluno se aproxima do professor

Requer o mesmo tokenizador, portanto o professor geralmente é um modelo maior da mesma família. Aprende com seus próprios erros.

A destilação off-policy passa o texto finalizado do professor para o aluno. A destilação on-policy permite que o aluno escreva e, em seguida, mostra a ele, token por token, o que o professor teria dito em seu lugar.
Aprendendo no token onde ocorreu o erro
  1. Prompt: “Qual é a diferença entre EBITDA e EBIT?”
  2. O aluno começa bem, depois escreve “O EBIT adiciona de volta a depreciação…”, o que está invertido: é o EBITDA que a adiciona de volta.
  3. No token “adiciona”, as probabilidades do professor favorecem “deduz” ou “subtrai”; as do aluno favoreceram “adiciona”. A divergência é grande exatamente aí.
  4. A atualização diminui “adiciona” e aumenta as escolhas do professor nesse contexto: a correção precisa. Tokens onde os dois já concordam não contribuem quase nada.
  5. O RL com um avaliador teria dado uma pontuação baixa para a resposta inteira e desencorajado todos os seus tokens igualmente, incluindo os corretos.

KL direto, KL reverso ou uma mistura

As distribuições do aluno e do professor podem ser comparadas em duas direções, e a escolha muda o que o aluno se torna.

  • KL direto, KL(professor ‖ aluno), penaliza fortemente o aluno por dar baixa probabilidade a qualquer coisa que o professor considere provável. O aluno se espalha para cobrir todas as opções do professor (cobertura de modo). Um aluno pequeno que não consegue acomodar todas acaba distribuindo o peso entre elas, o que pode produzir um texto vago ou de baixa qualidade.
  • KL reverso, KL(aluno ‖ professor), penaliza fortemente o aluno por dizer coisas que o professor considera improváveis. O aluno se compromete com a opção principal do professor e ignora o resto (busca de modo): mais nítido, mais decisivo, menos variado.
  • A divergência de Jensen-Shannon (JSD), e sua forma generalizada, mescla os dois. O artigo sobre GKD descobriu que a melhor escolha depende da tarefa.
respostas possíveis →β = 0 · KL diretaCobre tudo o que o professor pode dizer e, portanto, também atribui peso à lacuna entre as suas respostas. Mais amplo, mais variado, por vezes vago.
respostas possíveis →β = 1 · KL reversaCompromete-se com a resposta principal do professor e ignora as demais. Mais preciso e decisivo, menos variado.
professor (tracejado)estudante (preenchido)
Um modelo estudante pequeno não consegue copiar um modelo professor que possui duas boas respostas. A divergência KL direta faz com que ele se espalhe para cobrir ambas (cobertura de modo); a divergência KL reversa faz com que ele escolha uma e se ajuste bem a ela (busca de modo). Um β entre 0 e 1 mescla as duas.

O KL reverso é adequado para alunos pequenos e tarefas com uma resposta certa em mente, e é por isso que é comum para a destilação on-policy de modelos de chat e raciocínio: o artigo de 2025 da Thinking Machines usa um KL reverso por token, e o DistillationTrainer da TRL o adota como padrão. Na Scalata, essa escolha é a configuração de divergência β.

Requisitos e custos

  • Mesmo vocabulário. As distribuições são comparadas token por token, portanto, ambos os modelos devem dividir o texto nos mesmos tokens. Na prática, o professor é um modelo maior da mesma família, por exemplo, o Qwen2.5-3B ensinando o Qwen2.5-0.5B.
  • Ambos os modelos na GPU. O professor é carregado junto com o aluno; um professor de 3B em bf16 precisa de cerca de 6 GB além do aluno.
  • Tempo de geração. Cada etapa gera respostas token por token, o que a torna mais lenta do que o treinamento supervisionado nos mesmos dados; o comprimento máximo da resposta de prática é a principal alavanca.
  • Estilo. O aluno aprende os hábitos do professor, incluindo o comprimento. Para obter também o estilo da sua equipe, execute um treinamento supervisionado nas suas respostas depois, continuando a partir do modelo destilado.

A recompensa pode ser grande. Os números do relatório técnico do Qwen3, comparados no artigo da Thinking Machines, mostram que a destilação on-policy levou o Qwen3-8B a 74,4% no AIME'24 com cerca de 1.800 horas de GPU, enquanto o RL a partir de um ponto de partida semelhante atingiu 67,6% com 17.920. Com modelos pequenos em tarefas restritas, os ganhos são menores, mas o sinal por token ainda avança mais um aluno por prompt do que um punhado de respostas do professor faria.

Erros comuns

  • Escolher um professor de outra família de modelos. Os vocabulários diferem, portanto, a comparação token por token é impossível.
  • Esquecer a memória do professor. Uma GPU que acomoda apenas o aluno pode não acomodar ambos.
  • Definir um longo comprimento de resposta de prática “por segurança”. A geração domina o tempo da etapa.
  • Esperar o seu estilo. Suas respostas nunca são alvos aqui.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

  1. 01On-Policy Distillation of Language Models: Learning from Self-Generated MistakesAgarwal et al., 2024 · ICLR / arXiv · arxiv.orgO método: treinar nas próprias saídas do aluno com feedback do professor no nível do token e uma escolha de divergência.
  2. 02MiniLLM: On-Policy Distillation of Large Language ModelsGu et al., 2023 · arXiv · arxiv.orgDefende o KL reverso ao destilar para modelos de linguagem pequenos.
  3. 03On-Policy DistillationThinking Machines Lab, 2025 · thinkingmachines.aiUm relato prático, com comparações de processamento em relação ao RL e uso para recuperação de habilidades após treinamento adicional.
  4. 04Distillation TrainerHugging Face TRL docs · huggingface.coUm treinador de destilação on-policy de código aberto e sua definição de β.
MétodoDestilaçãoA destilação treina um modelo estudante pequeno e barato para se comportar como um grande modelo professor em suas tarefas, seja aprendendo com as respostas do professor ou com o julgamento do professor sobre as respostas do próprio estudante.MétodoDestilação off-policy: o professor escreve as respostasNa destilação off-policy, o professor responde aos seus prompts e o aluno passa por um ajuste fino nessas respostas, como em um treinamento supervisionado comum. Professor e aluno podem vir de quaisquer famílias de modelos.ConfiguraçãoConfigurações de destilaçãoProfessor, estudante, os dois limites de tamanho de resposta e a divergência β: o que cada configuração de destilação faz, a qual rota se aplica e como escolhê-la.MétodoGRPO, passo a passoO Group Relative Policy Optimization pontua várias respostas para o mesmo prompt e reforça aquelas acima da média do grupo. Ele substitui o modelo de valor separado do PPO por essa simples comparação.MétodoContinuando a partir de um modelo treinadoUma execução de treinamento pode começar a partir dos pesos de uma de suas execuções anteriores em vez do modelo base, para que o modelo mantenha o que aprendeu e adicione o que os novos dados ensinam. É assim que receitas de múltiplas etapas, como o ajuste supervisionado seguido pelo ajuste de preferência, são construídas.MétodoLoRA e adaptadores (PEFT)O LoRA congela o modelo base e treina duas pequenas matrizes ao lado das camadas selecionadas, cujo produto é adicionado aos pesos congelados. Ele reduz drasticamente os pesos treináveis e a memória e, se bem configurado, iguala-se ao ajuste fino completo em conjuntos de dados típicos de ajuste fino.

Transforme semanas de trabalho especializado em minutos

Veja como o Scalata se adapta à sua equipe, aos seus dados e aos seus Controles.

Fale com vendas