Em breveO Treinamento de Modelos será lançado em breve no Scalata Enterprise. Ensine um modelo a responder como a sua equipe.Veja o que está por vir

Recursos/Treinamento de modelo/Métodos de treinamento

Método

Destilação off-policy: o professor escreve as respostas

Na destilação off-policy, o professor responde aos seus prompts e o aluno passa por um ajuste fino nessas respostas, como em um treinamento supervisionado comum. Professor e aluno podem vir de quaisquer famílias de modelos.

Capítulo 74 min de leitura4 referências

Como funciona

  1. Prompts. O lado do usuário nos seus chats. Uma conversa com três das suas respostas se torna três linhas de prompt, cada uma contendo a conversa até aquela resposta, para que o professor responda da maneira como a conversa realmente ocorreu.
  2. Respostas do professor. O professor escreve uma resposta completa para cada prompt. Suas próprias respostas podem ser incluídas como exemplos de ouro, para que o professor veja como você responde. Alguns serviços também geram prompts semelhantes para ampliar a cobertura (síntese de dados).
  3. Treinamento do aluno. O aluno passa por um ajuste fino em prompt → resposta do professor, exatamente como no ajuste fino supervisionado, com a perda calculada apenas nos tokens da resposta.
Abordagem 1 · professor escreve as respostas
seu prompt→professor (grande)→texto completo da resposta→aluno aprende prompt → resposta

Quaisquer famílias de modelos. Apenas o texto é transferido. Treina exatamente como o ajuste fino supervisionado.

Abordagem 2 · professor avalia a própria resposta do aluno
seu prompt→aluno escreve→professor pontua cada token→aluno se aproxima do professor

Requer o mesmo tokenizador, portanto o professor geralmente é um modelo maior da mesma família. Aprende com seus próprios erros.

A destilação off-policy passa o texto finalizado do professor para o aluno. A destilação on-policy permite que o aluno escreva e, em seguida, mostra a ele, token por token, o que o professor teria dito em seu lugar.
Uma linha enviada ao serviço: apenas o prompt, terminando com a mensagem do usuário
{"messages": [
  {"role": "system",    "content": "You are Scalata's support assistant."},
  {"role": "user",      "content": "How do I share a report with a client?"},
  {"role": "assistant", "content": "Open the report → Share → pick the client."},
  {"role": "user",      "content": "Does the client need an account?"}
]}

Na literatura de pesquisa, isso é a destilação de conhecimento em nível de sequência (Kim & Rush, 2016): em vez de corresponder às probabilidades do professor token por token, o aluno aprende a partir da sequência única que o professor realmente produziu. Isso abre mão dos detalhes de soft-target, mas não exige nada do professor além de texto. É por isso que os serviços gerenciados a utilizam: o professor pode ser um modelo hospedado acessível apenas por meio de uma API.

Por que “off-policy”

Política é o termo utilizado no aprendizado por reforço para a forma como um modelo escolhe os tokens. Aqui, as respostas de treinamento vêm de uma política diferente, a do professor, de modo que o aluno aprende off-policy. Isso tem um custo conhecido, chamado viés de exposição ou incompatibilidade entre treinamento e inferência. No treinamento, o aluno sempre continua a partir do prefixo impecável do professor. No uso real, ele continua a partir de seus próprios tokens anteriores, incluindo erros, e nunca praticou como se recuperar deles. Um pequeno deslize inicial pode levá-lo a um caminho que as respostas do professor nunca percorreram.

A destilação on-policy existe para corrigir exatamente isso. A off-policy continua sendo a escolha prática sempre que o professor e o aluno vêm de famílias de modelos diferentes, ou quando o professor está disponível apenas como texto.

Exemplo prático

No que uma conversa se transforma
  1. Um chat: o usuário pergunta como compartilhar um relatório, você responde; ele pergunta se o cliente precisa de uma conta, você responde; ele pergunta quando o link expira, você responde.
  2. Três linhas de prompt: (1) a primeira pergunta; (2) a primeira pergunta, sua primeira resposta e a segunda pergunta; (3) tudo até a terceira pergunta.
  3. O professor escreve três respostas. As respostas anteriores nas linhas 2 e 3 são suas, mantidas como contexto, para que o professor continue a sua conversa em vez da dele.
  4. O aluno é treinado em três exemplos: cada linha de prompt → a resposta do professor a ela.
  5. Custo: a inferência do professor para três respostas (tokens de entrada e saída), mais os tokens de treinamento do aluno (prompts mais respostas do professor, × épocas).

Como obter o máximo proveito

  • Escolha o professor por avaliação. Compare primeiro o professor e o aluno nas suas perguntas de validação. Se o aluno já estiver próximo, há pouco a ganhar.
  • O volume é importante. Cada resposta do professor é um exemplo, e um modelo pequeno precisa de muitos para mudar seus hábitos. Algumas dezenas de prompts raramente o afetam; planeje centenas ou mais, ou use a síntese de prompts do serviço.
  • Atenção ao tamanho e ao estilo do professor. O aluno os aprende. Um professor que escreve 300 palavras onde a sua equipe escreve 50 produz um aluno que faz o mesmo. Exemplos padrão-ouro ajudam; uma passagem supervisionada nas suas respostas depois ajuda mais.
  • Professores que raciocinam escrevem longos raciocínios antes da resposta. Isso é valioso para problemas difíceis de várias etapas, e um ruído custoso para respostas curtas de suporte.

Erros comuns

  • Poucos prompts para que o aluno mude seus hábitos.
  • Esquecer que cada erro do professor se torna um exemplo de treinamento.
  • Esperar o seu estilo sem exemplos de ouro ou uma etapa supervisionada posterior.
  • Comparar o aluno destilado apenas com o professor. Compare-o também com o aluno base: isso mostra o que a destilação agregou.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

  1. 01Sequence-Level Knowledge DistillationKim & Rush, 2016 · arXiv · arxiv.orgO método: treinar o aluno nas sequências geradas pelo professor.
  2. 02Distilling the Knowledge in a Neural NetworkHinton, Vinyals & Dean, 2015 · arXiv · arxiv.orgA destilação original de soft-target que a versão em nível de sequência simplifica.
  3. 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgUm exemplo em larga escala: 800.000 amostras R1 destiladas em modelos Qwen e Llama pequenos.
  4. 04On-Policy Distillation of Language Models: Learning from Self-Generated MistakesAgarwal et al., 2024 · ICLR / arXiv · arxiv.orgExplica a incompatibilidade entre treinamento e inferência da qual a destilação off-policy sofre.
MétodoDestilaçãoA destilação treina um modelo estudante pequeno e barato para se comportar como um grande modelo professor em suas tarefas, seja aprendendo com as respostas do professor ou com o julgamento do professor sobre as respostas do próprio estudante.MétodoDestilação on-policy: o professor avalia o alunoNa destilação on-policy, o aluno escreve suas próprias respostas e o professor avalia cada token delas, para que o aluno aprenda exatamente onde errou. O professor e o aluno devem compartilhar um vocabulário.ConfiguraçãoConfigurações de destilaçãoProfessor, estudante, os dois limites de tamanho de resposta e a divergência β: o que cada configuração de destilação faz, a qual rota se aplica e como escolhê-la.MétodoAjuste fino supervisionado (SFT)O ajuste fino supervisionado ensina um modelo por meio de exemplos: ele visualiza uma conversa e a resposta desejada, e seus pesos são ajustados para que essa resposta se torne mais provável, token por token.ConceitoPor que os tokens determinam o custoComo as contagens de tokens se transformam no preço de treinamento e de uso de um modelo, com números calculados, e quais alavancas realmente reduzem a conta.MétodoContinuando a partir de um modelo treinadoUma execução de treinamento pode começar a partir dos pesos de uma de suas execuções anteriores em vez do modelo base, para que o modelo mantenha o que aprendeu e adicione o que os novos dados ensinam. É assim que receitas de múltiplas etapas, como o ajuste supervisionado seguido pelo ajuste de preferência, são construídas.

Transforme semanas de trabalho especializado em minutos

Veja como o Scalata se adapta à sua equipe, aos seus dados e aos seus Controles.

Fale com vendas