Onde cada configuração se aplica
| Configuração | Off-policy (professor escreve) | On-policy (professor avalia) |
|---|---|---|
| Modelo professor | Sim | Sim |
| Modelo estudante | Sim | Sim |
| Tamanho máximo da resposta | Sim, em alguns serviços | Não |
| Tamanho máximo da resposta de prática | Não | Sim |
| Divergência β | Não | Sim |
| Épocas, taxa de aprendizado | Sim | Sim |
As configurações
O modelo cujo comportamento é transmitido. Sua qualidade nas suas perguntas limita a do estudante, e seus erros, tamanho e estilo também são aprendidos, portanto, avalie-o em relação ao estudante antes da destilação. Em abordagens off-policy, qualquer professor funciona porque apenas o texto é transferido, mas os serviços gerenciados permitem apenas os pares professor → estudante listados. Em abordagens on-policy, o professor deve compartilhar o vocabulário do estudante, portanto, é um modelo maior da mesma família e deve caber na GPU ao lado do estudante. Professores pensantes, que raciocinam longamente antes de responder, são valiosos para problemas difíceis de várias etapas; para respostas curtas de chat, um professor não pensante geralmente se adapta melhor a um estudante pequeno.
O modelo menor sendo treinado e aquele que você implantará, portanto, ele define o custo de execução e a velocidade. Um modelo menor é mais barato e mais rápido, mas tem menos espaço para absorver o comportamento do professor, e um estudante raramente supera seu professor. No Scalata, o estudante é o modelo base que você escolhe; os modelos que não podem ser estudantes para o professor ou provedor escolhido ficam esmaecidos com o motivo.
Off-policy, em serviços que o expõem: a resposta mais longa, em tokens, que o professor pode escrever por prompt. Respostas mais longas custam mais tokens de saída do professor e mais tokens de treinamento do aluno, e o aluno aprende esse comprimento. Muito curto, e as respostas do professor são cortadas e o aluno aprende um texto truncado.
Apenas on-policy: a resposta mais longa que o aluno escreve por prompt em cada etapa. A geração é a parte mais lenta da etapa, portanto, esta é a principal alavanca no tempo de GPU. Respostas mais longas que o limite são cortadas, e o aluno recebe feedback apenas sobre a parte que escreveu.
Apenas on-policy: qual divergência compara o aluno e o professor em cada token. 0 é a KL forward: o aluno tenta cobrir tudo o que o professor pode dizer, o que resulta em respostas mais amplas e variadas que podem se misturar entre as opções. 1 é a KL reversa: o aluno se concentra na resposta mais provável do professor, sendo mais focado e decisivo. 0.5 é a divergência de Jensen-Shannon, uma mistura simétrica, e os valores intermediários são interpolados. Ao contrário do β KL no ajuste fino por reforço, este β não ancora o modelo ao seu início; ele próprio escolhe a medida.
Como escolher
- Candidatos: um modelo de 7B que responde bem às suas perguntas de avaliação, mas tem um custo de hospedagem muito alto, e modelos de 0.5B, 1.5B e 3B da mesma família.
- Avalie o 7B em relação a cada um. Digamos que ele supere o 0.5B na maioria das perguntas, o 1.5B em muitas, e geralmente empate com o 3B.
- O 3B tem pouco a aprender; o 0.5B tem mais a aprender, mas menos espaço para absorver o conhecimento. O 1.5B é o primeiro aluno natural.
- Mesma família, portanto a destilação on-policy é possível: comprimento da resposta de prática um pouco acima da sua resposta típica, β = 1, e uma GPU que acomode tanto o 7B quanto o 1.5B.
- O professor, ao continuar uma resposta, divide sua convicção: “Sim” 50%, “Claro” 40%, qualquer outra coisa 10%.
- Sob a KL forward (β = 0), o aluno é induzido a manter tanto “Sim” quanto “Claro” como prováveis, e é severamente punido por atribuir a qualquer um deles quase nenhuma probabilidade.
- Sob a KL reversa (β = 1), ele é severamente punido por qualquer coisa que o professor considere improvável, e se contenta em colocar a maior parte do seu peso apenas em “Sim”.
- Ao longo de milhares de tokens, a primeira abordagem resulta em um aluno mais variado e a segunda em um mais consistente. Para respostas curtas e factuais, a consistência geralmente é o que você deseja.
O que determina o custo
- Off-policy: a inferência do professor (tokens de entrada e saída para cada resposta que ele escreve) mais o treinamento do aluno (prompts mais respostas do professor, × épocas). O comprimento da resposta do professor não é conhecido com antecedência, portanto, as estimativas são um intervalo. A síntese de prompts pelo serviço aumenta ambas as partes.
- On-policy: tempo de GPU. Cada etapa gera respostas e executa ambos os modelos, por isso é mais lento do que o treinamento supervisionado nos mesmos dados, e a GPU deve acomodar ambos.
Erros comuns
- Escolher o professor pela reputação em vez de por uma avaliação nas suas perguntas.
- Escolher um aluno pequeno demais para reter o que o professor sabe.
- Deixar o comprimento máximo da resposta do professor muito acima da sua resposta típica: você paga pelo comprimento e o aluno o aprende.
- Confundir os dois βs. O β da destilação escolhe a divergência; o β KL do RFT é uma penalidade por desvio.
- Não prever memória de GPU para o professor em uma execução on-policy.
Referências e leitura complementar
Fontes externas abrem em uma nova aba.
- 01Distillation TrainerHugging Face TRL docs · huggingface.coDefine o β (0 para KL forward, 1 para KL reversa, 0.5 para JSD) e o comprimento padrão de conclusão.
- 02On-Policy Distillation of Language Models: Learning from Self-Generated MistakesAgarwal et al., 2024 · ICLR / arXiv · arxiv.orgExperimentos sobre como a escolha da divergência equilibra qualidade e diversidade.
- 03Kullback–Leibler divergenceWikipedia · en.wikipedia.orgA definição da divergência KL e por que suas duas direções diferem.
- 04Jensen–Shannon divergenceWikipedia · en.wikipedia.orgA divergência simétrica à qual β = 0.5 corresponde.