O que é
Toda execução de DPO tem um modelo de referência: uma cópia congelada do modelo como ele era antes do treinamento de preferência. O Beta (β) decide o quão longe a execução pode se afastar dele. Pense em uma coleira: os pares puxam o modelo em direção às respostas que você prefere, e o β define o quão curta é a coleira.
Por que ter uma coleira? Seus pares cobrem uma fatia estreita do que será perguntado ao modelo. Se deixado sem restrições, a maneira mais barata de separar as respostas preferidas das não preferidas pode ser extrema: tornar algumas frases quase impossíveis, alongar tudo ou desviar-se de maneiras que ninguém revisou. Manter-se próximo à referência mantém o restante do comportamento do modelo (seu conhecimento geral, sua fluência, o que a etapa supervisionada lhe ensinou) em grande parte intacto.
Como funciona
No objetivo do qual o DPO é derivado, o β multiplica a penalidade por divergir da referência, medida como divergência KL. O melhor modelo sob esse objetivo é a referência reponderada por e elevado à recompensa ÷ β. Com um β grande, mesmo grandes diferenças de recompensa alteram as probabilidades apenas um pouco; com um β pequeno, pequenas diferenças são amplificadas.
objective: maximise reward − β × KL(model ‖ reference)
best model: π*(answer) ∝ π_ref(answer) × e^(reward(answer) / β)
large β → rewards barely move the probabilities
small β → small reward differences are amplifiedDentro da perda, o β multiplica a margem da razão logarítmica antes da sigmoide. Um par para de puxar assim que β × margem for confortavelmente positivo, porque a perda para esse par se estabiliza. Um β maior atinge esse ponto após menos movimento para longe da referência; um β menor continua puxando até que o modelo tenha se movido muito mais.
- Considere um par onde o treinamento moveu a margem da razão logarítmica (escolhido menos rejeitado, cada um em relação à referência) para 4,0.
- β = 0,05: β × margem = 0,2 e a perda é de 0,60. Ainda próximo ao valor inicial de 0,69, portanto, este par continua exercendo forte influência.
- β = 0,1: 0,4, perda de 0,51. No meio do caminho.
- β = 0,5: 2,0, perda de 0,13. Quase satisfeito; este par agora contribui com poucas mudanças adicionais.
- Para reduzir a perda deste par para 0,1, a margem deve atingir cerca de 22,5 em β = 0,1, mas apenas cerca de 4,5 em β = 0,5. Um β menor permite que os mesmos pares movam o modelo muito mais longe.
É também por isso que o valor da perda depende do β. Uma perda de 0,3 em β = 0,5 e uma perda de 0,3 em β = 0,05 descrevem quantidades de mudança muito diferentes. Compare curvas de perda apenas entre execuções que usaram o mesmo β.
Como escolher
| β | Efeito | Quando utilizar |
|---|---|---|
| 0,05 | As preferências alteram mais o modelo. Efeito mais rápido, maior risco de comportamento estranho. | Pares limpos e abundantes, e um modelo que quase não se moveu em 0,1. |
| 0,1 | O equilíbrio habitual. | Uma primeira execução. O padrão nos experimentos do artigo do DPO e no Hugging Face TRL. |
| 0,3–0,5 | Mantém-se mais próximo ao original. Mais seguro, efeito menor. | Pares escassos ou ruidosos; uma perda que caiu para perto de 0 muito rápido; respostas que se desviaram ou começaram a inventar detalhes. |
O artigo do DPO usou β = 0,1 para a maioria dos experimentos e β = 0,5 para sua tarefa de sumarização. Plataformas hospedadas podem aceitar uma gama mais ampla (uma documenta de 0 a 2) ou escolher um valor automaticamente.
A força da atração de volta ao modelo inicial durante o ajuste de preferências. Valores mais baixos permitem que os pares alterem mais o modelo; valores mais altos o mantêm mais próximo do original. Altere-o em pequenos incrementos e compare as avaliações, não as perdas, pois o β altera a escala de perda.
O β funciona em conjunto com as outras configurações. A taxa de aprendizado e o número de épocas decidem com que força e por quanto tempo o modelo é puxado; o β decide quanto movimento é considerado suficiente. Se uma execução foi longe demais, aumente o β ou diminua a taxa de aprendizado, mas não ambos ao mesmo tempo, ou você não saberá qual deles ajudou.
Erros comuns
- Diminuir o β para fazer o DPO “trabalhar mais” em pares escassos ou ruidosos. Isso amplifica tudo o que os pares recompensam, incluindo os erros.
- Comparar valores de perda entre execuções que usaram diferentes β.
- Alterar o β, a taxa de aprendizado e as épocas ao mesmo tempo, de modo que não seja possível saber qual mudança foi relevante.
- Presumir que um β muito alto é sempre seguro. Em valores extremos, a execução não muda quase nada, e você paga por um treinamento que não tem efeito.
Referências e leitura complementar
Fontes externas abrem em uma nova aba.
- 01Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.orgA Seção 4 deriva o ótimo de forma fechada; o apêndice lista β = 0,1 por padrão e 0,5 para sumarização.
- 02DPO TrainerHugging Face TRL docs · huggingface.coO padrão do β é 0,1; a documentação descreve um β maior como um menor desvio da referência.
- 03Direct preference optimizationOpenAI API docs · developers.openai.comA descrição de beta de um provedor hospedado: valores mais altos são mais conservadores, valores mais baixos favorecem as novas preferências.
- 04A General Theoretical Paradigm to Understand Learning from Human PreferencesAzar et al., 2023 · arXiv · arxiv.orgMostra que, quando as preferências são quase determinísticas, a atração para a referência enfraquece e o DPO pode sofrer sobreajuste.