A receita padrão: SFT, seguido de DPO

O que é

Quase todos os pipelines de pós-treinamento publicados executam o ajuste fino supervisionado antes do aprendizado por preferências. O InstructGPT fez isso (supervisionado, seguido por um modelo de recompensa e aprendizado por reforço). O Zephyr fez isso (supervisionado, seguido por DPO). O Tülu 3 fez isso (supervisionado, seguido por DPO e, em seguida, aprendizado por reforço com recompensas verificáveis). Provedores hospedados recomendam a mesma ordem para seu próprio ajuste de preferência.

Por que a ordem é importante

O DPO ajusta a probabilidade relativa de respostas que o modelo já poderia produzir. Ele não possui um mecanismo para ensinar fatos que o modelo nunca viu. Se um modelo não sabe nada sobre o seu produto, as respostas preferidas e não preferidas em um par costumam ser igualmente estranhas a ele, e a comparação traz pouco que ele possa utilizar.

Há também um motivo técnico. A recompensa implícita do DPO é medida em relação ao modelo de referência, e o método funciona melhor quando os pares se parecem com respostas que a referência poderia plausivelmente escrever. O artigo sobre DPO usa um modelo supervisionado como referência sempre que um existe; quando não há, ele primeiro faz um ajuste fino nas respostas preferidas para reduzir a incompatibilidade, o que é uma etapa de SFT com outro nome.

As evidências concordam. A equipe do Zephyr relatou que, sem uma etapa supervisionada inicial, seus modelos “não conseguiam aprender nada com o feedback e tinham um desempenho terrível”, enquanto o SFT seguido pelo DPO proporcionou um grande ganho em ambos os benchmarks de chat que utilizaram. Fazer mais treinamento supervisionado nas respostas com melhor classificação, em vez disso, não reproduziu esse ganho: a etapa de preferência adicionou algo que apenas o SFT não conseguiu.

Continuando a partir do modelo da etapa 1

A etapa 2 não parte do modelo base. Ela parte dos pesos que a etapa 1 produziu, e esse mesmo modelo se torna a referência congelada em relação à qual o DPO faz a medição.

• Modelos hospedados: o provedor inicia um novo trabalho a partir do modelo com ajuste fino anterior, por meio de seu id ou por inicialização a quente a partir de seu adaptador.
• Modelos abertos treinados com um adaptador LoRA: o adaptador da etapa 1 é primeiramente mesclado aos pesos base. O novo treinamento é executado nesse modelo mesclado, e o resultado é mesclado novamente e salvo como um modelo completo.
• Mesma base em todo o processo: a execução deve usar o mesmo provedor e modelo base da execução que ela continua, para que os limites e o preço do modelo permaneçam os mesmos.

As configurações mudam entre as etapas. O treinamento de preferência normalmente precisa de menos épocas (1–2) e de uma taxa de aprendizado muito menor. Como parâmetro, o Zephyr usou uma taxa de aprendizado máxima de 2e-5 para sua etapa supervisionada e 5e-7 para o DPO, com β = 0.1.

Medindo a etapa 2

Compare o modelo continuado com o modelo da etapa 1, não com a base pura. Uma vitória sobre a base reflete principalmente o que a etapa 1 ensinou. Uma vitória sobre o modelo da etapa 1 é o que o ajuste de preferência agregou, e é o único número que indica se você deve manter a etapa de DPO.

O que esperar

A lição geral ao executar etapas de DPO na prática é que os mesmos pares podem ajudar, não fazer nada ou prejudicar, dependendo do modelo inicial. Em um modelo capaz, uma etapa de DPO pode aproximar as respostas das da sua equipe e melhorar o tom. Em um modelo muito pequeno, o resultado costuma ser, em sua maioria, empates: se o modelo não consegue produzir uma boa resposta, não há nada para ele preferir. E, às vezes, o modelo ajustado piora.

Além de duas etapas

• Novo conhecimento após o DPO: continue com o treinamento supervisionado a partir do modelo ajustado por preferência. Um volume grande de novo treinamento supervisionado pode anular parcialmente o refinamento; uma breve passagem de preferência em seguida, a partir dessa nova execução supervisionada, o restaura.
• DPO sobre DPO com os mesmos pares significa apenas mais épocas nos mesmos dados e tende a causar um ajuste excessivo: as respostas desviam, tornam-se mais longas ou começam a burlar o que os pares recompensam.
• DPO iterativo (uma segunda rodada em novos pares coletados a partir das próprias respostas da primeira rodada) é uma técnica válida, mas exige uma nova etapa de coleta de pares entre as rodadas.

Erros comuns

• Pular a etapa 1 e executar o DPO em um modelo base puro.
• Avaliar a etapa 2 em relação ao modelo base e atribuir ao DPO os ganhos da etapa 1.
• Treinamento excessivo na etapa 1. O Zephyr descobriu que, quando o modelo supervisionado era treinado por mais de uma época, um treinamento de DPO mais longo causava uma regressão.
• Executar uma segunda rodada de DPO em um modelo DPO com os mesmos pares.
• Agir com base em uma pequena diferença. 5 vitórias contra 1 em 20 perguntas é um indício, não uma prova: execute uma avaliação maior primeiro.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

1. 01Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgO pipeline original com supervisão primeiro, com RLHF como segunda etapa.
2. 02Zephyr: Direct Distillation of LM Alignment↗Tunstall et al., 2023 · arXiv · arxiv.orgSFT seguido de DPO em detalhes, incluindo o que acontece quando a etapa de SFT é ignorada.
3. 03Tulu 3: Pushing Frontiers in Open Language Model Post-Training↗Lambert et al., 2024 · arXiv · arxiv.orgUma receita totalmente aberta: ajuste fino supervisionado, seguido de DPO e, em seguida, aprendizado por reforço.
4. 04Direct preference optimization↗OpenAI API docs · developers.openai.comUm provedor hospedado recomendando ajuste fino supervisionado em respostas preferidas antes do DPO.
5. 05Direct Preference Optimization: Your Language Model is Secretly a Reward Model↗Rafailov et al., 2023 · arXiv · arxiv.orgExplica por que o modelo de referência deve ser um modelo supervisionado e o que fazer quando nenhum existe.

Conceitos relacionados