O que é um par
Um par de preferência tem três partes: o prompt (a conversa até o momento, incluindo qualquer mensagem do sistema), a resposta preferida e a resposta não preferida. Algumas ferramentas chamam as duas últimas de escolhida e rejeitada. O modelo nunca é informado sobre o motivo de uma ser melhor. Ele infere isso a partir de tudo o que difere entre elas.
Esse é o fato central sobre os pares: o DPO aprende a diferença. Se a resposta preferida for correta e específica enquanto a rejeitada for vaga, ele aprende a ser específico. Se a resposta preferida também for sempre mais longa, ele pode aprender que “mais longo é melhor”. O que quer que separe os dois lados de forma consistente em seus pares é o que será reforçado.
As três fontes na ferramenta de Pares de preferência
Cada resposta em um conjunto de dados pode ser o lado melhor de um par. Quando você cria pares a partir de um conjunto de dados, o lado pior vem de um de três lugares:
| Origem | Como o lado pior é criado | Ponto forte | Ponto de atenção |
|---|---|---|---|
| Avaliações | Dois modelos responderam à mesma pergunta e um avaliador escolheu um vencedor. O vencedor é o preferido, o perdedor é o não preferido. Empates são ignorados: eles não indicam preferência. | Ambas as respostas são resultados reais do modelo, de modo que o contraste é realista. | Os avaliadores são imperfeitos, e um vencedor incorreto ensina a lição errada. Faça verificações por amostragem. |
| Suas edições | Você corrigiu uma resposta em um conjunto de dados. A versão corrigida é a preferida, a original é a não preferida. | O sinal de mais alta qualidade: uma pessoa dizendo exatamente o que estava errado. | Edições que apenas reescrevem ensinam pouco. |
| Escrito por um modelo | Um modelo de sua escolha escreve uma resposta simples e genérica, sem conhecimento da sua empresa e sem ferramentas. A sua resposta é a preferida. | Abrange todas as respostas que não têm outro par; ensina o modelo a responder como a sua equipe, em vez de como um assistente genérico. | O contraste é fácil, de modo que a perda pode cair rapidamente sem que muito seja aprendido. |
Adicionar novamente a mesma avaliação atualiza seus pares em vez de duplicá-los; portanto, avaliar, coletar pares, treinar e avaliar novamente é um ciclo que você pode repetir.
Pares de feedback do chat e revisão humana
- Feedback do chat. Quando alguém faz a mesma pergunta duas vezes em um chat, curte uma resposta e não curte ou atualiza a outra, a importação do feedback do chat transforma isso em um par: a resposta curtida é a preferida, a outra não. Respostas avaliadas de ambas as formas por pessoas diferentes são ignoradas, assim como respostas idênticas. Uma resposta não curtida por si só nunca se torna uma resposta com a qual aprender; ela aguarda uma resposta melhor para comparação.
- Filas de anotação. Um revisor que lê as respostas às cegas escolhe a melhor ou escreve uma correção. A exportação da fila torna a correção, ou a resposta escolhida, a resposta com a qual aprender e a resposta menos curtida o seu par pior, de modo que um exemplo serve para o treinamento supervisionado e para o DPO. Empates sem correção não são exportados.
O que torna um par útil
- A diferença deve ser o que realmente importa para você. Se ambas as respostas forem boas e diferirem apenas nas palavras, o modelo aprenderá ruído. Pesquisas sobre DPO descobriram que pares cujas respostas são muito semelhantes podem até transferir a probabilidade para respostas não relacionadas.
- A resposta preferida deve ser de fato melhor. Um vencedor incorreto ensina a lição errada. Respostas geradas e avaliadores são imperfeitos, portanto, leia uma amostra.
- Respostas rejeitadas plausíveis ensinam mais. "Vago, mas educado" é um contraste mais útil do que algo sem sentido. Uma resposta rejeitada que o modelo nunca escreveria ensina muito pouco.
- Próximo ao que o modelo escreve. O DPO aprende mais com respostas próximas ao próprio comportamento do modelo. Pares de avaliação, onde um dos lados foi escrito pelo próprio modelo, são naturalmente mais precisos.
- Controle o tamanho e o estilo. Se as respostas preferidas forem sistematicamente mais longas ou mais formatadas, inclua pares onde a resposta mais curta ou mais simples vença.
- Penalize a invenção. Se um modelo inventar detalhes, adicione pares onde a resposta rejeitada seja a inventada e a resposta preferida seja a correta, ou que diga claramente que não sabe.
- Pergunta: “Posso exportar um painel para o PowerPoint?” A resposta preferida é sempre a mesma: as etapas corretas, Compartilhar → Exportar → PowerPoint.
- Fraco: rejeitou “asdf”. O contraste é trivial: a perda neste par cai para quase 0 quase imediatamente e o modelo não aprende quase nada.
- Melhor: rejeitou “Não tenho certeza se esse recurso existe; verifique a documentação.” Uma falha realista: vaga e inútil.
- Ideal, para um modelo que inventa: rejeitou “Sim: pressione Ctrl+Shift+P e escolha Exportar para slides.” Confiante e incorreto, que é exatamente o hábito a ser removido.
Quantos pares
Dezenas de pares podem mostrar um efeito em um comportamento restrito; centenas ou mais produzem um efeito robusto. A cobertura é tão importante quanto a contagem: 200 pares nas mesmas cinco perguntas ensinam menos do que 200 pares distribuídos pelas perguntas que seus usuários realmente fazem. Para se ter uma ideia de escala, um estudo inicial de ajuste fino de modelos de linguagem a partir de comparações humanas usou 5.000 comparações para uma tarefa de estilo e 60.000 para sumarização.
Pares de conversas com vários turnos
Os pares podem vir de um ponto avançado de uma conversa. Alguns provedores treinam com uma pergunta por registro, de modo que os turnos anteriores são agrupados na última mensagem do usuário como contexto. Outros aceitam a conversa inteira como o prompt e mantêm os turnos como mensagens separadas. Os mesmos pares podem ser escritos de ambas as formas.
Earlier in this conversation:
User: I uploaded a CSV yesterday.
Assistant: Thanks — it's in Local Storage.
Latest message:
Can I use it in a dashboard?Erros comuns
- Confiar em pares gerados ou julgados sem ler uma amostra.
- Pares que diferem apenas na formulação, ou onde ambas as respostas são boas.
- Respostas rejeitadas que são obviamente incorretas, de modo que nada sutil é aprendido.
- Um viés de comprimento oculto: as respostas preferidas são sempre mais longas, então o modelo aprende a divagar.
- Criar pares a partir das mesmas perguntas nas quais você fará a avaliação, o que favorece o resultado.
Referências e leitura complementar
Fontes externas abrem em uma nova aba.
- 01Fine-Tuning Language Models from Human PreferencesZiegler et al., 2019 · arXiv · arxiv.orgTrabalhos iniciais sobre o aprendizado a partir de comparações humanas, incluindo como os atalhos dos rotuladores moldaram o que o modelo aprendeu.
- 02Dataset formats and typesHugging Face TRL docs · huggingface.coO formato de prompt / escolhido / rejeitado, em formas padrão e conversacionais.
- 03Direct preference optimizationOpenAI API docs · developers.openai.comUm formato hospedado com resultados preferidos e não preferidos, treinado um turno de cada vez.
- 04Unintentional Unalignment: Likelihood Displacement in Direct Preference OptimizationRazin et al., 2024 · arXiv · arxiv.orgPor que pares com respostas quase idênticas podem ter um efeito negativo, e como filtrá-los ajuda.