Acurácia de preferência

O que é

Alguns treinadores relatam, ao lado da perda de DPO, um número geralmente chamado de precisão de preferência (o Hugging Face TRL o registra como rewards/accuracies). Para cada par, faz-se uma pergunta de sim ou não: o modelo agora classifica a resposta preferida acima da não preferida, uma vez que cada uma é comparada com o modelo de referência? O valor relatado é a proporção de pares em que a resposta é sim.

Como é calculada

Lembre-se da recompensa implícita do DPO: β vezes o logaritmo de quão mais provável o modelo treinado considera uma resposta em comparação com a referência. Cada par tem duas, uma por lado, e a margem é a recompensa escolhida menos a rejeitada.

margin   = reward(chosen) − reward(rejected)
correct  = margin > 0
accuracy = (pairs with margin > 0) ÷ (all pairs)

No primeiro passo, o modelo treinado é igual à referência, então cada margem é exatamente 0. Nas primeiras atualizações, as margens são minúsculas e de sinal quase aleatório, então a precisão gira em torno de 50%: como jogar uma moeda. À medida que o treinamento avança, as margens se dispersam e, se os pares estiverem ensinando algo, a maioria deles se move para a direita de zero.

Interpretando-a com a perda

Espere que a curva seja instável. A precisão costuma ser registrada por lote, e um lote de 8 pares só pode pontuar 0%, 12,5%, 25% e assim por diante, de modo que leituras individuais oscilam muito. Observe a tendência ao longo de muitos passos, ou o valor por época, em vez de um único ponto. Com muito poucos pares no total, um punhado de pares invertendo o sinal altera muito o número sem significar muito.

O que ela não mede

A precisão de preferência é calculada nos seus pares, cujas respostas já foram escritas. Ela nunca analisa o que o modelo escreve agora. Um estudo de 2024 mediu um número relacionado (se um modelo atribui diretamente a maior probabilidade à melhor resposta, sem uma referência) e descobriu que a maioria dos modelos de ponta ajustados por preferência faz isso em menos de 60% das vezes em conjuntos de dados de preferência comuns, em parte porque o DPO tem dificuldade em corrigir até mesmo erros leves de classificação que o modelo inicial já cometia. Um número alto nos seus pares de treinamento mostra que a execução funcionou mecanicamente; não é uma medida da qualidade da resposta.

Se a precisão também for relatada em pares retidos, esse número é mais informativo do que o de treinamento, pois mostra se a preferência se estende a pares nos quais o modelo não foi treinado. A palavra final ainda pertence a uma avaliação na qual o modelo escreve suas próprias respostas.

Erros comuns

• Interpretar 100% de precisão de treinamento como sucesso. Com pares poucos ou fáceis, isso é esperado e pode significar memorização.
• Interpretar a precisão sem a perda ou a margem: acertar por muito pouco ou acertar por uma grande margem contam igualmente como corretos.
• Comparar a precisão entre conjuntos de dados. Pares mais difíceis e sutis naturalmente geram números menores.
• Tratá-la como uma avaliação. Ela nunca analisa as respostas que o modelo escreve.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

1. 01DPO Trainer↗Hugging Face TRL docs · huggingface.coDefine recompensas/precisões e recompensas/margens conforme registradas durante o treinamento de DPO.
2. 02Direct Preference Optimization: Your Language Model is Secretly a Reward Model↗Rafailov et al., 2023 · arXiv · arxiv.orgDe onde vem a recompensa implícita por trás desta métrica.
3. 03Preference Learning Algorithms Do Not Learn Preference Rankings↗Chen et al., 2024 · arXiv · arxiv.orgCom que frequência os modelos ajustados por preferência realmente classificam a melhor resposta em uma posição superior, e por que o DPO raramente corrige erros de classificação existentes.
4. 04Zephyr: Direct Distillation of LM Alignment↗Tunstall et al., 2023 · arXiv · arxiv.orgAcurácia de treinamento perfeita após uma época de DPO, e o que isso significou e não significou para o modelo final.

Conceitos relacionados