Os números
win rate = tuned wins ÷ questions judged
score difference = mean(tuned criteria score) − mean(base criteria score)
decided share = tuned wins ÷ (tuned wins + base wins)- Taxa de vitória. A proporção de perguntas julgadas que o modelo ajustado venceu. Um empate não é uma vitória para nenhum dos lados; portanto, com muitos empates, uma taxa de vitória de 45% ainda pode ser uma melhoria clara — verifique com que frequência o modelo base venceu.
- Diferença de pontuação. A média das pontuações de 1 a 5 nos critérios das respostas do modelo ajustado menos a das respostas do modelo base, no geral e por critério. Isso mostra o quanto está melhor ou pior, e onde: exatidão, utilidade, tom ou formato.
- Similaridade com a referência. O quão próximas as respostas estão das suas respostas originais. O aumento da similaridade significa que o modelo assimilou o seu estilo; isso não significa, por si só, que as respostas sejam melhores.
- Extensão e latência. Se o lado ajustado vencer e suas respostas ficarem muito mais longas, suspeite do viés de verbosidade do avaliador. A latência é importante para o uso real: um modelo ajustado menor que empata com um maior ainda pode ser a melhor escolha.
Sinal ou ruído?
Toda avaliação é uma amostra: algumas dezenas ou centenas de perguntas representando todas as perguntas que os usuários farão. Execute a mesma comparação em uma amostra diferente e a taxa de vitória mudará. A questão não é “está acima de 50%?”, mas sim “está suficientemente acima de 50% para que o acaso seja uma explicação improvável?”
Um intervalo de confiança de 95% é a faixa de taxas de vitória consistente com o que foi observado. Sua amplitude é definida principalmente pelo número de perguntas, e cai aproximadamente pela metade cada vez que o número de perguntas quadruplica. Com 10 perguntas, uma divisão de 6 para 4 é totalmente consistente com dois modelos iguais; com 100 perguntas, uma divisão de 60/40 fica no limite; com 300, é inequívoca.
Empates exigem cuidado. Se o juiz declarar muitos empates, compare as vitórias com as derrotas apenas entre as questões decididas. Essa é a parcela que carrega informações sobre qual modelo é melhor.
- Resultado: o modelo ajustado venceu 52, o modelo base venceu 30, 18 empates. Taxa de vitória de 52% — parece um cara ou coroa.
- Entre as 82 perguntas decididas, o modelo ajustado venceu 52, ou 63%. O intervalo de confiança de 95% para esse resultado é de aproximadamente 53–73%: totalmente acima de 50%. Trata-se de uma melhoria real.
- Diferença de pontuação: +0,6 em exatidão, +0,4 em formato, −0,1 em tom. O ganho está na substância, com o tom praticamente inalterado.
- As respostas do modelo ajustado têm em média 95 palavras contra 160 do modelo base; portanto, a extensão não é o fator de vitória.
- Analisando as 30 vitórias do modelo base: nove justificativas mencionam um nome de configuração inventado. Esta é a próxima correção no conjunto de dados, e nove pares para treinamento.
Perguntas reservadas vs. perguntas de treinamento
Os resultados no conjunto de testes reservado são aqueles nos quais se deve confiar. As questões de validação são um passo mais fracas: o modelo não aprendeu com elas, mas o provedor as viu durante o treinamento. Quando um conjunto de dados era pequeno demais para ambos, as únicas questões disponíveis são aquelas nas quais o modelo ajustado foi treinado. Ele pode estar simplesmente relembrando a sua resposta de referência, parecendo melhor do que será em novas questões. Trate esse resultado como um limite superior: se o modelo ajustado não vencer nem mesmo em questões familiares, não vencerá em novas; se vencer, você ainda não saberá por qual margem.
Outros tipos de resultados
- Contra um checkpoint anterior: o resultado indica se as etapas de treinamento posteriores ajudaram. O último checkpoint geralmente é idêntico ao modelo final; portanto, a comparação com ele resulta principalmente em empates.
- Pontuado isoladamente: uma pontuação absoluta de 1 a 5 sem vitórias. O mesmo avaliador atribui pontuações notavelmente mais baixas a uma resposta lida isoladamente do que a uma lida ao lado de outra; portanto, um modelo pontuado isoladamente não pode ser classificado em relação a modelos julgados lado a lado; uma comparação de modelos o lista separadamente.
- Um resultado acirrado ou surpreendente: antes de agir sobre ele, verifique o avaliador. Pessoas revisando uma amostra às cegas em uma fila de anotação mostram com que frequência concordam com ele, e suas correções se tornam dados de treinamento.
Transformando resultados em ação
| O que você vê | Significado provável | Próximo passo |
|---|---|---|
| Vitória clara, intervalo acima de 50%, motivos relacionados à exatidão | O treinamento funcionou | Mantenha-o; arquive as variantes mais fracas |
| Vitória apertada em poucas questões | Um indício, não uma prova | Avalie em mais questões antes de agir |
| Maioria de empates | Pouco mudou — comum para modelos pequenos ou treinamento leve | Mais ou melhores dados supervisionados |
| O ajustado vence, mas as respostas ficaram muito mais longas | Possível viés de verbosidade | Leia os motivos; compare as pontuações de exatidão |
| O ajustado perde com motivos como “inventa detalhes” | Aprendeu o estilo sem o conhecimento | Mais dados, passos menores ou pares que penalizam a invenção |
| Os motivos do juiz não correspondem à sua própria leitura | O juiz pode não ser confiável nesta tarefa | Revise uma amostra manualmente e meça a concordância com o juiz |
Erros comuns
- Considerar 6 vitórias em 10 como uma melhoria.
- Interpretar uma baixa taxa de vitória como uma derrota sem verificar quantas perguntas resultaram em empate.
- Tratar uma pontuação em perguntas de treinamento como uma previsão para novas perguntas.
- Comemorar uma vitória que veio com respostas muito mais longas, sem ler por que o avaliador as preferiu.
- Comparar taxas de vitória de duas execuções avaliadas em conjuntos de perguntas diferentes ou com avaliadores diferentes.
Referências e leitura complementar
Fontes externas abrem em uma nova aba.
- 01Adding Error Bars to Evals: A Statistical Approach to Language Model EvaluationsMiller, 2024 · arXiv · arxiv.orgIntervalos de confiança, comparações pareadas e de quantas questões você precisa.
- 02Binomial proportion confidence intervalWikipedia · en.wikipedia.orgA matemática por trás de um intervalo em uma taxa de vitórias, incluindo o intervalo de Wilson usado na figura.
- 03Chatbot Arena: An Open Platform for Evaluating LLMs by Human PreferenceChiang et al., 2024 · arXiv · arxiv.orgTaxas de vitórias pareadas em escala muito grande, com a sua incerteza.
- 04Length-Controlled AlpacaEval: A Simple Way to Debias Automatic EvaluatorsDubois et al., 2024 · arXiv · arxiv.orgPor que o comprimento deve estar ao lado da taxa de vitórias.