O que é
O treinamento produz números — perda, precisão nos seus pares, recompensa — que indicam o quão bem o modelo se ajustou ao sinal de treinamento. Nenhum deles responde à pergunta que realmente importa: as respostas estão melhores agora? Uma perda menor pode resultar do fato de o modelo copiar o fraseado mais de perto, mesmo errando os fatos; uma execução de preferência pode aumentar a precisão nos seus pares, enquanto as respostas se tornam mais longas e vagas.
Uma avaliação mede isso diretamente. Dois modelos respondem ao mesmo conjunto de perguntas de teste — o modelo a partir do qual o treinamento começou e o modelo treinado — e as respostas são comparadas pergunta por pergunta.
Como funciona
- Perguntas de teste. Por padrão, cada uma vem do conjunto de teste separado: uma conversa mantida à parte tanto do treinamento quanto da validação, solicitada até uma de suas respostas. Nenhum dos modelos foi treinado nela, e o provedor nunca a viu.
- Resposta de referência. A resposta original dos seus dados. Não é uma resposta perfeita, mas mostra o que a sua equipe considerou correto.
- Duas respostas por pergunta. Ambos os modelos respondem com as mesmas configurações, de modo que a única diferença são os pesos.
- Uma comparação. Geralmente, um juiz LLM escolhe a melhor resposta e pontua ambas, além de sinais mais baratos, como semelhança com a referência, comprimento e latência.
A comparação é pareada: cada pergunta é respondida por ambos os modelos, e o resultado refere-se à diferença naquela pergunta. Isso é estatisticamente importante. Algumas perguntas são fáceis e outras são difíceis; pontuar cada modelo separadamente em perguntas diferentes misturaria essa dificuldade no resultado. A comparação na mesma pergunta anula isso, portanto, uma avaliação pareada precisa de menos perguntas para detectar a mesma melhoria.
De onde vêm as perguntas
Um modelo avaliado em perguntas nas quais foi treinado parece melhor do que realmente é. Portanto, antes de mais nada, a preparação de dados reserva um conjunto de teste: 10% das conversas, pelo menos 3, escolhidas aleatoriamente, mas fixas para essa preparação, e apenas quando o conjunto de dados tem pelo menos 10 conversas. Cada resposta em uma conversa de teste torna-se uma pergunta, feita com a conversa até aquele ponto. Uma resposta de teste que seja palavra por palavra igual a uma resposta de treinamento é descartada, pois o modelo efetivamente já a viu. O conjunto de validação é diferente: ele é enviado ao provedor para monitorar o treinamento, portanto, não é um teste limpo.
| Fonte | Visto durante o treinamento? | Usar para |
|---|---|---|
| Conjunto de teste reservado | Não | Julgar se o modelo realmente melhorou (o padrão) |
| Validação | Visto pelo provedor, não usado para aprendizado | Uma segunda opinião quando não há conjunto de teste |
| Amostra de treinamento | Sim, usado para aprendizado | Apenas uma verificação de sanidade; os resultados são otimistas |
Maneiras de comparar respostas
| Método | Indicado para | Limites |
|---|---|---|
| Correspondência exata ou numérica | Classificação, extração, cálculos: qualquer coisa com apenas uma resposta certa | Inútil para respostas abertas, onde muitas respostas estão corretas |
| Similaridade com a referência | Um sinal de baixo custo para saber se o modelo assimilou o seu fraseado e a sua estrutura | Recompensa a cópia; uma resposta melhor formulada de maneira diferente recebe uma pontuação menor |
| LLM como juiz | Chat aberto em escala: correção, utilidade, tom, formato | Possui vieses conhecidos que a configuração deve anular; custa tokens do juiz |
| Revisão humana | A palavra final sobre a qualidade e a verificação do juiz | Lento e caro; difícil de repetir a cada execução |
Benchmarks públicos medem a capacidade geral. O fine-tuning trata da sua tarefa, portanto, as suas próprias conversas reservadas são um teste muito melhor do que uma pontuação em um ranking.
Avaliando uma cadeia de execuções
Quando uma execução continua a partir de uma execução anterior — por exemplo, uma execução de preferência sobre uma supervisionada —, o lado “base” da sua avaliação é essa execução anterior, e não o modelo base original. A comparação com o original misturaria duas etapas: não seria possível dizer se a etapa de preferência ajudou ou se simplesmente herdou os ganhos da etapa supervisionada. Julgado um elo de cada vez, cada resultado responde a uma pergunta: esta etapa ajudou?
Quando não há base para comparação, ou há vários modelos
- Um checkpoint anterior. Os provedores descontinuam modelos base e, uma vez que um modelo base não pode mais ser implantado, uma comparação lado a lado é impossível. Em vez disso, o modelo final pode ser comparado com um checkpoint salvo na metade da mesma execução. Isso responde a “as etapas de treinamento posteriores ajudaram?”, e não a “ele é melhor do que o modelo original?”.
- Apenas pontuação. O juiz lê a conversa, a sua resposta e uma resposta do modelo, e atribui de 1 a 5 por critério. Não há vitórias: é uma pontuação de qualidade absoluta, útil para rastrear ou classificar modelos, mas não pode mostrar melhorias em relação a um modelo base.
- Uma comparação de modelos. Para escolher entre vários modelos, todos respondem exatamente às mesmas perguntas e enfrentam o mesmo juiz, sendo classificados pela pontuação média do juiz. Caso contrário, as pontuações não estarão na mesma escala.
- Uma execução supervisionada em 1.200 conversas termina com a perda de validação caindo de 1,9 para 1,1. Promissor, mas não é uma prova.
- A avaliação usa as 120 conversas do conjunto de teste, que não foram tocadas nem pelo treinamento nem pela validação. O modelo base e o ajustado respondem a todas as 120.
- O juiz prefere a resposta ajustada em 68 perguntas, a resposta base em 31, e considera 21 como empate.
- As respostas ajustadas são 40% mais curtas e muito mais próximas da referência. As justificativas do juiz mencionam “indica o caminho correto do menu” em muitas vitórias do modelo ajustado.
- Entre as vitórias do modelo base, oito justificativas dizem que a resposta ajustada “inventa uma configuração que não existe”. Isso aponta para uma lacuna nos dados — e fornece oito pares de preferência prontos.
Erros comuns
- Tratar uma curva de perda em queda como prova de que as respostas melhoraram.
- Avaliar em perguntas nas quais o modelo foi treinado e interpretar o resultado como desempenho no mundo real.
- Comparar uma execução continuada com o modelo base original, o que oculta se o último passo ajudou.
- Alterar as configurações de geração entre os dois lados, para que a comparação meça as configurações em vez dos pesos.
- Executar uma avaliação e parar: os motivos do juiz são o plano para a próxima rodada de dados.
Referências e leitura complementar
Fontes externas abrem em uma nova aba.
- 01A Survey on Evaluation of Large Language ModelsChang et al., 2023 · arXiv · arxiv.orgUma visão geral do que avaliar, onde e como.
- 02Holistic Evaluation of Language ModelsLiang et al., 2022 · arXiv · arxiv.orgPor que um único número nunca é suficiente: medindo muitas qualidades em muitos cenários.
- 03Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgO artigo que estabeleceu o julgamento por LLM em pares para respostas abertas.
- 04Adding Error Bars to Evals: A Statistical Approach to Language Model EvaluationsMiller, 2024 · arXiv · arxiv.orgPor que comparações pareadas nas mesmas perguntas são mais precisas.