O que é
Uma avaliação normal é em pares: dois modelos respondem, e o avaliador diz qual resposta é melhor. A pontuação isolada — também chamada de avaliação absoluta, pontual ou de resposta única — descarta a segunda resposta. O avaliador lê uma resposta, verifica-a em relação à sua resposta de referência e atribui uma pontuação para cada critério. Zheng et al. (2023) a descreveram ao lado da comparação em pares como uma das maneiras padrão de usar um avaliador LLM; o MT-Bench a utiliza para dar a cada modelo uma pontuação única.
Na prática, você recorre a ela quando não há nada sensato com o que comparar: o modelo base foi descontinuado, não existe um checkpoint útil ou você simplesmente deseja um número absoluto para um modelo.
Como funciona
You are grading one assistant answer.
Conversation so far: …
Reference answer: (the reply from your data)
Answer: (the model's answer)
Score the answer from 1 to 5 on correctness, helpfulness,
tone and format, and give a short reason.- Uma resposta por pergunta. O modelo responde a cada pergunta reservada uma vez.
- Guiado por referência. O avaliador vê a sua resposta real, para que possa verificar fatos que talvez não conheça.
- Quatro critérios, 1–5. Exatidão, utilidade, tom e formato — os mesmos critérios da avaliação lado a lado, com uma breve justificativa.
- Médias, não vitórias. O resultado é a pontuação média por critério e no geral. Não há contra o que vencer.
Uma escala diferente da avaliação lado a lado
Lida lado a lado, cada pontuação é parcialmente relativa: o avaliador vê uma segunda resposta e calibra a partir dela. Lida isoladamente, ela tem apenas a referência para se basear e tende a ser mais rigorosa. Nas próprias medições da Scalata, o mesmo modelo nas mesmas perguntas com o mesmo avaliador pontuou cerca de um ponto inteiro a menos (na escala de 1 a 5) isoladamente do que quando avaliado junto a um checkpoint anterior. Nada no modelo mudou — apenas a configuração.
A pesquisa aponta para o mesmo caminho: o protocolo molda o resultado. Tripathi et al. (2025) descobriram que os julgamentos em pares são mais fáceis de influenciar com características superficiais — as preferências se inverteram em cerca de 35% dos casos, contra 9% para pontuações absolutas —, enquanto Liu et al. (2024) descobriram que a comparação em pares se alinha melhor com o julgamento humano do que a pontuação direta. Cada configuração tem seus pontos fortes; o que não se pode fazer é misturar os seus números.
O que ele pode e não pode informar
| Pergunta | Pontuado individualmente? |
|---|---|
| Quão boas são as respostas, em termos absolutos? | Sim |
| Qual critério é o mais fraco? | Sim — compare as médias por critério |
| Está melhor agora do que há três meses? | Sim, se ambos foram pontuados isoladamente nas mesmas perguntas com o mesmo avaliador |
| O treinamento melhorou em relação à base? | Não — não há com o que comparar |
| É melhor do que um modelo avaliado lado a lado? | Não — os dois estão em escalas diferentes |
- Um modelo de suporte ajustado por reforço é pontuado isoladamente em 20 perguntas reservadas. Seu modelo base não pode mais ser implantado.
- Resultado: 2,45 / 5 no geral — exatidão 2,0, utilidade 2,1, tom 3,0, formato 2,7.
- Leitura: o tom e o formato são aceitáveis, portanto o estilo está mais próximo das suas respostas do que o conteúdo. A exatidão fica para trás: as justificativas do avaliador apontam para caminhos de menu incorretos e configurações inventadas. O modelo não conhece o produto.
- Próximo passo: mais conhecimento do produto por meio de dados supervisionados, não mais reforço — o reforço aprimora o comportamento que o modelo já possui.
- Após uma rodada supervisionada, o novo modelo é pontuado isoladamente nas mesmas 20 perguntas com o mesmo avaliador: 3,3. Essa comparação é válida, pois ambas as pontuações vêm da mesma configuração.
Como utilizar corretamente
- Mantenha a configuração fixa ao acompanhar ao longo do tempo: mesmas perguntas, mesmo avaliador, mesmos critérios. Altere qualquer um deles e as pontuações anteriores deixarão de ser comparáveis.
- Leia os critérios, não apenas a média. Um 2,5 composto por um tom forte e uma exatidão fraca exige dados diferentes de um 2,5 composto pelo oposto.
- Prefira uma comparação de checkpoint quando precisar de uma classificação junto a modelos lado a lado: isso mantém o modelo na mesma escala que os demais.
Configurações
Avalie o modelo sem um segundo modelo. Utilize esta opção quando a base não puder ser implantada e não existir um checkpoint útil, ou quando desejar uma pontuação absoluta para acompanhar ao longo do tempo.
Erros comuns
- Classificar um modelo pontuado isoladamente em relação a modelos avaliados lado a lado.
- Interpretar uma pontuação absoluta baixa como “o treinamento o piorou” — não há um antes para comparar.
- Mudar o avaliador ou as perguntas entre duas execuções e, em seguida, comparar as suas pontuações.
- Olhar apenas para a média geral e não perceber qual critério está puxando a pontuação para baixo.
Referências e leitura complementar
Fontes externas abrem em uma nova aba.
- 01Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgAvaliação em pares, de resposta única e guiada por referência, lado a lado.
- 02Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based EvaluationTripathi et al., 2025 · arXiv · arxiv.orgComo a escolha entre a pontuação absoluta e em pares altera o resultado.
- 03Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model EvaluatorsLiu et al., 2024 · arXiv · arxiv.orgOs argumentos a favor da comparação em pares em vez da pontuação direta.
- 04Prometheus: Inducing Fine-grained Evaluation Capability in Language ModelsKim et al., 2023 · arXiv · arxiv.orgPontuação absoluta de 1 a 5 com base em uma rubrica e uma resposta de referência.
- 05G-Eval: NLG Evaluation using GPT-4 with Better Human AlignmentLiu et al., 2023 · arXiv · arxiv.orgUma fórmula inicial e amplamente utilizada para pontuar resultados individuais com um LLM.