O que é um avaliador
No ajuste fino por reforço, o modelo escreve várias respostas por prompt e precisa de um número para cada uma. O avaliador o produz: uma função, um modelo ou uma mistura de ambos, que lê o prompt, a resposta e, na Scalata, a sua própria resposta como referência, e retorna uma pontuação de 0 a 1. O GRPO usa apenas as diferenças entre as respostas ao mesmo prompt, portanto, a propriedade mais importante de um avaliador é que ele classifique as respostas da mesma forma que você faria.
Os avaliadores dividem-se em duas famílias. Os avaliadores baseados em regras calculam a pontuação: correspondência exata, sobreposição de palavras, comparação de números, validação de um formato. Eles são rápidos, gratuitos e perfeitamente consistentes, mas medem apenas o que foram programados para medir. Os avaliadores baseados em modelos, um LLM atuando como juiz, leem a resposta como uma pessoa faria e podem ponderar a exatidão, a utilidade e o tom, ao custo de tokens, tempo e seus próprios vieses. O DeepSeek-R1 usou apenas recompensas baseadas em regras para seu RL de raciocínio, porque seus autores descobriram que os modelos de recompensa aprendidos estão sujeitos a manipulação de recompensas em grande escala.
Os avaliadores
Um LLM lê a conversa, a sua resposta de referência e todas as N respostas juntas, e pontua cada uma de 1 a 5 em correção, utilidade, tom e formato; as notas são ajustadas para a escala de 0 a 1. Como ele compreende o significado, uma resposta correta com palavras diferentes ainda recebe uma boa pontuação. Custa uma chamada de juiz por prompt por época, e um juiz fraco produz pontuações ruidosas.
Sobreposição de palavras entre a resposta gerada e a sua resposta, medida como ROUGE-L F1 (0–1). Não necessita de um modelo juiz, portanto não tem custo. Recompensa o fraseado, não o significado: uma resposta correta formulada de maneira diferente recebe uma pontuação baixa, e uma resposta incorreta que reutiliza as suas palavras recebe uma pontuação alta.
70% de pontuação do juiz mais 30% de similaridade. O juiz decide o que é bom; o termo de similaridade aproxima as respostas do seu fraseado. Você paga pelo juiz e mantém ambos os pontos cegos, cada um em menor proporção.
Extrai os valores principais da sua resposta (decimais, porcentagens, quantias; não a numeração de listas) e compara cada um com o número mais próximo na resposta: uma margem de até 1% recebe crédito total, até 5% recebe metade, e além disso, zero. As unidades são alinhadas, de modo que 1.705M e 1,705B contam como o mesmo valor. Respostas sem números são ignoradas. Verifica apenas os valores, não a explicação ao redor deles.
50% juiz mais 50% números, de modo que tanto o raciocínio quanto os valores contam. Quando a sua resposta não possui números, a pontuação do juiz é utilizada isoladamente. Consome tokens de juiz da mesma forma que o juiz sozinho.
A resposta é igual ou contém o valor esperado, ou um trecho de código verifica seu formato (JSON válido, um rótulo conhecido). As pontuações geralmente são tudo ou nada, o que dá ao GRPO um sinal muito limpo, mas só funciona quando há uma resposta verificável. Provedores hospedados oferecem esses como avaliadores integrados, por exemplo, uma verificação de string, ao lado da similaridade de texto, um modelo de pontuação e combinações de avaliadores.
Como a similaridade é medida: ROUGE-L
O ROUGE foi introduzido por Chin-Yew Lin em 2004 para pontuar resumos escritos por máquinas em comparação com os humanos. A variante L busca a maior subsequência comum (LCS): a maior sequência de palavras que aparecem em ambos os textos na mesma ordem, não necessariamente adjacentes. A precisão é a LCS ÷ palavras na resposta, o recall é a LCS ÷ palavras na referência, e o F1 combina os dois (sua média harmônica).
- Referência, 9 palavras: “Abra o relatório, clique em Compartilhar e escolha o cliente.”
- Resposta A: “Clique em Compartilhar no relatório e selecione o cliente.” Maior subsequência comum: “clique em compartilhar … e selecione o cliente”, 6 palavras. Precisão 6/9, recall 6/9, F1 ≈ 0,67.
- Resposta B, correta, mas reescrita: “Use o botão Compartilhar no seu relatório para enviá-lo a eles.” (12 palavras). Maior subsequência comum: apenas “o relatório”, 2 palavras. Precisão 2/12, recall 2/9, F1 ≈ 0,19.
- Resposta C, destinatário incorreto: “Abra o relatório, clique em Compartilhar e selecione o administrador.” 8 palavras em comum, F1 ≈ 0,89, o maior dos três.
- As implementações diferem ligeiramente na forma como dividem as palavras e se as reduzem aos seus radicais, mas a lição permanece: a similaridade mede a formulação, e é por isso que geralmente é combinada com um juiz.
Como o avaliador de números pontua
- Sua resposta: “WACC ≈ 9,91%; custo de capital próprio 10,34%; dívida após impostos 4,15%; EV ≈ US$ 1.705M.” Quatro números principais.
- A resposta contém 9,95%, 10,3%, 4,2% e 1.700M.
- 9,95 vs 9,91 tem 0,4% de diferença, 10,3 vs 10,34 tem 0,4% de diferença, 1.700 vs 1.705 tem 0,3% de diferença: pontuação total para cada.
- 4,2 vs 4,15 tem 1,2% de diferença: dentro da margem de 5%, portanto, meia pontuação.
- Pontuação = (1 + 1 + 1 + 0,5) ÷ 4 = 0,875. Uma resposta dizendo apenas “WACC é 1,33%” recebe nota 0.
O avaliador de números verifica os valores, não o raciocínio em torno deles: um número correto alcançado da maneira errada ainda pontua, e um método sólido com um pequeno erro perde pontos. Uma resposta que lista muitos valores também tem mais chances de se aproximar da sua. A combinação juiz + números existe para cobrir ambas as lacunas.
Por que o juiz vê todas as respostas de uma vez
Na Scalata, o juiz vê todas as N respostas a um prompt juntas. Ao vê-las lado a lado, ele as pontua de forma consistente umas em relação às outras, e pontuações relativas consistentes são exatamente o que o GRPO usa. As notas por critério do juiz e uma breve justificativa para cada resposta são exibidas na página de execução ao lado de cada grupo.
Escolhendo um avaliador
| Sua tarefa | Comece com | Por que |
|---|---|---|
| Suporte aberto ou chat de consultoria | Modelo juiz | Apenas um modelo pode julgar se o texto livre está correto e é útil |
| As respostas também devem soar como as da sua equipe | Juiz + similaridade | O juiz protege o significado; a similaridade direciona para o seu fraseado |
| Cálculos com resultados exatos | Juiz + números, ou apenas números | Os números são verificáveis; o juiz detecta absurdos ao redor deles |
| Um rótulo ou valor correto | Correspondência exata / verificações | Pontuações de tudo ou nada fornecem o sinal mais limpo |
| Um formato de saída fixo | Uma verificação de formato, possivelmente combinada com um juiz | A validade é verificável; o conteúdo ainda pode precisar de julgamento |
Seja qual for a sua escolha, pontue cinco ou dez respostas você mesmo e compare com o avaliador antes de uma execução longa. Se você discordar da classificação dele, o modelo aprenderá a opinião do avaliador, não a sua.
Erros comuns
- Usar apenas a similaridade onde o significado é importante. Paráfrases corretas são punidas e respostas erradas com as suas palavras são recompensadas.
- Escolher um juiz fraco para uma execução longa. Pontuações ruidosas tornam-se vantagens ruidosas, e o GRPO amplia pequenas diferenças.
- Usar o mesmo modelo como avaliador e como juiz de avaliação. Seus pontos cegos, então, parecem melhorias duas vezes.
- Usar o avaliador de números em dados cujas respostas têm poucos valores; essas linhas são ignoradas e a execução aprende com uma fração dos seus dados.
- Esquecer que qualquer coisa que o avaliador não verifique, como tamanho, tom ou detalhes inventados, está livre para o modelo alterar.
Referências e leitura complementar
Fontes externas abrem em uma nova aba.
- 01ROUGE: A Package for Automatic Evaluation of SummariesLin, 2004 · ACL Anthology · aclanthology.orgA definição original do ROUGE-L e sua medida F de maior subsequência comum.
- 02GradersOpenAI API docs · developers.openai.comTipos de avaliadores hospedados: verificação de string, similaridade de texto, modelo de pontuação, Python e múltiplos avaliadores.
- 03Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgAté que ponto os juízes LLM concordam com as pessoas e seus vieses conhecidos: posição, verbosidade, preferência por si mesmos.
- 04DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgPor que as recompensas baseadas em regras foram preferidas aos modelos de recompensa aprendidos para o RL de raciocínio.