Em breveO Treinamento de Modelos será lançado em breve no Scalata Enterprise. Ensine um modelo a responder como a sua equipe.Veja o que está por vir

Recursos/Treinamento de modelo/Avaliação

Método

LLM como juiz

Um modelo de linguagem separado lê a pergunta, a resposta de referência e duas respostas candidatas, pontua ambas e escolhe uma vencedora. Configurado às cegas, com ordem embaralhada e uma família de modelos diferente, ele concorda com avaliadores humanos com a mesma frequência com que os humanos concordam entre si.

Capítulo 85 min de leitura5 referências

O que é

Respostas abertas não têm uma única string correta para comparação. Duas respostas para “Como exporto meu relatório?” podem estar certas, e a melhor pode ser a mais curta, a que indica o caminho do menu ou a que alerta sobre uma armadilha comum. Humanos podem julgar isso, mas são lentos e custosos. O LLM como juiz usa um modelo de linguagem capaz para fazer o mesmo julgamento em escala.

Zheng et al. (2023) estudaram isso sistematicamente e descobriram que juízes fortes, como o GPT-4, corresponderam às preferências humanas em mais de 80% das vezes — o mesmo nível de concordância que entre dois humanos. Eles descreveram três configurações: comparação em pares (qual de duas respostas é melhor), avaliação de resposta única (uma pontuação para uma resposta) e avaliação guiada por referência (julgar com uma resposta sabidamente boa em mãos). A configuração usada aqui combina as três.

pergunta reservada
A · ajustado ou base?B · ajustado ou base?
→modelo juizfamília diferente→
AB
Exatidão53
Utilidade43
Tom44
Formato52
Vencedor: A · “caminho específico e correto; B é vago”
Julgamento A/B cego. O juiz nunca sabe qual modelo escreveu qual resposta, e a ordem é embaralhada por pergunta para anular o viés de posição.

Como funciona

o que é fornecido ao juiz (simplificado)
Question:          <the held-out user message and its context>
Reference answer:  <the reply from your data>
Answer A:          <one model's answer>
Answer B:          <the other model's answer>

Score each answer 1–5 on correctness, helpfulness, tone and format.
Then name the winner (A, B or tie) and give a one-sentence reason.

O juiz vê a pergunta com seu contexto, a resposta de referência dos seus dados e duas respostas rotuladas apenas como A e B. Ele pontua cada uma de 1 a 5 em quatro critérios, nomeia um vencedor geral ou um empate e escreve um motivo breve. As pontuações são calculadas em média entre as perguntas; os vencedores tornam-se a taxa de vitória; os motivos são o que você lê para entender o porquê.

CritérioO que representa um 5O que representa um 1
ExatidãoFatos, etapas e nomes estão corretos e consistentes com a referênciaEtapas incorretas, ou recursos, configurações ou números inventados
UtilidadeResolve o problema real do usuário, incluindo a próxima etapaConselho genérico ou uma evasiva
TomAdequa-se à situação e à sua vozFrio com um usuário frustrado, ou excessivamente coloquial onde é necessária precisão
FormatoO comprimento e a estrutura adequam-se à perguntaUm bloco de texto para uma resposta de uma linha, ou formatação desconfigurada

Vieses conhecidos e o que os anula

  • Viés de posição. Os juízes tendem a preferir a resposta que vem primeiro (alguns preferem a segunda). Wang et al. (2023) mostraram quão forte isso pode ser: apenas mudando a ordem, o Vicuna-13B pôde superar o ChatGPT em 66 de 80 perguntas com o ChatGPT como juiz. Solução: embaralhar a ordem por pergunta, para que o viés recaia igualmente sobre ambos os modelos e se equilibre na média.
  • Autopreferência. Os modelos avaliam melhor os textos que se assemelham à sua própria escrita. Panickssery et al. (2024) descobriram que quanto melhor um modelo reconhece sua própria saída, mais forte é esse viés. Solução: usar um juiz de uma família de modelos diferente daquela dos modelos sendo comparados.
  • Viés de verbosidade. Respostas mais longas e com aparência mais detalhada tendem a vencer, mesmo quando não são melhores. O AlpacaEval com controle de comprimento corrige isso e aumentou sua concordância com as classificações humanas (correlação de Spearman com a Chatbot Arena de 0,94 para 0,98). Solução: comparar os comprimentos médios juntamente com a taxa de vitória e ler os motivos dos vencedores longos.
  • Viés de marca. Se o juiz souber qual resposta veio do modelo “com ajuste fino”, ele pode favorecê-la ou penalizá-la. Solução: rótulos cegos — o juiz vê apenas A e B.

A resposta de referência também ajuda. Os juízes são muito melhores em identificar fatos incorretos quando têm uma resposta sabidamente boa para verificar, o que é mais importante para perguntas de domínio onde o próprio juiz pode não saber os passos corretos.

Verificação manual do juiz

Um juiz ainda é um modelo: ele pode preferir respostas longas, deixar passar um número incorreto ou recompensar um tom confiante. A solução é fazer com que pessoas revisem uma amostra das mesmas perguntas, às cegas, e medir com que frequência escolhem a mesma resposta que o juiz. Com cerca de 80% de concordância ou mais, as taxas de vitória do juiz são um bom indicador; abaixo de cerca de 60%, não decida apenas com base nos números do juiz — revise mais, mude o modelo do juiz ou altere o que lhe é solicitado verificar. As perguntas em que as pessoas e o juiz discordam são as mais úteis para leitura.

Exemplo prático: uma pergunta julgada
  1. Pergunta: “Como redefino minha senha?” Referência: “Configurações → Segurança → Redefinir senha; o link enviado por e-mail é válido por 30 minutos.”
  2. A ordem é embaralhada: a resposta ajustada torna-se B desta vez. A (base): “Geralmente, você pode redefini-la nas configurações da sua conta ou entrar em contato com o suporte.” B (ajustada): “Abra Configurações → Segurança e escolha Redefinir senha. Verifique seu e-mail em até 30 minutos.”
  3. Pontuações: A — exatidão 3, utilidade 3, tom 4, formato 4. B — 5, 5, 4, 5.
  4. Veredito: B, motivo “caminho específico e correto, e menciona a expiração; A é vaga.” Mapeado de volta: uma vitória do modelo ajustado.
  5. Esta pergunta decidida também é um par de preferência: B preferida, A não.

Erros comuns

  • Usar a mesma família de modelos como juiz e concorrente e, em seguida, confiar em uma vitória apertada.
  • Sempre colocar a resposta ajustada na mesma posição.
  • Ler apenas a taxa de vitória: os motivos mostram se uma vitória veio da exatidão ou apenas do comprimento.
  • Presumir que o juiz conhece o seu domínio. Sem uma resposta de referência, ele pode recompensar erros confiantes e plausíveis.
  • Nunca verificar o juiz por amostragem em comparação com a sua própria leitura de uma dúzia de perguntas.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

  1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgMais de 80% de concordância com humanos, e os vieses de posição, verbosidade e autoengrandecimento.
  2. 02Large Language Models are not Fair EvaluatorsWang et al., 2023 · arXiv · arxiv.orgQuão forte é o viés de posição e estratégias de calibração para combatê-lo.
  3. 03LLM Evaluators Recognize and Favor Their Own GenerationsPanickssery et al., 2024 · arXiv · arxiv.orgAutopreferência e por que um juiz de outra família ajuda.
  4. 04Length-Controlled AlpacaEval: A Simple Way to Debias Automatic EvaluatorsDubois et al., 2024 · arXiv · arxiv.orgCorrigindo a tendência a respostas mais longas.
  5. 05A Survey on LLM-as-a-JudgeGu et al., 2024 · arXiv · arxiv.orgUma ampla revisão de designs, vieses e confiabilidade de juízes.
ConceitoBase vs. ajustado, lado a ladoUma avaliação faz as mesmas perguntas reservadas ao modelo inicial e ao modelo treinado e compara as suas respostas, para que você possa ver se o treinamento realmente melhorou as respostas.MétricaInterpretando resultados de avaliaçãoComo interpretar a taxa de vitórias, a diferença de pontuação e os sinais secundários de uma avaliação — e como distinguir uma melhoria real de ruído quando o número de questões é pequeno.Prática recomendadaFilas de anotação: verificação manual do juizAs pessoas revisam as respostas do modelo uma a uma — pontuando-as, escolhendo a melhor ou escrevendo uma correção — para medir até que ponto é possível confiar no juiz LLM e para transformar as suas correções em dados de treinamento.ConfiguraçãoAvaliadores: como as respostas são pontuadasUm avaliador transforma uma resposta em um número entre 0 e 1. No ajuste fino por reforço, essa é a única definição de “bom” que o modelo vê, de modo que a escolha do avaliador decide o que o modelo aprende.Prática recomendadaManipulação de recompensaA manipulação de recompensa ocorre quando um modelo aumenta sua pontuação sem melhorar na tarefa, explorando o que o avaliador não consegue verificar. É a principal maneira pela qual o ajuste fino por reforço dá errado.Prática recomendadaDe onde vêm os bons pares de preferênciaUm par de preferência é um prompt com uma resposta melhor e uma pior. A eficácia do DPO depende principalmente de a diferença entre as duas respostas ser aquilo que você realmente deseja alterar.

Transforme semanas de trabalho especializado em minutos

Veja como o Scalata se adapta à sua equipe, aos seus dados e aos seus Controles.

Fale com vendas