Filas de anotação: verificação manual do juiz

O que é

Um juiz LLM é rápido e barato, mas ainda é um modelo. Ele pode preferir a resposta mais longa, deixar passar um número errado ou recompensar um tom confiante. Juízes fortes concordam com as pessoas com a mesma frequência com que as pessoas concordam entre si — mais de 80% em Zheng et al. (2023) —, mas essa é uma média em benchmarks públicos, não uma garantia para as perguntas do seu produto. As filas de anotação colocam as respostas diante de uma pessoa, para que você saiba até que ponto confiar no juiz em seus dados.

Uma anotação é o rótulo de uma pessoa na saída de um modelo: uma pontuação por critério, uma escolha entre duas respostas ou uma resposta corrigida. Uma fila de anotação é uma lista de tarefas desses itens, com as regras para revisá-los.

Como funciona uma fila

• Itens são o que é revisado. De uma avaliação, cada pergunta julgada: a pergunta, ambas as respostas e o veredito do juiz. De um conjunto de dados, cada resposta treinável em sua conversa. Os itens são cópias, portanto, arquivar ou excluir a fonte não altera a fila.
• A rubrica são os critérios pontuados de 1 a 5 por resposta. Usar os próprios critérios do juiz — correção, utilidade, tom, formato — torna as pontuações humanas e do juiz comparáveis. Ela é bloqueada assim que qualquer coisa é revisada; caso contrário, as pontuações anteriores significariam outra coisa.
• A revisão cega mostra “Resposta A / Resposta B” sem os nomes dos modelos, e oculta o veredito do juiz, até que a revisão seja salva.
• O bloqueio mantém um item com a pessoa que o está revisando enquanto ela trabalha nele, para que duas pessoas não revisem o mesmo item.

Por que a revisão cega é importante

As pessoas são ancoradas pelo que veem primeiro. Mostre a um revisor que a resposta A veio do modelo recém-ajustado e ele se inclinará para ela, porque esse é o resultado que ele espera. Mostre-lhe o veredito do juiz e ele tenderá a concordar com ele — o que anula o propósito de verificar o juiz. Ocultar ambos até que a revisão seja salva mantém o rótulo humano independente. Salvar, então, revela quem era quem e o que o juiz disse, que é o momento em que as discordâncias se tornam visíveis.

Com o que preencher uma fila

Apenas uma amostra aleatória mede com que frequência o juiz está certo em geral. As outras escolhas são deliberadamente enviesadas para casos difíceis: ótimas para encontrar problemas e escrever correções, mas enganosas como uma estimativa de concordância geral.

Leitura dos resultados

agreement      = questions where you and the judge picked the same answer
                 ÷ questions you both decided

score gap      = your average − judge's average, per criterion,
                 on the same answers          (|gap| ≥ 1 point → look closer)

• Concordância com o juiz. Cerca de 80% ou mais: as taxas de vitória do juiz são um indicador justo. Abaixo de cerca de 60%: não decida baseando-se apenas nos números do juiz — revise mais, mude o modelo do juiz ou ajuste o que é solicitado que ele verifique. Lembre-se de que, com duas respostas para escolher, uma moeda concordaria metade das vezes, então 60% é apenas um pouco melhor do que o acaso.
• Diferenças de pontuação. Por critério, sua média em comparação à do juiz nas mesmas respostas. Uma diferença de 1 ponto ou mais significa que o juiz avalia esse critério de forma diferente das pessoas. Os juízes costumam ser tolerantes com a correção de fatos do produto e rigorosos com o formato.
• As discordâncias são os itens interessantes. Leia por que o juiz escolheu de forma diferente. Ou é um problema do juiz — corrija o juiz — ou um problema de dados: a própria resposta de referência estava errada ou desatualizada.

Transformando revisões em dados de treinamento

• Uma correção torna-se a resposta na qual treinar (dados supervisionados). A resposta de que você menos gostou é armazenada como seu par inferior, de modo que o mesmo exemplo também serve para o ajuste de preferência (DPO).
• Sem uma correção, a resposta que você escolheu é a resposta principal e a outra é o seu par inferior.
• Empates sem uma correção, e pontuações por si só, não são exportados. Exportar novamente atualiza os mesmos exemplos em vez de adicionar cópias.

{"messages": [
  {"role": "user", "content": "How do I share a report with a client?"},
  {"role": "assistant", "content": "Open the report → Share → pick the client. They get an email link.",
   "rejected": "You can export the report as a PDF and email it.", "rejectedSource": "review"}
]}

Configurações e números

Erros comuns

• Revisar com os nomes dos modelos ou o veredito do juiz visíveis e, em seguida, “confirmar” o juiz.
• Estimar a concordância geral a partir de uma fila cheia de empates e derrotas em vez de uma amostra aleatória.
• Escolher A ou B quando ambas as respostas estão erradas, em vez de escrever uma correção.
• Mudar o significado dos critérios no meio do processo — a rubrica é bloqueada por esse motivo.
• Culpar o juiz por cada discordância quando a própria resposta de referência estava desatualizada.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena↗Zheng et al., 2023 · arXiv · arxiv.orgConcordância entre juiz e humano acima de 80%, próximo ao nível entre humanos, e os vieses do juiz.
2. 02Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences↗Shankar et al., 2024 · arXiv · arxiv.orgA verificação de avaliadores de LLM em comparação com as avaliações humanas, e como os critérios sofrem desvios à medida que as pessoas revisam.
3. 03Cohen's kappa↗Wikipedia · en.wikipedia.orgConcordância corrigida pelo acaso — por que 60% em uma escolha dupla é um resultado fraco.
4. 04Inter-rater reliability↗Wikipedia · en.wikipedia.orgComo a concordância entre avaliadores é medida e interpretada.
5. 05Anchoring effect↗Wikipedia · en.wikipedia.orgO viés contra o qual a revisão cega protege.

Conceitos relacionados