O que é
Uma única avaliação responde à pergunta “esta execução de treinamento ajudou?”. Mais cedo ou mais tarde, você terá uma pergunta diferente: qual destes modelos devemos usar? Talvez um modelo de pesos abertos destilado, um modelo ajustado por reforço em um provedor e um modelo ajustado por preferência em outro. Suas avaliações separadas não podem responder a isso, porque cada uma utilizou suas próprias perguntas, talvez seu próprio avaliador — e um 4,0 de uma configuração não é o mesmo que um 4,0 de outra.
Uma comparação fixa as condições para que os números se alinhem. É a mesma ideia dos placares de líderes públicos, como HELM e Chatbot Arena — um teste compartilhado, aplicado da mesma forma a todos os concorrentes —, mas reduzido à escala das suas próprias perguntas.
Como funciona
- Selecione as perguntas uma única vez: as perguntas de teste reservadas de uma preparação, suas perguntas de validação ou um conjunto de dados.
- Execute uma avaliação por modelo exatamente nessas perguntas, com cada modelo ainda sendo comparado à sua própria base (ou a um checkpoint, ou pontuado isoladamente).
- Classifique os modelos pela pontuação média do avaliador e exiba a resposta de cada modelo por pergunta ao lado da referência.
answer score = mean(correctness, helpfulness, tone, format) 1–5
model score = mean of its answer scores over the shared questions
ranking = models judged the same way, highest model score firstA classificação é o resumo; a visualização por pergunta é onde você aprende. Ver a resposta de cada modelo para a mesma pergunta ao lado da sua referência mostra o que o melhor modelo ainda erra, e se a diferença entre dois modelos vem de algumas perguntas ou de todas elas.
Perguntas justas
| Fonte da pergunta | Justo quando |
|---|---|
| Perguntas de teste reservadas de uma preparação | Todos os modelos foram treinados nessa preparação. Um modelo treinado em uma preparação diferente pode ter visto algumas delas. |
| Perguntas de validação de uma preparação | Como acima, e nenhum dos modelos aprendeu com elas — embora o provedor as tenha visto durante o treinamento. |
| Um conjunto de dados | Nenhum dos modelos comparados foi treinado nele. |
| Uma amostra de treinamento | Nunca: ela sempre favorece o modelo de onde se originou. |
Lado a lado vs. isolado: duas escalas
O mesmo avaliador atribui pontuações notavelmente mais baixas a uma resposta lida isoladamente do que ao mesmo tipo de resposta lida ao lado de outra — nas medições da Scalata, cerca de um ponto inteiro na escala de 1 a 5 para o mesmo modelo. Portanto, uma comparação apenas classifica modelos que foram avaliados da mesma forma. Um modelo pontuado isoladamente é listado separadamente e marcado como não comparável. Para manter na classificação um modelo cuja base não existe mais, compare-o com um de seus checkpoints.
Independência do juiz
Não utilize um dos modelos comparados — ou sua base — como avaliador. Os avaliadores classificam melhor os textos que soam como sua própria escrita, de modo que a própria família do avaliador teria uma vantagem inicial silenciosa. Escolha um avaliador de uma família à qual nenhum dos concorrentes pertença e mantenha-o o mesmo durante toda a comparação.
Custo e tempo
Uma comparação custa a soma de suas avaliações: as respostas de cada modelo, as respostas de sua linha de base e as decisões do avaliador, além da hospedagem quando um modelo precisa de uma implantação temporária.
- As perguntas: 30 perguntas de teste reservadas da preparação na qual os três modelos foram treinados. O juiz: um modelo de uma quarta família.
- O Modelo A, destilado de um modelo maior, é avaliado em relação à sua base. O Modelo B, ajustado por reforço, tem uma base descontinuada, portanto é comparado com um checkpoint anterior. O Modelo C, ajustado por preferência, é avaliado em relação ao seu modelo pai supervisionado.
- Classificação pela pontuação média do juiz: C 4,2, B 3,9, A 3,4. Um quarto modelo, D, só pôde ser pontuado isoladamente (2,9); ele é listado separadamente como não comparável.
- C lidera B por 0,3 em 30 perguntas — uma diferença modesta. A visão por pergunta mostra C à frente na maioria das perguntas de faturamento e empatado nas demais, de modo que a liderança é ampla, em vez de vir de uma ou duas perguntas.
- Abrir as perguntas onde C teve a pontuação mais baixa mostra o que até mesmo o melhor modelo ainda erra: duas respostas nomeiam uma configuração de relatório que foi renomeada. Essa é a próxima rodada de dados.
Configurações
O conjunto de perguntas compartilhado que todos os modelos respondem. Escolha um que seja inédito para todos eles: geralmente, as perguntas de teste reservadas da preparação em que foram treinados.
Um modelo avaliador para toda a comparação. Ele deve vir de uma família à qual nenhum dos modelos comparados, ou suas bases, pertença.
Erros comuns
- Classificar modelos a partir de avaliações separadas que utilizaram perguntas ou avaliadores diferentes.
- Utilizar perguntas reservadas de uma preparação para um modelo treinado em outra, que pode já tê-las visto.
- Classificar um modelo pontuado isoladamente contra modelos avaliados lado a lado.
- Permitir que um dos concorrentes, ou sua base, atue como avaliador.
- Escolher um vencedor por alguns décimos de ponto sem ler as respostas por pergunta.
Referências e leitura complementar
Fontes externas abrem em uma nova aba.
- 01Holistic Evaluation of Language ModelsLiang et al., 2022 · arXiv · arxiv.orgComparar vários modelos sob os mesmos cenários e métricas, para que os resultados se alinhem.
- 02Chatbot Arena: An Open Platform for Evaluating LLMs by Human PreferenceChiang et al., 2024 · arXiv · arxiv.orgClassificar vários modelos a partir de julgamentos em pares em prompts compartilhados.
- 03LLM Evaluators Recognize and Favor Their Own GenerationsPanickssery et al., 2024 · arXiv · arxiv.orgPor que o avaliador não deve ser um dos concorrentes.
- 04Adding Error Bars to Evals: A Statistical Approach to Language Model EvaluationsMiller, 2024 · arXiv · arxiv.orgPor que uma pequena diferença entre dois modelos em poucas perguntas pode ser ruído.