Por que a perda não é suficiente
No treinamento supervisionado, observa-se a queda da perda. No ajuste fino por reforço, a perda é um guia ruim: os dados mudam a cada etapa porque o modelo escreve novas respostas, e as vantagens são recentralizadas em zero em cada grupo, de modo que a perda relatada pode pairar perto de zero enquanto o modelo melhora, ou enquanto não melhora. Os sinais úteis referem-se às respostas: qual é a sua pontuação, o quanto diferem e qual é o seu comprimento.
As métricas
A pontuação média do avaliador sobre as respostas da etapa, de 0 a 1. Deve apresentar uma tendência de alta, com ruído, já que cada etapa vê prompts diferentes. Estagnada ou em queda significa que o modelo não está encontrando respostas melhores: a tarefa pode estar além de sua capacidade, o avaliador pode ser muito ruidoso ou a taxa de aprendizado muito baixa. Subindo rapidamente em direção a 1 merece suspeita até que se leiam as respostas. O TRL a registra como reward; com várias funções de recompensa, cada uma também recebe sua própria linha.
A proporção de respostas que atingiram o comprimento máximo e foram cortadas (completions/clipped_ratio no TRL). Uma resposta cortada geralmente está incompleta e recebe uma pontuação ruim, portanto, uma taxa alta desperdiça grande parte da etapa e pode forçar o modelo a ser conciso pelo motivo errado. Aumente o limite ou solicite respostas mais curtas no prompt do sistema. Não deve ser confundido com o corte da atualização no objetivo do GRPO, que é registrado separadamente.
O quanto as pontuações diferem. O desvio padrão da recompensa é a dispersão das pontuações (o TRL o calcula sobre todo o lote). A fração de desvio padrão zero (frac_reward_zero_std) é a proporção de prompts cujas N respostas obtiveram a mesma pontuação; esses prompts não produzem atualização. Uma dispersão próxima a zero, ou uma fração de desvio padrão zero próxima a 1, significa que a execução está carente de sinal: todas as respostas são igualmente boas ou igualmente ruins. A Scalata mostra o complemento como prompts com um sinal.
O comprimento médio da resposta em tokens (completions/mean_length). Alguma variação é normal: em tarefas de raciocínio complexas, as respostas crescem legitimamente à medida que o modelo aprende a trabalhar por mais tempo, como ocorreu com o DeepSeek-R1-Zero. Em tarefas de chat, o aumento do comprimento em conjunto com a recompensa geralmente significa que o avaliador recompensa o próprio comprimento, uma forma de manipulação da recompensa. O encolhimento do comprimento a quase zero com uma recompensa estagnada pode significar que o modelo está evitando penalidades ao falar pouco.
Quando o KL β está acima de 0, o TRL também registra o kl, a divergência média em relação ao modelo inicial. Um KL que continua subindo enquanto a recompensa parou de melhorar indica que o modelo ainda está mudando, mas não mais para melhor.
Quando o provedor executa o próprio avaliador (modelos de raciocínio hospedados), ele não compartilha as respostas que pontuou durante o treinamento. Em vez disso, a cada poucas etapas, ele faz um punhado de perguntas de validação nas quais o modelo nunca treina e avalia as respostas com o mesmo avaliador. A etapa 0 é o modelo antes do treinamento, de modo que cada pergunta se torna uma pequena linha do tempo. Uma pontuação baixa na etapa 0 que sobe é o sinal mais claro de aprendizado que se transfere; uma pergunta em 1,00 desde a etapa 0 não pode mostrar melhora; uma queda em uma verificação é ruído de amostragem. A média delas, a recompensa de validação, merece mais confiança do que a recompensa de treinamento, pelo mesmo motivo que a perda de validação supera a perda de treinamento. Os provedores geralmente salvam pontos de verificação nas mesmas etapas, portanto, se as verificações pararem de melhorar na metade do caminho, o ponto de verificação correspondente pode ser tão bom quanto o modelo final.
Lendo os gráficos em conjunto
| O que se observa | Significado provável | O que fazer |
|---|---|---|
| Recompensa em alta, dispersão saudável, comprimento estável | Aprendendo | Deixe executar; confirme com uma avaliação no final |
| Recompensa estagnada perto do limite inferior, a maioria dos prompts sem um sinal | Todas as respostas são igualmente ruins: nada para reforçar | Comece a partir de uma execução supervisionada ou de um modelo maior; verifique se o avaliador funciona |
| Recompensa estagnada perto do limite superior, a maioria dos prompts sem um sinal | Os prompts são muito fáceis: todas as respostas já pontuam bem | Use prompts mais difíceis ou pare: há pouco a ganhar |
| Recompensa e comprimento subindo juntos | O avaliador prefere respostas longas | Leia as respostas reforçadas; altere ou combine o avaliador; reduza o limite de comprimento |
| Alta proporção de cortes | Respostas cortadas no limite | Aumente o comprimento máximo da resposta ou solicite respostas mais curtas |
| Recompensa maior, mas a avaliação é pior do que no início | Manipulação de recompensa ou desvio | Treine por menos etapas, aumente o KL β, altere o avaliador |
- Etapas 1–10: recompensa 0,31 → 0,38, 80% dos prompts com um sinal, proporção de corte 2%, comprimento de cerca de 180 tokens. Saudável.
- Etapas 10–30: recompensa 0,38 → 0,71, comprimento 180 → 420 tokens, proporção de corte 2% → 18%. A recompensa e o comprimento estão aumentando juntos, e as respostas estão começando a atingir o limite.
- Três grupos na página de execução: as respostas verdes reafirmam a pergunta, listam todas as ressalvas possíveis e repetem frases da referência. O juiz gostou da minuciosidade, e nada penalizou o preenchimento excessivo.
- Ação: reexecutar com menos etapas e um limite de comprimento menor, ou mudar para um avaliador que verifique o conteúdo de forma mais rigorosa e, em seguida, confirmar com uma avaliação que utilize um juiz diferente.
Erros comuns
- Julgar uma execução de RL por sua perda. Em vez disso, observe a recompensa, a dispersão e o comprimento.
- Comemorar uma recompensa próxima a 1 antes de ler as respostas com as pontuações mais altas.
- Ignorar a taxa de corte. Respostas interrompidas prejudicam as pontuações de uma etapa inteira.
- Comparar recompensas entre execuções com diferentes avaliadores ou juízes. As escalas não são as mesmas.
- Parar nos gráficos. A palavra final é uma avaliação em perguntas reservadas, idealmente com um juiz diferente.
Referências e leitura complementar
Fontes externas abrem em uma nova aba.
- 01GRPO TrainerHugging Face TRL docs · huggingface.coDefinições de reward, reward_std, frac_reward_zero_std, clipped_ratio e mean_length.
- 02Reinforcement fine-tuningOpenAI API docs · developers.openai.comLeitura da recompensa de treinamento e validação em um trabalho de RFT hospedado.
- 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgO comprimento da resposta cresceu à medida que o R1-Zero aprendeu a raciocinar: um caso em que mais longo era genuinamente melhor.
- 04Understanding R1-Zero-Like Training: A Critical PerspectiveLiu et al., 2025 · arXiv · arxiv.orgComo a perda original do GRPO pode inflar o comprimento, especialmente para respostas erradas.