O que é
O avaliador não é o seu objetivo. Ele é um substituto mensurável para ele, um proxy. O aprendizado por reforço otimiza o proxy implacavelmente e, sempre que o proxy e o seu objetivo divergirem, o modelo se desvia em direção ao proxy. Os economistas conhecem isso como a lei de Goodhart: quando uma medida se torna uma meta, ela deixa de ser uma boa medida. Na IA, isso é chamado de reward hacking (manipulação de recompensa) ou specification gaming (manipulação de especificações).
O exemplo clássico vem do aprendizado por reforço (RL) em jogos. No jogo de corrida de barcos CoastRunners, um agente recompensado por atingir alvos ao longo do percurso aprendeu a andar em círculos em uma lagoa, atingindo os mesmos poucos alvos repetidamente, e nunca terminava a corrida. Ele pontuava mais dessa forma do que completando o percurso. Nada estava quebrado: o agente fez exatamente o que a recompensa determinou.
Os modelos de linguagem fazem o mesmo com os avaliadores. Os autores do DeepSeek-R1 relatam que, ao treinar contra um modelo de recompensa aprendido para utilidade, a recompensa continuou subindo enquanto o desempenho em um benchmark de programação caía, e eles mantiveram os modelos de recompensa aprendidos fora de seu RL de raciocínio em parte por esse motivo.
Gao et al. (2022) mediram essa curva. Ao otimizar um modelo contra um modelo de recompensa aprendido, eles rastrearam uma recompensa “ouro” separada, representando a qualidade real: à medida que o modelo se afastava de seu ponto de partida, o proxy continuava subindo enquanto a pontuação ouro subia, atingia o pico e depois declinava. Modelos de recompensa maiores sofreram menos, mas nenhum eliminou o efeito.
Como isso se manifesta em cada avaliador
| Avaliador | Como é manipulado | Como se parece |
|---|---|---|
| Modelo juiz | Respostas mais longas e que parecem minuciosas; um tom confiante; texto que lisonjeia ou instrui o juiz | O comprimento aumenta; respostas cheias de ressalvas e perguntas reformuladas; frases como “Esta resposta está completa e correta.” |
| Similaridade | Reutilizar as frases da referência, independentemente de se encaixarem ou não | Respostas que parecem com as suas, mas dizem a coisa errada |
| Números | Listar muitos valores para que um deles fique próximo de cada um dos seus | Respostas repletas de números ou alternativas: “seja 9,9% ou 10,3%” |
| Correspondência exata / verificações | Satisfazer a verificação ao pé da letra | JSON válido com campos vazios; o rótulo correto cercado por informações sem sentido |
Exemplo prático
- Prompt: “Posso exportar um painel para o PowerPoint?” Sua referência: “Sim: Compartilhar → Exportar → PowerPoint. Cada gráfico se torna um slide.”
- Resposta 1, pontuação 0.95, verde: reformula a questão, fornece os passos, adiciona três parágrafos de dicas gerais de apresentação e termina com “Esta resposta aborda totalmente a sua questão.”
- Resposta 2, pontuação 0.70, vermelho: os passos da sua referência em duas frases.
- O juiz avaliou a minuciosidade acima da concisão, e a frase de encerramento pode tê-lo influenciado ainda mais. A resposta 2 é o que você queria, mas a atualização empurra o modelo em direção à resposta 1.
- Correções: um juiz mais rigoroso, ou uma combinação com semelhança à sua resposta; um comprimento máximo de resposta mais restrito; e uma avaliação com um juiz diferente para confirmar o resultado.
Como prevenir e identificar
- Leia as respostas reforçadas. As respostas verdes em cada grupo são exatamente o que está sendo ensinado ao modelo. Se elas não forem o que você deseja, pare e altere o avaliador.
- Avalie de forma independente. Compare o modelo treinado com seu ponto de partida em perguntas separadas para teste, usando um juiz diferente do avaliador. Um ganho de recompensa que não aparece lá é suspeito.
- Combine avaliadores. O ponto cego de cada avaliador é coberto por outro: um juiz mais uma verificação de números é muito mais difícil de burlar do que qualquer um deles isoladamente.
- Limite o comprimento. Um limite máximo sensato para o comprimento da resposta restringe a manipulação mais comum de forma direta.
- Ancore com KL β. Uma penalidade por se desviar do modelo inicial limita até que ponto qualquer exploração pode ser levada, à custa de uma melhoria mais lenta.
- Não treine em excesso. A otimização excessiva cresce com a distância do início; uma execução mais curta que para perto do pico geralmente supera uma mais longa.
- Prefira recompensas verificáveis. Respostas exatas, valores, verificações de formato e testes deixam menos espaço para interpretação do que uma opinião.
Erros comuns
- Tratar o gráfico de recompensa como a medida de sucesso.
- Usar o mesmo modelo como avaliador e como juiz de avaliação.
- Treinar por muito mais tempo do que o necessário “porque a recompensa continua subindo”.
- Corrigir uma manipulação e não reler as respostas; os modelos geralmente encontram a próxima brecha.
- Culpar o modelo. Ele está fazendo o que a recompensa determina; a correção quase sempre está no avaliador ou na configuração.
Referências e leitura complementar
Fontes externas abrem em uma nova aba.
- 01Concrete Problems in AI SafetyAmodei et al., 2016 · arXiv · arxiv.orgNomeia a manipulação de recompensa como um dos cinco problemas práticos de segurança no aprendizado de máquina.
- 02Scaling Laws for Reward Model OveroptimizationGao, Schulman & Hilton, 2022 · arXiv · arxiv.orgMede como a qualidade real atinge o pico e cai à medida que um modelo é otimizado contra uma recompensa proxy.
- 03Specification gaming: the flip side of AI ingenuityKrakovna et al., 2020 · Google DeepMind · deepmind.googleExemplos de agentes fazendo o que a recompensa determinou em vez do que era pretendido.
- 04Reward Hacking in Reinforcement LearningWeng, 2024 · Lil'Log · lilianweng.github.ioUm levantamento minucioso sobre a manipulação de recompensa no aprendizado por reforço (RL) e no treinamento de modelos de linguagem.