Ajuste fino por reforço (RFT)

O que é

No ajuste fino supervisionado, o modelo vê a resposta e é avaliado em cada token dela. O ajuste fino por reforço (RFT) nunca mostra uma resposta ao modelo. Ele escreve a sua própria, um avaliador pontua o resultado, e o treinamento torna os tipos de respostas com pontuação alta mais prováveis. A única coisa que você deve fornecer é uma maneira de distinguir uma resposta melhor de uma pior.

Isso faz do RFT o método de escolha quando uma boa resposta é fácil de reconhecer, mas difícil de escrever com antecedência: um cálculo cujo resultado pode ser verificado, uma classificação com um rótulo conhecido, um objeto JSON que deve ser validado ou uma pergunta aberta onde um modelo juiz capaz pode distinguir uma resposta cuidadosa de uma descuidada.

O vocabulário do aprendizado por reforço

O RFT empresta seus termos do aprendizado por reforço (RL), o campo que treina agentes de jogos e robôs. Mapeados para um modelo de linguagem, eles significam:

Duas coisas tornam o RL em modelos de linguagem diferente do treinamento supervisionado. A recompensa chega apenas no final: o avaliador pontua a resposta concluída, então o treinamento precisa descobrir quais das centenas de tokens merecem o crédito. E os dados são gerados durante o treinamento: a cada etapa, o modelo atual escreve novas respostas, de modo que aquilo com o qual ele aprende muda à medida que ele melhora. Isso é chamado de aprendizado on-policy.

Como uma pontuação se torna uma atualização

A regra de atualização no centro do RFT é chamada de gradiente de política. Em termos simples: para cada resposta, pegue cada token que o modelo escreveu e aumente sua probabilidade se a vantagem da resposta for positiva, ou diminua se for negativa, em uma quantidade proporcional à vantagem. Um token que apareceu em uma resposta bem pontuada torna-se um pouco mais provável nesse contexto; um token de uma resposta mal pontuada, um pouco menos.

As pontuações brutas formam um sinal fraco por si só. Se cada resposta a um prompt fácil pontuar 0,9, aumentar todas elas não diz nada sobre o que as tornou boas. Portanto, os métodos de RL comparam cada pontuação com uma linha de base, uma estimativa do que uma resposta comum a esse prompt pontua, e apenas a diferença conta. Métodos mais antigos, como o PPO, aprendem a linha de base com uma segunda rede neural. O GRPO, o método que a maioria dos serviços de RFT usa agora, simplesmente pega a pontuação média de várias respostas ao mesmo prompt; veja GRPO, passo a passo.

for each step:
    prompts = a few rows from your data
    answers = model.sample(prompts, n = 4)          # 4 tries per prompt
    scores  = grader(prompt, answers, reference)    # 0–1 each; the model never sees the reference
    adv     = (scores − group mean) / group std     # per prompt
    update the model: tokens of answers with adv > 0 become more likely,
                      tokens of answers with adv < 0 less likely

Sua própria resposta aparece apenas na entrada do avaliador, como uma referência. O modelo em treinamento nunca a vê, o que é a principal diferença prática em relação ao treinamento supervisionado: o modelo não pode copiar o caminho para uma pontuação alta, ele precisa encontrá-lo.

{"prompt": [{"role": "user", "content": "How do I share a report with a client?"}],
 "reference": "Open the report → Share → pick the client. They get an email link."}

• Uma linha por resposta, terminando nessa resposta. Um chat com três de suas respostas gera três linhas. A referência de cada linha é apenas a sua última resposta; as respostas anteriores permanecem no prompt como contexto.
• Instruções do sistema como uma mensagem `developer`. Modelos de raciocínio hospedados (a série o) não aceitam uma mensagem system em exemplos de reforço. As mesmas instruções vão em uma mensagem developer, que esses modelos tratam da mesma forma que outros modelos tratam system.

O que o RL pode e não pode fazer

Como aprende apenas com suas próprias tentativas, o RFT só pode reforçar o comportamento que o modelo já produz em parte do tempo. Se nenhuma das N respostas a um prompt for boa, todas as respostas terão pontuações semelhantes, a comparação será vazia e o prompt não ensinará nada. A pesquisa confirma isso: Yue et al. (2025) descobriram que modelos de raciocínio treinados por RL superaram seus modelos base quando permitida uma tentativa por problema, mas que, com muitas tentativas, os modelos base resolveram mais. O RL fez o modelo encontrar suas boas respostas de forma mais confiável; não lhe deu respostas que ele nunca poderia alcançar.

É por isso que a receita padrão é primeiro supervisionado, depois RL. O treinamento supervisionado em boas respostas ensina a tarefa, de modo que as tentativas do modelo começam a cair na área certa; o RL então aprimora quais dessas tentativas ele prefere. Em uma base muito forte, o RL sozinho pode ir longe: o DeepSeek-R1-Zero, treinado apenas com recompensas baseadas em regras, aumentou seu pass@1 no AIME 2024 de 15,6% para 77,9%. A maioria dos ajustes finos começa com modelos muito menores, onde uma etapa supervisionada inicial faz a diferença.

Quando utilizá-lo

• A resposta pode ser verificada: um valor, um rótulo, um formato, um teste. Avaliadores baseados em regras são baratos, exatos e difíceis de burlar.
• O modelo inicial já acerta uma boa parte, por exemplo, após um treinamento supervisionado em seus dados, ou porque é grande.
• Você pode julgar a qualidade, mas não pode escrever respostas ideais em escala: um modelo juiz forte pode pontuar respostas de texto livre em relação à sua resposta.
• Não para ensinar novos fatos ou um novo produto: estes devem vir de dados supervisionados ou de recuperação.

Erros comuns

• Executar o RFT em um modelo que quase nunca responde bem. Com todas as pontuações próximas ao limite inferior, não há nada para comparar; treine-o de forma supervisionada primeiro.
• Tratar uma recompensa crescente como prova de melhoria. A recompensa é a opinião do avaliador; confirme com uma avaliação independente.
• Escolher um avaliador que mede a coisa errada, como a sobreposição de palavras em uma tarefa onde o significado é importante. O modelo otimiza exatamente o que é medido.
• Esperar que o RFT adicione conhecimento. Ele reordena o que o modelo já faz.
• Definir o limite da resposta abaixo do comprimento de uma boa resposta, de modo que respostas completas sejam cortadas e pontuadas como ruins.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

1. 01DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning↗DeepSeek-AI, 2025 · arXiv · arxiv.orgRL em larga escala com recompensas baseadas em regras e por que um início a frio supervisionado ainda ajudou.
2. 02Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?↗Yue et al., 2025 · arXiv · arxiv.orgEvidência de que o RL aprimora o que um modelo base já pode fazer, em vez de adicionar um novo raciocínio.
3. 03Reinforcement fine-tuning↗OpenAI API docs · developers.openai.comUm serviço de RFT hospedado: avaliadores, dados e quando o RFT é uma boa opção.
4. 04Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgO artigo que tornou o RL a partir de feedback a etapa final padrão para modelos de chat.

Conceitos relacionados