Aprendizado com o feedback do chat

O que é o feedback do chat

Cada resposta no chat pode ser avaliada: 👍, 👎 — com até dois motivos, como “Faltam detalhes”, e um comentário opcional — ou Atualizar, para solicitar uma nova resposta. Cada pessoa tem direito a uma avaliação por resposta, e a mais recente é a que conta. A exceção é uma Atualização após um 👎: o 👎 e seus motivos são mantidos, pois ainda representam um “não”.

Essas avaliações são um registro do que usuários reais acharam de respostas reais, o que as torna valiosas. No entanto, uma avaliação isolada é um rótulo fraco e ruidoso, e a maioria dos métodos de ajuste fino não consegue utilizá-la diretamente. A função da importação é transformar as avaliações nos tipos de exemplos com os quais os métodos suportados por todos os provedores podem aprender.

De avaliações a exemplos

Regras que mantêm a integridade dos dados

• Uma resposta com avaliação negativa nunca é uma resposta para aprendizado. Ela aparece apenas como o lado rejeitado de um par, ou como contexto anterior, que nunca é utilizado no treinamento.
• Divergências são deixadas de fora. Uma resposta que uma pessoa avaliou positivamente e outra negativamente é considerada mista e é ignorada.
• Respostas idênticas não formam pares. Se uma Atualização retornou o mesmo texto, “preferir A em vez de A” não ensina nada.
• Uma Atualização isolada é um sinal fraco. As pessoas também atualizam por curiosidade. Ela só conta como uma resposta ruim se você optar por contabilizá-la; para pares, “perguntou novamente e gostou da nova” é sempre utilizado.
• As importações são estáveis. Importar novamente atualiza os exemplos criados na última vez, em vez de duplicá-los.

Por que não treinar diretamente com cada avaliação?

Respostas ruins não se adequam à maioria dos métodos. O treinamento supervisionado precisa de uma boa resposta para imitar, e o DPO precisa de uma resposta melhor e outra pior para a mesma pergunta. Um 👎 isolado não é nenhum dos dois. Existe um método criado para rótulos únicos de bom/ruim, o KTO (Kahneman-Tversky Optimization, 2024), cujos autores relatam que ele iguala ou supera os métodos baseados em preferência em escalas de 1 a 30 bilhões de parâmetros, aprendendo apenas se cada resposta foi desejável. Treinadores de código aberto, como o Hugging Face TRL, oferecem suporte a ele, mas a maioria dos serviços de ajuste fino hospedados não o disponibiliza. Um 👎 só se torna útil para eles quando há uma resposta melhor para compará-lo.

Avaliações brutas podem ensinar a coisa errada. As pessoas gostam de respostas que concordam com elas e soam confiantes. O estudo da Anthropic sobre bajulação (2023) descobriu que tanto as pessoas quanto os modelos de preferência às vezes preferem uma resposta agradável e escrita de forma convincente a uma resposta correta. Um estudo de 2024 que treinou modelos diretamente com feedback simulado de usuários foi além: os modelos aprenderam de forma confiável táticas manipulativas ou enganosas para ganhar avaliações positivas e, mesmo quando apenas 2% dos usuários eram vulneráveis, aprenderam a identificá-los. Encaminhar as respostas 👎 por meio de um revisor mantém uma pessoa decidindo qual é a resposta correta.

A ordem que geralmente funciona

1. Ajuste fino supervisionado nas respostas com avaliação positiva — e nas correções dos revisores — para que o modelo aprenda como são as boas respostas.
2. DPO nos pares, a partir do modelo supervisionado, para que ele aprenda qual de duas respostas plausíveis é a melhor.

As diretrizes de DPO da OpenAI recomendam o mesmo fluxo de trabalho: ajuste fino supervisionado nas respostas preferidas primeiro e, em seguida, um trabalho de DPO a partir do resultado.

Configurações

Erros comuns

• Treinar com todas as respostas que não receberam avaliação negativa, como se o silêncio significasse aprovação.
• Ativar “contabilizar também Atualização” quando os usuários atualizam principalmente para ver alternativas.
• Executar DPO em pares de feedback sem realizar o treinamento supervisionado em boas respostas primeiro.
• Deixar que os gostos de um pequeno grupo de avaliadores definam o que é “bom” sem verificar o resultado em relação a uma avaliação.
• Deixar a fila de revisão sem tratamento, de modo que o feedback mais informativo — o que deu errado — nunca se transforme em dados.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

1. 01KTO: Model Alignment as Prospect Theoretic Optimization↗Ethayarajh et al., 2024 · arXiv · arxiv.orgO método desenvolvido para rótulos únicos de desejável/indesejável.
2. 02KTO Trainer↗Hugging Face TRL docs · huggingface.coO que o KTO precisa como dados e como ele difere do DPO na prática.
3. 03Towards Understanding Sycophancy in Language Models↗Sharma et al., 2023 · arXiv · arxiv.orgComo as preferências humanas podem recompensar respostas agradáveis em vez de corretas.
4. 04On Targeted Manipulation and Deception when Optimizing LLMs for User Feedback↗Williams et al., 2024 · arXiv · arxiv.orgO que os modelos aprendem quando treinados diretamente para ganhar as avaliações positivas dos usuários.
5. 05Direct preference optimization↗OpenAI API docs · developers.openai.comA ordem recomendada: ajuste fino supervisionado nas respostas preferidas e, em seguida, DPO.

Conceitos relacionados