Sobre o que é a escolha
Todo método de treinamento altera os pesos do modelo, mas cada um aprende a partir de um sinal diferente. O ajuste fino supervisionado (SFT) recebe a resposta certa. O ajuste de preferência (DPO) recebe duas respostas e é informado sobre qual é a melhor. O ajuste fino por reforço (RFT) escreve suas próprias respostas e recebe uma pontuação. A destilação copia um modelo maior. O pré-treinamento contínuo lê texto bruto e aprende a prever a próxima palavra.
Portanto, a primeira pergunta não é “qual método é o melhor?”, mas sim “o que eu já tenho e o que deve mudar?”. Uma equipe com mil bons chats de suporte tem um conjunto de dados SFT. Uma equipe cujos agentes editam rascunhos de respostas está coletando pares de preferência. Uma equipe de Finanças com cálculos que têm um valor correto tem uma tarefa RFT. E se o modelo precisar de fatos que mudam toda semana, o treinamento pode não ser a resposta: a recuperação, que busca fatos no momento da pergunta, os mantém atualizados sem a necessidade de retreinamento.
| Método | Aprende com | Dados que você precisa | Melhor para |
|---|---|---|---|
| Supervisionado (SFT) | “Aqui está a resposta certa” | Chats, ou pares de prompt → resposta | Tom, formato, fraseologia do domínio, tarefas repetitivas |
| Preferência (DPO) | “Esta resposta supera aquela” | Uma resposta melhor e uma pior para a mesma pergunta | Refinamento de um modelo que já executa a tarefa |
| Reforço (RFT) | “Sua resposta obteve a pontuação de 0,8” | Perguntas mais um avaliador | Respostas que podem ser verificadas: números, rótulos, formatos |
| Destilação | “Responda como o modelo maior” | Perguntas; um professor escreve ou avalia as respostas | Uma cópia menor e mais barata de um modelo que já funciona |
| Pré-treinamento contínuo | Seu texto bruto, palavra por palavra | Documentos: dezenas de milhares de palavras ou mais | Conhecimento de domínio, em modelos abertos |
Como o Training Assistant escolhe
O Assistente de Treinamento analisa os dados que você fornece e recomenda um método, com a justificativa:
- Chats ou pares de prompt/resposta → ajuste fino supervisionado.
- Pares de preferência → DPO.
- Documentos → pré-treinamento contínuo.
- Perguntas com respostas verificáveis → ajuste fino por reforço.
- Uma cópia menor de um modelo grande → destilação.
Ele oferece apenas métodos que o provedor escolhido e o modelo base suportam. O pré-treinamento contínuo, por exemplo, existe no Hugging Face e em modelos abertos do Vertex AI, mas não no Gemini, Azure, Fireworks ou nos modelos atuais do Bedrock; lá, os documentos são transformados em Q&A gerados, que treinam como dados supervisionados comuns. O assistente pergunta a você apenas quando mais de um método se adequa.
Pilha de métodos
Uma execução pode continuar a partir de uma anterior, de modo que os métodos são frequentemente combinados em vez de escolhidos uma única vez. As cadeias comuns são: supervisionado, depois preferência (ensinar a tarefa, depois refiná-la); supervisionado, depois reforço (RL só pode aprimorar o que o modelo já acerta às vezes); e pré-treinamento contínuo, depois supervisionado (ler os documentos, depois aprender a responder a partir deles). O ajuste de preferência começa apenas a partir do modelo base ou de uma execução supervisionada. Cada elo é avaliado em relação ao modelo do qual começou, para que você veja o que essa etapa adicionou.
- A equipe possui 1.200 chats de suporte, 60 artigos da central de ajuda (cerca de 45.000 palavras), 150 respostas que os agentes corrigiram manualmente e 40 perguntas sobre preços com um valor correto cada.
- Chats → supervisionado primeiro. Eles ensinam o tom, o formato e as respostas comuns. Esta é a base sobre a qual todas as etapas posteriores se apoiam.
- Artigos → Q&A gerado, adicionado ao mesmo conjunto de dados. Com cerca de uma seção a cada 800 novas palavras, 45.000 palavras resultam em aproximadamente 56 seções e, com três pares cada, cerca de 170 exemplos extras. Em um modelo aberto com essa quantidade de texto, o pré-treinamento contínuo antes da execução supervisionada é uma opção.
- Correções → 150 pares de preferência (a resposta corrigida preferida em relação à original), treinados com DPO, continuando a partir da execução supervisionada.
- Perguntas sobre preços → ajuste fino por reforço com um avaliador de números, mas apenas quando o modelo supervisionado já acertar uma boa parte delas; caso contrário, todas as tentativas terão a mesma pontuação e não haverá nada com o que aprender.
- Cada etapa é avaliada em relação à sua predecessora. Uma etapa que não a supera é arquivada, e a cadeia continua a partir do melhor modelo.
As configurações sugeridas
Uma vez escolhido um método, o assistente sugere configurações em vez de perguntar sobre cada uma: o modo auto do provedor onde houver um, caso contrário, o número padrão de épocas do provedor e menos épocas (1–2) para grandes conjuntos de dados. O treinamento é faturado por token processado, e cada passagem extra pelos dados adiciona aproximadamente o custo de mais uma época, enquanto um grande conjunto de dados já fornece ao modelo muitos exemplos por passagem.
dataset: 3,000,000 tokens price (illustrative): $2 per 1M training tokens
3 epochs → 9,000,000 tokens trained → $18
2 epochs → 6,000,000 tokens trained → $12
1 epoch → 3,000,000 tokens trained → $6Os métodos em resumo
O modelo vê a conversa e sua resposta, e aprende a produzir essa resposta. A base para todo o resto e geralmente o primeiro método a tentar. Ele aprende seus dados fielmente, incluindo respostas inconsistentes ou erradas.
O modelo vê uma resposta preferida e uma não preferida para a mesma pergunta e muda em direção à preferida. Bom para qualidades que são mais fáceis de julgar do que de escrever: conciso, mais amigável, não inventa recursos. Comece a partir de uma execução supervisionada.
O modelo responde a cada prompt várias vezes, um avaliador pontua cada resposta e o tipo de resposta com melhor pontuação se torna mais provável. Ele precisa de uma maneira de pontuar as respostas, não de respostas perfeitas, e não pode criar uma habilidade que o modelo nunca demonstra.
Um modelo professor grande escreve as respostas com as quais o aluno pequeno aprende, ou avalia as próprias respostas do aluno token por token. O resultado é um modelo mais barato e rápido que se comporta como o grande em sua tarefa.
O modelo lê trechos de seus documentos e aprende a prever a próxima palavra, da mesma forma que foi treinado inicialmente. Ele adiciona conhecimento, não comportamento, portanto, siga-o com uma execução supervisionada. Apenas modelos abertos do Hugging Face e Vertex AI.
Erros comuns
- Optar primeiro pelo ajuste por reforço ou preferência. Sem uma execução supervisionada, geralmente há pouco para eles aprimorarem ou refinarem.
- Esperar que alguns chats ensinem fatos sobre o produto. Os chats ensinam como responder; os fatos devem vir de documentos ou recuperação.
- Executar o pré-treinamento contínuo em um punhado de páginas. São necessárias dezenas de milhares de palavras para mudar alguma coisa.
- Manter muitas épocas em um grande conjunto de dados. O custo cresce a cada passagem, e as passagens extras adicionam principalmente sobreajuste.
- Treinar quando a verdadeira necessidade é informação atualizada. Fatos que mudam semanalmente pertencem à recuperação, não aos pesos.
Referências e leitura complementar
Fontes externas abrem em uma nova aba.
- 01Model optimizationOpenAI API docs · developers.openai.comA visão geral do próprio provedor sobre quando usar o ajuste fino supervisionado, de preferência e por reforço.
- 02LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.org1.000 exemplos cuidadosamente escolhidos foram suficientes para ensinar a um modelo base forte um bom estilo de resposta.
- 03Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.orgO artigo por trás do ajuste de preferência sem um modelo de recompensa separado.
- 04Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMsOvadia et al., 2023 · arXiv · arxiv.orgA recuperação superou o ajuste fino não supervisionado para adicionar conhecimento, em todas as configurações testadas.