O panorama geral
O fine-tuning não constrói um modelo do zero. Ele direciona um modelo existente com diversos exemplos do comportamento desejado.
- 01Sessõesselecionar chats
- 02Conjunto de dadoscoletar exemplos
- 03Provedoronde ele treina
- 04Preparação de dadoslimpar + converter
- 05Treinarexecutar a tarefa
- 06Avaliarprovar que melhorou
- 07Chat de testeexperimente você mesmo
- 08Usarcolocar para funcionar
ConceitoO pré-treinamento e o modelo baseComo um modelo de linguagem aprende a linguagem em primeiro lugar, o que o modelo base do qual você parte já sabe e por que o fine-tuning o ajusta em vez de reconstruí-lo.Leia em detalhes →ConceitoPrompting, recuperação ou fine-tuningTrês maneiras de adaptar um modelo ao seu uso: o que cada uma altera, quanto custa e como escolher entre elas ou combiná-las.Leia em detalhes →ConceitoO pipeline de treinamentoAs etapas pelas quais um projeto de treinamento passa na Scalata, o que cada uma produz e por que cada etapa é mantida como seu próprio registro inspecionável.Leia em detalhes →
Tokens e contexto
Os modelos leem e escrevem tokens, não caracteres ou palavras. Quase todos os limites e preços no treinamento são contabilizados por eles.
ConceitoTokensOs pedaços de texto que um modelo realmente lê e escreve — como são feitos, por que as contagens diferem entre os modelos e por que todos os limites e preços no treinamento são medidos neles.Leia em detalhes →ConceitoJanela de contextoO número máximo de tokens que um modelo pode levar em consideração de uma só vez, como esse espaço é compartilhado e como ele difere do limite por exemplo que se aplica durante o treinamento.Leia em detalhes →ConceitoPor que os tokens determinam o custoComo as contagens de tokens se transformam no preço de treinamento e de uso de um modelo, com números calculados, e quais alavancas realmente reduzem a conta.Leia em detalhes →
De chats a exemplos de treinamento
Um chat se torna dado de treinamento ao se decidir quais de suas respostas o modelo deve aprender a escrever.
ConceitoPapéis das mensagensComo uma conversa é armazenada como mensagens de sistema, usuário e assistente, e como esses papéis se tornam o fluxo único de tokens que um modelo realmente lê.Leia em detalhes →ConceitoAlvos (respostas treináveis)As respostas do assistente que você escolhe para o modelo aprender: como um alvo é aprendido, o que faz um bom alvo e por que tudo o que o antecede é contexto.Leia em detalhes →ConceitoConversas de múltiplos turnos e pesosComo uma conversa com várias respostas do assistente se transforma em dados de treinamento, os dois formatos utilizados pelos provedores para isso e o efeito colateral com o qual se deve ter cuidado.Leia em detalhes →ConceitoMascaramento de perdaPor que um modelo é avaliado apenas nos tokens alvo de cada registro, como isso é feito na prática e o que isso muda ou não.Leia em detalhes →
Conjuntos de dados
Uma coleção nomeada e estática de exemplos — de chats reais, chats gerados, datasets públicos ou feedback de chats — e o fator mais determinante para a qualidade final do modelo treinado.
ConceitoO que é um datasetUma coleção nomeada e congelada de exemplos de treinamento — copiados de chats, escritos por um modelo ou importados — além de quaisquer documentos com os quais aprender: por que é um snapshot em vez de um link, e o que isso significa para correções, importações e reprodutibilidade.Leia em detalhes →Melhor práticaO que faz um bom conjunto de dadosAs propriedades que decidem se o ajuste fino torna um modelo melhor — correto, consistente, variado, focado e representativo — e como verificar cada uma antes de treinar.Leia em detalhes →MétodoDados sintéticos e o Construtor de DatasetsComo um modelo capaz pode escrever as conversas de exemplo que você ainda não possui, e como o briefing, o plano, as verificações e a revisão do Construtor de Datasets mantêm esses chats variados, fundamentados e sob o seu controle.Leia em detalhes →ConceitoConjuntos de dados públicos do Hugging FaceO que um conjunto de dados público do Hugging Face contém, os formatos comuns em que esses conjuntos de dados se apresentam e por que alguns conjuntos de dados se tornam chats, alguns se tornam documentos e alguns não podem ser usados para treinamento.Leia em detalhes →MétodoAprendizado com o feedback do chatComo as avaliações positivas, negativas e o Atualizar no chat se tornam dados de treinamento: respostas aprovadas para treinamento supervisionado, pares para ajuste de preferência e respostas reprovadas encaminhadas a um revisor.Leia em detalhes →
Preparação de dados
A preparação de dados transforma os exemplos do dataset nos arquivos exatos de treinamento que um provedor espera: limpos, anonimizados, truncados e divididos em conjuntos de treinamento, validação e teste.
Etapa do pipelineLimpezaA limpeza remove as respostas com as quais um modelo nunca deveria aprender — erros, recusas, marcação de interface, duplicatas e respostas prontas — e corrige a estrutura para que cada registro seja válido para o treinamento.Leia em detalhes →Etapa do pipelineDados pessoais e segredos (PII)Antes do treinamento, e-mails, números de telefone, números de cartão, IBANs, documentos de identidade nacionais e chaves de API são detectados e, por padrão, substituídos por espaços reservados, porque um modelo com fine-tuning pode repetir seu texto de treinamento palavra por palavra.Leia em detalhes →ConfiguraçãoLimites de tokens e cortesTodo provedor limita a quantidade de tokens que um exemplo de treinamento pode conter. Conversas longas que ultrapassam o limite são cortadas — as trocas mais antigas são removidas primeiro — ou descartadas.Leia em detalhes →Etapa do pipelineDivisão de validaçãoUma proporção das conversas é reservada do treinamento e usada para observar a perda em dados com os quais o modelo não aprende. A divisão é feita por conversas inteiras, para que nenhuma parte de um chat reservado vaze para o treinamento — e não é o mesmo que o conjunto de teste mantido para avaliação.Leia em detalhes →ConfiguraçãoPrompt do sistemaO prompt do sistema é uma instrução permanente colocada antes de cada conversa. Adicionado no momento do treinamento, o modelo aprende seu comportamento na presença desse prompt exato, portanto, ele deve permanecer o mesmo quando o modelo for utilizado.Leia em detalhes →ConceitoArquivos de treinamento JSONLO JSONL (JSON Lines) é um arquivo de texto com um objeto JSON completo por linha. É o formato padrão para dados de fine-tuning: uma linha equivale a um registro de treinamento.Leia em detalhes →
O que acontece durante o treinamento
O treinamento é um ciclo: prever, medir o erro, calcular como cada peso deve mudar, alterá-lo um pouco — e repetir milhares de vezes.
ConceitoO loop de treinamentoO fine-tuning é um procedimento curto repetido milhares de vezes: prever a resposta alvo, medir o quão errada foi a previsão, calcular para qual direção cada peso deve se mover e movê-lo um pouco.Leia em detalhes →ConceitoÉpoca, lote e passoUm lote é o grupo de exemplos por trás de uma atualização de peso, um passo é uma atualização e uma época é uma passagem completa pelos dados de treinamento. Juntos, eles decidem com que frequência o modelo muda e quantas vezes ele vê cada exemplo.Leia em detalhes →MétodoAjuste fino completoO ajuste fino completo atualiza cada peso no modelo. Ele tem mais espaço para alterar o comportamento, mas precisa de muitas vezes o próprio tamanho do modelo em memória da GPU e é o mais propenso a corroer as habilidades que o modelo base possuía.Leia em detalhes →MétodoLoRA e adaptadores (PEFT)O LoRA congela o modelo base e treina duas pequenas matrizes ao lado das camadas selecionadas, cujo produto é adicionado aos pesos congelados. Ele reduz drasticamente os pesos treináveis e a memória e, se bem configurado, iguala-se ao ajuste fino completo em conjuntos de dados típicos de ajuste fino.Leia em detalhes →MétodoQLoRA (LoRA de 4 bits)O QLoRA treina um adaptador LoRA comum em um modelo base armazenado em 4 bits em vez de 16. A memória de treinamento cai para cerca de um terço, de modo que a mesma máquina pode fazer o ajuste fino de um modelo cerca de três vezes maior, com algum custo na velocidade.Leia em detalhes →ConceitoGradient checkpointingO gradient checkpointing economiza memória mantendo apenas alguns dos resultados intermediários da propagação direta e recomputando o restante quando a propagação reversa precisa deles. Ele utiliza muito menos memória e torna o treinamento cerca de 20–30% mais lento.Leia em detalhes →Melhor práticaO modelo vai caber? Memória para treinamentoO treinamento precisa de espaço para os pesos do modelo, seus gradientes e o estado do otimizador, além da memória de trabalho. Uma regra prática simples, cerca de 2 GB por bilhão de parâmetros para o LoRA e 12 GB para o full fine-tuning, informa antes de começar se um modelo caberá na sua máquina.Leia em detalhes →ConceitoModelos de pesos abertosUm modelo de pesos abertos é aquele cujos pesos treinados são publicados para que qualquer pessoa possa baixá-los, permitindo que passe por fine-tuning e seja executado no hardware de sua escolha. Sua licença define o que pode ser feito com ele, e a versão de partida é tão importante quanto a família escolhida.Leia em detalhes →ConfiguraçãoHiperparâmetrosHiperparâmetros são as configurações de treinamento que você escolhe, como épocas, taxa de aprendizado, tamanho do lote e rank do adaptador, em oposição aos pesos que o modelo aprende. O modo Automático os escolhe a partir dos seus dados e realiza uma boa primeira execução; esta página explica cada um deles para que você possa ajustá-los a partir daí.Leia em detalhes →ConfiguraçãoTaxa de aprendizadoA taxa de aprendizado define o quão longe os pesos se movem em cada atualização. É a configuração de treinamento mais sensível: muito alta ultrapassa o limite e pode apagar habilidades, muito baixa mal altera o modelo. Um cronograma geralmente a aumenta no início e depois a decai ao longo da execução.Leia em detalhes →MétricaInterpretando as curvas de perdaA perda de treinamento mostra o quão bem o modelo se ajusta aos exemplos com os quais aprende; a perda de validação mostra o quão bem ele prevê exemplos separados nos quais nunca foi treinado. A lacuna entre as duas curvas é o sinal mais útil que uma execução de treinamento fornece.Leia em detalhes →MétricaOverfitting e underfittingO overfitting ocorre quando um modelo memoriza seus exemplos de treinamento em vez de aprender o padrão por trás deles, de modo que tem um bom desempenho nesses exemplos e um desempenho pior em novos. O underfitting é o oposto: ele não aprendeu o padrão de forma alguma.Leia em detalhes →ConceitoComo o treinamento é cobradoA maior parte do ajuste fino gerenciado é faturada por token processado: tokens no arquivo de treinamento vezes épocas vezes um preço. Em vez disso, os trabalhos em GPUs alugadas são faturados por tempo. O uso posterior do modelo é um custo separado.Leia em detalhes →
Métodos de treinamento
Os métodos diferem no sinal a partir do qual o modelo aprende — e, portanto, em quais dados são necessários e no que cada um pode ou não ensinar.
Ajuste de preferência
MétodoAjuste de preferência (DPO)A Otimização Direta de Preferência treina um modelo em pares de respostas, uma melhor e uma pior, para que ele aprenda a preferir o tipo melhor, sem o modelo de recompensa e o ciclo de aprendizado por reforço que o RLHF clássico exige.Leia em detalhes →ConfiguraçãoBeta (β) no DPOO beta define a força com que o ajuste de preferências mantém o modelo em seu ponto de partida: valores mais baixos permitem que os pares o alterem mais, valores mais altos o mantêm mais próximo do original.Leia em detalhes →MétricaInterpretando a perda do DPOA perda do DPO mede com que clareza o modelo agora prefere a melhor resposta em cada par, em relação ao seu ponto de partida. Ela começa em ln 2 ≈ 0,693 e cai em direção a 0 à medida que a preferência é aprendida.Leia em detalhes →Melhor práticaDe onde vêm os bons pares de preferênciaUm par de preferência é um prompt com uma resposta melhor e uma pior. A eficácia do DPO depende principalmente de a diferença entre as duas respostas ser aquilo que você realmente deseja alterar.Leia em detalhes →MétricaAcurácia de preferênciaA acurácia de preferência é a proporção de pares para os quais o modelo agora atribui à resposta preferida uma recompensa implícita maior do que à não preferida, em relação ao ponto de partida. Ela começa perto de 50% e aumenta à medida que a preferência é aprendida.Leia em detalhes →Melhor práticaA receita padrão: SFT, seguido de DPOO ajuste de preferência aprimora as respostas que um modelo já consegue dar, portanto, a receita habitual tem duas etapas: ajuste fino supervisionado para ensinar a tarefa, seguido de DPO continuado a partir desse modelo e avaliado em relação a ele.Leia em detalhes →
Fine-tuning por reforço
MétodoAjuste fino por reforço (RFT)O ajuste fino por reforço treina um modelo com base em pontuações em vez de exemplos de respostas: ele responde a cada prompt várias vezes, um avaliador pontua cada tentativa e o modelo se inclina para o que obteve a melhor pontuação.Leia em detalhes →MétodoGRPO, passo a passoO Group Relative Policy Optimization pontua várias respostas para o mesmo prompt e reforça aquelas acima da média do grupo. Ele substitui o modelo de valor separado do PPO por essa simples comparação.Leia em detalhes →ConfiguraçãoAvaliadores: como as respostas são pontuadasUm avaliador transforma uma resposta em um número entre 0 e 1. No ajuste fino por reforço, essa é a única definição de “bom” que o modelo vê, de modo que a escolha do avaliador decide o que o modelo aprende.Leia em detalhes →ConfiguraçãoConfigurações de RFTAs seis configurações de uma execução de ajuste fino por reforço: o que pontua as respostas, quantas respostas o modelo escreve e qual pode ser o tamanho delas, e quão grande e quão ancorada é cada atualização.Leia em detalhes →MétricaMétricas de RFT para acompanharRecompensa, taxa de corte, dispersão da recompensa e comprimento da conclusão: os quatro gráficos que indicam se uma execução de reforço está aprendendo, carente de sinal ou manipulando seu avaliador.Leia em detalhes →MétricaVerificações retidas no ajuste fino por reforçoQuando um provedor executa um ajuste fino por reforço em um modelo de raciocínio hospedado, ele refaz algumas perguntas de validação retidas a cada poucas etapas e avalia as respostas com o mesmo avaliador. Cada pergunta se torna uma linha do tempo mostrando se o treinamento se transfere para perguntas nas quais o modelo nunca foi treinado.Leia em detalhes →Melhor práticaManipulação de recompensaA manipulação de recompensa ocorre quando um modelo aumenta sua pontuação sem melhorar na tarefa, explorando o que o avaliador não consegue verificar. É a principal maneira pela qual o ajuste fino por reforço dá errado.Leia em detalhes →
Destilação
MétodoDestilaçãoA destilação treina um modelo estudante pequeno e barato para se comportar como um grande modelo professor em suas tarefas, seja aprendendo com as respostas do professor ou com o julgamento do professor sobre as respostas do próprio estudante.Leia em detalhes →MétodoDestilação off-policy: o professor escreve as respostasNa destilação off-policy, o professor responde aos seus prompts e o aluno passa por um ajuste fino nessas respostas, como em um treinamento supervisionado comum. Professor e aluno podem vir de quaisquer famílias de modelos.Leia em detalhes →MétodoDestilação on-policy: o professor avalia o alunoNa destilação on-policy, o aluno escreve suas próprias respostas e o professor avalia cada token delas, para que o aluno aprenda exatamente onde errou. O professor e o aluno devem compartilhar um vocabulário.Leia em detalhes →ConfiguraçãoConfigurações de destilaçãoProfessor, estudante, os dois limites de tamanho de resposta e a divergência β: o que cada configuração de destilação faz, a qual rota se aplica e como escolhê-la.Leia em detalhes →
Aprendendo com documentos
MétodoAprendizado a partir de documentos: geração de perguntas e respostasA geração de perguntas e respostas transforma documentos em exemplos de treinamento: um modelo lê cada seção do seu texto e escreve perguntas realistas, com respostas extraídas apenas daquela seção. Os pares então treinam como qualquer outro chat, em todos os provedores.Leia em detalhes →MétodoPré-treinamento contínuoO pré-treinamento contínuo treina um modelo em seu texto bruto da mesma forma que foi treinado inicialmente: prevendo a próxima palavra. Ele adiciona conhecimento do seu domínio, não novos comportamentos, por isso geralmente é seguido por uma execução supervisionada.Leia em detalhes →
Avaliação
As curvas de perda mostram o quão bem o modelo se ajusta. A avaliação mostra se as suas respostas são realmente melhores.
ConceitoBase vs. ajustado, lado a ladoUma avaliação faz as mesmas perguntas reservadas ao modelo inicial e ao modelo treinado e compara as suas respostas, para que você possa ver se o treinamento realmente melhorou as respostas.Leia em detalhes →ConceitoPerguntas de teste: por que os dados “reservados” importamUma fatia das suas conversas que a preparação de dados reserva antes de qualquer outra coisa, para que uma avaliação possa fazer ao modelo treinado perguntas que ele nunca viu. É a única maneira limpa de distinguir uma melhoria real da memorização.Leia em detalhes →MétodoLLM como juizUm modelo de linguagem separado lê a pergunta, a resposta de referência e duas respostas candidatas, pontua ambas e escolhe uma vencedora. Configurado às cegas, com ordem embaralhada e uma família de modelos diferente, ele concorda com avaliadores humanos com a mesma frequência com que os humanos concordam entre si.Leia em detalhes →MétricaInterpretando resultados de avaliaçãoComo interpretar a taxa de vitórias, a diferença de pontuação e os sinais secundários de uma avaliação — e como distinguir uma melhoria real de ruído quando o número de questões é pequeno.Leia em detalhes →ConceitoCheckpoints: quando o modelo base não está mais disponívelCheckpoints são cópias do modelo que o provedor salva durante o treinamento. Quando o modelo base não pode mais ser implantado, comparar o modelo final com um checkpoint anterior mostra se as etapas de treinamento posteriores ajudaram.Leia em detalhes →MétodoPontuando um modelo individualmenteEm vez de comparar duas respostas, o avaliador lê uma resposta junto à conversa e à sua resposta de referência, e atribui uma pontuação de 1 a 5 por critério. O resultado é uma pontuação de qualidade absoluta: sem vitórias e sem medida de melhoria.Leia em detalhes →Melhor práticaComparação de vários modelosPara escolher entre modelos — diferentes provedores, métodos ou tamanhos de base —, eles devem responder às mesmas perguntas e ser avaliados pelo mesmo juiz. Uma comparação executa uma avaliação por modelo em um conjunto de perguntas compartilhado e os classifica pela pontuação média do juiz.Leia em detalhes →Melhor práticaFilas de anotação: verificação manual do juizAs pessoas revisam as respostas do modelo uma a uma — pontuando-as, escolhendo a melhor ou escrevendo uma correção — para medir até que ponto é possível confiar no juiz LLM e para transformar as suas correções em dados de treinamento.Leia em detalhes →
Testando e servindo um modelo
Um modelo treinado precisa ser implantado antes de poder responder — e uma implantação dedicada custa dinheiro por cada hora que existe.
ConceitoInferência e implantaçãoA inferência é o uso de um modelo para gerar respostas. Um modelo treinado deve primeiro ser implantado — seus pesos carregados em hardware por trás de um endpoint —, o que pode levar minutos, e então custa dinheiro por token ou por hora.Leia em detalhes →ConceitoServerless vs. dedicadoO serviço serverless fatura por token em capacidade compartilhada sem custo de inatividade; uma implantação dedicada reserva GPUs para o seu modelo e fatura por cada hora de existência. Qual é o mais barato depende do quanto você o utiliza.Leia em detalhes →ConceitoQuanto custa: interpretando os númerosO trabalho do modelo é faturado de diversas maneiras; portanto, cada custo apresentado pela Scalata carrega um status — Final, Estimado, Pendente ou Não faturado — que indica a base do valor.Leia em detalhes →Melhor práticaArquivamento de execuçõesO arquivamento oculta um conjunto de dados, preparação, modelo ou avaliação das listas e seletores do dia a dia sem excluir nada, de modo que o registro do que foi testado — e por que falhou — permanece disponível e pode ser restaurado.Leia em detalhes →
Glossário
Todos os conceitos, de A a Z. Cada um abre a sua página completa.
- A receita padrão: SFT, seguido de DPO
- Acurácia de preferência
- Ajuste de preferência (DPO)
- Ajuste fino completo
- Ajuste fino por reforço (RFT)
- Ajuste fino supervisionado (SFT)
- Alvos (respostas treináveis)
- Aprendizado a partir de documentos: geração de perguntas e respostas
- Aprendizado com o feedback do chat
- Arquivamento de execuções
- Arquivos de treinamento JSONL
- Avaliadores: como as respostas são pontuadas
- Base vs. ajustado, lado a lado
- Beta (β) no DPO
- Checkpoints: quando o modelo base não está mais disponível
- Como o treinamento é cobrado
- Comparação de vários modelos
- Configurações de destilação
- Configurações de RFT
- Conjuntos de dados públicos do Hugging Face
- Continuando a partir de um modelo treinado
- Conversas de múltiplos turnos e pesos
- Dados pessoais e segredos (PII)
- Dados sintéticos e o Construtor de Datasets
- De onde vêm os bons pares de preferência
- Destilação
- Destilação off-policy: o professor escreve as respostas
- Destilação on-policy: o professor avalia o aluno
- Divisão de validação
- Época, lote e passo
- Escolhendo um método de treinamento
- Filas de anotação: verificação manual do juiz
- Gradient checkpointing
- GRPO, passo a passo
- Hiperparâmetros
- Inferência e implantação
- Interpretando a perda do DPO
- Interpretando as curvas de perda
- Interpretando resultados de avaliação
- Janela de contexto
- Limites de tokens e cortes
- Limpeza
- LLM como juiz
- LoRA e adaptadores (PEFT)
- Manipulação de recompensa
- Mascaramento de perda
- Métricas de RFT para acompanhar
- Modelos de pesos abertos
- O loop de treinamento
- O modelo vai caber? Memória para treinamento
- O pipeline de treinamento
- O pré-treinamento e o modelo base
- O que é um dataset
- O que faz um bom conjunto de dados
- Overfitting e underfitting
- Papéis das mensagens
- Perguntas de teste: por que os dados “reservados” importam
- Pontuando um modelo individualmente
- Por que os tokens determinam o custo
- Pré-treinamento contínuo
- Prompt do sistema
- Prompting, recuperação ou fine-tuning
- QLoRA (LoRA de 4 bits)
- Quanto custa: interpretando os números
- Serverless vs. dedicado
- Taxa de aprendizado
- Tokens
- Verificações retidas no ajuste fino por reforço