Em breveO Treinamento de Modelos será lançado em breve no Scalata Enterprise. Ensine um modelo a responder como a sua equipe.Veja o que está por vir

Recursos/Treinamento de modelo/O que acontece durante o treinamento

Configuração

Taxa de aprendizado

A taxa de aprendizado define o quão longe os pesos se movem em cada atualização. É a configuração de treinamento mais sensível: muito alta ultrapassa o limite e pode apagar habilidades, muito baixa mal altera o modelo. Um cronograma geralmente a aumenta no início e depois a decai ao longo da execução.

Capítulo 64 min de leitura5 referências

O que é

Cada etapa de treinamento calcula, para cada peso, qual direção reduziria a perda. A taxa de aprendizado decide o quão longe ir nessa direção. É um número único, geralmente escrito em notação científica: 1e-5 significa 0,00001. Parece minúsculo porque um modelo tem bilhões de pesos e cada etapa move todos eles de uma vez; pequenas mudanças individuais se somam a uma grande mudança de comportamento.

A atualização e como ler a notação
new weight = old weight − learning rate × (gradient, as scaled by the optimizer)

1e-4 = 0.0001      2e-5 = 0.00002      1e-5 = 0.00001

Com Adam e AdamW, o gradiente é primeiro normalizado por peso, de modo que a taxa de aprendizado fica próxima ao tamanho real da mudança de cada peso por etapa, independentemente do tamanho bruto do gradiente. É por isso que as taxas típicas se mantêm razoavelmente entre modelos de tamanho semelhante, e por que uma taxa dez vezes mais alta é um problema grave em vez de um pequeno.

Muito baixa, adequada, muito alta

perda de treinamentopassos de treinamento →muito baixoadequadomuito altaaltobaixo
Os mesmos dados treinados com três taxas de aprendizado. Muito baixa: a perda desce lentamente e a execução termina antes que o modelo tenha aprendido muito. Ideal: uma queda rápida, seguida de um achatamento constante. Muito alta: um início rápido, seguido de uma curva irregular que volta a subir à medida que as atualizações ultrapassam o limite.
O que você vêCausa provávelTente
A perda cai muito lentamente; as respostas quase não diferem do modelo baseMuito baixaAumente-a, ex.: um multiplicador de 1,5–2
Uma queda rápida, seguida por um nivelamento suave que a perda de validação acompanhaAdequadaMantenha-a
A perda é irregular, apresenta picos ou volta a subir; as respostas tornam-se repetitivas ou estranhasMuito altaReduza-a pela metade; adicione ou prolongue o warm-up
A perda de treinamento cai rápido, mas a perda de validação sobe cedoMuito alta para este tamanho de dados, ou muitas épocasDiminua a taxa ou o número de épocas
A perda torna-se NaN (não é um número)Alta demais, ou um problema numéricoDiminua-a substancialmente

Uma taxa muito alta também agrava o esquecimento: grandes atualizações sobrescrevem habilidades gerais que o modelo base possuía, mesmo quando a perda nos seus dados parece adequada.

Cronogramas: aquecimento e decaimento

  • Warm-up. Durante os primeiros por cento das etapas, a taxa sobe linearmente de quase zero até o seu pico. No início, as médias móveis do Adam baseiam-se em muito poucos gradientes, de modo que passos de tamanho normal correm o risco de um primeiro movimento ruim. O warm-up gradual foi popularizado para o treinamento com lotes grandes e agora é uma prática padrão.
  • Decaimento. Após o pico, a taxa diminui em direção a zero, para que as atualizações finais façam ajustes finos em vez de saltar em torno de uma boa solução. O decaimento linear a reduz em linha reta e é o padrão no Trainer da Hugging Face. O decaimento cosseno segue meia onda de cosseno: permanece alto por mais tempo e depois diminui.
  • Constante. Algumas execuções curtas mantêm a taxa plana após o warm-up. É simples e adequado quando há apenas algumas etapas.
AQUECIMENTOpico da taxa de aprendizadodecaimento cossenodecaimento lineartaxa de aprendizadopassos de treinamento →010%100%
Um cronograma típico de taxa de aprendizado. O aquecimento eleva a taxa de quase zero até o seu pico durante a primeira pequena porcentagem de passos, para que as primeiras atualizações, mais ruidosas, sejam pequenas. A taxa então decai em direção a zero, por meio de uma curva cosseno ou uma linha reta, para que as últimas atualizações façam ajustes finos em vez de grandes saltos.
Aquecimento (warm-up), seguido de decaimento linear ou cosseno
warm-up (step < W):  lr = peak × step / W
linear decay:        lr = peak × (T − step) / (T − W)
cosine decay:        lr = peak × ½ × (1 + cos(π × (step − W) / (T − W)))

W = warm-up steps,  T = total steps

Valores típicos

Tipo de treinamentoTaxa de aprendizado típica
Ajuste fino completo de um modelo de linguagem (AdamW)Em torno de 1e-5
Adaptador LoRAEm torno de 1e-4 a 2e-4, aproximadamente 10× a taxa do ajuste fino completo
Ajuste de preferência (DPO)Inferior à execução supervisionada correspondente
Ajuste fino por reforçoPassos muito menores; cerca de 1e-5 com LoRA
Modelos hospedados com um multiplicadorPadrão do provedor × 0,5–2

Estes são pontos de partida, não regras. A melhor taxa depende do modelo, dos dados e do tamanho do lote, e a única maneira confiável de encontrá-la é comparando algumas execuções na perda de validação e na avaliação.

Por que métodos de preferência e RL utilizam passos menores

O treinamento supervisionado aprende a partir de respostas fixas e corretas. O ajuste de preferência e o aprendizado por reforço aprendem a partir de comparações e pontuações das próprias saídas do modelo, um sinal com mais ruído, e seu propósito geralmente é refinar um modelo que já funciona. Passos grandes o afastariam muito desse ponto de partida, onde as respostas podem se desviar, ficar mais longas ou começar a manipular o que o sinal recompensa. Taxas menores mantêm cada atualização modesta.

O que um multiplicador significa na prática
  1. Suponha que a taxa padrão do provedor para este modelo e conjunto de dados seja 2e-5. Provedores hospedados geralmente não a exibem.
  2. Multiplicador 1: a execução utiliza 2e-5.
  3. Multiplicador 2: 4e-5. Vale a pena testar quando uma execução completa quase não alterou o modelo.
  4. Multiplicador 0.5: 1e-5. Vale a pena testar quando a perda de validação aumentou precocemente ou as respostas a perguntas gerais ficaram piores do que as do modelo base.
  5. Altere em fatores de aproximadamente 2. Ajustes menores geralmente se perdem no ruído entre as execuções.

Erros comuns

  • Aumentar a taxa de aprendizado para fazer um conjunto de dados pequeno ensinar mais. Isso geralmente adiciona instabilidade; mais dados ou dados melhores ajudam mais.
  • Usar uma taxa de fine-tuning completo para LoRA, ou uma taxa de LoRA para fine-tuning completo: um mal aprende, o outro pode danificar o modelo.
  • Pular o warm-up com uma taxa alta, o que torna as primeiras atualizações as maiores e as menos informadas.
  • Julgar a taxa apenas pela perda de treinamento. Uma taxa muito alta ainda pode apresentar queda na perda de treinamento, enquanto a perda de validação e as respostas pioram.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

  1. 01OptimizationHugging Face Transformers docs · huggingface.coAdamW e os cronogramas padrão (linear, cosseno, constante com warm-up) conforme implementados.
  2. 02SGDR: Stochastic Gradient Descent with Warm RestartsLoshchilov & Hutter, 2016 · arXiv · arxiv.orgIntroduziu o cronograma de taxa de aprendizado cosseno agora usado em todo o treinamento de modelos de linguagem.
  3. 03Accurate, Large Minibatch SGD: Training ImageNet in 1 HourGoyal et al., 2017 · arXiv · arxiv.orgPor que um warm-up gradual estabiliza o início do treinamento.
  4. 04LoRA Without RegretThinking Machines Lab, 2025 · thinkingmachines.aiMede a melhor taxa de aprendizado do LoRA em cerca de dez vezes a taxa de fine-tuning completo.
  5. 05Learning rateWikipedia · en.wikipedia.org
ConfiguraçãoHiperparâmetrosHiperparâmetros são as configurações de treinamento que você escolhe, como épocas, taxa de aprendizado, tamanho do lote e rank do adaptador, em oposição aos pesos que o modelo aprende. O modo Automático os escolhe a partir dos seus dados e realiza uma boa primeira execução; esta página explica cada um deles para que você possa ajustá-los a partir daí.ConceitoO loop de treinamentoO fine-tuning é um procedimento curto repetido milhares de vezes: prever a resposta alvo, medir o quão errada foi a previsão, calcular para qual direção cada peso deve se mover e movê-lo um pouco.MétricaInterpretando as curvas de perdaA perda de treinamento mostra o quão bem o modelo se ajusta aos exemplos com os quais aprende; a perda de validação mostra o quão bem ele prevê exemplos separados nos quais nunca foi treinado. A lacuna entre as duas curvas é o sinal mais útil que uma execução de treinamento fornece.MétodoLoRA e adaptadores (PEFT)O LoRA congela o modelo base e treina duas pequenas matrizes ao lado das camadas selecionadas, cujo produto é adicionado aos pesos congelados. Ele reduz drasticamente os pesos treináveis e a memória e, se bem configurado, iguala-se ao ajuste fino completo em conjuntos de dados típicos de ajuste fino.MétricaOverfitting e underfittingO overfitting ocorre quando um modelo memoriza seus exemplos de treinamento em vez de aprender o padrão por trás deles, de modo que tem um bom desempenho nesses exemplos e um desempenho pior em novos. O underfitting é o oposto: ele não aprendeu o padrão de forma alguma.MétodoAjuste de preferência (DPO)A Otimização Direta de Preferência treina um modelo em pares de respostas, uma melhor e uma pior, para que ele aprenda a preferir o tipo melhor, sem o modelo de recompensa e o ciclo de aprendizado por reforço que o RLHF clássico exige.

Transforme semanas de trabalho especializado em minutos

Veja como o Scalata se adapta à sua equipe, aos seus dados e aos seus Controles.

Fale com vendas