Continuando a partir de um modelo treinado

O que é

Normalmente, uma execução começa a partir do modelo base, o modelo pré-treinado que você escolheu. Uma execução continuada, por sua vez, começa a partir dos pesos produzidos por uma execução anterior sua, e os novos dados são aprendidos sobre o que aquela execução aprendeu. Você também verá isso sendo chamado de warm start, ajuste fino continuado ou ajuste fino contínuo. O modelo base subjacente não muda, portanto, a janela de contexto, o preço por token e o provedor permanecem os mesmos.

Modelo basepré-treinado

→avaliado vs modelo baseExecução supervisionadaaprende a tarefa

→avaliado vs execução supervisionadaExecução de preferênciarefina as respostas

Cada elo de uma cadeia começa a partir dos pesos que o elo anterior produziu e é avaliado em relação a esse modelo pai, de modo que o resultado sempre mede o que esta etapa adicionou.

Por que encadear execuções

Métodos diferentes ensinam coisas diferentes, e os resultados mais sólidos geralmente vêm da aplicação deles em sequência, cada um partindo do resultado anterior.

Cadeia	O que cada etapa adiciona	Por que esta ordem
Supervisionado → preferência (DPO)	A tarefa, depois um estilo preferido	O DPO classifica respostas que o modelo já consegue fornecer; em uma base simples, ambas as respostas costumam ser igualmente desinformadas
Supervisionado → reforço (RFT)	A tarefa, depois uma maior taxa de acerto	O RL apenas reforça respostas que o modelo acerta às vezes
Destilação → supervisionado	O conhecimento do professor, depois o estilo da sua equipe	A destilação ensina os hábitos do professor; as suas respostas não são os alvos dela
Supervisionado → supervisionado	Mais conhecimento: uma nova área de produto, mais chats	Evita o retreinamento de tudo a partir do zero
Supervisionado → DPO → supervisionado → DPO	Novo conhecimento em um modelo refinado, depois um novo refinamento	Um treinamento supervisionado pesado pode anular o refinamento de preferência
Pré-treinamento contínuo → supervisionado	Conhecimento dos seus documentos, depois como responder com ele	O treinamento em texto bruto ensina fatos, não comportamento; chats ou Q&A gerados ensinam então a responder

Como funciona internamente

Modelo aberto com um adaptador LoRA

pesos base W+adaptador da execução 1→modelo mesclado W₁W₁ = W + B₁A₁→a execução 2 treina um novo adaptador em W₁→mesclado novamente, salvo como um modelo completo

Modelo hospedado

seu modelo com fine-tuning (pelo seu id)→um novo job faz um warm-start a partir dele→um novo modelo com fine-tuning

Mesmo provedor, mesmo modelo base e, por vezes, o mesmo nível de treinamento da execução da qual continua.

Duas formas de uma execução continuar a partir de uma anterior. De qualquer modo, o novo treinamento começa a partir dos pesos que a execução anterior produziu, nunca a partir do modelo base puro.

Modelos hospedados. O provedor continua um novo trabalho a partir do seu modelo com ajuste fino anterior, nomeado pelo seu id, ou realiza um warm start a partir do seu adaptador salvo. As regras são do provedor: o mesmo modelo base e, em alguns, o mesmo nível de treinamento que a execução anterior utilizou.

Modelos abertos treinados com LoRA. Uma execução LoRA não altera os pesos base W; ela treina um pequeno adaptador cujo produto B·A é adicionado a eles. Para continuar, o adaptador anterior é primeiro mesclado à base, W₁ = W + B₁A₁ (dimensionado pelo fator α/r do adaptador), o que resulta em um modelo comum. A nova execução treina um novo adaptador sobre W₁ e, ao final, esse adaptador também é mesclado e o resultado é salvo como um modelo completo.

Mesclando um adaptador LoRA antes de continuar

run 1 (LoRA):   W  stays frozen, adapter B₁A₁ is trained
merge:          W₁ = W + (α / r) · B₁A₁               # one ordinary model again
run 2 (LoRA):   W₁ stays frozen, adapter B₂A₂ is trained
merge + save:   W₂ = W₁ + (α / r) · B₂A₂              # saved as a complete model

Mesclar primeiro é importante porque um adaptador aprende uma correção para quaisquer pesos sobre os quais ele se baseia. Treinado sobre W₁, o novo adaptador se apoia no comportamento da primeira execução em vez de competir com ele.

Esquecimento: o que um novo treinamento pode desfazer

Treinar com novos dados pode sobrescrever o que uma rede aprendeu anteriormente, um efeito conhecido como esquecimento catastrófico. Luo et al. (2023) observaram isso em modelos de linguagem de 1B a 7B de parâmetros durante o ajuste contínuo de instruções. Isso também acontece entre as suas próprias execuções: muito treinamento supervisionado novo em um modelo ajustado por preferência o puxa de volta para a cópia de respostas de exemplo e pode anular parcialmente o refinamento de preferência.

Mantenha cada etapa focada. Uma passagem curta de preferência após um novo treinamento supervisionado restaura o refinamento de forma mais econômica do que uma enorme execução combinada.
O LoRA ajuda. Biderman et al. (2024) descobriram que o LoRA aprende menos do que o ajuste fino completo em um novo domínio, mas esquece menos do antigo: uma troca útil quando o objetivo é adicionar, não substituir.
Misture dados anteriores ao adicionar novos conhecimentos, para que o comportamento antigo continue sendo praticado.
Reavalie cada elo. Uma regressão aparece quando o novo modelo é comparado com o seu antecessor.

Medindo cada elo

Uma execução continuada é avaliada em relação ao modelo do qual partiu, e não ao modelo base original. Uma vitória sobre a base refletiria principalmente as etapas anteriores; uma vitória sobre o modelo pai é o que esta etapa adicionou. Uma cadeia é julgada um elo por vez, e um elo que não supera seu modelo pai é uma hipótese que falhou: mantenha o modelo pai e arquive a tentativa.

Uma cadeia de quatro elos (ilustrativa)

Execução A: supervisionada em 400 chats de suporte, a partir da base. Avaliada em relação à base: vence claramente.
Execução B: DPO em 120 pares, continuada a partir de A. Avaliada em relação a A: 11 vitórias, 6 derrotas, 3 empates. Manter B.
Execução C: supervisionada em 150 novos chats sobre um novo recurso, continuada a partir de B. Avaliada em relação a B: melhor no novo recurso, mas o avaliador nota que as respostas perderam parte da concisão de B.
Execução D: uma passagem curta de DPO, continuada a partir de C. Avaliada em relação a C: a concisão retornou. D é o modelo a ser utilizado; A, B e C permanecem no registro, ou no Arquivo.

Pontos de partida permitidos

Nova execução	Pode iniciar a partir de	Motivo
Supervisionado	O modelo base ou qualquer execução treinada	Adicionar novo conhecimento ao que você já tem
Preferência (DPO)	O modelo base ou apenas uma execução supervisionada	Refinar um modelo que aprendeu a tarefa; DPO sobre DPO com os mesmos pares apenas sobreajusta
Reforço (RFT)	O modelo base ou uma execução supervisionada	RL precisa de um modelo que já acerte algumas respostas

Uma segunda rodada de DPO em novos pares coletados do modelo da primeira rodada, conhecida como DPO iterativo, é uma técnica válida, mas requer uma nova etapa de coleta de pares entre as rodadas e ainda não é oferecida.

Erros comuns

Avaliar uma execução continuada em relação ao modelo base original; isso credita a esta etapa o trabalho das etapas anteriores.
Executar o DPO novamente nos mesmos pares de um modelo DPO. São apenas mais épocas nos mesmos dados e isso tende a sobreajustar.
Acumular uma grande execução supervisionada sobre um modelo refinado sem um novo refinamento posterior.
Esperar trocar de modelo base no meio da cadeia. Uma execução continuada mantém o modelo base e o provedor do seu modelo pai.
Iniciar RL ou DPO a partir do modelo base original quando já existe uma boa execução supervisionada.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.