Interpretando as curvas de perda

O que as curvas mostram

Enquanto uma tarefa é executada, o provedor registra a perda, a entropia cruzada média nos tokens de destino, ao longo do tempo. Duas curvas importam, e alguns provedores adicionam um terceiro número.

A perda de treinamento é medida nos lotes que estão sendo treinados, geralmente a cada passo. Ela apresenta ruído porque cada lote é diferente: um lote de respostas curtas e formulaicas tem uma pontuação menor do que um de respostas longas e incomuns.
A perda de validação é medida no conjunto de validação reservado de tempos em tempos, a cada N passos ou uma vez por época, sem atualizações de peso. Ela usa os mesmos exemplos a cada vez, por isso é mais suave, e é a mais honesta: o modelo nunca aprendeu com eles.
A precisão de tokens, relatada por alguns provedores, é a proporção de tokens de destino que a principal suposição do modelo acertou exatamente. Ela se move na direção oposta à perda e é mais fácil de ler, porém menos refinada.

A perda de treinamento continua caindo porque o modelo sempre pode memorizar mais. A perda de validação é a mais honesta: quando ela se volta para cima, o modelo começou a aprender seus exemplos em vez do padrão por trás deles.

O que os números significam

A entropia cruzada é medida com o logaritmo natural. Uma perda de L por token significa que o modelo deu ao próximo token correto uma probabilidade de cerca de e elevado à potência de −L, com média no sentido geométrico. Isso torna alguns valores fáceis de visualizar.

Perda por token	Probabilidade do token correto	Aproximadamente
2,3	Cerca de 0,10	Frequentemente inseguro; muitas continuações plausíveis
1,0	Cerca de 0,37	Razoavelmente confiante em média
0,5	Cerca de 0,61	Prevê bem o estilo e a formulação
0,1	Cerca de 0,90	Quase palavra por palavra; nos dados de treinamento, frequentemente é um sinal de memorização

O nível absoluto depende fortemente dos dados. Respostas variadas e de formato livre têm um piso alto, porque muitas respostas diferentes são igualmente boas; respostas padronizadas podem chegar a níveis muito baixos sem que haja algo errado. Portanto, compare as curvas dentro de uma mesma execução, e entre execuções no mesmo modelo base e dados, em vez de compará-las com um número de outra fonte. Modelos base diferentes usam tokenizadores diferentes, o que torna suas perdas incomparáveis.

Padrões e o que fazer

O que você vê	Significado	O que fazer
Ambas continuam caindo no final	Ainda aprendendo	Mais épocas podem ajudar
O treinamento cai, a validação estabiliza	Adequado	Pare aqui
O treinamento cai, a validação sobe	Overfitting: memorizando seus exemplos	Menos épocas, uma taxa de aprendizado menor, dados mais variados
Nenhuma cai muito	Underfitting, ou dados inconsistentes	Verifique a qualidade dos dados; aumente as épocas ou a taxa de aprendizado levemente
Perda de treinamento irregular com picos	Taxa de aprendizado muito alta	Reduza-a; adicione warm-up
A perda de treinamento cai em degraus a cada limite de época	O modelo reconhece exemplos da época anterior	Um sinal precoce de memorização; observe a perda de validação
Perda de validação muito abaixo da perda de treinamento desde o início	O conjunto de validação é mais fácil, ou se sobrepõe ao de treinamento	Verifique a divisão em busca de conversas compartilhadas ou quase duplicadas

Lendo uma execução de três épocas (números ilustrativos)

Configuração: 1.200 conversas de treinamento, 130 reservadas, tamanho do lote 8, 3 épocas: 150 passos por época, 450 no total.
Época 1: a perda de treinamento cai de 1,6 para 0,9, a de validação de 1,5 para 0,95. Ambas caindo: aprendizado.
Época 2: o treinamento atinge 0,6; a validação atinge o ponto mais baixo em 0,85 por volta do passo 250.
Época 3: o treinamento continua caindo para 0,35, mas a validação sobe novamente para 1,0. A diferença aumenta: o modelo está memorizando.
Conclusão: o melhor modelo estava perto do passo 250, no início da época 2. Execute novamente com 2 épocas, ou use um checkpoint daquele ponto se o provedor mantiver um, e avalie-o em relação ao modelo base.

O que a perda não revela

A perda mede a probabilidade de o modelo encontrar suas respostas de destino, token por token. Ela não mede se uma resposta é correta, útil ou segura. Um modelo pode reduzir sua perda ao imitar seu fraseado e formatação, mesmo errando os fatos, e um modelo com uma perda de validação ligeiramente maior pode fornecer respostas melhores. Use as curvas para escolher as épocas e a taxa de aprendizado e para identificar problemas; use uma avaliação, comparando as respostas dos modelos ajustado e base lado a lado, para decidir se o modelo é realmente melhor.

Erros comuns

Escolher a execução com a menor perda de treinamento. Geralmente é a que apresenta mais overfitting.
Reagir a pontos isolados com ruído na curva de treinamento em vez da tendência.
Comparar perdas entre diferentes modelos base, tokenizadores ou conjuntos de dados.
Tratar a ausência de uma curva de validação como algo normal. Sem dados reservados, o overfitting é invisível.
Parar nas curvas. Uma curva com boa aparência ainda precisa de uma avaliação das respostas reais.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.