Em breveO Treinamento de Modelos será lançado em breve no Scalata Enterprise. Ensine um modelo a responder como a sua equipe.Veja o que está por vir

Recursos/Treinamento de modelo/Datasets

Prática recomendada

O que faz um bom conjunto de dados

As propriedades que decidem se o ajuste fino torna um modelo melhor — correto, consistente, variado, focado e representativo — e como verificar cada uma antes de treinar.

Capítulo 44 min de leitura5 referências

Por que a qualidade domina

O ajuste fino supervisionado possui uma única fonte de verdade: os seus exemplos. O modelo não consegue distinguir uma resposta descuidada de uma cuidadosa, portanto, ele aprende ambas. Um conjunto pequeno de exemplos corretos e consistentes geralmente supera um conjunto grande de exemplos mistos. O estudo LIMA (2023) ilustrou esse ponto de forma vívida: um modelo de 65 bilhões de parâmetros com ajuste fino em apenas 1.000 exemplos cuidadosamente selecionados forneceu respostas que as pessoas avaliaram como equivalentes ou melhores que as do GPT-4 em 43% dos casos.

As cinco propriedades

PropriedadeO que significaComo verificar
CorretoCada alvo está correto: fatos, etapas, números, nomes.Peça a alguém que conheça o assunto para ler de 30 a 50 alvos aleatórios.
ConsistentePerguntas semelhantes recebem respostas com formatos semelhantes.Agrupe as respostas por tópico e compare-as lado a lado; defina um estilo padrão primeiro.
VariadoPerguntas curtas, vagas, compostas por várias partes e de acompanhamento, não apenas as bem formuladas.Liste os tipos de perguntas que você recebe e verifique se cada um deles aparece.
FocadoUm trabalho bem definido ou alguns claramente separados.Você consegue descrever o que o modelo deve fazer em duas frases?
RepresentativoAs entradas se parecem com o que o modelo verá no uso real.Compare a combinação de tópicos e comprimentos com o tráfego real.
como fazer40%62%solução de problemas25%22%faturamento15%12%curto ou vago15%1%fora do escopo5%3%uso realconjunto de dados
Proporção de cada tipo de pergunta no uso real (contorno) e em um conjunto de dados (preenchido). O conjunto de dados super-representa perguntas de 'como fazer' bem estruturadas e quase ignora as curtas e vagas, de modo que o modelo treinado estará menos preparado para um sexto do tráfego real.

Quantos exemplos

Não existe um número universal, mas existem intervalos úteis. Tarefas restritas com um formato claro — responder a um tipo de pergunta em um estilo fixo, classificar uma solicitação — frequentemente mostram um efeito claro com algumas centenas de exemplos. Assistentes amplos que cobrem muitos tópicos precisam de milhares. O guia de ajuste fino da OpenAI relata melhorias a partir de 50 a 100 exemplos e sugere começar com cerca de 50 exemplos bem elaborados, avaliar e adicionar mais a partir daí. Mais dados ajudam mais quando adicionam variedade; mais do mesmo adiciona custos sem agregar muito.

Duplicatas e repetições

Uma conversa que aparece duas vezes é treinada duas vezes, e uma resposta pronta usada como alvo para cinquenta perguntas diferentes ensina o modelo a produzi-la em todos os lugares. Pesquisas sobre dados de pré-treinamento mostram o quanto a repetição importa: a remoção de quase duplicatas de conjuntos de treinamento comuns fez com que os modelos reproduzissem textos memorizados com uma frequência cerca de dez vezes menor. Na escala de ajuste fino, o sintoma é um modelo repetitivo que usa excessivamente algumas frases feitas.

Alvos que dependem de novos fatos

Tenha cuidado com alvos construídos principalmente com base em fatos que o modelo base nunca viu. Um estudo de 2024 realizado por Gekhman e colegas descobriu que os modelos aprendem esses exemplos mais lentamente do que aqueles consistentes com o que já sabem e que, à medida que os aprendem, tornam-se mais propensos a alucinar. Sempre que possível, forneça fatos especializados ou mutáveis no momento da solicitação e use o conjunto de dados para ensinar como utilizá-los.

Revisando um dataset antes do treinamento
  1. Início: 600 chats de suporte com 900 alvos candidatos.
  2. Exatidão: um revisor lê 50 alvos aleatórios e encontra 6 com um nome de menu desatualizado. Uma pesquisa encontra mais 40 com o mesmo problema; todos são corrigidos.
  3. Consistência: perguntas sobre senhas são respondidas em três formatos diferentes. A equipe escolhe um e corrige os demais.
  4. Variedade: perguntas muito curtas (“exportar?”) representam 15% do tráfego real, mas estão quase ausentes do dataset, então 60 chats desse tipo são adicionados.
  5. Repetições: uma resposta pronta é o alvo 70 vezes; o limite do Data Prep para respostas repetidas impede que ela domine.
  6. Resultado: menos alvos utilizáveis do que no início, mas cada um ensina o comportamento que você deseja.

Erros comuns

  • Adicionar mais exemplos do mesmo tipo em vez de cobrir os tipos que estão faltando.
  • Treinar com tudo o que foi dito em vez de treinar com o que deveria ter sido dito.
  • Misturar vários estilos de resposta porque pessoas diferentes escreveram as respostas.
  • Deixar de fora perguntas curtas, vagas e mal formuladas porque elas fazem o conjunto de dados parecer desorganizado.
  • Presumir que a limpeza automática verifica se as respostas estão corretas.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

  1. 01LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.org1.000 exemplos cuidadosamente escolhidos e o que eles alcançaram.
  2. 02Deduplicating Training Data Makes Language Models BetterLee et al., 2021 · arXiv · arxiv.orgO custo medido de dados de treinamento duplicados.
  3. 03Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?Gekhman et al., 2024 · arXiv · arxiv.orgPor que alvos cheios de fatos desconhecidos podem produzir o efeito contrário.
  4. 04Supervised fine-tuningOpenAI API docs · developers.openai.comO conselho de um provedor sobre com quantos exemplos começar.
  5. 05Datasets: Data characteristicsGoogle Machine Learning Crash Course · developers.google.comUm breve guia sobre a confiabilidade e a qualidade dos dados.
ConceitoO que é um datasetUma coleção nomeada e congelada de exemplos de treinamento — copiados de chats, escritos por um modelo ou importados — além de quaisquer documentos com os quais aprender: por que é um snapshot em vez de um link, e o que isso significa para correções, importações e reprodutibilidade.ConceitoAlvos (respostas treináveis)As respostas do assistente que você escolhe para o modelo aprender: como um alvo é aprendido, o que faz um bom alvo e por que tudo o que o antecede é contexto.Etapa do pipelineLimpezaA limpeza remove as respostas com as quais um modelo nunca deveria aprender — erros, recusas, marcação de interface, duplicatas e respostas prontas — e corrige a estrutura para que cada registro seja válido para o treinamento.MétodoDados sintéticos e o Construtor de DatasetsComo um modelo capaz pode escrever as conversas de exemplo que você ainda não possui, e como o briefing, o plano, as verificações e a revisão do Construtor de Datasets mantêm esses chats variados, fundamentados e sob o seu controle.ConceitoPerguntas de teste: por que os dados “reservados” importamUma fatia das suas conversas que a preparação de dados reserva antes de qualquer outra coisa, para que uma avaliação possa fazer ao modelo treinado perguntas que ele nunca viu. É a única maneira limpa de distinguir uma melhoria real da memorização.ConceitoBase vs. ajustado, lado a ladoUma avaliação faz as mesmas perguntas reservadas ao modelo inicial e ao modelo treinado e compara as suas respostas, para que você possa ver se o treinamento realmente melhorou as respostas.

Transforme semanas de trabalho especializado em minutos

Veja como o Scalata se adapta à sua equipe, aos seus dados e aos seus Controles.

Fale com vendas