Em breveO Treinamento de Modelos será lançado em breve no Scalata Enterprise. Ensine um modelo a responder como a sua equipe.Veja o que está por vir

Recursos/Treinamento de modelo/Métodos de treinamento

Método

Aprendizado a partir de documentos: geração de perguntas e respostas

A geração de perguntas e respostas transforma documentos em exemplos de treinamento: um modelo lê cada seção do seu texto e escreve perguntas realistas, com respostas extraídas apenas daquela seção. Os pares então treinam como qualquer outro chat, em todos os provedores.

Capítulo 76 min de leitura5 referências

O que é

Um modelo que passou por fine-tuning em algumas dezenas de chats geralmente aprende o tom e o formato rapidamente. O que ele não aprende são os fatos que nunca viu: quais planos incluem exportações, quanto tempo dura um link compartilhado, como uma configuração é chamada. As avaliações mostram isso claramente: esse modelo tem uma boa pontuação em tom e formato, mas uma pontuação ruim em exatidão. Os fatos geralmente residem em documentos: artigos de ajuda, manuais, páginas de produtos.

A geração de perguntas e respostas reescreve esses documentos no formato que o treinamento supervisionado entende. Um modelo lê cada seção do texto e escreve alguns pares de perguntas e respostas sobre ela. Esses pares se juntam ao seu conjunto de dados como exemplos comuns, para que os fatos cheguem ao modelo por meio da mesma preparação, treinamento e avaliação que os seus chats.

Por que não treinar apenas no próprio texto? Pesquisas sugerem que os modelos aprendem mal os fatos a partir de uma única cópia. Ovadia et al. (2023) descobriram que os modelos “têm dificuldade em aprender novas informações factuais por meio de fine-tuning não supervisionado” e que ver muitas variações do mesmo fato ajuda. Yang et al. (2024) observam que um modelo deve ver um fato em “centenas a milhares de representações diversas” para aprendê-lo durante o pré-treinamento. Perguntas escritas com palavras diferentes são exatamente essas variações e também ensinam o modelo a recuperar o fato quando questionado.

Como adicionar documentos a um conjunto de dados

  • Upload de arquivos: PDF, Word, PowerPoint, texto, Markdown ou HTML.
  • Selecione arquivos que já estão no Scalata; o texto extraído deles é reutilizado.
  • Cole endereços de páginas da web. Apenas páginas públicas: o texto principal é mantido e os menus e rodapés são descartados. Endereços que apontam para dentro da sua rede são recusados.
  • Importe linhas de texto simples de um conjunto de dados do Hugging Face (páginas da web, livros…). As linhas são unidas em documentos de até 40.000 caracteres.
  • Selecione arquivos de uma fonte de dados conectada, como Google Drive, OneDrive, Amazon S3 ou Snowflake. Apenas documentos legíveis são listados, arquivos com mais de 50 MB não podem ser selecionados e a fonte é apenas lida, nunca alterada.

O texto de cada documento é lido uma vez e pode ser verificado com a opção Ver texto antes de ser usado. Essa verificação vale um minuto do seu tempo: um PDF digitalizado com texto de baixa qualidade ou uma página que é composta principalmente por navegação gera perguntas ruins.

Como funciona

  1. Dividido em seções. O texto é dividido em seções de cerca de 900 palavras. As seções vizinhas se sobrepõem um pouco, para que um fato que caia em um limite apareça por inteiro em pelo menos uma delas.
  2. Lido uma seção por vez. O modelo gerador que você escolher lê uma seção e escreve alguns pares realistas de perguntas e respostas.
  3. Perguntas como as dos usuários. Elas são formuladas da maneira como as pessoas realmente digitam (“como eu compartilho isso”), e não como perguntas de prova.
  4. Respostas apenas da seção. O gerador não pode usar nenhum fato que não esteja no texto à sua frente. Uma seção sem nada a ser perguntado, como uma lista de referências, não gera perguntas.
  5. O seu tom. Se o conjunto de dados já tiver chats, algumas respostas reais serão mostradas ao gerador para que as respostas soem como o seu produto.
  6. Exemplos comuns. Os pares vão para o conjunto de dados, onde você pode revisá-los, editá-los ou excluí-los antes da preparação.
ARTIGO DE AJUDA · 2.500 PALAVRASseção 1seção 2seção 3sobreposiçãosobreposição
da seção 1como compartilho um relatório com um cliente?Abra o relatório → Compartilhar → escolha o cliente.
da seção 2o cliente precisa de uma conta para abri-lo?Não. O link abre sem precisar de uma e expira após 7 dias.
da seção 3posso parar de compartilhar depoisSim. Compartilhar → Gerenciar links → Revogar.
Um artigo se transforma em exemplos de treinamento. O texto é dividido em seções de cerca de 900 palavras; seções vizinhas compartilham um pouco de texto (sombreado), para que um fato em um limite seja visto por inteiro. Um modelo lê cada seção e escreve perguntas da forma como os usuários as digitam, com respostas extraídas apenas daquela seção. O artigo e os pares são ilustrativos.
Um par gerado, como exemplo de treinamento
{"messages": [
  {"role": "user",      "content": "does the client need an account to open a shared report?"},
  {"role": "assistant", "content": "No. The link opens without an account and expires after 7 days. You can revoke it any time under Share → Manage links."}
]}
Um artigo de ajuda, de ponta a ponta (ilustrativo)
  1. Um artigo de 2.500 palavras sobre o compartilhamento de relatórios entra no conjunto de dados. A visualização do texto mostra parágrafos limpos, portanto, está pronto.
  2. Ele é cortado em três seções: palavras 1–900, 800–1.700 e 1.600–2.500. A frase sobre links que expiram após 7 dias encontra-se na palavra 850, de modo que aparece inteira tanto na seção 1 quanto na seção 2.
  3. O gerador escreve três pares por seção: nove exemplos. Uma pergunta é “o cliente precisa de uma conta para abri-lo?”, respondida apenas a partir da seção 2.
  4. Você revisa todos os nove e corrige uma resposta que misturou duas configurações. Revise uma amostra em cada execução: uma resposta gerada é tão boa quanto a seção de onde veio.
  5. Os nove exemplos são treinados com seus chats. As pontuações de exatidão da avaliação nas perguntas sobre compartilhamento são o que indicam que funcionou.

Como obter bons pares

  • Use apenas documentos atuais. Pares de um manual desatualizado ensinam fatos desatualizados, com confiança.
  • Prefira textos limpos. Artigos de ajuda e páginas de produtos funcionam melhor; páginas de tabelas, referências ou navegação agregam pouco.
  • Misture com chats reais. Pares gerados carregam os fatos; chats reais carregam o comportamento de múltiplos turnos e os casos extremos que os usuários realmente trazem.
  • Não sobrecarregue o modelo com fatos novos. Gekhman et al. (2024) descobriram que exemplos de fine-tuning com conhecimentos novos para o modelo são aprendidos mais lentamente e, uma vez aprendidos, o tornam mais propenso a alucinações. Mantenha as respostas fundamentadas e considere a recuperação de dados para fatos que mudam com frequência.

Geração de perguntas e respostas ou pré-treinamento contínuo?

CompararQ&A geradoPré-treinamento contínuo
ProvedoresTodos os provedoresHugging Face; modelos abertos da Vertex AI
Texto necessárioFunciona a partir de algumas páginasDezenas de milhares de palavras ou mais
EnsinaFatos, em forma de respostasApenas conhecimento; a resposta requer uma execução supervisionada depois
Você pode revisar?Sim, cada parApenas o texto de origem

Escolha a geração de perguntas e respostas quando quiser respostas melhores rapidamente e em qualquer provedor. Escolha o pré-treinamento contínuo quando tiver um grande volume de documentação e treinar modelos abertos, idealmente seguido pela geração de perguntas e respostas ou treinamento de chat que continue a partir dele.

Configurações

Tamanho da seçãoTípico Cerca de 900 palavras, com uma leve sobreposição#

A quantidade de texto que o gerador lê de uma só vez. Cerca de 900 palavras, com uma pequena sobreposição entre seções vizinhas para que um fato em um limite seja visto por inteiro. Seções maiores dão ao gerador mais contexto, mas tendem a produzir perguntas apenas sobre os fatos mais proeminentes; seções menores cobrem os detalhes de forma mais uniforme, mas perdem o contexto ao redor.

Modelo geradorTípico Um modelo rápido e acessível que segue bem as instruções#

O modelo que lê cada seção e escreve os pares. Um modelo capaz segue a regra de “responder apenas com base na seção” de forma mais confiável e escreve perguntas mais naturais. A geração é um custo único por documento e geralmente é pequena em comparação com o treinamento; a estimativa é mostrada antes de você começar.

Erros comuns

  • Pular a revisão. Uma resposta gerada é tão precisa quanto a sua seção, e o gerador ainda pode misturar dois fatos.
  • Inserir documentos desatualizados ou rascunhos. O modelo aprende o que quer que o texto diga.
  • Treinar apenas com pares gerados. Sem chats reais, o modelo pode responder bem aos fatos, mas lidar mal com conversas reais.
  • Não verificar a opção Ver texto em arquivos digitalizados ou com muita formatação, onde o texto extraído pode estar distorcido.
  • Julgar o resultado pelo tom. A geração de perguntas e respostas foca na exatidão, portanto, leia as pontuações de exatidão da avaliação.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.

  1. 01Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMsOvadia et al., 2023 · arXiv · arxiv.orgOs modelos aprendem mal fatos novos a partir de texto bruto; muitas variações de um fato ajudam.
  2. 02Synthetic continued pretrainingYang et al., 2024 · arXiv · arxiv.orgReescrever um pequeno corpus em um texto sintético muito mais variado para que um modelo possa aprender com ele.
  3. 03Physics of Language Models: Part 3.1, Knowledge Storage and ExtractionAllen-Zhu & Li, 2023 · arXiv · arxiv.orgExperimentos controlados mostrando que o conhecimento deve ser visto em formas variadas para ser recuperável por meio de perguntas.
  4. 04Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?Gekhman et al., 2024 · arXiv · arxiv.orgPor que ensinar muitos fatos novos por meio de fine-tuning pode aumentar a alucinação.
  5. 05Instruction Pre-Training: Language Models are Supervised Multitask LearnersCheng et al., 2024 · arXiv · arxiv.orgAumentar o texto bruto com pares de instrução-resposta gerados durante o pré-treinamento contínuo.
MétodoPré-treinamento contínuoO pré-treinamento contínuo treina um modelo em seu texto bruto da mesma forma que foi treinado inicialmente: prevendo a próxima palavra. Ele adiciona conhecimento do seu domínio, não novos comportamentos, por isso geralmente é seguido por uma execução supervisionada.MétodoDados sintéticos e o Construtor de DatasetsComo um modelo capaz pode escrever as conversas de exemplo que você ainda não possui, e como o briefing, o plano, as verificações e a revisão do Construtor de Datasets mantêm esses chats variados, fundamentados e sob o seu controle.ConceitoO que é um datasetUma coleção nomeada e congelada de exemplos de treinamento — copiados de chats, escritos por um modelo ou importados — além de quaisquer documentos com os quais aprender: por que é um snapshot em vez de um link, e o que isso significa para correções, importações e reprodutibilidade.Prática recomendadaO que faz um bom conjunto de dadosAs propriedades que decidem se o ajuste fino torna um modelo melhor — correto, consistente, variado, focado e representativo — e como verificar cada uma antes de treinar.MétodoAjuste fino supervisionado (SFT)O ajuste fino supervisionado ensina um modelo por meio de exemplos: ele visualiza uma conversa e a resposta desejada, e seus pesos são ajustados para que essa resposta se torne mais provável, token por token.ConceitoPrompting, recuperação ou fine-tuningTrês maneiras de adaptar um modelo ao seu uso: o que cada uma altera, quanto custa e como escolher entre elas ou combiná-las.

Transforme semanas de trabalho especializado em minutos

Veja como o Scalata se adapta à sua equipe, aos seus dados e aos seus Controles.

Fale com vendas