Le pré-entraînement et le modèle de base

Ce qu'est le pré-entraînement

Un grand modèle de langage commence par des milliards de nombres — ses poids, ou paramètres — définis de manière aléatoire. Le pré-entraînement ajuste ces nombres en présentant au modèle d'énormes quantités de texte (pages web, livres, code, ouvrages de référence) et en lui posant, encore et encore, une seule question : compte tenu du texte jusqu'à présent, quelle est la suite ? Chaque erreur d'estimation modifie légèrement les poids. Après des milliers de milliards de tentatives, le modèle a assimilé la grammaire, des faits, des styles, des schémas de raisonnement et une grande connaissance du monde, car tous ces éléments l'aident à prédire le mot suivant.

Cet objectif est appelé prédiction du jeton suivant, ou modélisation causale du langage. Personne n'a besoin d'étiqueter les données : le texte constitue sa propre clé de réponse, c'est pourquoi le pré-entraînement peut en utiliser une telle quantité.

L'ordre de grandeur

Le pré-entraînement est de loin l'étape la plus coûteuse de la vie d'un modèle. GPT-3, décrit en 2020, comptait 175 milliards de paramètres et a été entraîné sur environ 300 milliards de jetons. L'étude Chinchilla de DeepMind (2022) a ensuite démontré que, pour un budget de calcul fixe, les modèles devaient traiter beaucoup plus de texte par paramètre : leur modèle Chinchilla de 70 milliards de paramètres, entraîné sur 1,4 millier de milliards de jetons, a surpassé des modèles considérablement plus grands. Les modèles ouverts actuels sont entraînés sur plusieurs milliers de milliards de jetons, sur des milliers de GPU, pendant des semaines.

C'est pourquoi personne n'affinant un modèle pour son propre usage ne répète cette étape. C'est également la raison pour laquelle le modèle de départ est si important : ses connaissances, ses langues et sa capacité de raisonnement fixent le plafond de ce que tout entraînement ultérieur pourra accomplir.

Du modèle brut au modèle de départ

Un modèle tout juste issu du pré-entraînement est doué pour poursuivre un texte, mais pas pour suivre des instructions. Posez-lui une question et il pourrait répondre par trois autres questions, car c'est à cela que ressemble une grande partie du texte sur le web. Les concepteurs de modèles l'entraînent donc davantage — par l'ajustement par instructions (affinage supervisé sur des exemples de conversations), généralement suivi d'un ajustement des préférences basé sur des retours humains ou de l'IA — pour le transformer en assistant. Les travaux d'OpenAI sur InstructGPT ont montré l'importance de cette étape : les utilisateurs ont préféré les réponses d'un modèle ajusté par instructions de 1,3 milliard de paramètres à celles de GPT-3 avec ses 175 milliards de paramètres, bien qu'il compte plus de 100 fois moins de paramètres.

Les familles de modèles ouverts sont souvent publiées sous deux formes : un point de contrôle brut « de base » et une version « instruction » ou « chat ». Dans Scalata, et dans ce guide, le terme modèle de base désigne simplement le modèle à partir duquel débute une exécution d'entraînement. En pratique, il s'agit presque toujours d'un modèle ajusté par instructions, de sorte que vos exemples n'ont besoin d'enseigner que ce qui vous est spécifique.

Ce que l'affinage peut et ne peut pas changer

L'affinage utilise le même mécanisme que le pré-entraînement — prédire le jeton suivant, mesurer l'erreur, ajuster les poids — mais sur des centaines ou des milliers de vos exemples au lieu de milliers de milliards de jetons. À cette échelle, il est très efficace pour remodeler le comportement, et beaucoup moins pour ajouter des connaissances. La recherche suggère que les modèles apprennent lentement de véritables faits nouveaux grâce à l'affinage, et que les forcer à le faire peut les rendre plus enclins à inventer des réponses.

• Ce qui change facilement : le ton et le style, le format de sortie, la longueur, la terminologie du domaine, le traitement cohérent des requêtes récurrentes, la capacité d'un petit modèle à accomplir une tâche spécifique comme un modèle plus grand.
• Ce qui change difficilement : de vastes ensembles de faits nouveaux, des informations qui changent souvent et des capacités qui font fondamentalement défaut au modèle de base — un petit modèle n'apprendra pas le raisonnement avancé à partir de quelques centaines d'échanges.
• Ce qui ne change pas : l'architecture du modèle, son tokenizer et sa fenêtre de contexte.

Choisir un modèle de base

Tout ce que vous entraînez repose sur le modèle de base, choisissez-le donc de manière réfléchie :

• Capacité sur votre tâche. Essayez d'abord le modèle de base sur des questions réelles. Le fine-tuning affine ce qui existe déjà ; il crée rarement une capacité à partir de rien.
• Taille et coût. Les modèles plus grands en savent davantage, mais leur entraînement et leur exécution coûtent plus cher. L'objectif habituel est de trouver le plus petit modèle capable d'accomplir correctement la tâche une fois affiné.
• Langues. Si vos utilisateurs écrivent en allemand ou en japonais, vérifiez que le modèle gère bien ces langues ; les données de pré-entraînement sont généralement dominées par l'anglais.
• Limites. La fenêtre de contexte et la limite d'entraînement par exemple sont inhérentes au modèle et ne changent pas avec l'entraînement.

Erreurs courantes

• S'attendre à ce que l'affinage enseigne un vaste ensemble de faits changeants, comme un catalogue de produits complet ou une liste de prix.
• Partir d'un modèle totalement incapable d'accomplir la tâche et s'attendre à ce que quelques centaines d'exemples y remédient.
• Choisir un point de contrôle pré-entraîné brut alors qu'une version ajustée par instructions du même modèle ouvert était souhaitée.
• Ne pas tester le modèle de base au préalable, ce qui empêche d'avoir une référence pour comparer le modèle entraîné.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

1. 01Language Models are Few-Shot Learners↗Brown et al., 2020 · arXiv · arxiv.orgL'article sur GPT-3 : ce que le pré-entraînement à grande échelle peut accomplir à lui seul.
2. 02Training Compute-Optimal Large Language Models↗Hoffmann et al., 2022 · arXiv · arxiv.orgL'étude Chinchilla sur la quantité de texte sur laquelle un modèle d'une taille donnée devrait être entraîné.
3. 03Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgInstructGPT : comment un modèle pré-entraîné devient un assistant capable de suivre des instructions.
4. 04How do Transformers work?↗Hugging Face LLM Course · huggingface.coUne introduction accessible au pré-entraînement, à l'apprentissage par transfert et à l'affinage.
5. 05Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?↗Gekhman et al., 2024 · arXiv · arxiv.orgPreuves que les faits nouveaux sont appris lentement lors de l'affinage et peuvent augmenter les hallucinations.

Concepts associés