Bientôt disponibleL'Entraînement de modèles sera bientôt disponible dans Scalata Enterprise. Apprenez à un modèle à répondre comme votre équipe.Découvrir les nouveautés

Ressources/Entraînement du modèle/Méthodes d'entraînement

Bonne pratique

Choisir une méthode d'entraînement

La bonne méthode d'entraînement dépend principalement des données dont vous disposez déjà et du changement que vous souhaitez obtenir. Les conversations enseignent les réponses, les paires enseignent les préférences, les scores enseignent les compétences vérifiables, les documents enseignent les connaissances, et un grand modèle peut enseigner à un plus petit.

Chapitre 77 min de lecture4 références

En quoi consiste le choix

Chaque méthode d'entraînement modifie les poids du modèle, mais chacune apprend à partir d'un signal différent. L'ajustement fin supervisé (SFT) se voit présenter la bonne réponse. L'ajustement par préférences (DPO) se voit présenter deux réponses et on lui indique laquelle est la meilleure. L'ajustement fin par renforcement (RFT) rédige ses propres réponses et reçoit un score. La distillation copie un modèle plus grand. Le pré-entraînement continu lit du texte brut et apprend à prédire le mot suivant.

La première question n'est donc pas « quelle est la meilleure méthode ? » mais « de quoi est-ce que je dispose déjà, et que faut-il modifier ? ». Une équipe possédant un millier de bonnes conversations d'assistance dispose d'un jeu de données SFT. Une équipe dont les agents modifient des brouillons de réponses collecte des paires de préférences. Une équipe Finance effectuant des calculs n'admettant qu'un seul résultat exact a une tâche RFT. Et si le modèle a besoin de faits qui changent chaque semaine, l'entraînement n'est peut-être pas la solution : la recherche d'informations, qui consulte les faits au moment de la question, les maintient à jour sans nécessiter de réentraînement.

MéthodeApprend à partir deDonnées nécessairesIdéal pour
Supervisé (SFT)« Voici la bonne réponse »Conversations, ou paires prompt → réponseTon, format, terminologie métier, tâches répétitives
Préférence (DPO)« Cette réponse est meilleure que celle-ci »Une meilleure et une moins bonne réponse à la même questionPerfectionnement d'un modèle qui exécute déjà la tâche
Renforcement (RFT)« Votre réponse a obtenu un score de 0,8 »Questions accompagnées d'un évaluateurRéponses vérifiables : chiffres, étiquettes, formats
Distillation« Répondez comme le modèle plus grand »Questions ; un enseignant rédige ou évalue les réponsesUne copie plus petite et plus économique d'un modèle qui fonctionne déjà
Pré-entraînement continuVotre texte brut, mot par motDocuments : des dizaines de milliers de mots ou plusConnaissances métier, sur des modèles ouverts

Comment l'Assistant d'entraînement choisit

L'assistant d'entraînement examine les données que vous fournissez et recommande une méthode, en en précisant la raison :

  • Conversations ou paires prompt/réponse → ajustement fin supervisé.
  • Paires de préférences → DPO.
  • Documents → pré-entraînement continu.
  • Questions avec réponses vérifiables → ajustement fin par renforcement.
  • Une copie réduite d'un grand modèle → distillation.
Vous avezMéthode
Conversations, ou prompt → réponsedes réponses que vous seriez prêt à envoyerSupervisé (SFT)copie la bonne réponse
Paires de réponsesune meilleure et une moins bonne réponse à la même questionPréférence (DPO)préfère la meilleure
Documentsmanuels, articles d'aide, pages produitsPré-entraînement continuou générer des Q&R, sur n'importe quel fournisseur
Questions avec des réponses vérifiablesun chiffre, une étiquette, un formatRenforcement (RFT)vise la note d'un évaluateur
Un grand modèle qui le fait déjà bienet vous souhaitez une copie plus petite et moins coûteuseDistillationrépond comme l'enseignant
La première question de l'Assistant d'entraînement porte sur ce que vous possédez déjà. Chaque type de données véhicule un signal différent, et ce signal détermine la méthode. Seules les méthodes prises en charge par le fournisseur et le modèle de base choisis sont proposées.

Il ne propose que les méthodes prises en charge par le fournisseur et le modèle de base choisis. Le pré-entraînement continu, par exemple, existe sur Hugging Face et sur les modèles ouverts de Vertex AI, mais pas sur Gemini, Azure, Fireworks ou les modèles Bedrock actuels ; dans ce cas, les documents sont plutôt transformés en questions-réponses générées, qui servent à l'entraînement comme des données supervisées ordinaires. L'assistant ne vous sollicite que lorsque plusieurs méthodes sont adaptées.

Combinaison de méthodes

Une exécution peut prendre la suite d'une exécution précédente, de sorte que les méthodes sont souvent combinées plutôt que choisies une seule fois. Les enchaînements courants sont : supervisé, puis préférences (enseigner la tâche, puis la perfectionner) ; supervisé, puis renforcement (le RL ne peut affiner que ce que le modèle réussit déjà parfois) ; et pré-entraînement continu, puis supervisé (lire les documents, puis apprendre à y répondre). L'ajustement par préférences ne démarre qu'à partir du modèle de base ou d'une exécution supervisée. Chaque maillon est évalué par rapport au modèle dont il est issu, ce qui vous permet de voir ce que cette étape a apporté.

Modèle de basepré-entraîné
→évalué par rapport à modèle de basePhase superviséeapprend la tâche
→évalué par rapport à phase superviséePhase de préférenceaffine les réponses
Chaque maillon d'une chaîne part des poids produits par le maillon précédent et est évalué par rapport à ce parent, de sorte qu'un résultat mesure toujours ce que cette étape a ajouté.
Sélection pour une équipe d'assistance (à titre d'exemple)
  1. L'équipe dispose de 1 200 conversations d'assistance, 60 articles de centre d'aide (environ 45 000 mots), 150 réponses corrigées manuellement par les agents, et 40 questions sur les tarifs avec un seul chiffre exact pour chacune.
  2. Conversations → supervisé en premier. Elles enseignent le ton, le format et les réponses courantes. C'est la fondation sur laquelle repose chaque étape ultérieure.
  3. Articles → Q&R générées, ajoutées au même jeu de données. À raison d'environ une section pour 800 nouveaux mots, 45 000 mots donnent approximativement 56 sections et, avec trois paires chacune, environ 170 exemples supplémentaires. Sur un modèle ouvert avec un tel volume de texte, un pré-entraînement continu avant l'exécution supervisée est une option.
  4. Corrections → 150 paires de préférences (la réponse corrigée étant préférée à l'originale), entraînées avec DPO, dans la continuité de l'exécution supervisée.
  5. Questions sur les tarifs → réglage fin par renforcement avec un évaluateur numérique, mais uniquement une fois que le modèle supervisé en réussit déjà une bonne partie ; sinon, chaque tentative obtient le même score et il n'y a rien à en tirer.
  6. Chaque étape est évaluée par rapport à son parent. Une étape qui ne le surpasse pas est archivée, et la chaîne se poursuit à partir du meilleur modèle.

Les paramètres qu'il suggère

Une fois la méthode choisie, l'assistant suggère des paramètres au lieu de vous interroger sur chacun d'eux : le mode auto du fournisseur s'il en possède un, sinon le nombre d'époques par défaut du fournisseur, et moins d'époques (1–2) pour les grands jeux de données. L'entraînement est facturé par token traité, et chaque passage supplémentaire sur les données ajoute environ le coût d'une époque de plus, alors qu'un grand jeu de données fournit déjà au modèle de nombreux exemples par passage.

Pourquoi les grands jeux de données nécessitent moins d'époques
dataset: 3,000,000 tokens          price (illustrative): $2 per 1M training tokens

3 epochs  →  9,000,000 tokens trained  →  $18
2 epochs  →  6,000,000 tokens trained  →  $12
1 epoch   →  3,000,000 tokens trained  →  $6

Les méthodes en un coup d'œil

Ajustement fin superviséTypique Conversations ou paires prompt/réponse ; la première exécution sur la plupart des projets#

Le modèle voit la conversation et votre réponse, et apprend à produire cette réponse. C'est la base de tout le reste et généralement la première méthode à essayer. Il apprend fidèlement vos données, y compris les réponses incohérentes ou erronées.

Ajustement par préférences (DPO)Typique Réponses corrigées, victoires et défaites lors des évaluations, moins bonnes réponses rédigées par le modèle#

Le modèle voit une réponse préférée et une réponse non préférée à la même question et s'oriente vers celle qui est préférée. Idéal pour les qualités plus faciles à juger qu'à rédiger : concision, ton plus amical, absence d'invention de fonctionnalités. À démarrer à partir d'une exécution supervisée.

Ajustement fin par renforcementTypique Calculs, étiquettes, formats ; après une exécution supervisée#

Le modèle répond à chaque prompt à plusieurs reprises, un évaluateur note chaque réponse, et le type de réponse obtenant le meilleur score devient plus probable. Il nécessite un moyen de noter les réponses, et non des réponses parfaites, et il ne peut pas créer une capacité que le modèle ne démontre jamais.

DistillationTypique Un grand modèle fait déjà l'affaire ; le coût ou la vitesse posent problème#

Un grand modèle enseignant rédige les réponses à partir desquelles le petit modèle étudiant apprend, ou évalue les propres réponses de l'étudiant token par token. Le résultat est un modèle plus économique et plus rapide qui se comporte comme le grand modèle sur votre tâche.

Pré-entraînement continuTypique Un vaste corpus de documentation et un modèle ouvert#

Le modèle lit des passages de vos documents et apprend à prédire le mot suivant, de la même manière qu'il a été initialement entraîné. Il ajoute des connaissances, et non un comportement, il convient donc de le faire suivre d'une exécution supervisée. Modèles ouverts Hugging Face et Vertex AI uniquement.

Erreurs courantes

  • Recourir d'emblée à l'ajustement par renforcement ou par préférences. Sans une exécution supervisée, il y a généralement peu de matière à affiner ou à perfectionner.
  • S'attendre à ce que quelques conversations suffisent pour enseigner les caractéristiques d'un produit. Les conversations apprennent à formuler une réponse ; les faits doivent provenir de documents ou de la recherche d'informations.
  • Lancer un pré-entraînement continu sur une poignée de pages. Il faut des dizaines de milliers de mots pour modifier quoi que ce soit.
  • Maintenir de nombreuses époques sur un vaste jeu de données. Le coût augmente à chaque passage, et les passages supplémentaires ne font généralement qu'accroître le surapprentissage.
  • Entraîner le modèle alors que le véritable besoin est d'obtenir des informations actualisées. Les faits qui changent chaque semaine relèvent de la recherche d'informations, et non des poids du modèle.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

  1. 01Model optimizationOpenAI API docs · developers.openai.comL'aperçu d'un fournisseur sur les cas d'utilisation de l'ajustement fin supervisé, par préférences et par renforcement.
  2. 02LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.org1 000 exemples soigneusement choisis ont suffi pour enseigner un bon style de réponse à un modèle de base performant.
  3. 03Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.orgL'article de recherche à l'origine de l'ajustement par préférences sans modèle de récompense distinct.
  4. 04Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMsOvadia et al., 2023 · arXiv · arxiv.orgLa recherche d'informations a surpassé l'ajustement fin non supervisé pour l'ajout de connaissances, dans toutes les configurations testées.
MéthodeAjustement fin supervisé (SFT)Le réglage fin supervisé enseigne à un modèle par l'exemple : on lui montre une conversation et la réponse que vous souhaitez, et ses poids sont ajustés pour que cette réponse devienne plus probable, jeton par jeton.MéthodeAjustement des préférences (DPO)L'optimisation directe des préférences (DPO) entraîne un modèle sur des paires de réponses, l'une meilleure et l'autre moins bonne, afin qu'il apprenne à privilégier la meilleure, sans nécessiter le modèle de récompense ni la boucle d'apprentissage par renforcement propres au RLHF classique.MéthodeFine-tuning par renforcement (RFT)Le fine-tuning par renforcement entraîne un modèle sur des scores plutôt que sur des exemples de réponses : il répond à chaque prompt plusieurs fois, un évaluateur note chaque tentative, et le modèle s'oriente vers ce qui a obtenu un meilleur score.MéthodeDistillationLa distillation entraîne un modèle étudiant, petit et économique, à se comporter comme un grand modèle professeur sur vos tâches, soit en apprenant des réponses du professeur, soit à partir de l'évaluation que le professeur fait de celles de l'étudiant.MéthodeApprendre à partir de documents : génération de questions-réponsesLa génération de questions-réponses transforme vos documents en exemples d'entraînement : un modèle lit chaque section de votre texte et rédige des questions réalistes, dont les réponses sont tirées exclusivement de cette section. Ces paires servent ensuite à l'entraînement comme pour n'importe quel autre chat, chez tous les fournisseurs.MéthodeContinuer à partir d'un modèle entraînéUne exécution d'entraînement peut démarrer à partir des poids de l'une de vos exécutions antérieures au lieu du modèle de base, de sorte que le modèle conserve ce qu'il a appris et ajoute ce que les nouvelles données enseignent. C'est ainsi que sont construites les recettes à plusieurs étapes, telles que l'ajustement supervisé puis l'ajustement des préférences.

Transformez des semaines de travail d'expert en quelques minutes

Découvrez comment Scalata s'adapte à votre équipe, à vos données et à vos contrôles.

Contacter le service commercial