Bientôt disponibleL'Entraînement de modèles sera bientôt disponible dans Scalata Enterprise. Apprenez à un modèle à répondre comme votre équipe.Découvrir les nouveautés

Ressources/Entraînement du modèle/Méthodes d'entraînement

Méthode

Continuer à partir d'un modèle entraîné

Une exécution d'entraînement peut démarrer à partir des poids de l'une de vos exécutions antérieures au lieu du modèle de base, de sorte que le modèle conserve ce qu'il a appris et ajoute ce que les nouvelles données enseignent. C'est ainsi que sont construites les recettes à plusieurs étapes, telles que l'ajustement supervisé puis l'ajustement des préférences.

Chapitre 76 min de lecture5 références

Ce que c'est

Une exécution démarre normalement à partir du modèle de base, le modèle pré-entraîné que vous avez choisi. Une exécution continue démarre au contraire à partir des poids produits par l'une de vos exécutions antérieures, et les nouvelles données sont apprises par-dessus ce que cette exécution a appris. Vous verrez également les termes démarrage à chaud, ajustement fin continu ou apprentissage continu. Le modèle de base sous-jacent ne change pas, la fenêtre de contexte, le prix par jeton et le fournisseur restent donc identiques.

Modèle de basepré-entraîné
→évalué par rapport à modèle de basePhase superviséeapprend la tâche
→évalué par rapport à phase superviséePhase de préférenceaffine les réponses
Chaque maillon d'une chaîne part des poids produits par le maillon précédent et est évalué par rapport à ce parent, de sorte qu'un résultat mesure toujours ce que cette étape a ajouté.

Pourquoi enchaîner les exécutions

Différentes méthodes enseignent différentes choses, et les meilleurs résultats proviennent généralement de leur application séquentielle, chacune démarrant à partir du résultat précédent.

ChaîneCe que chaque étape apportePourquoi cet ordre
Supervisé → préférence (DPO)La tâche, puis le style préféréLe DPO classe les réponses que le modèle est déjà capable de fournir ; sur un modèle de base brut, les deux réponses manquent souvent tout autant d'informations
Supervisé → renforcement (RFT)La tâche, puis un taux de réussite plus élevéLe RL ne renforce que les réponses que le modèle donne parfois correctement
Distillation → superviséLes connaissances de l'enseignant, puis le style de votre équipeLa distillation enseigne les habitudes de l'enseignant ; vos réponses ne sont pas ses cibles
Supervisé → superviséPlus de connaissances : un nouveau domaine de produit, plus de conversationsÉvite de tout réentraîner à partir de zéro
Supervisé → DPO → supervisé → DPODe nouvelles connaissances sur un modèle affiné, puis un nouvel affinageUn entraînement supervisé lourd peut effacer l'affinage des préférences
Pré-entraînement continu → superviséLes connaissances issues de vos documents, puis la manière de s'en servir pour répondreL'entraînement sur du texte brut enseigne des faits, non un comportement ; les conversations ou les Q&R générées enseignent ensuite la manière de répondre

Le fonctionnement sous-jacent

Modèle ouvert avec un adaptateur LoRA
poids de base W+adaptateur de l'exécution 1→modèle fusionné W₁W₁ = W + B₁A₁→l'exécution 2 entraîne un nouvel adaptateur sur W₁→fusionné à nouveau, sauvegardé comme un modèle complet
Modèle hébergé
votre modèle affiné (par son identifiant)→une nouvelle tâche démarre à chaud à partir de celui-ci→un nouveau modèle affiné

Même fournisseur, même modèle de base, et parfois le même niveau d'entraînement que l'exécution dont il prend la suite.

Deux façons pour une exécution de se poursuivre à partir d'une précédente. Dans les deux cas, le nouvel entraînement commence à partir des poids produits par l'exécution précédente, jamais à partir du modèle de base initial.

Modèles hébergés. Le fournisseur poursuit une nouvelle tâche à partir de votre modèle affiné précédent, désigné par son identifiant, ou effectue un démarrage à chaud à partir de son adaptateur sauvegardé. Les règles sont celles du fournisseur : le même modèle de base et, sur certains, le même niveau d'entraînement que celui utilisé par l'exécution précédente.

Modèles ouverts entraînés avec LoRA. Une exécution LoRA ne modifie pas les poids de base W ; elle entraîne un petit adaptateur dont le produit B·A y est ajouté. Pour continuer, l'adaptateur précédent est d'abord fusionné dans la base, W₁ = W + B₁A₁ (mis à l'échelle par le facteur α/r de l'adaptateur), ce qui donne un modèle ordinaire. La nouvelle exécution entraîne un nouvel adaptateur sur W₁, et à la fin, cet adaptateur est également fusionné et le résultat est sauvegardé en tant que modèle complet.

Fusion d'un adaptateur LoRA avant de poursuivre
run 1 (LoRA):   W  stays frozen, adapter B₁A₁ is trained
merge:          W₁ = W + (α / r) · B₁A₁               # one ordinary model again
run 2 (LoRA):   W₁ stays frozen, adapter B₂A₂ is trained
merge + save:   W₂ = W₁ + (α / r) · B₂A₂              # saved as a complete model

Fusionner d'abord est important car un adaptateur apprend une correction aux poids sur lesquels il repose. Entraîné par-dessus W₁, le nouvel adaptateur s'appuie sur le comportement de la première exécution au lieu d'entrer en concurrence avec lui.

L'oubli : ce qu'un nouvel entraînement peut défaire

L'entraînement sur de nouvelles données peut écraser ce qu'un réseau a appris auparavant, un effet connu sous le nom d'oubli catastrophique. Luo et al. (2023) l'ont observé dans des modèles de langage de 1 à 7 milliards de paramètres lors de l'ajustement continu des instructions. Cela se produit également entre vos propres exécutions : un volume important de nouvel entraînement supervisé sur un modèle ajusté par les préférences le ramène vers la copie de réponses d'exemple et peut en partie effacer le peaufinage des préférences.

  • Gardez chaque étape ciblée. Une courte passe de préférence après un nouvel entraînement supervisé restaure l'affinage à moindre coût qu'un unique cycle combiné massif.
  • LoRA est utile. Biderman et al. (2024) ont découvert que LoRA apprend moins que le fine-tuning complet sur un nouveau domaine, mais oublie moins l'ancien : un compromis utile lorsque l'objectif est d'ajouter, et non de remplacer.
  • Intégrez des données antérieures lors de l'ajout de nouvelles connaissances, afin que l'ancien comportement continue d'être pratiqué.
  • Réévaluez chaque maillon. Une régression apparaît lorsque le nouveau modèle est comparé à son parent.

Mesurer chaque maillon

Une exécution continue est évaluée par rapport au modèle à partir duquel elle a démarré, et non par rapport à la base simple. Une victoire sur la base refléterait principalement les étapes antérieures ; une victoire sur le parent représente ce que cette étape a ajouté. Une chaîne est jugée un maillon à la fois, et un maillon qui ne bat pas son parent est une hypothèse qui a échoué : conservez le parent et archivez la tentative.

Une chaîne à quatre maillons (à titre illustratif)
  1. Cycle A : supervisé sur 400 conversations de support, à partir du modèle de base. Évalué face au modèle de base : l'emporte clairement.
  2. Cycle B : DPO sur 120 paires, dans la continuité de A. Évalué face à A : 11 victoires, 6 défaites, 3 égalités. On conserve B.
  3. Cycle C : supervisé sur 150 nouvelles conversations concernant une nouvelle fonctionnalité, dans la continuité de B. Évalué face à B : meilleur sur la nouvelle fonctionnalité, mais le juge note que les réponses ont perdu une partie de la concision de B.
  4. Cycle D : une courte passe DPO, dans la continuité de C. Évalué face à C : la concision est de retour. D est le modèle à utiliser ; A, B et C restent dans l'historique, ou dans l'Archive.

Points de départ autorisés

Nouvelle exécutionPeut démarrer à partir dePourquoi
SuperviséLe modèle de base, ou toute exécution entraînéeAjouter de nouvelles connaissances à ce que vous possédez déjà
Préférence (DPO)Le modèle de base, ou une exécution supervisée uniquementPeaufiner un modèle qui a appris la tâche ; effectuer un DPO sur un DPO avec les mêmes paires ne fait que surajuster
Renforcement (RFT)Le modèle de base, ou une exécution superviséeLe RL nécessite un modèle qui obtient déjà certaines bonnes réponses

Un deuxième cycle de DPO sur de nouvelles paires collectées à partir du modèle du premier cycle, connu sous le nom de DPO itératif, est une technique valide, mais elle nécessite une nouvelle étape de collecte de paires entre les cycles et n'est pas encore proposée.

Erreurs courantes

  • Évaluer une exécution continue par rapport au modèle de base simple ; cela attribue à cette étape le travail des étapes précédentes.
  • Exécuter à nouveau le DPO sur les mêmes paires à partir d'un modèle DPO. Il s'agit simplement d'époques supplémentaires sur les mêmes données, ce qui a tendance à surajuster.
  • Empiler une vaste exécution supervisée sur un modèle peaufiné sans le peaufiner à nouveau par la suite.
  • S'attendre à changer de modèle de base en milieu de chaîne. Une exécution continue conserve le modèle de base et le fournisseur de son parent.
  • Démarrer le RL ou le DPO à partir de la base simple lorsqu'une bonne exécution supervisée existe déjà.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

  1. 01LoRA: Low-Rank Adaptation of Large Language ModelsHu et al., 2021 · arXiv · arxiv.orgPourquoi un adaptateur LoRA peut être fusionné dans les poids de base sans coût supplémentaire lors de l'inférence.
  2. 02LoRA Learns Less and Forgets LessBiderman et al., 2024 · arXiv · arxiv.orgLoRA par rapport à l'ajustement fin complet sur ce qui est gagné dans le nouveau domaine et perdu ailleurs.
  3. 03An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuningLuo et al., 2023 · arXiv · arxiv.orgMesure l'oubli sur des modèles de 1 à 7 milliards de paramètres entraînés sur une tâche après l'autre.
  4. 04Catastrophic interferenceWikipedia · en.wikipedia.orgContexte expliquant pourquoi les réseaux de neurones oublient lorsqu'ils sont entraînés sur de nouvelles données.
  5. 05LoRAHugging Face PEFT docs · huggingface.coComment les adaptateurs sont fusionnés dans le modèle de base en pratique (merge_and_unload).
Bonne pratiqueLa recette standard : SFT, puis DPOL'ajustement des préférences affine les réponses qu'un modèle peut déjà fournir. La recette habituelle comporte donc deux étapes : un ajustement fin supervisé pour enseigner la tâche, puis un DPO dans la continuité de ce modèle et évalué par rapport à celui-ci.MéthodePré-entraînement continuLe pré-entraînement continu entraîne un modèle sur vos textes bruts de la même manière qu'il a été initialement formé : en prédisant le mot suivant. Il apporte des connaissances spécifiques à votre domaine, et non de nouveaux comportements, c'est pourquoi il est généralement suivi d'un cycle supervisé.MéthodeLoRA et adaptateurs (PEFT)LoRA gèle le modèle de base et entraîne deux petites matrices à côté des couches sélectionnées, dont le produit est ajouté aux poids gelés. Il réduit considérablement les poids entraînables et la mémoire et, s'il est bien configuré, égale un fine-tuning complet sur des jeux de données de fine-tuning typiques.MéthodeAffinage completL'affinage complet met à jour chaque poids du modèle. Il offre la plus grande marge de manœuvre pour modifier le comportement, mais nécessite plusieurs fois la taille du modèle en mémoire GPU et est le plus susceptible d'éroder les compétences que possédait le modèle de base.ConceptModèle de base vs modèle affiné, côte à côteUne évaluation pose les mêmes questions mises de côté au modèle de départ et au modèle entraîné, puis compare leurs réponses, afin que vous puissiez voir si l'entraînement a réellement amélioré les réponses.MéthodeDistillationLa distillation entraîne un modèle étudiant, petit et économique, à se comporter comme un grand modèle professeur sur vos tâches, soit en apprenant des réponses du professeur, soit à partir de l'évaluation que le professeur fait de celles de l'étudiant.

Transformez des semaines de travail d'expert en quelques minutes

Découvrez comment Scalata s'adapte à votre équipe, à vos données et à vos contrôles.

Contacter le service commercial