Vue d'ensemble
Le fine-tuning ne crée pas un modèle de toutes pièces. Il oriente un modèle existant à l'aide de nombreux exemples du comportement souhaité.
- 01Sessionssélectionner les conversations
- 02Jeu de donnéescollecter des exemples
- 03Fournisseuroù il s'entraîne
- 04Préparation des donnéesnettoyer + convertir
- 05Entraînerexécuter la tâche
- 06Évaluerprouver l'amélioration
- 07Conversation de testl'essayer vous-même
- 08Utiliserle mettre en service
ConceptLe pré-entraînement et le modèle de baseComment un modèle de langage apprend le langage en premier lieu, ce que le modèle de base dont vous partez sait déjà, et pourquoi l'affinage l'ajuste plutôt que de le reconstruire.Lecture approfondie →ConceptPrompting, recherche ou affinageTrois façons d'adapter un modèle à votre cas d'usage : ce que chacune modifie, ce qu'elle coûte, et comment choisir entre elles ou les combiner.Lecture approfondie →ConceptLe pipeline d'entraînementLes étapes que traverse un projet d'entraînement dans Scalata, ce que chacune produit, et pourquoi chaque étape est conservée sous forme d'enregistrement consultable.Lecture approfondie →
Jetons et contexte
Les modèles lisent et écrivent des tokens, non des caractères ou des mots. La quasi-totalité des limites et des coûts d'entraînement sont calculés sur cette base.
ConceptTokensLes fragments de texte qu'un modèle lit et écrit réellement — comment ils sont créés, pourquoi les décomptes diffèrent d'un modèle à l'autre, et pourquoi chaque limite et chaque prix lors de l'entraînement sont mesurés avec ces unités.Lecture approfondie →ConceptFenêtre de contexteLe nombre maximum de tokens qu'un modèle peut prendre en compte simultanément, la façon dont cet espace est partagé, et en quoi il diffère de la limite par exemple qui s'applique lors de l'entraînement.Lecture approfondie →ConceptPourquoi les tokens déterminent les coûtsComment le nombre de tokens se traduit par le prix de l'entraînement et de l'utilisation d'un modèle, avec des chiffres concrets, et quels leviers permettent réellement de réduire la facture.Lecture approfondie →
Des conversations aux exemples d'entraînement
Une conversation devient une donnée d'entraînement en déterminant quelles réponses le modèle doit apprendre à formuler.
ConceptRôles des messagesComment une conversation est stockée sous forme de messages système, utilisateur et assistant, et comment ces rôles deviennent le flux unique de tokens qu'un modèle lit réellement.Lecture approfondie →ConceptCibles (réponses entraînables)Les réponses de l'assistant que vous choisissez pour que le modèle apprenne : comment une cible est apprise, ce qui en fait une bonne cible, et pourquoi tout ce qui la précède est du contexte.Lecture approfondie →ConceptConversations à tours multiples et pondérationsComment une conversation avec plusieurs réponses de l'assistant devient des données d'entraînement, les deux formats utilisés par les fournisseurs à cet effet, et l'effet secondaire à surveiller.Lecture approfondie →ConceptMasquage de la pertePourquoi un modèle est évalué uniquement sur les jetons cibles de chaque enregistrement, comment cela se fait en pratique, et ce que cela change ou non.Lecture approfondie →
Jeux de données
Une collection d'exemples figée et nommée — issue de conversations réelles ou générées, de jeux de données publics ou de retours d'utilisateurs — qui constitue le facteur le plus déterminant dans la qualité finale du modèle entraîné.
ConceptCe qu'est un jeu de donnéesUne collection nommée et figée d'exemples d'entraînement — copiés à partir de conversations, rédigés par un modèle ou importés — accompagnée de tout document servant à l'apprentissage : pourquoi il s'agit d'un instantané plutôt que d'un lien, et ce que cela implique pour les corrections, les importations et la reproductibilité.Lecture approfondie →Bonne pratiqueCe qui fait un bon jeu de donnéesLes propriétés qui déterminent si le fine-tuning améliore un modèle — exact, cohérent, varié, ciblé et représentatif — et comment vérifier chacune d'elles avant l'entraînement.Lecture approfondie →MéthodeDonnées synthétiques et Générateur de jeux de donnéesComment un modèle performant peut rédiger les exemples de conversations que vous n'avez pas encore, et comment le brief, la planification, les vérifications et la révision du Générateur de jeux de données permettent de garder ces échanges variés, ancrés dans la réalité et sous votre contrôle.Lecture approfondie →ConceptJeux de données publics de Hugging FaceCe que contient un jeu de données public Hugging Face, les formats courants dans lesquels ces jeux de données se présentent, et pourquoi certains jeux de données deviennent des conversations, d'autres des documents, et d'autres encore ne peuvent pas du tout être utilisés pour l'entraînement.Lecture approfondie →MéthodeApprentissage à partir des retours du chatComment les pouces levés, les pouces baissés et les actualisations dans le chat deviennent des données d'entraînement : les réponses appréciées pour l'apprentissage supervisé, les paires pour l'ajustement des préférences, et les réponses non appréciées transmises à un réviseur.Lecture approfondie →
Préparation des données
La préparation des données transforme les exemples du jeu de données en fichiers d'entraînement exacts qu'un fournisseur attend : nettoyés, anonymisés, ajustés et répartis en ensembles d'entraînement, de validation et de test.
Étape du pipelineNettoyageLe nettoyage supprime les réponses dont un modèle ne devrait jamais s'inspirer — erreurs, refus, balisage d'interface, doublons et réponses toutes faites — et corrige la structure afin que chaque enregistrement soit valide pour l'entraînement.Lecture approfondie →Étape du pipelineDonnées personnelles et secrets (PII)Avant l'entraînement, les e-mails, les numéros de téléphone, les numéros de carte, les IBAN, les numéros d'identité nationale et les clés d'API sont détectés et, par défaut, remplacés par des espaces réservés, car un modèle fine-tuné peut répéter son texte d'entraînement mot pour mot.Lecture approfondie →ParamètreLimites de jetons et troncatureChaque fournisseur limite le nombre de jetons qu'un exemple d'entraînement peut contenir. Les longues conversations dépassant cette limite sont soit tronquées — les échanges les plus anciens étant supprimés en premier — soit exclues.Lecture approfondie →Étape du pipelineRépartition de validationUne partie des conversations est exclue de l'entraînement et utilisée pour observer la perte sur des données dont le modèle n'apprend pas. La répartition s'effectue par conversation entière, de sorte qu'aucune partie d'un échange réservé ne fuite dans l'entraînement — et cela diffère de l'ensemble de test conservé pour l'évaluation.Lecture approfondie →ParamètrePrompt systèmeLe prompt système est une instruction permanente placée avant chaque conversation. Ajouté lors de l'entraînement, il permet au modèle d'apprendre son comportement en présence de ce prompt exact, il doit donc rester identique lors de l'utilisation du modèle.Lecture approfondie →ConceptFichiers d'entraînement JSONLLe format JSONL (JSON Lines) est un fichier texte contenant un objet JSON complet par ligne. C'est le format standard pour les données de réglage fin : une ligne correspond à un enregistrement d'entraînement.Lecture approfondie →
Ce qui se passe pendant l'entraînement
L'entraînement est une boucle : prédire, mesurer l'erreur, déterminer la modification de chaque poids, l'ajuster légèrement — et répéter l'opération des milliers de fois.
ConceptLa boucle d'entraînementLe fine-tuning est une courte procédure répétée des milliers de fois : prédire la réponse cible, mesurer l'erreur de la prédiction, déterminer dans quelle direction chaque poids doit se déplacer, et le déplacer légèrement.Lecture approfondie →ConceptÉpoque, lot et étapeUn lot est le groupe d'exemples qui sous-tend une mise à jour des poids, une étape correspond à une mise à jour, et une époque représente un passage complet sur les données d'entraînement. Ensemble, ils déterminent la fréquence de modification du modèle et le nombre de fois qu'il traite chaque exemple.Lecture approfondie →MéthodeAffinage completL'affinage complet met à jour chaque poids du modèle. Il offre la plus grande marge de manœuvre pour modifier le comportement, mais nécessite plusieurs fois la taille du modèle en mémoire GPU et est le plus susceptible d'éroder les compétences que possédait le modèle de base.Lecture approfondie →MéthodeLoRA et adaptateurs (PEFT)LoRA gèle le modèle de base et entraîne deux petites matrices à côté des couches sélectionnées, dont le produit est ajouté aux poids gelés. Il réduit considérablement les poids entraînables et la mémoire et, s'il est bien configuré, égale un fine-tuning complet sur des jeux de données de fine-tuning typiques.Lecture approfondie →MéthodeQLoRA (LoRA 4 bits)QLoRA entraîne un adaptateur LoRA classique sur un modèle de base stocké en 4 bits au lieu de 16. La mémoire nécessaire à l'entraînement est réduite à environ un tiers, ce qui permet à la même machine d'ajuster finement un modèle environ trois fois plus grand, au prix d'une légère perte de vitesse.Lecture approfondie →ConceptGradient checkpointingLe gradient checkpointing économise de la mémoire en ne conservant que certains résultats intermédiaires de la passe avant et en recalculant le reste lorsque la passe arrière en a besoin. Il utilise beaucoup moins de mémoire et ralentit l'entraînement d'environ 20 à 30 %.Lecture approfondie →Bonne pratiqueLe modèle tiendra-t-il ? Mémoire pour l'entraînementL'entraînement nécessite de l'espace pour les poids du modèle, ses gradients et l'état de l'optimiseur, en plus de la mémoire de travail. Une règle empirique simple, environ 2 Go par milliard de paramètres pour LoRA et 12 Go pour un réglage fin complet, vous indique avant de commencer si un modèle tiendra sur votre machine.Lecture approfondie →ConceptModèles à poids ouvertsUn modèle à poids ouverts est un modèle dont les poids entraînés sont publiés pour que quiconque puisse les télécharger, afin d'être ajusté et exécuté sur le matériel de votre choix. Sa licence définit ce que vous pouvez en faire, et la version de départ importe tout autant que la famille du modèle.Lecture approfondie →ParamètreHyperparamètresLes hyperparamètres sont les paramètres d'entraînement que vous choisissez, tels que les époques, le taux d'apprentissage, la taille du lot et le rang de l'adaptateur, par opposition aux poids que le modèle apprend. Auto les sélectionne à partir de vos données et effectue une bonne première exécution ; cette page explique chacun d'eux afin que vous puissiez les ajuster par la suite.Lecture approfondie →ParamètreTaux d'apprentissageLe taux d'apprentissage définit la distance de déplacement des poids à chaque mise à jour. C'est le paramètre d'entraînement le plus sensible : trop élevé, il dépasse la cible et peut effacer des compétences ; trop faible, il modifie à peine le modèle. Une planification prévoit généralement une phase de chauffe, puis une décroissance tout au long de l'exécution.Lecture approfondie →MétriqueInterpréter les courbes de perteLa perte d'entraînement indique dans quelle mesure le modèle s'ajuste aux exemples à partir desquels il apprend ; la perte de validation indique sa capacité à prédire des exemples exclus sur lesquels il ne s'est jamais entraîné. L'écart entre les deux courbes est le signal le plus utile que vous donne une exécution d'entraînement.Lecture approfondie →MétriqueSurapprentissage et sous-apprentissageLe surapprentissage se produit lorsqu'un modèle mémorise ses exemples d'entraînement au lieu d'en assimiler la logique sous-jacente. Il est donc performant sur ces exemples, mais moins bon sur de nouveaux. Le sous-apprentissage est l'inverse : il n'a pas du tout assimilé la logique.Lecture approfondie →ConceptMode de facturation de l'entraînementLa plupart des services de fine-tuning gérés sont facturés par token traité : les tokens du fichier d'entraînement multipliés par les époques et par un prix. Les tâches sur des GPU loués sont quant à elles facturées au temps. L'utilisation ultérieure du modèle constitue un coût distinct.Lecture approfondie →
Méthodes d'entraînement
Les méthodes diffèrent selon le signal à partir duquel le modèle apprend — et par conséquent, selon les données requises et ce que chaque méthode permet ou non d'enseigner.
Ajustement des préférences
MéthodeAjustement des préférences (DPO)L'optimisation directe des préférences (DPO) entraîne un modèle sur des paires de réponses, l'une meilleure et l'autre moins bonne, afin qu'il apprenne à privilégier la meilleure, sans nécessiter le modèle de récompense ni la boucle d'apprentissage par renforcement propres au RLHF classique.Lecture approfondie →ParamètreBêta (β) dans le DPOBêta définit avec quelle force l'ajustement des préférences maintient le modèle à son point de départ : des valeurs plus faibles permettent aux paires de le modifier davantage, des valeurs plus élevées le maintiennent plus proche de l'original.Lecture approfondie →MétriqueInterpréter la perte DPOLa perte DPO mesure avec quelle clarté le modèle préfère désormais la meilleure réponse de chaque paire, par rapport à son point de départ. Elle commence à ln 2 ≈ 0,693 et diminue vers 0 à mesure que la préférence est apprise.Lecture approfondie →Bonne pratiqueD'où proviennent les bonnes paires de préférencesUne paire de préférences est un prompt avec une meilleure et une moins bonne réponse. L'efficacité du DPO dépend principalement du fait que la différence entre les deux réponses soit ce que vous souhaitez réellement modifier.Lecture approfondie →MétriquePrécision des préférencesLa précision des préférences correspond à la proportion de paires pour lesquelles le modèle attribue désormais à la réponse préférée une récompense implicite supérieure à celle de la réponse non préférée, par rapport à son point de départ. Elle commence autour de 50 % et augmente à mesure que la préférence est assimilée.Lecture approfondie →Bonne pratiqueLa recette standard : SFT, puis DPOL'ajustement des préférences affine les réponses qu'un modèle peut déjà fournir. La recette habituelle comporte donc deux étapes : un ajustement fin supervisé pour enseigner la tâche, puis un DPO dans la continuité de ce modèle et évalué par rapport à celui-ci.Lecture approfondie →
Fine-tuning par renforcement
MéthodeFine-tuning par renforcement (RFT)Le fine-tuning par renforcement entraîne un modèle sur des scores plutôt que sur des exemples de réponses : il répond à chaque prompt plusieurs fois, un évaluateur note chaque tentative, et le modèle s'oriente vers ce qui a obtenu un meilleur score.Lecture approfondie →MéthodeLe GRPO, étape par étapeLe Group Relative Policy Optimization évalue plusieurs réponses au même prompt et renforce celles qui se situent au-dessus de la moyenne du groupe. Il remplace le modèle de valeur distinct du PPO par cette simple comparaison.Lecture approfondie →ParamètreÉvaluateurs : comment les réponses sont notéesUn évaluateur transforme une réponse en un nombre compris entre 0 et 1. Dans le fine-tuning par renforcement, c'est la seule définition de « bon » que le modèle perçoit ; le choix de l'évaluateur détermine donc ce que le modèle apprend.Lecture approfondie →ParamètreParamètres RFTLes six paramètres d'une exécution de fine-tuning par renforcement : ce qui note les réponses, combien de réponses le modèle rédige et quelle peut être leur longueur, ainsi que la taille et l'ancrage de chaque mise à jour.Lecture approfondie →MétriqueMétriques RFT à surveillerRécompense, ratio de troncature, dispersion des récompenses et longueur de la complétion : les quatre graphiques qui vous indiquent si une exécution par renforcement apprend, manque de signal ou trompe son évaluateur.Lecture approfondie →MétriqueVérifications sur données réservées lors du réglage fin par renforcementLorsqu'un fournisseur exécute un fine-tuning par renforcement sur un modèle de raisonnement hébergé, il repose quelques questions de validation exclues à intervalles réguliers et note les réponses avec le même évaluateur. Chaque question devient un historique montrant si l'entraînement se généralise aux questions sur lesquelles le modèle ne s'est jamais entraîné.Lecture approfondie →Bonne pratiqueDétournement de la récompenseLe détournement de récompense se produit lorsqu'un modèle augmente son score sans s'améliorer sur la tâche, en exploitant ce que l'évaluateur omet de vérifier. C'est la principale cause d'échec du réglage fin par renforcement.Lecture approfondie →
Distillation
MéthodeDistillationLa distillation entraîne un modèle étudiant, petit et économique, à se comporter comme un grand modèle professeur sur vos tâches, soit en apprenant des réponses du professeur, soit à partir de l'évaluation que le professeur fait de celles de l'étudiant.Lecture approfondie →MéthodeDistillation hors politique : l'enseignant rédige les réponsesDans la distillation hors politique, l'enseignant répond à vos prompts et l'étudiant est affiné sur ces réponses comme lors d'un entraînement supervisé ordinaire. L'enseignant et l'étudiant peuvent provenir de n'importe quelles familles de modèles.Lecture approfondie →MéthodeDistillation on-policy : le professeur note l'étudiantDans la distillation on-policy, l'étudiant rédige ses propres réponses et le professeur évalue chacun de leurs tokens, afin que l'étudiant apprenne exactement où il se trompe. Le professeur et l'étudiant doivent partager un même vocabulaire.Lecture approfondie →ParamètreParamètres de distillationProfesseur, étudiant, les deux limites de longueur de réponse et la divergence β : le rôle de chaque paramètre de distillation, la méthode à laquelle il s'applique et comment le choisir.Lecture approfondie →
Apprentissage à partir de documents
MéthodeApprendre à partir de documents : génération de questions-réponsesLa génération de questions-réponses transforme vos documents en exemples d'entraînement : un modèle lit chaque section de votre texte et rédige des questions réalistes, dont les réponses sont tirées exclusivement de cette section. Ces paires servent ensuite à l'entraînement comme pour n'importe quel autre chat, chez tous les fournisseurs.Lecture approfondie →MéthodePré-entraînement continuLe pré-entraînement continu entraîne un modèle sur vos textes bruts de la même manière qu'il a été initialement formé : en prédisant le mot suivant. Il apporte des connaissances spécifiques à votre domaine, et non de nouveaux comportements, c'est pourquoi il est généralement suivi d'un cycle supervisé.Lecture approfondie →
Évaluation
Les courbes de perte indiquent le degré d'ajustement du modèle. L'évaluation démontre si ses réponses sont réellement meilleures.
ConceptModèle de base vs modèle affiné, côte à côteUne évaluation pose les mêmes questions mises de côté au modèle de départ et au modèle entraîné, puis compare leurs réponses, afin que vous puissiez voir si l'entraînement a réellement amélioré les réponses.Lecture approfondie →ConceptQuestions de test : pourquoi les données « réservées » sont importantesUne partie de vos conversations que la préparation des données met de côté avant toute autre chose, afin qu'une évaluation puisse poser au modèle entraîné des questions qu'il n'a jamais vues. C'est la seule façon fiable de distinguer une véritable amélioration d'une simple mémorisation.Lecture approfondie →MéthodeLLM en tant que jugeUn modèle de langage distinct lit la question, la réponse de référence et deux réponses candidates, note les deux et désigne un vainqueur. Configuré à l'aveugle, avec un ordre aléatoire et une famille de modèles différente, il est en accord avec les évaluateurs humains à peu près aussi souvent que les humains le sont entre eux.Lecture approfondie →MétriqueInterpréter les résultats d'évaluationComment interpréter le taux de victoire, la différence de score et les signaux secondaires d'une évaluation — et comment distinguer une véritable amélioration du bruit lorsque le nombre de questions est restreint.Lecture approfondie →ConceptPoints de contrôle : lorsque le modèle de base n'est plus disponibleLes points de contrôle sont des copies du modèle que le fournisseur sauvegarde en cours d'entraînement. Lorsque le modèle de base ne peut plus être déployé, la comparaison du modèle final avec un point de contrôle antérieur permet de déterminer si les étapes d'entraînement ultérieures ont été utiles.Lecture approfondie →MéthodeÉvaluation individuelle d'un modèleAu lieu de comparer deux réponses, le juge lit une réponse à côté de la conversation et de votre réponse de référence, puis lui attribue une note de 1 à 5 par critère. Le résultat est un score de qualité absolu : aucune victoire et aucune mesure d'amélioration.Lecture approfondie →Bonne pratiqueComparaison de plusieurs modèlesPour choisir entre plusieurs modèles — différents fournisseurs, méthodes ou tailles de base —, ils doivent répondre aux mêmes questions et être notés par le même juge. Une comparaison exécute une évaluation par modèle sur un ensemble de questions commun et les classe selon la note moyenne du juge.Lecture approfondie →Bonne pratiqueFiles d'annotation : vérification manuelle du jugeLes utilisateurs révisent les réponses du modèle une par une — en les notant, en choisissant la meilleure ou en rédigeant une correction — pour mesurer à quel point on peut faire confiance au juge LLM, et pour transformer leurs corrections en données d'entraînement.Lecture approfondie →
Essai et déploiement d'un modèle
Un modèle entraîné doit être déployé avant de pouvoir répondre — et un déploiement dédié engendre des coûts pour chaque heure d'activité.
ConceptInférence et déploiementL'inférence consiste à utiliser un modèle pour générer des réponses. Un modèle entraîné doit d'abord être déployé — ses poids chargés sur du matériel derrière un point de terminaison — ce qui peut prendre plusieurs minutes, puis coûte de l'argent au token ou à l'heure.Lecture approfondie →ConceptServerless vs dédiéLe service serverless facture au jeton sur une capacité partagée sans coût d'inactivité ; un déploiement dédié réserve des GPU pour votre modèle et facture chaque heure de son existence. La solution la plus économique dépend de votre volume d'utilisation.Lecture approfondie →ConceptCoûts : interpréter les chiffresLe travail des modèles est facturé de plusieurs manières différentes. Ainsi, chaque coût affiché par Scalata comporte un état — Définitif, Estimé, En attente ou Non facturé — qui indique sur quoi le chiffre est basé.Lecture approfondie →Bonne pratiqueArchivage des exécutionsL'archivage masque un jeu de données, une préparation, un modèle ou une évaluation des listes et sélecteurs quotidiens sans rien supprimer, de sorte que l'historique de ce qui a été testé — et pourquoi cela a échoué — reste disponible et peut être restauré.Lecture approfondie →
Glossaire
Tous les concepts, de A à Z. Chacun ouvre une page détaillée.
- Affinage complet
- Ajustement des préférences (DPO)
- Ajustement fin supervisé (SFT)
- Apprendre à partir de documents : génération de questions-réponses
- Apprentissage à partir des retours du chat
- Archivage des exécutions
- Bêta (β) dans le DPO
- Ce qu'est un jeu de données
- Ce qui fait un bon jeu de données
- Choisir une méthode d'entraînement
- Cibles (réponses entraînables)
- Comparaison de plusieurs modèles
- Continuer à partir d'un modèle entraîné
- Conversations à tours multiples et pondérations
- Coûts : interpréter les chiffres
- D'où proviennent les bonnes paires de préférences
- Détournement de la récompense
- Distillation
- Distillation hors politique : l'enseignant rédige les réponses
- Distillation on-policy : le professeur note l'étudiant
- Données personnelles et secrets (PII)
- Données synthétiques et Générateur de jeux de données
- Époque, lot et étape
- Évaluateurs : comment les réponses sont notées
- Évaluation individuelle d'un modèle
- Fenêtre de contexte
- Fichiers d'entraînement JSONL
- Files d'annotation : vérification manuelle du juge
- Fine-tuning par renforcement (RFT)
- Gradient checkpointing
- Hyperparamètres
- Inférence et déploiement
- Interpréter la perte DPO
- Interpréter les courbes de perte
- Interpréter les résultats d'évaluation
- Jeux de données publics de Hugging Face
- La boucle d'entraînement
- La recette standard : SFT, puis DPO
- Le GRPO, étape par étape
- Le modèle tiendra-t-il ? Mémoire pour l'entraînement
- Le pipeline d'entraînement
- Le pré-entraînement et le modèle de base
- Limites de jetons et troncature
- LLM en tant que juge
- LoRA et adaptateurs (PEFT)
- Masquage de la perte
- Métriques RFT à surveiller
- Mode de facturation de l'entraînement
- Modèle de base vs modèle affiné, côte à côte
- Modèles à poids ouverts
- Nettoyage
- Paramètres de distillation
- Paramètres RFT
- Points de contrôle : lorsque le modèle de base n'est plus disponible
- Pourquoi les tokens déterminent les coûts
- Pré-entraînement continu
- Précision des préférences
- Prompt système
- Prompting, recherche ou affinage
- QLoRA (LoRA 4 bits)
- Questions de test : pourquoi les données « réservées » sont importantes
- Répartition de validation
- Rôles des messages
- Serverless vs dédié
- Surapprentissage et sous-apprentissage
- Taux d'apprentissage
- Tokens
- Vérifications sur données réservées lors du réglage fin par renforcement