Bientôt disponibleL'Entraînement de modèles sera bientôt disponible dans Scalata Enterprise. Apprenez à un modèle à répondre comme votre équipe.Découvrir les nouveautés

Ressources/Entraînement du modèle/Des conversations aux exemples d'entraînement

Concept

Cibles (réponses entraînables)

Les réponses de l'assistant que vous choisissez pour que le modèle apprenne : comment une cible est apprise, ce qui en fait une bonne cible, et pourquoi tout ce qui la précède est du contexte.

Chapitre 33 min de lecture4 références

Ce qu'est une cible

Le réglage fin supervisé enseigne par l'exemple : voici une situation, voici la réponse que nous souhaitons. Dans un chat, la situation est la conversation jusqu'à présent et la réponse est un message de l'assistant. Les réponses que vous marquez comme valant la peine d'être apprises sont les cibles, également appelées réponses entraînables. Tout ce qui précède une cible constitue son contexte.

Un enregistrement d'entraînement — le dernier message est la cible
{"messages": [
  {"role": "system",    "content": "You are Scalata's support assistant."},
  {"role": "user",      "content": "How do I reset my password?"},
  {"role": "assistant", "content": "Open Settings → Security and choose Reset password. You'll get an email link valid for 30 minutes."}
]}

Le modèle apprend une correspondance : compte tenu de ce prompt système et de cette question, produire cette réponse. À travers des centaines d'enregistrements, il repère ce que les réponses ont en commun — le style du chemin de menu, la longueur, le niveau de détail, le ton.

systemVous êtes l'assistant de support de Scalata.lu · masqué
userComment puis-je réinitialiser mon mot de passe ?lu · masqué
assistantOuvrez Paramètres → Sécurité et choisissez Réinitialiser le mot de passe.évalué · perte comptabilisée
Le modèle lit chaque token, mais son erreur n'est mesurée que sur la réponse cible. Le contexte façonne la prédiction ; il n'est jamais lui-même évalué.

Comment une cible est apprise

Pour chaque cible, le modèle lit le contexte et prédit la réponse un jeton à la fois. À chaque position, il attribue une probabilité à chaque jeton suivant possible, et l'erreur d'entraînement — perte d'entropie croisée — est faible lorsqu'il a attribué une forte probabilité au jeton qui suit réellement. Les poids sont ensuite ajustés afin que les jetons de la cible deviennent plus probables la prochaine fois qu'un contexte similaire apparaît. Les jetons de contexte sont lus mais ne sont pas notés ; voir Masquage de la perte.

Deux conséquences en découlent. Premièrement, le modèle apprend tout d'une cible : ses faits, sa formulation, sa longueur et ses erreurs. Deuxièmement, il apprend chaque cible dans son contexte : une réponse qui est correcte après une question peut être fausse après une question d'apparence similaire, et le modèle ne peut faire la différence que si le contexte le montre.

Choisir de bonnes cibles

  • Correctes. Les faits erronés, les étapes incomplètes et les noms de menus obsolètes sont appris aussi fidèlement que les bons.
  • La réponse que vous souhaitez, et non celle que vous avez obtenue. Si une réponse était presque correcte, corrigez-la plutôt que de la conserver telle quelle.
  • Autonomes. Une réponse qui n'a de sens qu'en raison d'un élément que le modèle ne verra pas — un fichier joint, un écran partagé — lui apprend à faire référence à des choses qui ne sont pas présentes.
  • Cohérentes. Des questions similaires doivent obtenir des réponses de forme similaire, sinon le modèle apprend l'incohérence.
  • De vraies réponses. Les messages d'erreur, les refus de la plateforme et les réponses qui annoncent uniquement un fichier généré ne sont pas des réponses à apprendre.
Choisir des cibles dans un chat à trois réponses
  1. Réponse 1 : « Bonjour ! Comment puis-je vous aider aujourd'hui ? » — une salutation. Inoffensive, mais qui ne vaut pas la peine d'être apprise ; laissez-la comme contexte.
  2. Réponse 2 : « Veuillez vérifier vos paramètres. » — vague. Corrigez-la en indiquant les étapes réelles, ou laissez-la comme contexte.
  3. Réponse 3 : « Ouvrez Paramètres → Notifications et désactivez "Résumé hebdomadaire". » — précise et correcte. Marquez-la comme cible.
  4. Résultat : une cible, avec la salutation et la réponse vague comme contexte. Si vous corrigez la réponse 2, elle peut devenir une deuxième cible.

Erreurs courantes

  • Marquer chaque réponse de l'assistant comme cible par défaut, y compris les salutations et le remplissage.
  • Conserver une réponse presque correcte comme cible au lieu de la corriger.
  • Inclure des réponses qui dépendent de pièces jointes ou de résultats d'outils dont le modèle ne disposera pas.
  • S'entraîner sur une réponse qui s'est avérée fausse par la suite.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

  1. 01SFT TrainerHugging Face TRL docs · huggingface.coComment un outil d'entraînement open source s'entraîne uniquement sur les réponses de l'assistant.
  2. 02Supervised fine-tuningOpenAI API docs · developers.openai.comLes conseils d'un fournisseur hébergé sur la préparation des exemples d'entraînement.
  3. 03LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.orgJusqu'où peuvent aller 1 000 cibles soigneusement choisies.
  4. 04Supervised Fine-TuningHugging Face LLM Course · huggingface.coUne démonstration pratique du réglage fin supervisé sur des données de chat.
ConceptRôles des messagesComment une conversation est stockée sous forme de messages système, utilisateur et assistant, et comment ces rôles deviennent le flux unique de tokens qu'un modèle lit réellement.ConceptMasquage de la pertePourquoi un modèle est évalué uniquement sur les jetons cibles de chaque enregistrement, comment cela se fait en pratique, et ce que cela change ou non.ConceptConversations à tours multiples et pondérationsComment une conversation avec plusieurs réponses de l'assistant devient des données d'entraînement, les deux formats utilisés par les fournisseurs à cet effet, et l'effet secondaire à surveiller.Bonne pratiqueCe qui fait un bon jeu de donnéesLes propriétés qui déterminent si le fine-tuning améliore un modèle — exact, cohérent, varié, ciblé et représentatif — et comment vérifier chacune d'elles avant l'entraînement.MéthodeAjustement fin supervisé (SFT)Le réglage fin supervisé enseigne à un modèle par l'exemple : on lui montre une conversation et la réponse que vous souhaitez, et ses poids sont ajustés pour que cette réponse devienne plus probable, jeton par jeton.Bonne pratiqueD'où proviennent les bonnes paires de préférencesUne paire de préférences est un prompt avec une meilleure et une moins bonne réponse. L'efficacité du DPO dépend principalement du fait que la différence entre les deux réponses soit ce que vous souhaitez réellement modifier.

Transformez des semaines de travail d'expert en quelques minutes

Découvrez comment Scalata s'adapte à votre équipe, à vos données et à vos contrôles.

Contacter le service commercial