Ce que sont les données synthétiques
Les meilleures données d'entraînement sont les conversations réelles avec vos utilisateurs. Souvent, elles sont trop peu nombreuses, ne couvrent que les cas simples, ou l'assistant que vous souhaitez entraîner n'existe pas encore. Les données synthétiques comblent cette lacune : un modèle performant rédige des exemples de conversations qui illustrent le comportement souhaité, et un modèle plus petit ou moins coûteux est ensuite entraîné sur ces dernières.
C'est désormais une technique standard. L'article Self-Instruct (2022) a fait écrire à GPT-3 ses propres instructions et réponses, a filtré celles qui étaient invalides ou presque identiques, et a affiné GPT-3 sur le résultat : une amélioration absolue de 33 % sur le benchmark Super-NaturalInstructions. Alpaca de Stanford (2023) a utilisé la même idée pour créer 52 000 démonstrations pour moins de 500 $. UltraChat a généré 1,5 million de dialogues à tours multiples, et phi-1 de Microsoft a montré qu'un modèle de code de 1,3 milliard de paramètres entraîné en partie sur des manuels synthétiques pouvait atteindre 50,6 % sur le benchmark HumanEval.
Le risque : l'élève copie le rédacteur
Un modèle entraîné sur les écrits d'un autre modèle apprend ses habitudes aussi fidèlement que ses connaissances. Si chaque utilisateur généré commence par « Bonjour, j'ai une question sur… », le modèle entraîné ne gérera que les questions polies et bien formulées. Si le rédacteur ne refuse jamais rien, l'élève ne le fera pas non plus. Les recherches sur l'entraînement répété de modèles sur du texte généré (Shumailov et ses collègues, 2023) ont révélé que les cas rares — les queues de la distribution — sont les premiers à disparaître. De bonnes données synthétiques reposent donc principalement sur deux éléments : la variété, afin que les cas rares et délicats soient présents, et le contrôle, afin que vous décidiez de ce qui constitue un bon résultat.
Comment fonctionne le Créateur de jeux de données
Le brief décrit ce qu'il faut construire. Le périmètre indique ce que l'assistant couvre et, tout aussi important, ce qu'il ne couvre pas : les conversations hors périmètre, où l'assistant refuse poliment ou réoriente, apprennent au modèle où s'arrête son travail. L'objectif et la trame indiquent ce qu'une bonne réponse accomplit et qui est l'assistant — ton, persona, règles. L'audience indique qui sont les utilisateurs, ce qui façonne les questions. Les instructions contiennent tout le reste (« terminez toujours par une prochaine étape », « ne citez jamais de prix »). Viennent ensuite les décomptes et les limites : combien de conversations, de tours par conversation, la réponse la plus longue, le message utilisateur le plus long et la langue. Des documents facultatifs fournissent vos faits.
1. Formule. Avant d'écrire la moindre conversation, le modèle rédige une formule : une liste de scénarios, chacun avec un sujet, un type d'utilisateur, une difficulté (facile, difficile, cas limite ou hors périmètre) et l'intention de l'utilisateur, plus le nombre de conversations attribuées à chacun. Planifier au préalable est ce qui produit de la variété : sans cela, un modèle à qui l'on demande 100 conversations a tendance à écrire 100 versions des trois mêmes questions. Vous lisez la formule, modifiez ou supprimez des lignes et ajoutez les vôtres avant que quoi que ce soit ne soit écrit.
| Sujet | Type d'utilisateur | Difficulté | Intention | Conversations |
|---|---|---|---|---|
| Déclaration d'une rupture de canalisation | déclarant pour la première fois | facile | déclarer un sinistre habitation | 8 |
| Sinistre refusé pour déclaration tardive | client frustré, laconique | difficile | comprendre le motif et contester | 9 |
| Dommages couverts par deux polices | propriétaire | cas limite | savoir quelle police couvre | 8 |
| Envoi de photos et de reçus | client âgé, peu à l'aise avec les applications | facile | transmettre des justificatifs | 7 |
| Poursuivre le voisin du dessus | demandeur | hors périmètre | obtenir des conseils juridiques | 8 |
2. Générer. Une fois que vous avez approuvé la formule, les conversations sont écrites en arrière-plan, chacune s'appuyant sur les parties de vos documents qui correspondent à son scénario. Vous pouvez mettre en pause, reprendre ou annuler à tout moment, et le générateur affiche une estimation approximative du temps restant.
3. Vérifications. Chaque conversation est vérifiée à son arrivée. La structure doit être correcte : l'utilisateur et l'assistant interviennent à tour de rôle, en commençant par l'utilisateur et en terminant par une réponse de l'assistant. Les modèles écrivent souvent un tour de plus ou de moins que demandé ; ces conversations sont conservées et raccourcies, car elles restent de bons exemples. Seules les conversations corrompues — rôles erronés, messages vides — sont supprimées et réécrites. D'autres problèmes déclenchent un signalement : la conversation est conservée mais marquée pour votre révision.
Un signalement est une question, pas un verdict : un refus est tout à fait justifié dans un scénario hors périmètre et constitue un signe d'avertissement partout ailleurs.
4. Réviser, puis ajouter. Vous lisez les conversations, les filtrez par scénario ou par signalement, en modifiez ou en supprimez, et les ajoutez à un jeu de données nouveau ou existant. Elles y sont marquées comme Synthétiques, afin de toujours pouvoir les distinguer des conversations réelles. Ajouter à nouveau la même génération n'ajoute que ce qui n'y figure pas déjà.
- Brief. Un assistant de déclaration de sinistres en Assurance habitation. Hors périmètre : conseils d'ordre Juridique et tout ce qui concerne d'autres assureurs. Public : assurés, certains stressés, d'autres peu habitués aux applications. 40 conversations, tours de parole mixtes, réponses jusqu'à 400 jetons, deux articles du centre d'aide comme documents.
- Plan. Sujets en mode Auto : 40 ÷ 8 = 5 scénarios, d'un simple « signaler une rupture de canalisation » à un hors périmètre « puis-je poursuivre mon voisin en justice ? ». Vous ajoutez un sixième scénario, plus complexe — une réclamation déposée deux fois par erreur — et y déplacez 2 conversations.
- Génération. L'outil de création estime un délai de quelques minutes. Vous faites une pause après les premières conversations pour les lire, puis vous reprenez.
- Vérifications. 40 conversations arrivent : 3 sont raccourcies aux tours de parole demandés, 1 conversation interrompue est réécrite, 2 sont signalées comme des refus possibles (toutes deux dans le scénario hors périmètre, donc correctes) et 1 comme non fondée.
- Révision. Vous corrigez la réponse non fondée à l'aide de l'article, supprimez une conversation sans intérêt et ajoutez 39 conversations au jeu de données, aux côtés de 120 conversations réelles.
Comment bien l'utiliser
- Mélangez avec des données réelles lorsque vous en avez. Les conversations synthétiques sont plus propres que les vraies, et un modèle entraîné uniquement sur celles-ci peut être déstabilisé par des saisies imprécises. Demandez des utilisateurs laconiques, frustrés et faisant des fautes de frappe dans le brief.
- Révisez un échantillon, en particulier les scénarios complexes et hors périmètre : c'est là que le rédacteur se trompe le plus souvent sur la réponse idéale.
- Utilisez le modèle le plus puissant dont vous disposez pour rédiger. L'élève ne peut, au mieux, qu'égaler le rédacteur.
- Ancrez-le dans des documents chaque fois que les réponses dépendent de vos données, afin que les réponses utilisent vos politiques plutôt que les connaissances générales du modèle.
- Conservez des conversations réelles pour l'évaluation. Tester un modèle entraîné sur des conversations synthétiques avec d'autres conversations synthétiques surestime ses performances.
Paramètres
Le nombre de scénarios que contient la formule. Auto en choisit environ un pour 8 conversations, au moins 5 et au plus 60 ; ou définissez un nombre exact. Plus de sujets offrent plus de variété et moins de conversations par sujet ; moins de sujets permettent d'approfondir chaque situation.
Le nombre d'échanges utilisateur/assistant que comporte chaque conversation : de 1 à 4, ou mixte. Les conversations à un seul tour sont rapides à écrire et à réviser ; les conversations à tours multiples apprennent au modèle à utiliser ce qui a été dit précédemment. Le mode mixte est généralement le plus proche de l'utilisation réelle.
La réponse la plus longue de l'assistant, en tokens. Réglez-la sur la longueur souhaitée pour les réponses du modèle entraîné : l'élève apprend la longueur tout comme le contenu. Des limites plus élevées ralentissent la compilation, bien que de manière moins que proportionnelle, car les réponses atteignent rarement cette limite.
Le message utilisateur le plus long, en caractères. Les utilisateurs réels sont souvent brefs ; une limite basse permet de garder les questions générées courtes et réalistes plutôt que longues et trop détaillées.
Pages d'aide, manuels ou politiques facultatifs, afin que les réponses s'appuient sur vos données. Sans documents, le rédacteur se fie à ses connaissances générales, qui peuvent être erronées ou obsolètes pour votre produit.
Signalements
Très similaire à une autre conversation de la génération. Conservez-en une et supprimez ou réécrivez l'autre ; les quasi-copies surpondèrent un exemple et réduisent la variété.
Une réponse dépassant la limite de jetons de sortie, ou un message utilisateur dépassant la limite de caractères. Raccourcissez-le, sinon le modèle apprendra à formuler des réponses plus longues que ce que vous avez demandé.
Un message sans texte. Supprimez la conversation ou rédigez le message manquant ; une réponse vide n'enseigne rien et une question vide apprend au modèle à ne rien répondre.
Une réponse qui ressemble à un refus (« Je ne peux pas vous aider avec cela »). Attendu dans les scénarios hors périmètre ; ailleurs, c'est un signe d'avertissement, car s'entraîner sur ce type de réponse apprend au modèle à refuser des questions auxquelles il devrait répondre.
Uniquement lorsque des documents ont été utilisés : une réponse qui peut ne pas être basée sur vos documents, s'appuyant sur les connaissances générales du modèle plutôt que sur vos faits. Vérifiez-la par rapport au document et corrigez-la.
Erreurs courantes
- Omettre les scénarios hors périmètre, de sorte que le modèle entraîné réponde à tout, y compris à ce qu'il ne devrait pas.
- Écrire des centaines de conversations sans lire la formule, puis découvrir qu'elles posent toutes la même question.
- S'entraîner uniquement sur des conversations synthétiques lorsque des conversations réelles existent ; le modèle est alors déstabilisé par des données réelles et désordonnées.
- Ignorer les signalements sur les scénarios complexes et les cas limites, là où le rédacteur se trompe le plus souvent.
- Évaluer un modèle entraîné sur des conversations synthétiques avec davantage de conversations synthétiques.
- Écrire avec un modèle plus faible que celui que vous allez entraîner ; l'élève peut au mieux égaler le rédacteur.
Références et lectures complémentaires
Les sources externes s'ouvrent dans un nouvel onglet.
- 01Self-Instruct: Aligning Language Models with Self-Generated InstructionsWang et al., 2022 · arXiv · arxiv.orgUn modèle écrivant ses propres instructions d'entraînement, avec un filtrage pour celles qui sont invalides ou presque identiques.
- 02Alpaca: A Strong, Replicable Instruction-Following ModelStanford CRFM, 2023 · crfm.stanford.edu52 000 démonstrations générées pour moins de 500 $, et les limites du résultat.
- 03Enhancing Chat Language Models by Scaling High-quality Instructional ConversationsDing et al., 2023 · arXiv · arxiv.orgUltraChat : génération de 1,5 million de conversations variées à tours multiples.
- 04Textbooks Are All You NeedGunasekar et al., 2023 · arXiv · arxiv.orgphi-1 : ce que des données générées avec soin peuvent apporter à un petit modèle.
- 05The Curse of Recursion: Training on Generated Data Makes Models ForgetShumailov et al., 2023 · arXiv · arxiv.orgPourquoi les cas rares disparaissent lorsque les modèles n'apprennent qu'à partir des résultats d'autres modèles.