Vérifications sur données réservées lors du réglage fin par renforcement

Ce qu'ils sont

Sur les modèles ouverts, Scalata peut vous montrer les véritables groupes de réponses notés par l'évaluateur. Sur les modèles de raisonnement hébergés, le fournisseur exécute lui-même l'évaluateur et ne partage pas les réponses notées pendant l'entraînement. Il partage en revanche un ensemble de contrôles exclus : à intervalles réguliers, il pose quelques questions de validation sur lesquelles le modèle ne s'entraîne jamais, et note ces réponses avec le même évaluateur.

Puisque le premier contrôle s'exécute à l'étape 0, avant tout entraînement, chaque question de validation devient un petit historique : l'évolution de la réponse à une même question au fil de l'entraînement. Cela fait de ces contrôles la meilleure preuve disponible que les gains se généralisent aux questions que le modèle n'a pas vues, et pas seulement à celles sur lesquelles il s'est exercé.

Lecture de la chronologie

• Faible à l'étape 0, puis en hausse : le signe le plus évident d'un apprentissage qui se généralise aux nouvelles questions.
• 1,00 dès l'étape 0 : un plafond. Le modèle a déjà répondu de manière satisfaisante, cette question ne peut donc montrer aucune amélioration. Une abondance de ce type de résultat signifie que l'évaluateur est trop indulgent, ou que les questions sont trop simples.
• Une baisse au milieu : un bruit normal. Chaque contrôle correspond à une réponse échantillonnée, et un échantillon malchanceux peut obtenir un score faible. Observez la tendance à travers les contrôles et les questions, et non sur une seule carte.
• Stagnant partout sous le plafond : le modèle ne trouve pas de meilleures réponses. La cause habituelle est un modèle de départ qui répond rarement juste à ces questions ; une exécution supervisée préalable est recommandée.

Récompense de validation vs récompense d'entraînement

Le fournisseur rapporte deux récompenses. La récompense d'entraînement est le score moyen de l'évaluateur sur les questions sur lesquelles le modèle s'entraîne à cette étape ; ces questions changent d'une étape à l'autre, le chiffre fluctue donc, et un modèle peut l'augmenter en s'améliorant précisément sur ces prompts. La récompense de validation est la moyenne des contrôles exclus : les mêmes questions à chaque fois, sans aucun entraînement dessus. Accordez-lui plus de confiance, pour la même raison que la perte de validation surpasse la perte d'entraînement. La documentation d'OpenAI la décrit de la même manière : les valeurs de la récompense d'entraînement « peuvent fluctuer considérablement d'une étape à l'autre », tandis que la récompense de validation est « une métrique plus stable ».

Vérifications et points de contrôle

Les fournisseurs enregistrent généralement un point de contrôle aux mêmes étapes que les contrôles. Ainsi, si les contrôles cessent de s'améliorer à mi-parcours, le point de contrôle correspondant peut être aussi performant que le modèle final, et une exécution plus courte aurait coûté moins cher. Le fine-tuning par renforcement hébergé est facturé par heure d'entraînement et les modèles de raisonnement rédigent de longues réponses, chaque étape est donc lente : repérer le moment où les contrôles stagnent constitue une économie directe sur la prochaine exécution.

Sur quoi le modèle s'entraîne

Le fine-tuning par renforcement utilise les mêmes conversations que l'entraînement supervisé, transformées en une ligne par réponse, se terminant à cette réponse. La conversation jusqu'à la réponse constitue le prompt ; la réponse elle-même devient une référence que seul l'évaluateur voit. Une conversation avec trois réponses donne trois lignes, et la référence de chaque ligne n'est que sa dernière réponse, les réponses précédentes étant conservées dans le prompt comme contexte.

chat:  system · user 1 · reply 1 · user 2 · reply 2 · user 3 · reply 3

row 1  prompt: developer · user 1                                   reference: reply 1
row 2  prompt: developer · user 1 · reply 1 · user 2                reference: reply 2
row 3  prompt: developer · user 1 · reply 1 · user 2 · reply 2 · user 3   reference: reply 3

Les modèles de raisonnement hébergés (la série o) n'acceptent pas de message system dans les exemples de renforcement. Les mêmes instructions vont dans un message developer, que ces modèles traitent de la même manière que les autres modèles traitent system ; un fichier d'entraînement contenant un message système échouera à la validation.

{"messages": [
   {"role": "developer", "content": "You are Scalata's support assistant. Be brief."},
   {"role": "user",      "content": "How do I share a report with a client?"}],
 "reference": "Open the report → Share → pick the client. They get an email link."}

Métriques

Erreurs courantes

• Ne lire qu'une seule carte. Un contrôle unique correspond à une réponse échantillonnée ; évaluez la tendance à travers les contrôles et les questions.
• Accorder sa confiance à une récompense d'entraînement en hausse alors que la récompense de validation stagne. Le modèle peut être en train de s'ajuster aux prompts d'entraînement, ou de déjouer l'évaluateur.
• Ignorer les plafonds. Les questions maintenues à 1,00 gonflent la moyenne et masquent toute évolution éventuelle.
• Toujours utiliser le modèle final. Si les contrôles ont stagné à mi-parcours, le point de contrôle correspondant est tout aussi performant et la prochaine exécution peut être plus courte.
• Rédiger un message système dans des fichiers de renforcement créés manuellement pour les modèles de la série o. Utilisez plutôt un message développeur.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

1. 01Reinforcement fine-tuning↗OpenAI API docs · developers.openai.comLe service RFT hébergé : fichiers de validation, récompense d'entraînement et de validation, et points de contrôle.
2. 02Graders↗OpenAI API docs · developers.openai.comComment les évaluateurs du fournisseur sont définis et ce qu'ils lisent à partir de chaque ligne.
3. 03Fine-tune a model with reinforcement fine-tuning in Microsoft Foundry↗Microsoft Learn · learn.microsoft.comFine-tuning par renforcement des modèles de raisonnement sur Azure, incluant les données de validation.
4. 04Scaling Laws for Reward Model Overoptimization↗Gao, Schulman & Hilton, 2022 · arXiv · arxiv.orgPourquoi un score par rapport auquel le modèle est optimisé peut augmenter alors que la qualité réelle diminue.

Concepts associés