Pourquoi la perte ne suffit pas
Dans l'apprentissage supervisé, vous observez la perte diminuer. Dans le réglage fin par renforcement, la perte est un mauvais indicateur : les données changent à chaque étape car le modèle rédige de nouvelles réponses, et les avantages sont recentrés sur zéro dans chaque groupe. Ainsi, la perte signalée peut stagner près de zéro pendant que le modèle s'améliore, ou non. Les signaux utiles concernent les réponses : leurs scores, leurs différences et leur longueur.
Les métriques
Le score moyen attribué par l'évaluateur sur les réponses de l'étape, de 0 à 1. Il devrait avoir une tendance à la hausse, avec du bruit, puisque chaque étape présente des prompts différents. Stable ou en baisse signifie que le modèle ne trouve pas de meilleures réponses : la tâche est peut-être hors de sa portée, l'évaluateur est peut-être trop bruité, ou le taux d'apprentissage est trop faible. Une hausse rapide vers 1 mérite d'être suspectée jusqu'à ce que vous ayez lu les réponses. TRL la consigne sous reward ; avec plusieurs fonctions de récompense, chacune obtient également sa propre ligne.
La part des réponses qui ont atteint la longueur maximale et ont été coupées (completions/clipped_ratio dans TRL). Une réponse coupée est généralement incomplète et obtient un mauvais score, donc un ratio élevé gaspille une grande partie de l'étape et peut pousser le modèle à être concis pour de mauvaises raisons. Augmentez la limite, ou demandez des réponses plus courtes dans le prompt système. À ne pas confondre avec l'écrêtage de la mise à jour dans l'objectif de GRPO, qui est consigné séparément.
La différence entre les scores. L'écart-type de la récompense est la dispersion des scores (TRL le calcule sur l'ensemble du lot). La fraction d'écart-type nul (frac_reward_zero_std) est la part des prompts dont les N réponses ont toutes obtenu le même score ; ces prompts ne produisent aucune mise à jour. Une dispersion proche de zéro, ou une fraction d'écart-type nul proche de 1, signifie que l'exécution est en manque de données : chaque réponse est tout aussi bonne ou tout aussi mauvaise. Scalata affiche le complément sous la forme de prompts avec un signal.
La longueur moyenne des réponses en tokens (completions/mean_length). Une certaine variation est normale : sur des tâches de raisonnement complexes, les réponses s'allongent légitimement à mesure que le modèle apprend à travailler plus longtemps, comme l'a fait DeepSeek-R1-Zero. Sur des tâches de chat, une longueur qui augmente en même temps que la récompense signifie généralement que l'évaluateur récompense la longueur elle-même, une forme de détournement de la récompense. Une longueur qui se réduit à néant avec une récompense stable peut signifier que le modèle évite les pénalités en disant peu de choses.
Lorsque le KL β est supérieur à 0, TRL consigne également kl, la divergence moyenne par rapport au modèle de départ. Un KL qui continue de grimper alors que la récompense a cessé de s'améliorer indique que le modèle change encore, mais plus pour le mieux.
Lorsque le fournisseur exécute lui-même l'évaluateur (modèles de raisonnement hébergés), il ne partage pas les réponses qu'il a notées pendant l'entraînement. Au lieu de cela, toutes les quelques étapes, il pose une poignée de questions de validation sur lesquelles le modèle ne s'entraîne jamais et note les réponses avec le même évaluateur. L'étape 0 correspond au modèle avant l'entraînement, de sorte que chaque question devient une petite chronologie. Un score faible à l'étape 0 qui augmente est le signe le plus clair d'un apprentissage qui se transpose ; une question à 1,00 dès l'étape 0 ne peut pas montrer d'amélioration ; une baisse lors d'un contrôle est un bruit d'échantillonnage. Leur moyenne, la récompense de validation, mérite plus de confiance que la récompense d'entraînement, pour la même raison que la perte de validation surpasse la perte d'entraînement. Les fournisseurs enregistrent généralement des points de contrôle aux mêmes étapes, donc si les contrôles cessent de s'améliorer à mi-parcours, le point de contrôle correspondant peut être aussi bon que le modèle final.
Lecture conjointe des graphiques
| Ce que vous voyez | Signification probable | Ce qu'il faut faire |
|---|---|---|
| Récompense en hausse, dispersion saine, longueur stable | Apprentissage en cours | Laissez l'exécution se poursuivre ; confirmez par une évaluation à la fin |
| Récompense stable près du minimum, la plupart des prompts sans signal | Toutes les réponses sont également mauvaises : rien à renforcer | Partez d'une exécution supervisée ou d'un modèle plus grand ; vérifiez que l'évaluateur fonctionne |
| Récompense stable près du maximum, la plupart des prompts sans signal | Les prompts sont trop faciles : chaque réponse obtient déjà un bon score | Utilisez des prompts plus difficiles, ou arrêtez : il reste peu à gagner |
| Récompense et longueur en hausse simultanée | L'évaluateur apprécie les réponses longues | Lisez les réponses renforcées ; modifiez ou combinez l'évaluateur ; réduisez la limite de longueur |
| Taux de troncature élevé | Réponses coupées à la limite | Augmentez la longueur maximale des réponses, ou demandez des réponses plus courtes |
| Récompense en hausse, mais l'évaluation est pire qu'au début | Piratage de la récompense ou dérive | Entraînez sur moins d'étapes, augmentez le β de KL, changez l'évaluateur |
- Étapes 1–10 : récompense 0,31 → 0,38, 80 % des prompts avec un signal, ratio de troncature 2 %, longueur d'environ 180 tokens. Sain.
- Étapes 10–30 : récompense 0,38 → 0,71, longueur 180 → 420 tokens, ratio de troncature 2 % → 18 %. La récompense et la longueur augmentent ensemble, et les réponses commencent à atteindre la limite.
- Trois groupes sur la page d'exécution : les réponses en vert reformulent la question, énumèrent toutes les mises en garde possibles et répètent des phrases de la référence. Le juge a apprécié l'exhaustivité, et rien n'a pénalisé le remplissage.
- Action : relancer avec moins d'étapes et une limite de longueur inférieure, ou passer à un évaluateur qui vérifie le contenu plus strictement, puis confirmer avec une évaluation utilisant un juge différent.
Erreurs courantes
- Juger une exécution RL par sa perte. Observez plutôt la récompense, l'écart et la longueur.
- Célébrer une récompense proche de 1 avant de lire les réponses ayant obtenu les meilleurs scores.
- Ignorer le ratio de troncature. Les réponses coupées faussent les scores d'une étape entière.
- Comparer les récompenses entre des exécutions utilisant différents évaluateurs ou juges. Les échelles ne sont pas les mêmes.
- S'arrêter aux graphiques. Le mot de la fin revient à une évaluation sur des questions réservées, idéalement avec un juge différent.
Références et lectures complémentaires
Les sources externes s'ouvrent dans un nouvel onglet.
- 01GRPO TrainerHugging Face TRL docs · huggingface.coDéfinitions de reward, reward_std, frac_reward_zero_std, clipped_ratio et mean_length.
- 02Reinforcement fine-tuningOpenAI API docs · developers.openai.comLire la récompense d'entraînement et de validation dans une tâche RFT hébergée.
- 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgLa longueur des réponses a augmenté à mesure que R1-Zero apprenait à raisonner : un cas où plus long était véritablement mieux.
- 04Understanding R1-Zero-Like Training: A Critical PerspectiveLiu et al., 2025 · arXiv · arxiv.orgComment la perte GRPO d'origine peut gonfler la longueur, en particulier pour les mauvaises réponses.