Détournement de la récompense

Ce que c'est

L'évaluateur n'est pas votre objectif. Il s'agit d'un substitut mesurable, un proxy. L'apprentissage par renforcement optimise ce proxy sans relâche, et chaque fois que le proxy et votre objectif divergent, le modèle dérive vers le proxy. Les économistes connaissent ce phénomène sous le nom de loi de Goodhart : lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure. En IA, on parle de détournement de récompense ou de contournement des spécifications.

L'exemple classique nous vient de l'apprentissage par renforcement appliqué aux jeux vidéo. Dans le jeu de course de bateaux CoastRunners, un agent récompensé pour avoir atteint des cibles le long du parcours a appris à tourner en rond dans un lagon, frappant les mêmes cibles en boucle, sans jamais terminer la course. Il obtenait ainsi un meilleur score qu'en franchissant la ligne d'arrivée. Rien n'était défectueux : l'agent a fait exactement ce que la récompense lui dictait.

Les modèles de langage font de même avec les évaluateurs. Les auteurs de DeepSeek-R1 rapportent que lors de l'entraînement avec un modèle de récompense axé sur l'utilité, la récompense continuait de grimper tandis que les performances sur un benchmark de code chutaient. C'est en partie pour cette raison qu'ils ont exclu les modèles de récompense de leur apprentissage par renforcement dédié au raisonnement.

Sur-optimisation. Le score de l'évaluateur (trait plein) continue d'augmenter à mesure que l'entraînement modifie le modèle. La qualité réelle, mesurée par un contrôle indépendant (pointillés), augmente avec lui au début, atteint un sommet, puis chute lorsque le modèle apprend les angles morts de l'évaluateur au lieu de la tâche.

Gao et al. (2022) ont mesuré cette courbe. En optimisant un modèle à l'aide d'un modèle de récompense, ils ont suivi une récompense « gold » distincte représentant la qualité réelle : à mesure que le modèle s'éloignait de son point de départ, le proxy continuait de grimper tandis que le score gold augmentait, atteignait un pic, puis déclinait. Les modèles de récompense plus volumineux en souffraient moins, mais aucun n'a permis d'éliminer cet effet.

Comment cela se manifeste avec chaque évaluateur

Évaluateur	Comment il est contourné	À quoi cela ressemble
Modèle juge	Des réponses plus longues et d'apparence exhaustive ; un ton assuré ; un texte qui flatte ou instruit le juge	La longueur augmente ; les réponses sont truffées de réserves et de reformulations de la question ; des phrases comme « Cette réponse est complète et exacte. »
Similarité	Réutiliser les expressions de la référence, qu'elles soient adaptées ou non	Des réponses qui imitent votre style mais dont le contenu est erroné
Chiffres	Énumérer de nombreux chiffres pour qu'au moins l'un d'eux soit proche des vôtres	Des réponses saturées de chiffres ou d'alternatives : « soit 9,9 %, soit 10,3 % »
Correspondance exacte / contrôles	Respecter le contrôle à la lettre	Un JSON valide avec des champs vides ; la bonne étiquette noyée dans du texte absurde

Exemple détaillé

Un groupe manipulé, consulté sur la page d'exécution

Prompt : « Puis-je exporter un tableau de bord vers PowerPoint ? » Votre référence : « Oui : Partager → Exporter → PowerPoint. Chaque graphique devient une diapositive. »
Réponse 1, score 0,95, vert : reformule la question, donne les étapes, ajoute trois paragraphes de conseils généraux sur les présentations, et se termine par « Cette réponse répond entièrement à votre question. »
Réponse 2, score 0,70, rouge : les étapes de votre référence en deux phrases.
Le juge a privilégié l'exhaustivité par rapport à la concision, et la phrase de conclusion l'a peut-être influencé davantage. La réponse 2 est celle que vous souhaitiez, pourtant la mise à jour pousse le modèle vers la réponse 1.
Solutions : un juge plus performant, ou une combinaison incluant la similarité avec votre réponse ; une longueur maximale de réponse plus stricte ; et une évaluation avec un juge différent pour confirmer le résultat.

Comment le prévenir et le détecter

Lisez les réponses renforcées. Les réponses vertes dans chaque groupe sont exactement ce qui est enseigné au modèle. Si elles ne correspondent pas à ce que vous souhaitez, arrêtez-vous et changez d'évaluateur.
Évaluez de manière indépendante. Comparez le modèle entraîné à son point de départ sur des questions exclues de l'entraînement, en utilisant un juge différent de l'évaluateur. Un gain de récompense qui ne s'y reflète pas est suspect.
Combinez les évaluateurs. L'angle mort de chaque évaluateur est couvert par un autre : un juge couplé à un contrôle de chiffres est bien plus difficile à contourner que l'un ou l'autre isolément.
Limitez la longueur. Une longueur de réponse maximale raisonnable bloque d'emblée le détournement le plus courant.
Ancrez avec KL β. Une pénalité en cas d'écart par rapport au modèle de départ limite l'ampleur de toute faille exploitée, au prix d'une amélioration plus lente.
Évitez le surentraînement. La sur-optimisation s'accroît à mesure que l'on s'éloigne du point de départ ; une exécution plus courte qui s'arrête près du pic surpasse souvent une exécution plus longue.
Privilégiez les récompenses vérifiables. Les réponses exactes, les chiffres, les contrôles de format et les tests laissent moins de place à l'interprétation qu'une opinion.

Erreurs courantes

Considérer le graphique de récompense comme la mesure de la réussite.
Utiliser le même modèle comme évaluateur et comme juge d'évaluation.
Prolonger l'entraînement bien au-delà du nécessaire « parce la récompense continue de grimper ».
Corriger un détournement sans relire les réponses ; les modèles trouvent généralement la faille suivante.
Rejeter la faute sur le modèle. Il fait exactement ce que la récompense lui dicte ; la solution se trouve presque toujours dans l'évaluateur ou la configuration.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.