Fine-tuning par renforcement (RFT)

Ce que c'est

Lors du fine-tuning supervisé, on montre au modèle la réponse et on l'évalue sur chacun de ses tokens. Le fine-tuning par renforcement (RFT) ne montre jamais de réponse au modèle. Il rédige la sienne, un évaluateur note le résultat, et l'entraînement augmente la probabilité des types de réponses obtenant un score élevé. La seule chose que vous devez fournir est un moyen de distinguer une bonne réponse d'une mauvaise.

Cela fait du RFT la méthode de choix lorsqu'une bonne réponse est facile à reconnaître mais difficile à rédiger à l'avance : un calcul dont le résultat peut être vérifié, une classification avec une étiquette connue, un objet JSON qui doit être validé, ou une question ouverte où un modèle juge performant peut distinguer une réponse soignée d'une réponse bâclée.

Le vocabulaire de l'apprentissage par renforcement

Le RFT emprunte son vocabulaire à l'apprentissage par renforcement (RL), le domaine qui entraîne les agents de jeu et les robots. Appliqués à un modèle de langage, ces termes signifient :

Deux éléments différencient le RL sur les modèles de langage de l'entraînement supervisé. La récompense n'arrive qu'à la fin : l'évaluateur note la réponse terminée, l'entraînement doit donc déterminer lesquels des centaines de tokens méritent le crédit. De plus, les données sont générées pendant l'entraînement : à chaque étape, le modèle actuel rédige de nouvelles réponses, de sorte que ce dont il apprend évolue à mesure qu'il s'améliore. C'est ce qu'on appelle l'apprentissage on-policy.

Comment un score devient une mise à jour

La règle de mise à jour au cœur du RFT s'appelle un gradient de politique (policy gradient). En termes simples : pour chaque réponse, prenez chaque token rédigé par le modèle et augmentez sa probabilité si l'avantage de la réponse est positif, ou diminuez-la s'il est négatif, d'une valeur proportionnelle à l'avantage. Un token apparu dans une réponse bien notée devient un peu plus probable dans ce contexte ; un token issu d'une réponse mal notée le devient un peu moins.

Les scores bruts constituent un signal médiocre en eux-mêmes. Si chaque réponse à un prompt facile obtient 0,9, les augmenter toutes ne dit rien sur ce qui les a rendues bonnes. Les méthodes de RL comparent donc chaque score à une référence (baseline), une estimation du score d'une réponse ordinaire à ce prompt, et seule la différence compte. Les méthodes plus anciennes comme le PPO apprennent la référence avec un second réseau de neurones. Le GRPO, la méthode qu'utilisent désormais la plupart des services RFT, prend simplement le score moyen de plusieurs réponses au même prompt ; voir GRPO, étape par étape.

for each step:
    prompts = a few rows from your data
    answers = model.sample(prompts, n = 4)          # 4 tries per prompt
    scores  = grader(prompt, answers, reference)    # 0–1 each; the model never sees the reference
    adv     = (scores − group mean) / group std     # per prompt
    update the model: tokens of answers with adv > 0 become more likely,
                      tokens of answers with adv < 0 less likely

Votre propre réponse n'apparaît que dans l'entrée de l'évaluateur, en tant que référence. Le modèle en cours d'entraînement ne la voit jamais, ce qui constitue la principale différence pratique avec l'entraînement supervisé : le modèle ne peut pas copier pour obtenir un score élevé, il doit le trouver par lui-même.

{"prompt": [{"role": "user", "content": "How do I share a report with a client?"}],
 "reference": "Open the report → Share → pick the client. They get an email link."}

• Une ligne par réponse, se terminant à cette réponse. Un chat avec trois de vos réponses donne trois lignes. La référence de chaque ligne n'est que sa dernière réponse ; les réponses précédentes restent dans le prompt en tant que contexte.
• Instructions système sous forme de message `developer`. Les modèles de raisonnement hébergés (la série o) n'acceptent pas de message system dans les exemples de renforcement. Les mêmes instructions vont dans un message developer, que ces modèles traitent de la même manière que les autres modèles traitent system.

Ce que le RL peut et ne peut pas faire

Puisqu'il n'apprend que de ses propres tentatives, le RFT ne peut renforcer qu'un comportement que le modèle produit déjà de temps en temps. Si aucune des N réponses à un prompt n'est jamais bonne, toutes les réponses obtiennent à peu près le même score, la comparaison est vide et le prompt n'enseigne rien. La recherche le confirme : Yue et al. (2025) ont découvert que les modèles de raisonnement entraînés par RL battaient leurs modèles de base lorsqu'une seule tentative par problème était autorisée, mais qu'avec de nombreuses tentatives, les modèles de base en résolvaient davantage. Le RL a permis au modèle de trouver ses bonnes réponses de manière plus fiable ; il ne lui a pas fourni de réponses qu'il n'aurait jamais pu atteindre.

C'est pourquoi la recette standard est d'abord supervisé, puis RL. L'entraînement supervisé sur de bonnes réponses enseigne la tâche, de sorte que les tentatives du modèle commencent à atterrir dans la bonne zone ; le RL affine ensuite les tentatives qu'il préfère. Sur une base très solide, le RL seul peut aller loin : DeepSeek-R1-Zero, entraîné uniquement avec des récompenses basées sur des règles, a fait passer son pass@1 à l'AIME 2024 de 15,6 % à 77,9 %. La plupart des fine-tunings partent de modèles beaucoup plus petits, où une étape supervisée fait d'abord la différence.

Quand l'utiliser

• La réponse peut être vérifiée : un chiffre, une étiquette, un format, un test. Les évaluateurs basés sur des règles sont peu coûteux, exacts et difficiles à tromper.
• Le modèle initial obtient déjà une bonne part de résultats corrects, par exemple après un entraînement supervisé sur vos données, ou parce qu'il est de grande taille.
• Vous pouvez juger de la qualité mais ne pouvez pas rédiger des réponses idéales à grande échelle : un modèle juge performant peut noter des réponses en texte libre par rapport à votre réponse.
• Non pour enseigner de nouveaux faits ou un nouveau produit : ceux-ci doivent provenir de données supervisées ou de la recherche d'informations.

Erreurs courantes

• Exécuter un RFT sur un modèle qui ne répond presque jamais correctement. Avec chaque score proche du minimum, il n'y a rien à comparer ; entraînez-le d'abord de manière supervisée.
• Considérer une récompense en hausse comme une preuve d'amélioration. La récompense n'est que l'opinion de l'évaluateur ; confirmez-la par une évaluation indépendante.
• Choisir un évaluateur qui mesure la mauvaise métrique, comme le chevauchement de mots sur une tâche où le sens prime. Le modèle optimise exactement ce qui est mesuré.
• S'attendre à ce que le RFT ajoute des connaissances. Il réorganise ce que le modèle fait déjà.
• Définir la limite de réponse en dessous de la longueur d'une bonne réponse, de sorte que les réponses complètes soient tronquées et évaluées comme mauvaises.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

1. 01DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning↗DeepSeek-AI, 2025 · arXiv · arxiv.orgLe RL à grande échelle avec des récompenses basées sur des règles, et pourquoi un démarrage à froid supervisé a tout de même aidé.
2. 02Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?↗Yue et al., 2025 · arXiv · arxiv.orgLa preuve que le RL affine ce qu'un modèle de base sait déjà faire plutôt que d'ajouter un nouveau raisonnement.
3. 03Reinforcement fine-tuning↗OpenAI API docs · developers.openai.comUn service RFT hébergé : évaluateurs, données, et quand le RFT est une solution adaptée.
4. 04Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgL'article qui a fait du RL à partir de retours l'étape finale standard pour les modèles de chat.

Concepts associés