Ce qu'est un évaluateur
Lors de l'ajustement fin par renforcement, le modèle rédige plusieurs réponses par prompt et nécessite une note pour chacune. L'évaluateur la produit : une fonction, un modèle, ou un mélange des deux, qui lit le prompt, la réponse et, dans Scalata, votre propre réponse en tant que référence, puis renvoie un score de 0 à 1. Le GRPO n'utilise que les différences entre les réponses à un même prompt, la propriété la plus importante d'un évaluateur est donc qu'il classe les réponses de la même manière que vous le feriez.
Les évaluateurs se divisent en deux familles. Les évaluateurs basés sur des règles calculent le score : correspondance exacte, chevauchement de mots, comparaison de nombres, validation d'un format. Ils sont rapides, gratuits et parfaitement cohérents, mais ils ne mesurent que ce pour quoi ils ont été conçus. Les évaluateurs basés sur des modèles, un LLM agissant comme juge, lisent la réponse comme le ferait une personne et peuvent évaluer l'exactitude, l'utilité et le ton, au prix de jetons, de temps et de leurs propres biais. DeepSeek-R1 n'a utilisé que des récompenses basées sur des règles pour son apprentissage par renforcement (RL) du raisonnement, car ses auteurs ont constaté que les modèles de récompense appris étaient vulnérables au détournement de récompense à grande échelle.
Les évaluateurs
Un LLM lit la conversation, votre réponse de référence et l'ensemble des N réponses, puis attribue à chacune une note de 1 à 5 selon l'exactitude, l'utilité, le ton et le format ; les notes sont ramenées à une échelle de 0 à 1. Comme il comprend le sens, une réponse correcte formulée différemment obtient tout de même un bon score. Cela coûte un appel au juge par prompt et par époque, et un juge faible donne des scores imprécis.
Chevauchement de mots entre la réponse générée et votre réponse, mesuré selon ROUGE-L F1 (0–1). Ne nécessitant aucun modèle juge, cela ne coûte rien. Cette méthode récompense la formulation, et non le sens : une réponse correcte formulée différemment obtient un score faible, tandis qu'une réponse incorrecte qui réutilise vos mots obtient un score élevé.
70 % pour le score du juge et 30 % pour la similarité. Le juge détermine ce qui est correct ; le critère de similarité rapproche les réponses de votre formulation. Vous payez pour le juge et conservez les deux angles morts, chacun à une dose moindre.
Prend les chiffres clés de votre réponse (décimales, pourcentages, montants ; hors numérotation de listes) et associe chacun au nombre le plus proche dans la réponse générée : un écart de moins de 1 % donne la totalité des points, moins de 5 % la moitié, et au-delà, aucun point. Les unités sont harmonisées, ainsi 1 705 M et 1,705 B comptent comme le même chiffre. Les réponses sans chiffres sont ignorées. Seuls les chiffres sont vérifiés, pas l'explication qui les entoure.
50 % pour le juge et 50 % pour les chiffres, afin que le raisonnement et les données chiffrées comptent tous les deux. Lorsque votre réponse ne contient aucun chiffre, le score du juge est utilisé seul. Coûte des tokens de juge au même titre que le juge seul.
La réponse est égale ou contient la valeur attendue, ou un bout de code vérifie son format (JSON valide, une étiquette connue). Les scores sont généralement du tout ou rien, ce qui donne au GRPO un signal très clair, mais cela ne fonctionne que lorsqu'il y a une seule réponse vérifiable. Les fournisseurs hébergés les proposent comme évaluateurs intégrés, par exemple une vérification de chaîne de caractères, aux côtés de la similarité de texte, d'un modèle de notation et de combinaisons d'évaluateurs.
Comment la similarité est mesurée : ROUGE-L
ROUGE a été introduit par Chin-Yew Lin en 2004 pour évaluer les résumés rédigés par des machines par rapport à ceux d'humains. La variante L recherche la plus longue sous-séquence commune (LCS) : la plus longue suite de mots qui apparaissent dans les deux textes dans le même ordre, pas nécessairement côte à côte. La précision est la LCS ÷ les mots dans la réponse, le rappel est la LCS ÷ les mots dans la référence, et le F1 combine les deux (leur moyenne harmonique).
- Référence, 9 mots : « Ouvrez le rapport, cliquez sur Partager, choisissez le client. »
- Réponse A : « Cliquez sur Partager sur le rapport et choisissez le client. » Plus longue sous-séquence commune : « cliquez sur partager … et choisissez le client », 6 mots. Précision 6/9, rappel 6/9, F1 ≈ 0,67.
- Réponse B, correcte mais reformulée : « Utilisez le bouton Partager de votre rapport pour le leur envoyer. » (12 mots). Plus longue sous-séquence commune : seulement « le rapport », 2 mots. Précision 2/12, rappel 2/9, F1 ≈ 0,19.
- Réponse C, mauvais destinataire : « Ouvrez le rapport, cliquez sur Partager et choisissez l'administrateur. » 8 mots en commun, F1 ≈ 0,89, le score le plus élevé des trois.
- Les implémentations diffèrent légèrement dans la manière dont elles séparent les mots et si elles les réduisent à leur racine, mais la leçon reste la même : la similarité mesure la formulation, c'est pourquoi elle est généralement combinée à un juge.
Comment l'évaluateur numérique attribue ses notes
- Votre réponse : « WACC ≈ 9,91 % ; coût des capitaux propres 10,34 % ; dette après impôt 4,15 % ; EV ≈ 1 705 M$. » Quatre chiffres clés.
- La réponse contient 9,95 %, 10,3 %, 4,2 % et 1 700 M.
- 9,95 contre 9,91 représente un écart de 0,4 %, 10,3 contre 10,34 un écart de 0,4 %, 1 700 contre 1 705 un écart de 0,3 % : note maximale pour chacun.
- 4,2 contre 4,15 représente un écart de 1,2 % : inférieur à 5 %, donc la moitié des points.
- Score = (1 + 1 + 1 + 0,5) ÷ 4 = 0,875. Une réponse indiquant uniquement « Le WACC est de 1,33 % » obtient 0.
L'évaluateur numérique vérifie les chiffres, et non le raisonnement qui les entoure : un bon chiffre obtenu de la mauvaise manière rapporte quand même des points, et une méthode solide avec une seule erreur en perd. Une réponse qui liste de nombreux chiffres a également plus de chances de s'approcher des vôtres. La combinaison juge + nombres existe pour combler ces deux lacunes.
Pourquoi le juge voit toutes les réponses en même temps
Dans Scalata, le juge voit les N réponses à un prompt ensemble. En les voyant côte à côte, il les note de manière cohérente les unes par rapport aux autres, et des scores relatifs cohérents sont exactement ce qu'utilise le GRPO. Les notes par critère du juge et une brève justification pour chaque réponse sont affichées sur la page d'exécution à côté de chaque groupe.
Choisir un évaluateur
| Votre tâche | Commencer par | Pourquoi |
|---|---|---|
| Assistance ouverte ou chat de conseil | Modèle juge | Seul un modèle peut juger si un texte libre est correct et utile |
| Les réponses doivent également refléter le ton de votre équipe | Juge + similarité | Le juge garantit le sens ; la similarité oriente vers votre formulation |
| Calculs avec résultats exacts | Juge + chiffres, ou chiffres seuls | Les chiffres sont vérifiables ; le juge repère les incohérences qui les entourent |
| Une seule étiquette ou valeur correcte | Correspondance exacte / vérifications | Les scores en tout ou rien offrent le signal le plus clair |
| Un format de sortie fixe | Une vérification de format, éventuellement combinée à un juge | La validité est vérifiable ; le contenu peut encore nécessiter un jugement |
Quel que soit votre choix, notez vous-même cinq ou dix réponses et comparez-les avec l'évaluateur avant une exécution longue. Si vous n'êtes pas d'accord avec son classement, le modèle apprendra l'opinion de l'évaluateur, et non la vôtre.
Erreurs courantes
- Utiliser uniquement la similarité là où le sens importe. Les paraphrases correctes sont pénalisées et les mauvaises réponses reprenant vos mots sont récompensées.
- Choisir un juge faible pour une exécution longue. Les scores bruités deviennent des avantages bruités, et le GRPO amplifie les petites différences.
- Utiliser le même modèle comme évaluateur et comme juge d'évaluation. Ses angles morts apparaissent alors deux fois comme des améliorations.
- Utiliser l'évaluateur numérique sur des données dont les réponses comportent peu de chiffres ; ces lignes sont ignorées et l'exécution apprend à partir d'une fraction de vos données.
- Oublier que tout ce que l'évaluateur ne vérifie pas, comme la longueur, le ton ou les détails inventés, peut être librement modifié par le modèle.
Références et lectures complémentaires
Les sources externes s'ouvrent dans un nouvel onglet.
- 01ROUGE: A Package for Automatic Evaluation of SummariesLin, 2004 · ACL Anthology · aclanthology.orgLa définition originale de ROUGE-L et sa mesure F de la plus longue sous-séquence commune.
- 02GradersOpenAI API docs · developers.openai.comTypes d'évaluateurs hébergés : vérification de chaînes de caractères, similarité de texte, modèle de notation, Python et multi-évaluateurs.
- 03Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgDans quelle mesure les juges LLM sont d'accord avec les humains, et leurs biais connus : position, verbosité, préférence pour soi-même.
- 04DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgPourquoi les récompenses basées sur des règles ont été préférées aux modèles de récompense appris pour le RL de raisonnement.