Bientôt disponibleL'Entraînement de modèles sera bientôt disponible dans Scalata Enterprise. Apprenez à un modèle à répondre comme votre équipe.Découvrir les nouveautés

Ressources/Entraînement du modèle/Évaluation

Méthode

Évaluation individuelle d'un modèle

Au lieu de comparer deux réponses, le juge lit une réponse à côté de la conversation et de votre réponse de référence, puis lui attribue une note de 1 à 5 par critère. Le résultat est un score de qualité absolu : aucune victoire et aucune mesure d'amélioration.

Chapitre 85 min de lecture5 références

De quoi s'agit-il

Une évaluation normale s'effectue par paires : deux modèles répondent, et le juge détermine quelle réponse est la meilleure. L'évaluation isolée — également appelée notation absolue, ponctuelle ou à réponse unique — abandonne la deuxième réponse. Le juge lit une réponse, la compare à votre réponse de référence et lui attribue une note pour chaque critère. Zheng et al. (2023) l'ont décrite, au même titre que la comparaison par paires, comme l'une des méthodes standard pour utiliser un juge LLM ; MT-Bench l'utilise pour attribuer un score unique à chaque modèle.

En pratique, vous y avez recours lorsqu'il n'y a rien de pertinent avec quoi comparer : le modèle de base a été retiré, aucun checkpoint utile n'existe, ou vous souhaitez simplement obtenir une valeur absolue pour un modèle.

Comment cela fonctionne

ce qui est fourni au juge (simplifié)
You are grading one assistant answer.

Conversation so far:   …
Reference answer:      (the reply from your data)
Answer:                (the model's answer)

Score the answer from 1 to 5 on correctness, helpfulness,
tone and format, and give a short reason.
  1. Une réponse par question. Le modèle répond une seule fois à chaque question réservée.
  2. Guidé par une référence. Le juge voit votre réponse réelle, ce qui lui permet de vérifier des faits qu'il pourrait ne pas connaître lui-même.
  3. Quatre critères, de 1 à 5. Exactitude, utilité, ton et format — les mêmes critères que pour l'évaluation côte à côte, accompagnés d'une brève justification.
  4. Des moyennes, pas de victoires. Le résultat est le score moyen par critère et au global. Il n'y a aucun adversaire à battre.

Une échelle différente de l'évaluation côte à côte

Évalué à côté d'une autre réponse3.5Évalué seul2.5≈ 1 POINT · MÊME MODÈLE12345
Notes à titre d'exemple pour un modèle, un juge et les mêmes questions. Lu à côté d'une autre réponse, sa moyenne est d'environ 3,5 ; lu seul, d'environ 2,5. L'écart provient de la configuration, et non du modèle, de sorte que les notes des deux configurations ne peuvent pas être comparées entre elles.

Lue côte à côte, chaque note est en partie relative : le juge voit une deuxième réponse et s'étalonne par rapport à elle. Lue seule, elle n'a que la référence pour se mesurer, et a tendance à être plus stricte. Selon les propres mesures de Scalata, le même modèle sur les mêmes questions avec le même juge a obtenu environ un point de moins (sur l'échelle de 1 à 5) seul que lorsqu'il a été jugé à côté d'un checkpoint antérieur. Rien n'a changé concernant le modèle — seule la configuration a été modifiée.

La recherche abonde dans le même sens : le protocole façonne le résultat. Tripathi et al. (2025) ont découvert que les jugements par paires sont plus faciles à influencer par des caractéristiques superficielles — les préférences se sont inversées dans environ 35 % des cas, contre 9 % pour les scores absolus — tandis que Liu et al. (2024) ont constaté que la comparaison par paires s'aligne mieux avec le jugement humain que la notation directe. Chaque configuration a ses points forts ; ce que vous ne pouvez pas faire, c'est mélanger leurs chiffres.

Ce que cela peut et ne peut pas vous indiquer

QuestionNoté seul ?
Quelle est la qualité des réponses, dans l'absolu ?Oui
Quel critère est le plus faible ?Oui — comparez les moyennes par critère
Est-ce meilleur maintenant qu'il y a trois mois ?Oui, si les deux ont été évalués seuls sur les mêmes questions avec le même juge
L'entraînement a-t-il apporté une amélioration par rapport à la base ?Non — il n'y a aucun élément de comparaison
Est-ce meilleur qu'un modèle jugé côte à côte ?Non — les deux sont sur des échelles différentes
Exemple pratique : un modèle dont la base a été retirée (à titre d'illustration)
  1. Un modèle de support ajusté par renforcement est évalué seul sur 20 questions réservées. Son modèle de base ne peut plus être déployé.
  2. Résultat : 2,45 / 5 au global — exactitude 2,0, utilité 2,1, ton 3,0, format 2,7.
  3. Analyse : le ton et le format sont acceptables, le style est donc plus proche de vos réponses que ne l'est le contenu. L'exactitude est en retrait : les justifications du juge soulignent des chemins de menu erronés et des paramètres inventés. Le modèle ne connaît pas le produit.
  4. Prochaine étape : une meilleure connaissance du produit grâce à des données supervisées, et non davantage de renforcement — le renforcement affine un comportement que le modèle possède déjà.
  5. Après un cycle supervisé, le nouveau modèle est évalué seul sur les 20 mêmes questions avec le même juge : 3,3. Cette comparaison est valide, car les deux scores proviennent de la même configuration.

Bonnes pratiques

  • Maintenez une configuration fixe lors du suivi dans le temps : mêmes questions, même juge, mêmes critères. Si vous modifiez l'un de ces éléments, les scores précédents ne seront plus comparables.
  • Lisez les critères, pas seulement la moyenne. Un 2,5 obtenu grâce à un ton adéquat mais une faible exactitude nécessite des données différentes d'un 2,5 obtenu dans le cas inverse.
  • Privilégiez la comparaison de points de contrôle lorsque vous avez besoin d'un classement aux côtés de modèles mis en parallèle : cela permet de maintenir le modèle sur la même échelle que les autres.

Paramètres

Noter le modèle seulTypique lorsqu'il n'y a pas d'élément de comparaison pertinent#

Évaluez le modèle sans recourir à un second modèle. Utilisez cette méthode lorsque le modèle de base ne peut être déployé et qu'aucun point de contrôle utile n'existe, ou lorsque vous souhaitez suivre un score absolu dans le temps.

Erreurs courantes

  • Classer un modèle évalué seul par rapport à des modèles jugés côte à côte.
  • Interpréter un score absolu faible comme « l'entraînement l'a détérioré » — il n'y a pas d'état antérieur avec lequel comparer.
  • Changer le juge ou les questions entre deux exécutions, puis comparer leurs scores.
  • Ne regarder que la moyenne globale et ignorer quel critère tire la note vers le bas.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

  1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgÉvaluation par paires, à réponse unique et guidée par une référence, côte à côte.
  2. 02Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based EvaluationTripathi et al., 2025 · arXiv · arxiv.orgComment le choix entre la notation absolue et par paires modifie le résultat.
  3. 03Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model EvaluatorsLiu et al., 2024 · arXiv · arxiv.orgLes arguments en faveur de la comparaison par paires par rapport à la notation directe.
  4. 04Prometheus: Inducing Fine-grained Evaluation Capability in Language ModelsKim et al., 2023 · arXiv · arxiv.orgNotation absolue de 1 à 5 selon une grille d'évaluation et une réponse de référence.
  5. 05G-Eval: NLG Evaluation using GPT-4 with Better Human AlignmentLiu et al., 2023 · arXiv · arxiv.orgUne méthode ancienne et très répandue pour noter des résultats individuels avec un LLM.
MéthodeLLM en tant que jugeUn modèle de langage distinct lit la question, la réponse de référence et deux réponses candidates, note les deux et désigne un vainqueur. Configuré à l'aveugle, avec un ordre aléatoire et une famille de modèles différente, il est en accord avec les évaluateurs humains à peu près aussi souvent que les humains le sont entre eux.ConceptPoints de contrôle : lorsque le modèle de base n'est plus disponibleLes points de contrôle sont des copies du modèle que le fournisseur sauvegarde en cours d'entraînement. Lorsque le modèle de base ne peut plus être déployé, la comparaison du modèle final avec un point de contrôle antérieur permet de déterminer si les étapes d'entraînement ultérieures ont été utiles.Bonne pratiqueComparaison de plusieurs modèlesPour choisir entre plusieurs modèles — différents fournisseurs, méthodes ou tailles de base —, ils doivent répondre aux mêmes questions et être notés par le même juge. Une comparaison exécute une évaluation par modèle sur un ensemble de questions commun et les classe selon la note moyenne du juge.MétriqueInterpréter les résultats d'évaluationComment interpréter le taux de victoire, la différence de score et les signaux secondaires d'une évaluation — et comment distinguer une véritable amélioration du bruit lorsque le nombre de questions est restreint.ConceptModèle de base vs modèle affiné, côte à côteUne évaluation pose les mêmes questions mises de côté au modèle de départ et au modèle entraîné, puis compare leurs réponses, afin que vous puissiez voir si l'entraînement a réellement amélioré les réponses.MéthodeAjustement fin supervisé (SFT)Le réglage fin supervisé enseigne à un modèle par l'exemple : on lui montre une conversation et la réponse que vous souhaitez, et ses poids sont ajustés pour que cette réponse devienne plus probable, jeton par jeton.

Transformez des semaines de travail d'expert en quelques minutes

Découvrez comment Scalata s'adapte à votre équipe, à vos données et à vos contrôles.

Contacter le service commercial