Files d'annotation : vérification manuelle du juge

De quoi s'agit-il

Un juge LLM est rapide et peu coûteux, mais cela reste un modèle. Il peut préférer la réponse la plus longue, ne pas remarquer un chiffre erroné ou récompenser un ton assuré. Les juges performants sont d'accord avec les humains à peu près aussi souvent que les humains le sont entre eux — plus de 80 % selon Zheng et al. (2023) — mais il s'agit d'une moyenne sur des benchmarks publics, et non d'une garantie pour les questions liées à votre produit. Les files d'annotation soumettent les réponses à une personne, afin que vous sachiez jusqu'à quel point faire confiance au juge sur vos données.

Une annotation est l'étiquette attribuée par une personne à la sortie d'un modèle : un score par critère, un choix entre deux réponses ou une réponse corrigée. Une file d'annotation est une liste de tâches contenant ces éléments, accompagnée des règles pour les réviser.

Fonctionnement d'une file d'attente

• Les éléments correspondent à ce qui est révisé. À partir d'une évaluation, chaque question jugée : la question, les deux réponses et le verdict du juge. À partir d'un jeu de données, chaque réponse pouvant servir à l'entraînement dans sa conversation. Les éléments sont des copies, ainsi l'archivage ou la suppression de la source ne modifie pas la file d'attente.
• La grille d'évaluation correspond aux critères notés de 1 à 5 par réponse. L'utilisation des propres critères du juge — exactitude, utilité, ton, format — permet de comparer les scores humains et ceux du juge. Elle se verrouille dès qu'un élément est révisé ; dans le cas contraire, les scores précédents perdraient leur sens.
• L'évaluation à l'aveugle affiche « Réponse A / Réponse B » sans le nom des modèles, et masque le verdict du juge jusqu'à l'enregistrement de la révision.
• Le verrouillage attribue un élément à la personne qui le révise pendant qu'elle y travaille, afin d'éviter que deux personnes ne révisent le même élément.

L'importance de la révision à l'aveugle

Les individus sont influencés par ce qu'ils voient en premier. Montrez à un réviseur que la réponse A provient du modèle nouvellement ajusté et il penchera en sa faveur, car c'est le résultat qu'il espère. Montrez-lui le verdict du juge et il aura tendance à l'approuver — ce qui va à l'encontre de l'objectif même de vérifier le juge. Masquer ces deux informations jusqu'à l'enregistrement de la révision permet de garantir l'indépendance de l'évaluation humaine. L'enregistrement révèle ensuite l'identité des modèles et l'avis du juge, moment où les désaccords deviennent visibles.

Avec quoi remplir une file d'attente

Seul un échantillon aléatoire permet de mesurer la fréquence à laquelle le juge a raison en général. Les autres sélections sont délibérément biaisées vers les cas complexes : idéales pour identifier les problèmes et rédiger des corrections, mais trompeuses pour estimer le taux d'accord global.

Lecture des résultats

agreement      = questions where you and the judge picked the same answer
                 ÷ questions you both decided

score gap      = your average − judge's average, per criterion,
                 on the same answers          (|gap| ≥ 1 point → look closer)

• Taux d'accord avec le juge. Environ 80 % ou plus : les taux de victoire du juge sont un indicateur fiable. En dessous d'environ 60 % : ne vous basez pas uniquement sur les chiffres du juge pour prendre une décision — révisez davantage, changez le modèle juge, ou ajustez ce qu'il doit vérifier. N'oubliez pas qu'avec deux réponses au choix, un tirage à pile ou face serait d'accord la moitié du temps, donc 60 % n'est qu'un peu mieux que le hasard.
• Écarts de score. Par critère, votre moyenne par rapport à celle du juge sur les mêmes réponses. Un écart de 1 point ou plus signifie que le juge évalue ce critère différemment des humains. Les juges sont souvent indulgents sur l'exactitude des faits liés au produit et sévères sur le format.
• Les désaccords sont les éléments intéressants. Lisez pourquoi le juge a fait un choix différent. Soit il s'agit d'un problème lié au juge — corrigez le juge —, soit d'un problème de données : la réponse de référence elle-même était erronée ou obsolète.

Transformer les révisions en données d'entraînement

• Une correction devient la réponse sur laquelle s'entraîner (données supervisées). La réponse que vous avez le moins appréciée est stockée comme sa paire inférieure, de sorte que le même exemple sert également à l'ajustement des préférences (DPO).
• Sans correction, la réponse que vous avez sélectionnée devient la réponse de référence et l'autre sa paire inférieure.
• Les égalités sans correction, ainsi que les scores seuls, ne sont pas exportés. Une nouvelle exportation met à jour les mêmes exemples au lieu d'ajouter des copies.

{"messages": [
  {"role": "user", "content": "How do I share a report with a client?"},
  {"role": "assistant", "content": "Open the report → Share → pick the client. They get an email link.",
   "rejected": "You can export the report as a PDF and email it.", "rejectedSource": "review"}
]}

Paramètres et chiffres

Erreurs courantes

• Réviser en voyant le nom des modèles ou le verdict du juge, puis « confirmer » le juge.
• Estimer le taux d'accord global à partir d'une file d'attente remplie d'égalités et de défaites plutôt que d'un échantillon aléatoire.
• Choisir A ou B lorsque les deux réponses sont fausses, au lieu de rédiger une correction.
• Changer la signification des critères en cours de route — la grille d'évaluation se verrouille pour cette raison.
• Blâmer le juge pour chaque désaccord alors que la réponse de référence elle-même était obsolète.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena↗Zheng et al., 2023 · arXiv · arxiv.orgUn taux d'accord juge-humain supérieur à 80 %, proche du niveau d'accord entre humains, et les biais du juge.
2. 02Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences↗Shankar et al., 2024 · arXiv · arxiv.orgVérification des évaluateurs LLM par rapport aux notes humaines, et évolution des critères au fil des révisions.
3. 03Cohen's kappa↗Wikipedia · en.wikipedia.orgL'accord corrigé du hasard — pourquoi 60 % sur un choix binaire est faible.
4. 04Inter-rater reliability↗Wikipedia · en.wikipedia.orgComment l'accord entre les évaluateurs est mesuré et interprété.
5. 05Anchoring effect↗Wikipedia · en.wikipedia.orgLe biais contre lequel la révision à l'aveugle protège.

Concepts associés