LLM en tant que juge

Ce que c'est

Les réponses ouvertes n'ont pas de chaîne de caractères unique et correcte à laquelle se comparer. Deux réponses à « Comment exporter mon rapport ? » peuvent toutes deux être exactes, et la meilleure peut être celle qui est plus courte, qui indique le chemin dans le menu, ou qui met en garde contre un piège courant. Les humains peuvent en juger, mais ils sont lents et coûteux. LLM-as-a-judge utilise un modèle de langage performant pour porter le même jugement à grande échelle.

Zheng et al. (2023) ont étudié cela de manière systématique et ont découvert que des juges performants tels que GPT-4 correspondaient aux préférences humaines dans plus de 80 % des cas — soit le même niveau d'accord qu'entre deux humains. Ils ont décrit trois configurations : comparaison par paires (laquelle de deux réponses est la meilleure), notation à réponse unique (un score pour une réponse) et notation guidée par référence (juger avec une bonne réponse connue à disposition). La configuration utilisée ici combine les trois.

Comment cela fonctionne

Question:          <the held-out user message and its context>
Reference answer:  <the reply from your data>
Answer A:          <one model's answer>
Answer B:          <the other model's answer>

Score each answer 1–5 on correctness, helpfulness, tone and format.
Then name the winner (A, B or tie) and give a one-sentence reason.

Le juge voit la question avec son contexte, la réponse de référence issue de vos données, et deux réponses étiquetées uniquement A et B. Il note chacune de 1 à 5 sur quatre critères, désigne un vainqueur global ou une égalité, et rédige un motif court. Les scores sont moyennés sur l'ensemble des questions ; les vainqueurs constituent le taux de victoire ; les motifs sont ce que vous lisez pour en comprendre la raison.

Biais connus, et ce qui les annule

• Biais de position. Les juges ont tendance à préférer la première réponse présentée (certains préfèrent la seconde). Wang et al. (2023) ont démontré l'ampleur de ce phénomène : en modifiant simplement l'ordre, Vicuna-13B a pu battre ChatGPT sur 66 des 80 questions avec ChatGPT comme juge. Solution : mélanger l'ordre pour chaque question, afin que le biais s'applique de manière égale aux deux modèles et se compense.
• Auto-préférence. Les modèles évaluent plus favorablement les textes qui ressemblent à leur propre style de rédaction. Panickssery et al. (2024) ont découvert que plus un modèle reconnaît sa propre production, plus ce biais est fort. Solution : utiliser un juge issu d'une famille de modèles différente de celle des modèles comparés.
• Biais de verbosité. Les réponses plus longues et d'apparence plus détaillée ont tendance à l'emporter, même lorsqu'elles ne sont pas meilleures. AlpacaEval, qui contrôle la longueur, corrige ce biais et a augmenté son accord avec les classements humains (corrélation de Spearman avec Chatbot Arena passant de 0,94 à 0,98). Solution : comparer les longueurs moyennes en parallèle du taux de victoire, et lire les motifs des vainqueurs longs.
• Biais de marque. Si le juge sait quelle réponse provient du modèle « ajusté », il peut la favoriser ou la pénaliser. Solution : étiquettes en aveugle — le juge ne voit jamais que A et B.

La réponse de référence est également utile. Les juges sont bien meilleurs pour repérer les faits erronés lorsqu'ils disposent d'une bonne réponse connue pour vérifier, ce qui est particulièrement important pour les questions métiers où le juge lui-même peut ne pas connaître les bonnes étapes.

Vérification manuelle du juge

Un juge reste un modèle : il peut préférer les réponses longues, ne pas remarquer un chiffre erroné ou récompenser un ton assuré. La solution consiste à faire examiner un échantillon des mêmes questions par des personnes, à l'aveugle, et à mesurer la fréquence à laquelle elles choisissent la même réponse que le juge. À environ 80 % de concordance ou plus, les taux de réussite du juge constituent un indicateur fiable ; en dessous d'environ 60 %, ne vous fiez pas uniquement aux chiffres du juge — examinez davantage, changez le modèle juge, ou modifiez ce qu'on lui demande de vérifier. Les questions sur lesquelles les personnes et le juge sont en désaccord sont les plus utiles à lire.

Erreurs courantes

• Utiliser la même famille de modèles pour le juge et le candidat, puis se fier à une victoire de justesse.
• Toujours placer la réponse ajustée dans la même position.
• Ne lire que le taux de victoire : les motifs indiquent si une victoire découle de l'exactitude ou simplement de la longueur.
• Supposer que le juge connaît votre domaine. Sans réponse de référence, il peut récompenser des erreurs plausibles et affirmées avec assurance.
• Ne jamais vérifier ponctuellement le juge en le confrontant à votre propre lecture d'une douzaine de questions.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena↗Zheng et al., 2023 · arXiv · arxiv.orgPlus de 80 % de concordance avec les humains, et les biais de position, de verbosité et d'auto-valorisation.
2. 02Large Language Models are not Fair Evaluators↗Wang et al., 2023 · arXiv · arxiv.orgLa force du biais de position et les stratégies de calibrage pour le contrer.
3. 03LLM Evaluators Recognize and Favor Their Own Generations↗Panickssery et al., 2024 · arXiv · arxiv.orgL'auto-préférence, et pourquoi un juge issu d'une autre famille est utile.
4. 04Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators↗Dubois et al., 2024 · arXiv · arxiv.orgCorriger l'attrait pour les réponses plus longues.
5. 05A Survey on LLM-as-a-Judge↗Gu et al., 2024 · arXiv · arxiv.orgUne vaste revue des conceptions, des biais et de la fiabilité des juges.

Concepts associés