LLM-as-a-judge

Was es ist

Offene Antworten haben keine einzelne korrekte Zeichenfolge, mit der sie verglichen werden können. Zwei Antworten auf „Wie exportiere ich meinen Bericht?“ können beide richtig sein, und die bessere ist vielleicht diejenige, die kürzer ist, den Menüpfad nennt oder vor einer häufigen Falle warnt. Menschen können das beurteilen, sind aber langsam und teuer. LLM-as-a-judge nutzt ein leistungsfähiges Sprachmodell, um dieselbe Beurteilung in großem Maßstab vorzunehmen.

Zheng et al. (2023) untersuchten dies systematisch und stellten fest, dass starke Judges wie GPT-4 in über 80 % der Fälle mit menschlichen Präferenzen übereinstimmten — das gleiche Maß an Übereinstimmung wie zwischen zwei Menschen. Sie beschrieben drei Ansätze: paarweiser Vergleich (welche von zwei Antworten besser ist), Einzelantwort-Bewertung (eine Punktzahl für eine Antwort) und referenzgestützte Bewertung (Beurteilung anhand einer bekannten guten Antwort). Der hier verwendete Ansatz kombiniert alle drei.

Funktionsweise

Question:          <the held-out user message and its context>
Reference answer:  <the reply from your data>
Answer A:          <one model's answer>
Answer B:          <the other model's answer>

Score each answer 1–5 on correctness, helpfulness, tone and format.
Then name the winner (A, B or tie) and give a one-sentence reason.

Der Judge sieht die Frage mit ihrem Kontext, die Referenzantwort aus Ihren Daten und zwei Antworten, die nur mit A und B gekennzeichnet sind. Er bewertet jede auf einer Skala von 1 bis 5 anhand von vier Kriterien, benennt einen Gesamtsieger oder ein Unentschieden und verfasst eine kurze Begründung. Die Bewertungen werden über die Fragen hinweg gemittelt; die Sieger ergeben die Gewinnrate; die Begründungen lesen Sie, um das Warum zu verstehen.

Bekannte Verzerrungen und wie sie neutralisiert werden

• Positions-Bias. Judges tendieren dazu, die zuerst genannte Antwort zu bevorzugen (einige bevorzugen die zweite). Wang et al. (2023) zeigten, wie stark dies sein kann: Nur durch Änderung der Reihenfolge konnte Vicuna-13B dazu gebracht werden, ChatGPT bei 66 von 80 Fragen zu schlagen, wenn ChatGPT als Judge fungierte. Lösung: Die Reihenfolge pro Frage mischen, sodass die Verzerrung beide Modelle gleichermaßen betrifft und sich im Durchschnitt ausgleicht.
• Selbstpräferenz. Modelle bewerten Texte, die ihrem eigenen Schreibstil ähneln, besser. Panickssery et al. (2024) fanden heraus, dass diese Verzerrung umso stärker ist, je besser ein Modell seine eigene Ausgabe erkennt. Lösung: Einen Judge aus einer anderen Modellfamilie verwenden als die der verglichenen Modelle.
• Längen-Bias. Längere, detaillierter wirkende Antworten gewinnen häufiger, selbst wenn sie nicht besser sind. Das längenkontrollierte AlpacaEval korrigiert dies und erhöhte seine Übereinstimmung mit menschlichen Rankings (Spearman-Korrelation mit Chatbot Arena von 0,94 auf 0,98). Lösung: Durchschnittliche Längen zusammen mit der Gewinnrate vergleichen und die Begründungen bei langen Gewinnern lesen.
• Marken-Bias. Wenn der Judge weiß, welche Antwort vom „feinabgestimmten“ Modell stammt, könnte er diese bevorzugen oder benachteiligen. Lösung: Blinde Kennzeichnungen — der Judge sieht immer nur A und B.

Die Referenzantwort hilft ebenfalls. Judges sind viel besser darin, falsche Fakten zu erkennen, wenn sie eine bekannte gute Antwort zum Abgleich haben. Dies ist besonders bei fachspezifischen Fragen wichtig, bei denen der Judge selbst möglicherweise nicht die richtigen Schritte kennt.

Den Judge manuell überprüfen

Ein Judge ist immer noch ein Modell: Er kann lange Antworten bevorzugen, eine falsche Zahl übersehen oder einen selbstbewussten Tonfall belohnen. Die Lösung besteht darin, dass Menschen eine Stichprobe derselben Fragen blind überprüfen und gemessen wird, wie oft sie dieselbe Antwort wie der Judge wählen. Bei einer Übereinstimmung von etwa 80 % oder mehr sind die Gewinnraten des Judges ein verlässlicher Richtwert; bei unter 60 % sollten Sie nicht allein auf die Zahlen des Judges vertrauen — überprüfen Sie mehr, wechseln Sie das Judge-Modell oder ändern Sie, was überprüft werden soll. Die Fragen, bei denen Menschen und Judge nicht übereinstimmen, sind am aufschlussreichsten zu lesen.

Häufige Fehler

• Die gleiche Modellfamilie als Judge und Teilnehmer verwenden und dann auf einen knappen Sieg vertrauen.
• Die optimierte Antwort immer an derselben Position platzieren.
• Nur die Gewinnrate lesen: Die Begründungen zeigen, ob ein Sieg auf Richtigkeit oder nur auf der Länge basierte.
• Davon ausgehen, dass der Judge Ihre Domäne kennt. Ohne eine Referenzantwort kann er selbstbewusste, plausibel klingende Fehler belohnen.
• Den Judge niemals stichprobenartig mit der eigenen Einschätzung eines Dutzends Fragen abgleichen.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena↗Zheng et al., 2023 · arXiv · arxiv.orgÜber 80 % Übereinstimmung mit Menschen sowie Positions-, Ausführlichkeits- und Selbstbevorzugungs-Bias.
2. 02Large Language Models are not Fair Evaluators↗Wang et al., 2023 · arXiv · arxiv.orgWie stark der Positions-Bias ist und Kalibrierungsstrategien, um ihm entgegenzuwirken.
3. 03LLM Evaluators Recognize and Favor Their Own Generations↗Panickssery et al., 2024 · arXiv · arxiv.orgSelbstbevorzugung und warum ein Judge aus einer anderen Modellfamilie hilft.
4. 04Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators↗Dubois et al., 2024 · arXiv · arxiv.orgKorrektur der Bevorzugung längerer Antworten.
5. 05A Survey on LLM-as-a-Judge↗Gu et al., 2024 · arXiv · arxiv.orgEine umfassende Überprüfung von Judge-Designs, Biases und Zuverlässigkeit.

Verwandte Konzepte