Annotationswarteschlangen: manuelle Überprüfung des Judges

Was es ist

Ein LLM-Judge ist schnell und günstig, aber er bleibt ein Modell. Er kann die längere Antwort bevorzugen, eine falsche Zahl übersehen oder einen selbstsicheren Tonfall belohnen. Starke Judges stimmen mit Menschen etwa so oft überein, wie Menschen untereinander übereinstimmen — über 80 % bei Zheng et al. (2023) —, aber das ist ein Durchschnitt über öffentliche Benchmarks, keine Garantie für die Fragen Ihres Produkts. Annotationswarteschlangen legen einer Person Antworten vor, damit Sie wissen, wie sehr Sie dem Judge bei Ihren Daten vertrauen können.

Eine Annotation ist die Kennzeichnung einer Modellausgabe durch eine Person: eine Bewertung pro Kriterium, eine Wahl zwischen zwei Antworten oder eine korrigierte Antwort. Eine Annotationswarteschlange ist eine Aufgabenliste solcher Elemente, zusammen mit den Regeln für deren Prüfung.

Wie eine Warteschlange funktioniert

• Elemente sind das, was geprüft wird. Aus einer Evaluierung jede bewertete Frage: die Frage, beide Antworten und das Urteil des Judges. Aus einem Datensatz jede trainierbare Antwort in ihrer Konversation. Elemente sind Kopien, daher ändert das Archivieren oder Löschen der Quelle nichts an der Warteschlange.
• Das Bewertungsraster umfasst die Kriterien, die pro Antwort mit 1–5 bewertet werden. Die Verwendung der eigenen Kriterien des Judges — Korrektheit, Hilfreichkeit, Tonfall, Format — macht menschliche und Judge-Bewertungen vergleichbar. Es wird gesperrt, sobald etwas geprüft wurde; andernfalls hätten frühere Bewertungen eine andere Bedeutung.
• Die blinde Prüfung zeigt „Antwort A / Antwort B“ ohne Modellnamen und verbirgt das Urteil des Judges, bis die Prüfung gespeichert wird.
• Das Sperren weist ein Element der Person zu, die es gerade prüft, während sie daran arbeitet, sodass nicht zwei Personen dasselbe Element prüfen.

Warum verdeckte Prüfungen wichtig sind

Menschen werden von dem beeinflusst, was sie zuerst sehen. Zeigt man einem Prüfer, dass Antwort A vom neu abgestimmten Modell stammt, neigt er dazu, diese zu bevorzugen, weil das das erhoffte Ergebnis ist. Zeigt man ihm das Urteil des Judges, tendiert er dazu, diesem zuzustimmen — was den Zweck der Überprüfung des Judges zunichtemacht. Beide Informationen zu verbergen, bis die Prüfung gespeichert ist, hält die menschliche Bewertung unabhängig. Das Speichern enthüllt dann, wer wer war und was der Judge gesagt hat, was der Moment ist, in dem Unstimmigkeiten sichtbar werden.

Womit eine Warteschlange gefüllt wird

Nur eine Zufallsstichprobe misst, wie oft der Judge im Allgemeinen richtig liegt. Die anderen Auswahlen sind absichtlich auf schwierige Fälle ausgerichtet: großartig, um Probleme zu finden und Korrekturen zu schreiben, aber irreführend als Schätzung der Gesamtübereinstimmung.

Die Ergebnisse lesen

agreement      = questions where you and the judge picked the same answer
                 ÷ questions you both decided

score gap      = your average − judge's average, per criterion,
                 on the same answers          (|gap| ≥ 1 point → look closer)

• Übereinstimmung mit dem Judge. Rund 80 % oder mehr: Die Gewinnquoten des Judges sind ein verlässlicher Richtwert. Unter etwa 60 %: Verlassen Sie sich bei Entscheidungen nicht allein auf die Zahlen des Judges — prüfen Sie mehr, wechseln Sie das Judge-Modell oder passen Sie an, was es prüfen soll. Bedenken Sie, dass bei zwei zur Auswahl stehenden Antworten ein Münzwurf in der Hälfte der Fälle übereinstimmen würde, sodass 60 % nur geringfügig besser als der Zufall sind.
• Bewertungsdifferenzen. Pro Kriterium Ihr Durchschnitt im Vergleich zu dem des Judges bei denselben Antworten. Eine Differenz von 1 Punkt oder mehr bedeutet, dass der Judge dieses Kriterium anders bewertet als Menschen. Judges sind oft nachsichtig bei der Korrektheit von Produktfakten und streng beim Format.
• Unstimmigkeiten sind die interessanten Elemente. Lesen Sie, warum der Judge anders entschieden hat. Entweder ist es ein Problem des Judges — beheben Sie den Judge — oder ein Datenproblem: Die Referenzantwort selbst war falsch oder veraltet.

Prüfungen in Trainingsdaten umwandeln

• Eine Korrektur wird zur Antwort, auf der trainiert wird (überwachte Daten). Die Antwort, die Ihnen weniger gefallen hat, wird als ihr schlechteres Paar gespeichert, sodass dasselbe Beispiel auch dem Preference Tuning (DPO) dient.
• Ohne Korrektur ist die von Ihnen ausgewählte Antwort die Referenzantwort und die andere ihr schlechteres Paar.
• Unentschieden ohne Korrektur und reine Bewertungen werden nicht exportiert. Ein erneuter Export aktualisiert dieselben Beispiele, anstatt Kopien hinzuzufügen.

{"messages": [
  {"role": "user", "content": "How do I share a report with a client?"},
  {"role": "assistant", "content": "Open the report → Share → pick the client. They get an email link.",
   "rejected": "You can export the report as a PDF and email it.", "rejectedSource": "review"}
]}

Einstellungen und Zahlen

Häufige Fehler

• Die Prüfung mit sichtbaren Modellnamen oder dem Urteil des Judges durchführen und dann den Judge „bestätigen“.
• Die Schätzung der Gesamtübereinstimmung aus einer Warteschlange, die mit Unentschieden und Niederlagen gefüllt ist, anstatt aus einer Zufallsstichprobe.
• A oder B wählen, wenn beide Antworten falsch sind, anstatt eine Korrektur zu schreiben.
• Die Bedeutung der Kriterien auf halbem Weg ändern — aus diesem Grund wird das Bewertungsraster gesperrt.
• Dem Judge die Schuld für jede Unstimmigkeit geben, wenn die Referenzantwort selbst veraltet war.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena↗Zheng et al., 2023 · arXiv · arxiv.orgÜbereinstimmung zwischen Judge und Mensch von über 80 %, etwa auf dem Niveau der Übereinstimmung zwischen Menschen, sowie die Verzerrungen des Judges.
2. 02Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences↗Shankar et al., 2024 · arXiv · arxiv.orgÜberprüfung von LLM-Bewertern anhand menschlicher Bewertungen und wie sich Kriterien verschieben, während Menschen prüfen.
3. 03Cohen's kappa↗Wikipedia · en.wikipedia.orgZufallskorrigierte Übereinstimmung — warum 60 % bei einer binären Auswahl schwach sind.
4. 04Inter-rater reliability↗Wikipedia · en.wikipedia.orgWie die Übereinstimmung zwischen Bewertern gemessen und interpretiert wird.
5. 05Anchoring effect↗Wikipedia · en.wikipedia.orgDer Bias, vor dem die verdeckte Überprüfung schützt.

Verwandte Konzepte