Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen/Modelltraining/Evaluierung

Methode

Ein Modell für sich allein bewerten

Anstatt zwei Antworten zu vergleichen, liest der Bewerter eine Antwort neben der Konversation und Ihrer Referenzantwort und bewertet sie mit 1–5 pro Kriterium. Das Ergebnis ist eine absolute Qualitätsbewertung: keine Gewinner und kein Maß für Verbesserungen.

Kapitel 84 Min. Lesezeit5 Quellen

Was es ist

Eine normale Evaluierung erfolgt paarweise: Zwei Modelle antworten, und der Judge entscheidet, welche Antwort besser ist. Beim Scoring alone (Einzelbewertung) — auch absolute, punktweise oder Single-Answer-Bewertung genannt — entfällt die zweite Antwort. Der Judge liest eine Antwort, gleicht sie mit Ihrer Referenzantwort ab und vergibt für jedes Kriterium eine Punktzahl. Zheng et al. (2023) beschrieben dies neben dem paarweisen Vergleich als eine der Standardmethoden für den Einsatz eines LLM-Judges; MT-Bench nutzt es, um jedem Modell eine einzige Punktzahl zuzuweisen.

In der Praxis greifen Sie darauf zurück, wenn es nichts Sinnvolles zum Vergleichen gibt: Das Basismodell wurde eingestellt, es existiert kein brauchbarer Checkpoint, oder Sie möchten einfach einen absoluten Wert für ein einzelnes Modell.

Wie es funktioniert

was dem Bewerter übergeben wird (vereinfacht)
You are grading one assistant answer.

Conversation so far:   …
Reference answer:      (the reply from your data)
Answer:                (the model's answer)

Score the answer from 1 to 5 on correctness, helpfulness,
tone and format, and give a short reason.
  1. Eine Antwort pro Frage. Das Modell beantwortet jede zurückgehaltene Frage einmal.
  2. Referenzgestützt. Der Judge sieht Ihre tatsächliche Antwort, sodass er Fakten überprüfen kann, die er selbst möglicherweise nicht kennt.
  3. Vier Kriterien, 1–5. Korrektheit, Hilfsbereitschaft, Tonfall und Format — dieselben Kriterien wie bei der Side-by-Side-Bewertung, versehen mit einer kurzen Begründung.
  4. Durchschnittswerte, keine Gewinne. Das Ergebnis ist die Durchschnittsbewertung pro Kriterium und insgesamt. Es gibt keinen Gegner, gegen den man gewinnen könnte.

Ein anderer Maßstab als beim Side-by-Side-Vergleich

Neben einer anderen Antwort bewertet3.5Einzeln bewertet2.5≈ 1 PUNKT · DASSELBE MODELL12345
Anschauliche Punktzahlen für ein Modell, einen Bewerter und dieselben Fragen. Neben einer anderen Antwort gelesen, liegt der Durchschnitt bei etwa 3,5; für sich allein gelesen bei etwa 2,5. Die Diskrepanz resultiert aus dem Versuchsaufbau, nicht aus dem Modell, sodass die Punktzahlen der beiden Aufbauten nicht miteinander verglichen werden können.

Im Side-by-Side-Vergleich ist jede Bewertung teilweise relativ: Der Judge sieht eine zweite Antwort und kalibriert sich daran. Bei der Einzelbewertung hat er nur die Referenz als Maßstab und ist tendenziell strenger. In den eigenen Messungen von Scalata erzielte dasselbe Modell bei denselben Fragen und demselben Judge in der Einzelbewertung etwa einen ganzen Punkt weniger (auf der 1–5-Skala) als bei der Bewertung neben einem früheren Checkpoint. Am Modell selbst hatte sich nichts geändert — nur am Setup.

Die Forschung weist in dieselbe Richtung: Das Protokoll prägt das Ergebnis. Tripathi et al. (2025) fanden heraus, dass paarweise Bewertungen leichter durch oberflächliche Merkmale zu beeinflussen sind — Präferenzen kippten in etwa 35 % der Fälle, gegenüber 9 % bei absoluten Bewertungen —, während Liu et al. (2024) feststellten, dass der paarweise Vergleich besser mit der menschlichen Beurteilung übereinstimmt als das direkte Scoring. Jedes Setup hat seine Stärken; was Sie jedoch nicht tun können, ist, ihre Zahlen zu vermischen.

Was es Ihnen sagen kann und was nicht

FrageEigenständig bewertet?
Wie gut sind die Antworten absolut gesehen?Ja
Welches Kriterium ist am schwächsten?Ja — vergleichen Sie die Durchschnittswerte pro Kriterium
Ist es jetzt besser als vor drei Monaten?Ja, wenn beide einzeln anhand derselben Fragen und mit demselben Judge bewertet wurden
Hat das Training das Basismodell verbessert?Nein — es gibt nichts, womit man es vergleichen könnte
Ist es besser als ein Modell, das Side-by-Side bewertet wurde?Nein — die beiden befinden sich auf unterschiedlichen Skalen
Praxisbeispiel: ein Modell, dessen Basismodell eingestellt wurde (illustrativ)
  1. Ein durch Reinforcement-Learning optimiertes Support-Modell wird allein anhand von 20 zurückgehaltenen Fragen bewertet. Sein Basismodell kann nicht mehr bereitgestellt werden.
  2. Ergebnis: 2,45 / 5 insgesamt — Korrektheit 2,0, Hilfsbereitschaft 2,1, Tonalität 3,0, Format 2,7.
  3. Interpretation: Tonfall und Format sind akzeptabel, der Stil kommt Ihren Antworten also näher als der Inhalt. Die Korrektheit hinkt hinterher: Die Begründungen des Judges weisen auf falsche Menüpfade und erfundene Einstellungen hin. Das Modell kennt das Produkt nicht.
  4. Nächster Schritt: mehr Produktwissen durch überwachte Daten, nicht mehr Reinforcement — Reinforcement schärft das Verhalten, das das Modell bereits aufweist.
  5. Nach einer überwachten Runde wird das neue Modell allein anhand derselben 20 Fragen mit demselben Judge bewertet: 3,3. Dieser Vergleich ist valide, da beide Bewertungen aus demselben Setup stammen.

Optimale Nutzung

  • Halten Sie das Setup konstant, wenn Sie Entwicklungen im Zeitverlauf verfolgen: gleiche Fragen, gleicher Bewerter, gleiche Kriterien. Ändern Sie eines davon, sind frühere Bewertungen nicht mehr vergleichbar.
  • Lesen Sie die Kriterien, nicht nur den Durchschnitt. Eine 2,5, die aus einem starken Tonfall und schwacher inhaltlicher Richtigkeit resultiert, erfordert andere Daten als eine 2,5, die aus dem Gegenteil entsteht.
  • Bevorzugen Sie einen Checkpoint-Vergleich, wenn Sie ein Ranking benötigen, das Modelle direkt gegenüberstellt: So bleibt das Modell auf derselben Skala wie die anderen.

Einstellungen

Eigenständige BewertungTypisch wenn es keinen sinnvollen Vergleichswert gibt#

Bewerten Sie das Modell ohne ein zweites Modell. Nutzen Sie dies, wenn das Basismodell nicht bereitgestellt werden kann und kein nützlicher Checkpoint existiert, oder wenn Sie eine absolute Punktzahl im Zeitverlauf verfolgen möchten.

Häufige Fehler

  • Ein einzeln bewertetes Modell mit Modellen vergleichen, die Side-by-Side bewertet wurden.
  • Einen niedrigen absoluten Wert als „das Training hat es verschlechtert“ interpretieren — es gibt kein Vorher, mit dem man vergleichen könnte.
  • Den Judge oder die Fragen zwischen zwei Durchläufen ändern und dann deren Bewertungen vergleichen.
  • Nur den Gesamtdurchschnitt betrachten und dabei übersehen, welches Kriterium den Wert nach unten zieht.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

  1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgPaarweise, Single-Answer- und referenzgestützte Bewertung im direkten Vergleich.
  2. 02Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based EvaluationTripathi et al., 2025 · arXiv · arxiv.orgWie die Wahl zwischen absolutem und paarweisem Scoring das Ergebnis verändert.
  3. 03Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model EvaluatorsLiu et al., 2024 · arXiv · arxiv.orgArgumente für den paarweisen Vergleich gegenüber dem direkten Scoring.
  4. 04Prometheus: Inducing Fine-grained Evaluation Capability in Language ModelsKim et al., 2023 · arXiv · arxiv.orgAbsolute Bewertung von 1–5 anhand eines Bewertungsschemas und einer Referenzantwort.
  5. 05G-Eval: NLG Evaluation using GPT-4 with Better Human AlignmentLiu et al., 2023 · arXiv · arxiv.orgEine frühe, weit verbreitete Methode zur Bewertung einzelner Ausgaben mit einem LLM.
MethodeLLM-as-a-judgeEin separates Sprachmodell liest die Frage, die Referenzantwort und zwei Antwortkandidaten, bewertet beide und wählt einen Gewinner. Blind eingerichtet, mit gemischter Reihenfolge und einer anderen Modellfamilie, stimmt es mit menschlichen Bewertern etwa so oft überein, wie Menschen untereinander übereinstimmen.KonzeptCheckpoints: Wenn das Basismodell nicht mehr verfügbar istCheckpoints sind Kopien des Modells, die der Anbieter während des Trainings speichert. Wenn das Basismodell nicht mehr bereitgestellt werden kann, zeigt der Vergleich des finalen Modells mit einem früheren Checkpoint, ob die späteren Trainingsschritte geholfen haben.Best PracticeVergleich mehrerer ModelleUm sich zwischen Modellen zu entscheiden — unterschiedliche Anbieter, Methoden oder Basisgrößen —, müssen diese dieselben Fragen beantworten und von demselben Bewerter beurteilt werden. Ein Vergleich führt eine Evaluierung pro Modell auf Basis eines gemeinsamen Fragenkatalogs durch und ordnet sie nach der durchschnittlichen Bewertung.MetrikEvaluierungsergebnisse lesenWie man Gewinnrate, Punktedifferenz und die sekundären Signale einer Evaluierung liest — und wie man bei einer kleinen Anzahl von Fragen eine echte Verbesserung von Rauschen unterscheidet.KonzeptBasis- und Fine-Tuning-Modell im direkten VergleichEine Evaluierung stellt dem Ausgangsmodell und dem trainierten Modell dieselben zurückgehaltenen Fragen und vergleicht deren Antworten, sodass Sie sehen können, ob das Training die Antworten tatsächlich verbessert hat.MethodeSupervised Fine-Tuning (SFT)Supervised Fine-Tuning trainiert ein Modell anhand von Beispielen: Es erhält eine Konversation sowie die gewünschte Antwort, und seine Gewichtungen werden so angepasst, dass diese Antwort Token für Token wahrscheinlicher wird.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren