Die Zahlen
win rate = tuned wins ÷ questions judged
score difference = mean(tuned criteria score) − mean(base criteria score)
decided share = tuned wins ÷ (tuned wins + base wins)- Gewinnquote. Der Anteil der bewerteten Fragen, die das angepasste Modell gewonnen hat. Ein Unentschieden ist für keine Seite ein Gewinn. Bei vielen Unentschieden kann eine Gewinnquote von 45 % also immer noch eine deutliche Verbesserung sein — prüfen Sie, wie oft das Basismodell gewonnen hat.
- Punktedifferenz. Die durchschnittliche Kriterienbewertung (1–5) der angepassten Antworten abzüglich der des Basismodells, insgesamt und pro Kriterium. Sie zeigt, wie viel besser oder schlechter das Modell ist und wo: Richtigkeit, Hilfreichkeit, Tonalität oder Format.
- Ähnlichkeit zur Referenz. Wie nah die Antworten an Ihren ursprünglichen Antworten sind. Eine steigende Ähnlichkeit bedeutet, dass das Modell Ihren Stil übernommen hat; es bedeutet nicht automatisch, dass die Antworten besser sind.
- Länge und Latenz. Wenn das angepasste Modell gewinnt und seine Antworten deutlich länger wurden, liegt der Verdacht auf einen Verbositäts-Bias des Bewerters nahe. Die Latenz ist für den realen Einsatz wichtig: Ein kleineres angepasstes Modell, das mit einem größeren gleichauf liegt, kann dennoch die bessere Wahl sein.
Signal oder Rauschen?
Jede Evaluierung ist eine Stichprobe: Einige Dutzend oder Hundert Fragen stehen stellvertretend für alle Fragen, die Nutzer jemals stellen werden. Führen Sie denselben Vergleich mit einer anderen Stichprobe durch, und die Gewinnquote verschiebt sich. Die Frage lautet nicht „Liegt sie über 50 %?“, sondern „Liegt sie weit genug über 50 %, sodass Zufall als Erklärung unwahrscheinlich ist?“
Ein 95-%-Konfidenzintervall ist der Bereich von Gewinnquoten, der mit Ihren Beobachtungen übereinstimmt. Seine Breite wird hauptsächlich durch die Anzahl der Fragen bestimmt und halbiert sich in etwa jedes Mal, wenn sich die Anzahl der Fragen vervierfacht. Bei 10 Fragen ist eine 6-zu-4-Aufteilung völlig konsistent mit zwei gleichwertigen Modellen; bei 100 Fragen überschreitet eine 60/40-Aufteilung gerade so die Grenze; bei 300 ist sie eindeutig.
Unentschieden erfordern Vorsicht. Wenn der Bewerter viele Unentschieden vergibt, vergleichen Sie Gewinne und Verluste nur bei den entschiedenen Fragen. Das ist der Anteil, der Informationen darüber liefert, welches Modell besser ist.
- Ergebnis: Angepasst gewann 52, Basis gewann 30, 18 Unentschieden. Gewinnquote 52 % — das wirkt wie ein Münzwurf.
- Von den 82 entschiedenen Fragen gewann das angepasste Modell 52, also 63 %. Das 95-%-Konfidenzintervall dafür liegt bei etwa 53–73 %: vollständig über 50 %. Dies ist eine echte Verbesserung.
- Punktedifferenz: +0,6 bei Richtigkeit, +0,4 bei Format, −0,1 bei Tonalität. Der Gewinn liegt in der Substanz, während die Tonalität in etwa gleich bleibt.
- Die Antworten des angepassten Modells umfassen durchschnittlich 95 Wörter gegenüber 160 beim Basismodell. Die Länge ist also nicht der ausschlaggebende Faktor für den Gewinn.
- Analyse der 30 Gewinne des Basismodells: Neun Begründungen erwähnen einen erfundenen Einstellungsnamen. Das ist die nächste Korrektur für den Datensatz und liefert neun Paare für das Training.
Zurückgehaltene vs. Trainingsfragen
Ergebnisse auf dem zurückgehaltenen Testdatensatz sind diejenigen, denen Sie vertrauen können. Validierungsfragen sind eine Stufe schwächer: Das Modell hat nicht von ihnen gelernt, aber der Anbieter hat sie während des Trainings gesehen. Wenn ein Datensatz für beides zu klein war, sind die einzigen verfügbaren Fragen diejenigen, mit denen das optimierte Modell trainiert wurde. Es ruft möglicherweise nur Ihre Referenzantwort ab, sodass es besser abschneidet, als es dies bei neuen Fragen tun wird. Betrachten Sie ein solches Ergebnis als Obergrenze: Wenn das optimierte Modell nicht einmal bei bekannten Fragen gewinnt, wird es dies auch bei neuen nicht tun; wenn doch, wissen Sie immer noch nicht, mit welchem Abstand.
Andere Arten von Ergebnissen
- Gegen einen früheren Checkpoint: Das Ergebnis zeigt, ob die späteren Trainingsschritte geholfen haben. Der letzte Checkpoint ist in der Regel identisch mit dem endgültigen Modell, sodass ein Vergleich damit meist zu Unentschieden führt.
- Einzeln bewertet: Eine absolute Punktzahl von 1–5 ohne Gewinne. Derselbe Bewerter vergibt für eine isoliert gelesene Antwort spürbar niedrigere Punktzahlen als für eine, die im direkten Vergleich gelesen wird. Daher kann ein einzeln bewertetes Modell nicht in eine Rangliste mit Modellen aufgenommen werden, die Seite an Seite beurteilt wurden; ein Modellvergleich führt es separat auf.
- Ein knappes oder überraschendes Ergebnis: Bevor Sie Maßnahmen ergreifen, überprüfen Sie den Bewerter. Personen, die eine Stichprobe blind in einer Annotationswarteschlange überprüfen, zeigen, wie oft sie mit ihm übereinstimmen, und ihre Korrekturen werden zu Trainingsdaten.
Ergebnisse in Maßnahmen umsetzen
| Was Sie sehen | Wahrscheinliche Bedeutung | Nächster Schritt |
|---|---|---|
| Klarer Sieg, Intervall über 50 %, Begründungen zur Richtigkeit | Training war erfolgreich | Behalten; schwächere Varianten archivieren |
| Knapper Sieg bei wenigen Fragen | Ein Hinweis, kein Beweis | Vor weiteren Schritten anhand weiterer Fragen evaluieren |
| Überwiegend Unentschieden | Wenig Veränderung — typisch für kleine Modelle oder leichtes Training | Mehr oder bessere überwachte Daten |
| Optimiertes Modell gewinnt, aber Antworten wurden deutlich länger | Möglicherweise Verzerrung durch Ausführlichkeit | Begründungen lesen; Richtigkeitswerte vergleichen |
| Optimiertes Modell verliert mit Begründungen wie „erfindet Details“ | Hat den Stil ohne das Wissen gelernt | Mehr Daten, kleinere Schritte oder Paare, die Erfindungen bestrafen |
| Die Begründungen des Bewerters stimmen nicht mit Ihrer eigenen Einschätzung überein | Der Bewerter ist bei dieser Aufgabe möglicherweise unzuverlässig | Eine Stichprobe manuell überprüfen und die Übereinstimmung mit dem Bewerter messen |
Häufige Fehler
- 6 von 10 Gewinnen als Verbesserung zu bezeichnen.
- Eine niedrige Gewinnquote als Verlust zu interpretieren, ohne zu prüfen, wie viele Fragen unentschieden waren.
- Eine Bewertung bei Trainingsfragen als Prognose für neue Fragen zu behandeln.
- Einen Gewinn zu feiern, der mit viel längeren Antworten einherging, ohne zu lesen, warum der Bewerter sie bevorzugt hat.
- Den Vergleich von Gewinnquoten zweier Durchläufe, die mit unterschiedlichen Fragensets oder von unterschiedlichen Bewertern evaluiert wurden.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01Adding Error Bars to Evals: A Statistical Approach to Language Model EvaluationsMiller, 2024 · arXiv · arxiv.orgKonfidenzintervalle, paarweise Vergleiche und wie viele Fragen Sie benötigen.
- 02Binomial proportion confidence intervalWikipedia · en.wikipedia.orgDie Mathematik hinter einem Intervall für eine Gewinnrate, einschließlich des in der Abbildung verwendeten Wilson-Intervalls.
- 03Chatbot Arena: An Open Platform for Evaluating LLMs by Human PreferenceChiang et al., 2024 · arXiv · arxiv.orgPaarweise Gewinnraten in sehr großem Maßstab, mit ihrer Unsicherheit.
- 04Length-Controlled AlpacaEval: A Simple Way to Debias Automatic EvaluatorsDubois et al., 2024 · arXiv · arxiv.orgWarum die Länge neben die Gewinnrate gehört.