Was es ist
Eine einzelne Evaluierung beantwortet die Frage: „Hat dieser Trainingslauf geholfen?“. Früher oder später stellt sich Ihnen eine andere Frage: Welches dieser Modelle sollten wir verwenden? Vielleicht ein destilliertes Open-Weight-Modell, ein durch Reinforcement Learning optimiertes Modell bei einem Anbieter und ein durch Präferenzen optimiertes Modell bei einem anderen. Deren separate Evaluierungen können diese Frage nicht beantworten, da jede ihre eigenen Fragen und vielleicht ihren eigenen Bewerter verwendet hat — und eine 4,0 aus einem Setup ist nicht gleichbedeutend mit einer 4,0 aus einem anderen.
Ein Vergleich legt die Bedingungen fest, damit die Zahlen vergleichbar werden. Es ist dasselbe Prinzip wie bei öffentlichen Bestenlisten wie HELM und Chatbot Arena — ein gemeinsamer Test, der auf jeden Teilnehmer auf die gleiche Weise angewendet wird —, nur herunterskaliert auf Ihre eigenen Fragen.
Funktionsweise
- Die Fragen einmalig auswählen: die zurückgehaltenen Testfragen einer Aufbereitung, deren Validierungsfragen oder ein Datensatz.
- Eine Evaluierung pro Modell durchführen, und zwar für genau diese Fragen, wobei jedes Modell weiterhin mit seinem eigenen Basismodell (oder einem Checkpoint, oder einzeln bewertet) verglichen wird.
- Die Modelle in eine Rangfolge bringen, basierend auf ihrer durchschnittlichen Bewerter-Punktzahl, und die Antwort jedes Modells pro Frage neben der Referenz anzeigen.
answer score = mean(correctness, helpfulness, tone, format) 1–5
model score = mean of its answer scores over the shared questions
ranking = models judged the same way, highest model score firstDie Rangliste ist die Zusammenfassung; in der Ansicht pro Frage gewinnen Sie die eigentlichen Erkenntnisse. Wenn Sie die Antwort jedes Modells auf dieselbe Frage neben Ihrer Referenz sehen, erkennen Sie, was selbst das beste Modell noch falsch macht und ob der Abstand zwischen zwei Modellen auf wenige Fragen oder auf alle zurückzuführen ist.
Faire Fragen
| Fragenquelle | Fair, wenn |
|---|---|
| Die zurückgehaltenen Testfragen einer Aufbereitung | Jedes Modell wurde mit dieser Aufbereitung trainiert. Ein Modell, das mit einer anderen Aufbereitung trainiert wurde, hat möglicherweise einige davon bereits gesehen. |
| Die Validierungsfragen einer Aufbereitung | Wie oben, und keines der Modelle hat aus ihnen gelernt — obwohl der Anbieter sie während des Trainings gesehen hat. |
| Ein Datensatz | Keines der verglichenen Modelle wurde damit trainiert. |
| Eine Trainingsstichprobe | Niemals: Sie bevorzugt immer das Modell, aus dem sie stammt. |
Nebeneinander vs. einzeln: zwei Skalen
Derselbe Bewerter vergibt für eine isoliert gelesene Antwort spürbar niedrigere Punktzahlen als für eine gleichartige Antwort, die neben einer anderen gelesen wird — nach den Messungen von Scalata etwa einen ganzen Punkt auf der 1–5-Skala für dasselbe Modell. Daher reiht ein Vergleich nur Modelle aneinander, die auf die gleiche Weise bewertet wurden. Ein einzeln bewertetes Modell wird separat aufgeführt und als nicht vergleichbar markiert. Um ein Modell, dessen Basismodell nicht mehr vorhanden ist, in der Rangliste zu behalten, vergleichen Sie es stattdessen mit einem seiner Checkpoints.
Unabhängigkeit des Judges
Verwenden Sie keines der verglichenen Modelle — oder dessen Basismodell — als Bewerter. Bewerter stufen Texte, die nach ihrem eigenen Schreibstil klingen, höher ein, sodass die eigene Modellfamilie des Bewerters einen stillschweigenden Vorsprung erhielte. Wählen Sie einen Bewerter aus einer Familie, der keiner der Teilnehmer angehört, und behalten Sie diesen für den gesamten Vergleich bei.
Kosten und Zeit
Ein Vergleich kostet die Summe seiner Evaluierungen: die Antworten jedes Modells, die Antworten seiner Baseline und die Entscheidungen des Bewerters, zuzüglich der Hosting-Kosten, falls ein Modell ein temporäres Deployment benötigt.
- Die Fragen: 30 zurückgehaltene Testfragen aus dem Data Prep, mit dem alle drei Modelle trainiert wurden. Der Judge: ein Modell aus einer vierten Familie.
- Modell A, destilliert aus einem größeren Modell, wird gegen sein Basismodell evaluiert. Modell B, durch Reinforcement Learning optimiert, hat ein ausgemustertes Basismodell und wird daher mit einem früheren Checkpoint verglichen. Modell C, durch Preference Tuning optimiert, wird gegen sein Supervised-Vorgängermodell evaluiert.
- Ranking nach durchschnittlicher Judge-Bewertung: C 4,2, B 3,9, A 3,4. Ein viertes Modell, D, konnte nur einzeln bewertet werden (2,9); es wird separat als nicht vergleichbar aufgeführt.
- C führt vor B mit 0,3 bei 30 Fragen — ein moderater Abstand. Die Ansicht pro Frage zeigt, dass C bei den meisten Abrechnungsfragen vorne liegt und ansonsten gleichauf ist. Der Vorsprung ist also breit gefächert und resultiert nicht nur aus ein oder zwei Fragen.
- Ein Blick auf die Fragen, bei denen C am schlechtesten abgeschnitten hat, zeigt, was selbst das beste Modell noch falsch macht: Zwei Antworten nennen eine Berichtseinstellung, die umbenannt wurde. Das ist das Material für die nächste Datenrunde.
Einstellungen
Der gemeinsame Fragenkatalog, den jedes Modell beantwortet. Wählen Sie einen, der für alle neu ist: in der Regel die zurückgehaltenen Testfragen der Aufbereitung, mit der sie trainiert wurden.
Ein Bewerter-Modell für den gesamten Vergleich. Es sollte aus einer Familie stammen, der keines der verglichenen Modelle oder deren Basismodelle angehört.
Häufige Fehler
- Modelle aus separaten Evaluierungen in eine Rangliste aufnehmen, bei denen unterschiedliche Fragen oder Bewerter verwendet wurden.
- Zurückgehaltene Fragen aus einer Aufbereitung für ein Modell verwenden, das mit einer anderen trainiert wurde und diese möglicherweise bereits gesehen hat.
- Ein einzeln bewertetes Modell in einer Rangliste mit Modellen vergleichen, die im direkten Vergleich (Side-by-Side) bewertet wurden.
- Einen der Teilnehmer oder dessen Basismodell als Bewerter fungieren lassen.
- Einen Gewinner aufgrund von wenigen Zehntelpunkten küren, ohne die Antworten auf die einzelnen Fragen zu lesen.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01Holistic Evaluation of Language ModelsLiang et al., 2022 · arXiv · arxiv.orgDer Vergleich vieler Modelle unter denselben Szenarien und Metriken, damit die Ergebnisse vergleichbar sind.
- 02Chatbot Arena: An Open Platform for Evaluating LLMs by Human PreferenceChiang et al., 2024 · arXiv · arxiv.orgDie Erstellung einer Rangliste vieler Modelle anhand paarweiser Bewertungen bei gemeinsamen Prompts.
- 03LLM Evaluators Recognize and Favor Their Own GenerationsPanickssery et al., 2024 · arXiv · arxiv.orgWarum der Bewerter keiner der Teilnehmer sein darf.
- 04Adding Error Bars to Evals: A Statistical Approach to Language Model EvaluationsMiller, 2024 · arXiv · arxiv.orgWarum ein kleiner Abstand zwischen zwei Modellen bei wenigen Fragen Rauschen sein kann.