Basis- und Fine-Tuning-Modell im direkten Vergleich

Was es ist

Das Training liefert Zahlen — Loss, Genauigkeit bei Ihren Paaren, Reward —, die Ihnen zeigen, wie gut das Modell an das Trainingssignal angepasst wurde. Keine davon beantwortet die Frage, die Sie eigentlich interessiert: Sind die Antworten jetzt besser? Ein niedrigerer Loss kann entstehen, wenn das Modell Formulierungen genauer kopiert, aber Fakten falsch wiedergibt; ein Preference Run kann die Genauigkeit bei Ihren Paaren erhöhen, während die Antworten länger und unpräziser werden.

Eine Evaluierung misst dies direkt. Zwei Modelle beantworten dieselbe Gruppe von Testfragen — das Modell, mit dem das Training begann, und das trainierte Modell —, und die Antworten werden Frage für Frage verglichen.

Wie es funktioniert

1. Testfragen. Standardmäßig stammt jede aus dem zurückgehaltenen Test-Set: eine Konversation, die sowohl vom Training als auch von der Validierung getrennt gehalten und bis zu einer ihrer Antworten abgefragt wurde. Kein Modell wurde damit trainiert, und der Anbieter hat sie nie gesehen.
2. Referenzantwort. Die ursprüngliche Antwort aus Ihren Daten. Sie ist keine perfekte Antwort, zeigt aber, was Ihr Team als richtig erachtete.
3. Zwei Antworten pro Frage. Beide Modelle antworten mit denselben Einstellungen, sodass der einzige Unterschied in den Gewichten liegt.
4. Ein Vergleich. Meist wählt ein LLM-Judge die bessere Antwort und bewertet beide, ergänzt durch kostengünstigere Signale wie Ähnlichkeit zur Referenz, Länge und Latenz.

Der Vergleich erfolgt paarweise: Jede Frage wird von beiden Modellen beantwortet, und das Ergebnis bezieht sich auf den Unterschied bei dieser Frage. Das ist statistisch von Bedeutung. Einige Fragen sind einfach und andere schwer; würde man jedes Modell separat bei unterschiedlichen Fragen bewerten, würde sich diese Schwierigkeit in das Ergebnis einmischen. Ein Vergleich bei derselben Frage hebt dies auf, sodass eine paarweise Evaluierung weniger Fragen benötigt, um dieselbe Verbesserung zu erkennen.

Woher die Fragen stammen

Ein Modell, das anhand von Fragen bewertet wird, mit denen es trainiert wurde, wirkt besser, als es ist. Daher wird bei der Datenaufbereitung zunächst ein Test-Set zurückbehalten: 10 % der Konversationen, mindestens 3, zufällig ausgewählt, aber für diese Aufbereitung festgelegt, und nur, wenn der Datensatz mindestens 10 Konversationen umfasst. Jede Antwort in einer Testkonversation wird zu einer Frage, die zusammen mit der Konversation bis zu diesem Punkt gestellt wird. Eine Testantwort, die Wort für Wort mit einer Trainingsantwort übereinstimmt, wird verworfen, da das Modell sie praktisch schon gesehen hat. Das Validierungs-Set ist anders: Es wird an den Anbieter gesendet, um das Training zu überwachen, und ist daher kein reiner Test.

Möglichkeiten, Antworten zu vergleichen

Öffentliche Benchmarks messen die allgemeine Leistungsfähigkeit. Beim Fine-Tuning geht es um Ihre Aufgabe, daher sind Ihre eigenen zurückgehaltenen Konversationen ein weitaus besserer Test als ein Leaderboard-Score.

Evaluierung einer Kette von Durchläufen

Wenn ein Durchlauf auf einem früheren Durchlauf aufbaut — zum Beispiel ein Preference Run nach einem Supervised Run —, ist die „Basis“-Seite der Evaluierung dieser frühere Durchlauf, nicht das ursprüngliche Basismodell. Ein Vergleich mit dem Original würde zwei Schritte vermischen: Sie könnten nicht feststellen, ob der Preference-Schritt geholfen hat oder lediglich die Fortschritte des Supervised-Schritts übernommen wurden. Wenn jedes Glied einzeln beurteilt wird, beantwortet jedes Ergebnis eine Frage: Hat dieser Schritt geholfen?

Wenn es kein Basismodell zum Vergleich gibt oder mehrere Modelle vorliegen

• Ein früherer Checkpoint. Anbieter mustern Basismodelle aus, und sobald ein Basismodell nicht mehr bereitgestellt werden kann, ist ein direkter Vergleich unmöglich. Das finale Modell kann stattdessen mit einem Checkpoint verglichen werden, der auf halbem Weg desselben Durchlaufs gespeichert wurde. Dies beantwortet die Frage „Haben die späteren Trainingsschritte geholfen?“, nicht „Ist es besser als das ursprüngliche Modell?“.
• Reines Scoring. Der Judge liest die Konversation, Ihre Antwort und eine weitere Antwort und vergibt 1–5 Punkte pro Kriterium. Es gibt keine Gewinner: Es ist ein absoluter Qualitätswert, der für das Tracking oder Ranking von Modellen nützlich ist, aber keine Verbesserung gegenüber einem Basismodell aufzeigen kann.
• Ein Modellvergleich. Um zwischen mehreren Modellen zu wählen, beantworten alle exakt dieselben Fragen, werden demselben Judge vorgelegt und nach der durchschnittlichen Judge-Bewertung in eine Rangfolge gebracht. Andernfalls liegen die Bewertungen nicht auf derselben Skala.

Häufige Fehler

• Eine fallende Loss-Kurve als Beweis dafür zu betrachten, dass sich die Antworten verbessert haben.
• Die Evaluierung anhand von Fragen durchzuführen, mit denen das Modell trainiert wurde, und das Ergebnis als reale Leistung zu interpretieren.
• Einen fortgesetzten Durchlauf mit dem ursprünglichen Basismodell zu vergleichen, was verbirgt, ob der letzte Schritt geholfen hat.
• Die Generierungseinstellungen zwischen den beiden Seiten zu ändern, sodass der Vergleich eher die Einstellungen als die Gewichte misst.
• Eine Evaluierung durchführen und anhalten: Die Begründungen des Judges sind der Tarif für die nächste Datenrunde.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

1. 01A Survey on Evaluation of Large Language Models↗Chang et al., 2023 · arXiv · arxiv.orgEin Überblick darüber, was, wo und wie evaluiert werden sollte.
2. 02Holistic Evaluation of Language Models↗Liang et al., 2022 · arXiv · arxiv.orgWarum eine einzige Zahl nie ausreicht: die Messung vieler Qualitäten über viele Szenarien hinweg.
3. 03Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena↗Zheng et al., 2023 · arXiv · arxiv.orgDas Paper, das die paarweise LLM-Bewertung für offene Antworten etabliert hat.
4. 04Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations↗Miller, 2024 · arXiv · arxiv.orgWarum paarweise Vergleiche bei denselben Fragen präziser sind.

Verwandte Konzepte