Was es ist
Während des Trainings speichert der Anbieter das Modell an einigen Punkten — manche Anbieter am Ende jeder Epoche, andere bei festen Schritten wie Schritt 5 und Schritt 10 eines 10-stufigen Laufs. Jede gespeicherte Kopie ist ein Checkpoint: ein vollständiges, feinabgestimmtes Modell, das bereitgestellt und dem wie jedem anderen Modell Fragen gestellt werden können. Der letzte Checkpoint ist in der Regel identisch mit dem finalen Modell.
Checkpoints sind am wichtigsten, wenn die normale Evaluierung nicht mehr funktioniert. Eine Side-by-Side-Evaluierung erfordert, dass das Basismodell und das trainierte Modell gleichzeitig ausgeführt werden. Anbieter stellen Modelle nach einem Zeitplan ein, und sobald ein Modell als abgekündigt markiert ist, sind keine neuen Bereitstellungen mehr zulässig — oft Wochen vor dem offiziellen Einstellungsdatum. Modelle, die bereits darauf trainiert wurden, lassen sich möglicherweise noch bereitstellen; das Basismodell selbst nicht mehr. Der direkte Vergleich mit dem Basismodell entfällt, und es bleiben zwei Alternativen: der Vergleich mit einem früheren Checkpoint oder die isolierte Bewertung des Modells.
Wie der Vergleich funktioniert
Das finale Modell und ein früherer Checkpoint desselben Laufs beantworten dieselben zurückgehaltenen Fragen, und der Judge vergleicht sie blind, genau wie er das abgestimmte Modell und das Basismodell vergleichen würde. Der Unterschied liegt in der Bedeutung des Ergebnisses. Der frühe Checkpoint enthält bereits den ersten Teil des Trainings, sodass der Vergleich die Schritte zwischen dem Checkpoint und dem Ende isoliert.
| Vergleich | Antworten | Antwortet nicht |
|---|---|---|
| Final vs. Basismodell | Hat das Training überhaupt geholfen? | Welcher Teil des Trainings geholfen hat |
| Final vs. früher Checkpoint | Haben die späteren Schritte geholfen? | Ob das Modell das Original übertrifft |
| Finaler vs. letzter Checkpoint | Fast nichts: Es handelt sich in der Regel um dasselbe Modell | Irgendetwas Nützliches — erwarten Sie meistens Gleichstände |
| Einzeln bewertet | Wie gut sind die Antworten absolut gesehen? | Jegliche Verbesserung gegenüber einem anderen Modell |
Das Ergebnis interpretieren
- Final gewinnt eindeutig. Die späteren Schritte haben einen echten Mehrwert gebracht. Die volle Länge des Laufs hat sich gelohnt.
- Überwiegend Unentschieden, nahezu gleiche Durchschnitte. Die späteren Schritte haben wenig verändert. Ein kürzerer Lauf — weniger Schritte oder Epochen — hätte wahrscheinlich genauso gut abgeschnitten, und das zu einem Bruchteil der Trainingskosten. Wenn die zurückgehaltenen Prüfungen während des Trainings bis zum Checkpoint ebenfalls abgeflacht sind, stimmen die beiden Signale überein.
- Der Checkpoint gewinnt. Das Training über diesen Punkt hinaus hat die Antworten verschlechtert, ein klassisches Zeichen für Overfitting: Das Modell hat sich früh verbessert und dann begonnen, auswendig zu lernen. Trainieren Sie beim nächsten Mal über weniger Schritte oder Epochen.
Kosten und Zeit
Jeder Checkpoint ist ein eigenes feinabgestimmtes Modell und benötigt daher eine eigene gehostete Bereitstellung. Während der Evaluierung werden sowohl das finale Modell als auch der Checkpoint bereitgestellt und jeweils pro Stunde abgerechnet, sodass das Hosting doppelt bezahlt wird. Bei einer kleinen Evaluierung besteht die Rechnung hauptsächlich aus Hosting-Zeit, nicht aus Token.
Reasoning-Modelle antworten langsam. Modelle, die vor dem Antworten nachdenken, können etwa eine Minute pro Fragenpaar benötigen, während ein reguläres Chat-Modell eine komplette kleine Evaluierung in ein oder zwei Minuten beantwortet. Zwanzig Fragen können dann zwei Bereitstellungen für eine Viertelstunde oder länger am Laufen halten — und die Hosting-Zeit und damit die Kosten steigen entsprechend.
- Ein 10-stufiger Reinforcement-Lauf wurde auf einem Reasoning-Modell abgeschlossen, das inzwischen als abgekündigt markiert wurde. Das trainierte Modell lässt sich weiterhin bereitstellen; das Basismodell nicht mehr.
- Der Anbieter hat Checkpoints bei Schritt 5 und Schritt 10 gespeichert. Schritt 10 ist das finale Modell, daher lautet der Vergleich Final vs. Schritt 5, basierend auf 24 zurückgehaltenen Testfragen.
- Ergebnis: Final gewinnt 6, Schritt 5 gewinnt 7, 11 Unentschieden. Die durchschnittlichen Bewertungen des Judges liegen für beide bei 3,6.
- Interpretation: Die Schritte 6–10 haben fast nichts verändert, und die zurückgehaltenen Prüfungen während des Trainings waren bis Schritt 5 ebenfalls abgeflacht. Ein 5-stufiger Lauf hätte wahrscheinlich genauso gut abgeschnitten, bei etwa der Hälfte der Trainingskosten.
- Kosten: Zwei Bereitstellungen liefen etwa 25 Minuten lang, da das Reasoning-Modell langsam antwortet. Der Großteil der Evaluierungskosten entfällt auf das Hosting. Um herauszufinden, wie gut das Modell in absoluten Zahlen ist, besteht der nächste Schritt darin, es isoliert zu bewerten.
Einstellungen
Welcher gespeicherte Punkt desselben Durchlaufs die „Basis“-Rolle übernimmt. Ein früher oder mittlerer Checkpoint isoliert, was die späteren Schritte hinzugefügt haben; der letzte Checkpoint ist in der Regel das finale Modell und liefert meistens Gleichstände.
Häufige Fehler
- Der Vergleich mit dem letzten Checkpoint und die Interpretation der Unentschieden als „Das Training hat nichts bewirkt“.
- Einen Sieg über einen frühen Checkpoint als Beweis dafür zu interpretieren, dass das Modell das ursprüngliche Basismodell übertrifft.
- Zu vergessen, dass beide Seiten bereitgestellt werden: Das Hosting wird doppelt bezahlt.
- Die Evaluierung aufzuschieben, bis das Basismodell eingestellt wird — vergleichen Sie mit dem Basismodell, solange es noch bereitgestellt werden kann.
- Ein Unentschieden mit dem Checkpoint zu ignorieren, anstatt den nächsten Lauf zu verkürzen.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01Supervised fine-tuningOpenAI API docs · developers.openai.comWie ein Anbieter während des Trainings nutzbare Checkpoints speichert und warum ein früherer das bessere Modell sein kann.
- 02Foundry Models lifecycle and support policyMicrosoft Learn · learn.microsoft.comWas „veraltet“ und „eingestellt“ für die Erstellung neuer Deployments eines Modells bedeuten.
- 03DeprecationsOpenAI API docs · developers.openai.comDer veröffentlichte Zeitplan eines Anbieters für die Abschaltung von Modellen.
- 04Early stoppingWikipedia · en.wikipedia.orgWarum längeres Training ein Modell bei neuen Daten verschlechtern kann und wie man erkennt, wann man aufhören sollte.