Was die Kurven zeigen
Während ein Job läuft, zeichnet der Anbieter den Verlust auf, die durchschnittliche Kreuzentropie der Ziel-Token im Zeitverlauf. Zwei Kurven sind entscheidend, und einige Anbieter fügen eine dritte Zahl hinzu.
- Der Trainingsverlust wird an den Batches gemessen, mit denen trainiert wird, normalerweise bei jedem Schritt. Er schwankt, da jeder Batch anders ist: Ein Batch mit kurzen, formelhaften Antworten erzielt einen niedrigeren Wert als einer mit langen, ungewöhnlichen Antworten.
- Der Validierungsverlust wird in regelmäßigen Abständen, alle N Schritte oder einmal pro Epoche, am zurückgehaltenen Validierungs-Set gemessen, ohne dass die Gewichte aktualisiert werden. Er verwendet jedes Mal dieselben Beispiele, verläuft daher glatter und ist der ehrlichere Wert: Das Modell hat nie aus ihnen gelernt.
- Die Token-Genauigkeit, die von einigen Anbietern gemeldet wird, ist der Anteil der Ziel-Token, die die beste Schätzung des Modells exakt richtig getroffen hat. Sie bewegt sich in die entgegengesetzte Richtung zum Verlust und ist leichter zu lesen, aber gröber.
Was die Zahlen bedeuten
Die Kreuzentropie wird mit dem natürlichen Logarithmus gemessen. Ein Verlust von L pro Token bedeutet, dass das Modell dem korrekten nächsten Token eine Wahrscheinlichkeit von etwa e hoch −L zugewiesen hat, im geometrischen Sinne gemittelt. Dadurch lassen sich einige Werte leicht veranschaulichen.
| Verlust pro Token | Wahrscheinlichkeit des richtigen Tokens | Ungefähr |
|---|---|---|
| 2,3 | Etwa 0,10 | Oft unsicher; viele plausible Fortsetzungen |
| 1,0 | Etwa 0,37 | Im Durchschnitt ziemlich sicher |
| 0,5 | Etwa 0,61 | Sagt den Stil und die Formulierung gut voraus |
| 0,1 | Etwa 0,90 | Fast Wort für Wort; bei Trainingsdaten oft ein Zeichen für Auswendiglernen |
Das absolute Niveau hängt stark von den Daten ab. Freie, vielfältige Antworten haben eine hohe Untergrenze, da viele verschiedene Antworten gleich gut sind; vorlagenbasierte Antworten können sehr niedrig ausfallen, ohne dass etwas falsch ist. Vergleichen Sie daher Kurven innerhalb eines Durchlaufs und zwischen Durchläufen mit demselben Basismodell und denselben Daten, anstatt sie mit einer Zahl von anderswo zu vergleichen. Unterschiedliche Basismodelle verwenden unterschiedliche Tokenizer, was ihre Verluste unvergleichbar macht.
Muster und Handlungsempfehlungen
| Was Sie sehen | Bedeutung | Was zu tun ist |
|---|---|---|
| Beide fallen am Ende noch | Lernt noch | Mehr Epochen könnten helfen |
| Training fällt, Validierung flacht ab | Genau richtig | Hier anhalten |
| Training fällt, Validierung steigt | Overfitting: Auswendiglernen Ihrer Beispiele | Weniger Epochen, eine niedrigere Lernrate, vielfältigere Daten |
| Keines von beiden fällt stark | Underfitting oder inkonsistente Daten | Datenqualität prüfen; Epochen oder Lernrate leicht erhöhen |
| Zackiger Trainingsverlust mit Spitzen | Lernrate zu hoch | Senken; Warm-up hinzufügen |
| Trainingsverlust fällt stufenweise an jeder Epochengrenze | Das Modell erkennt Beispiele aus der vorherigen Epoche wieder | Ein frühes Zeichen für Auswendiglernen; Validierungsverlust beobachten |
| Validierungsverlust von Anfang an weit unter dem Trainingsverlust | Das Validierungsset ist einfacher oder überschneidet sich mit dem Training | Aufteilung auf gemeinsame oder fast identische Konversationen prüfen |
- Setup: 1.200 Trainingskonversationen, 130 zurückgehalten, Batch-Größe 8, 3 Epochen: 150 Schritte pro Epoche, insgesamt 450.
- Epoche 1: Trainingsverlust sinkt von 1,6 auf 0,9, Validierungsverlust von 1,5 auf 0,95. Beide sinken: Das Modell lernt.
- Epoche 2: Trainingsverlust erreicht 0,6; Validierungsverlust erreicht seinen Tiefpunkt bei 0,85 um Schritt 250.
- Epoche 3: Trainingsverlust sinkt weiter auf 0,35, aber Validierungsverlust steigt wieder auf 1,0. Die Lücke wird größer: Das Modell lernt auswendig.
- Fazit: Das beste Modell lag nahe Schritt 250, früh in Epoche 2. Führen Sie den Durchlauf mit 2 Epochen erneut aus oder verwenden Sie einen Checkpoint von diesem Zeitpunkt, falls der Anbieter einen speichert, und evaluieren Sie es gegen das Basismodell.
Was der Verlustwert nicht aussagt
Der Verlust misst, für wie wahrscheinlich das Modell Ihre Zielantworten hält, Token für Token. Er misst nicht, ob eine Antwort korrekt, hilfreich oder sicher ist. Ein Modell kann seinen Verlust verringern, indem es Ihre Formulierung und Formatierung übernimmt, während es Fakten immer noch falsch wiedergibt, und ein Modell mit einem etwas höheren Validierungsverlust kann bessere Antworten liefern. Nutzen Sie die Kurven, um Epochen und Lernrate auszuwählen und Probleme zu erkennen; nutzen Sie eine Evaluierung, bei der Sie Antworten des feinabgestimmten Modells und des Basismodells direkt vergleichen, um zu entscheiden, ob das Modell tatsächlich besser ist.
Häufige Fehler
- Den Durchlauf mit dem niedrigsten Trainingsverlust auszuwählen. Dieser weist in der Regel das stärkste Overfitting auf.
- Auf einzelne schwankende Punkte in der Trainingskurve zu reagieren anstatt auf den Trend.
- Verluste über verschiedene Basismodelle, Tokenizer oder Datensätze hinweg zu vergleichen.
- Eine fehlende Validierungskurve als unproblematisch zu betrachten. Ohne zurückgehaltene Daten ist Overfitting unsichtbar.
- Sich nur auf die Kurven zu verlassen. Eine gut aussehende Kurve erfordert dennoch eine Evaluierung echter Antworten.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01Overfitting: Interpreting loss curvesGoogle Machine Learning Crash Course · developers.google.comEine Galerie echter Verlustkurvenformen, jeweils mit ihrer wahrscheinlichen Ursache.
- 02OverfittingGoogle Machine Learning Crash Course · developers.google.comWie Trainings- und Validierungsverlust auseinanderlaufen und was diese Divergenz bedeutet.
- 03Cross-entropyWikipedia · en.wikipedia.org
- 04A full training loopHugging Face LLM Course · huggingface.coWoher Trainings- und Evaluierungsverlust in einer echten Trainingsschleife stammen.