Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen/Modelltraining/Trainingsmethoden

Methode

Fortsetzen eines trainierten Modells

Ein Trainingsdurchlauf kann mit den Gewichtungen eines Ihrer früheren Durchläufe anstelle des Basismodells beginnen. So behält das Modell das bereits Gelernte bei und ergänzt es um das Wissen aus den neuen Daten. Auf diese Weise werden mehrstufige Rezepte aufgebaut, wie beispielsweise Supervised- gefolgt von Preference-Tuning.

Kapitel 75 Min. Lesezeit5 Quellen

Was es ist

Ein Durchlauf beginnt normalerweise mit dem Basismodell, also dem von Ihnen gewählten vortrainierten Modell. Ein fortgesetzter Durchlauf beginnt stattdessen mit den Gewichtungen, die ein früherer Durchlauf von Ihnen erzeugt hat, und die neuen Daten werden auf Basis dessen gelernt, was dieser Durchlauf bereits gelernt hat. Dies wird auch als Warm Start, Continued Fine-Tuning oder Continuous Fine-Tuning bezeichnet. Das zugrunde liegende Basismodell ändert sich nicht, sodass das Kontextfenster, der Preis pro Token und der Anbieter gleich bleiben.

Basismodellvortrainiert
→evaluiert gegen basismodellÜberwachter Lauflernt die Aufgabe
→evaluiert gegen überwachter laufPräferenzlaufverfeinert Antworten
Jedes Glied in einer Kette beginnt mit den Gewichten, die das vorherige Glied erzeugt hat, und wird gegen dieses Elternteil evaluiert, sodass ein Ergebnis immer misst, was dieser Schritt hinzugefügt hat.

Warum Durchläufe verketten

Unterschiedliche Methoden vermitteln unterschiedliche Fähigkeiten. Die besten Ergebnisse erzielen Sie in der Regel, wenn Sie diese nacheinander anwenden und dabei jeweils auf dem vorherigen Ergebnis aufbauen.

KetteWas jeder Schritt beiträgtWarum diese Reihenfolge
Supervised → Präferenz (DPO)Die Aufgabe, dann ein bevorzugter StilDPO bewertet Antworten, die das Modell bereits geben kann; bei einem reinen Basismodell sind beide Antworten oft gleichermaßen uninformiert
Supervised → Reinforcement (RFT)Die Aufgabe, dann eine höhere TrefferquoteRL verstärkt nur Antworten, die das Modell zumindest manchmal richtig beantwortet
Destillation → SupervisedDas Wissen des Lehrers, dann der Stil Ihres TeamsDestillation vermittelt die Gewohnheiten des Lehrers; Ihre Antworten sind nicht das Ziel
Supervised → SupervisedMehr Wissen: ein neuer Produktbereich, mehr ChatsVermeidet ein komplettes Neutraining von Grund auf
Supervised → DPO → Supervised → DPONeues Wissen für ein verfeinertes Modell, dann erneute VerfeinerungIntensives Supervised-Training kann die Präferenzverfeinerung wieder abschwächen
Fortgesetztes Pre-Training → SupervisedWissen aus Ihren Dokumenten, dann die Art und Weise, wie damit geantwortet wirdDas Training mit Rohtexten vermittelt Fakten, kein Verhalten; Chats oder generierte Q&A lehren anschließend das Antworten

Wie es im Hintergrund funktioniert

Offenes Modell mit einem LoRA-Adapter
Basisgewichte W+Adapter aus Durchlauf 1→zusammengeführtes Modell W₁W₁ = W + B₁A₁→Durchlauf 2 trainiert einen neuen Adapter auf W₁→erneut zusammengeführt, als vollständiges Modell gespeichert
Gehostetes Modell
Ihr feinabgestimmtes Modell (nach ID)→ein neuer Job nutzt es für einen Warmstart→ein neues feinabgestimmtes Modell

Gleicher Anbieter, gleiches Basismodell und manchmal dieselbe Trainingsstufe wie der Durchlauf, auf dem es aufbaut.

Zwei Wege, wie ein Durchlauf auf einem früheren aufbaut. In beiden Fällen beginnt das neue Training mit den Gewichten, die der vorherige Durchlauf erzeugt hat, und niemals mit dem reinen Basismodell.

Gehostete Modelle. Der Anbieter setzt einen neuen Job auf Basis Ihres zuvor feinabgestimmten Modells (identifiziert durch seine ID) fort oder führt einen Warm Start mit dessen gespeichertem Adapter durch. Es gelten die Regeln des Anbieters: dasselbe Basismodell und bei einigen Anbietern dieselbe Trainingsstufe, die im vorherigen Durchlauf verwendet wurde.

Offene Modelle, die mit LoRA trainiert wurden. Ein LoRA-Durchlauf verändert die Basisgewichtungen W nicht; er trainiert einen kleinen Adapter, dessen Produkt B·A zu diesen addiert wird. Um fortzufahren, wird der frühere Adapter zunächst mit dem Basismodell zusammengeführt (merged), W₁ = W + B₁A₁ (skaliert um den α/r-Faktor des Adapters), was ein gewöhnliches Modell ergibt. Der neue Durchlauf trainiert einen frischen Adapter auf W₁, und am Ende wird auch dieser Adapter zusammengeführt und das Ergebnis als vollständiges Modell gespeichert.

Einen LoRA-Adapter vor dem Fortsetzen zusammenführen
run 1 (LoRA):   W  stays frozen, adapter B₁A₁ is trained
merge:          W₁ = W + (α / r) · B₁A₁               # one ordinary model again
run 2 (LoRA):   W₁ stays frozen, adapter B₂A₂ is trained
merge + save:   W₂ = W₁ + (α / r) · B₂A₂              # saved as a complete model

Das vorherige Zusammenführen ist wichtig, da ein Adapter eine Korrektur für die Gewichtungen lernt, auf denen er aufsetzt. Wenn der neue Adapter auf W₁ trainiert wird, baut er auf dem Verhalten des ersten Durchlaufs auf, anstatt damit zu konkurrieren.

Vergessen: Was neues Training rückgängig machen kann

Das Training mit neuen Daten kann überschreiben, was ein Netzwerk zuvor gelernt hat – ein Effekt, der als Catastrophic Forgetting bekannt ist. Luo et al. (2023) beobachteten dies bei Sprachmodellen mit 1 bis 7 Milliarden Parametern während des kontinuierlichen Instruction Tunings. Dies geschieht auch zwischen Ihren eigenen Durchläufen: Ein umfangreiches neues Supervised-Training auf einem per Preference-Tuning optimierten Modell führt dazu, dass es wieder stärker Beispielantworten kopiert, was den Feinschliff des Preference-Tunings teilweise zunichtemachen kann.

  • Halten Sie jeden Schritt fokussiert. Ein kurzer Präferenzdurchgang nach einem neuen Supervised-Training stellt den Feinschliff kostengünstiger wieder her als ein riesiger, kombinierter Durchlauf.
  • LoRA hilft. Biderman et al. (2024) stellten fest, dass LoRA in einer neuen Domäne weniger lernt als ein vollständiges Fine-Tuning, aber auch weniger vom Alten vergisst: ein nützlicher Kompromiss, wenn das Ziel darin besteht, Wissen hinzuzufügen und nicht zu ersetzen.
  • Mischen Sie frühere Daten bei, wenn Sie neues Wissen hinzufügen, damit altes Verhalten weiterhin trainiert wird.
  • Evaluieren Sie jedes Glied neu. Eine Regression wird sichtbar, wenn das neue Modell mit seinem Vorgänger verglichen wird.

Messung jedes Glieds

Ein fortgesetzter Durchlauf wird mit seinem Ausgangsmodell verglichen, nicht mit dem reinen Basismodell. Ein Vorteil gegenüber dem Basismodell würde hauptsächlich die früheren Schritte widerspiegeln; ein Vorteil gegenüber dem Ursprungsmodell zeigt, was dieser spezifische Schritt hinzugefügt hat. Eine Kette wird Glied für Glied beurteilt. Ein Glied, das sein Ursprungsmodell nicht übertrifft, ist eine gescheiterte Hypothese: Behalten Sie das Ursprungsmodell und archivieren Sie den Versuch.

Eine viergliedrige Kette (zur Veranschaulichung)
  1. Durchlauf A: Supervised mit 400 Support-Chats, ausgehend vom Basismodell. Evaluierung gegen das Basismodell: gewinnt eindeutig.
  2. Durchlauf B: DPO mit 120 Paaren, fortgesetzt von A. Evaluierung gegen A: 11 Siege, 6 Niederlagen, 3 Unentschieden. B wird beibehalten.
  3. Durchlauf C: Supervised mit 150 neuen Chats zu einer neuen Funktion, fortgesetzt von B. Evaluierung gegen B: besser bei der neuen Funktion, aber der Prüfer stellt fest, dass die Antworten etwas von der Prägnanz aus B verloren haben.
  4. Durchlauf D: ein kurzer DPO-Durchgang, fortgesetzt von C. Evaluierung gegen C: die Prägnanz ist zurück. D ist das zu verwendende Modell; A, B und C verbleiben in den Aufzeichnungen oder im Archiv.

Zulässige Ausgangspunkte

Neuer DurchlaufKann starten vonWarum
SupervisedDem Basismodell oder einem beliebigen trainierten DurchlaufFügt dem bestehenden Stand neues Wissen hinzu
Preference (DPO)Nur dem Basismodell oder einem Supervised-DurchlaufVerfeinert ein Modell, das die Aufgabe bereits gelernt hat; DPO auf DPO mit denselben Paaren führt lediglich zu Over-Tuning
Reinforcement (RFT)Dem Basismodell oder einem Supervised-DurchlaufRL benötigt ein Modell, das bereits einige Antworten richtig liefert

Eine zweite DPO-Runde auf neuen Paaren, die aus dem Modell der ersten Runde gesammelt wurden (bekannt als iteratives DPO), ist eine valide Technik. Sie erfordert jedoch einen neuen Schritt zur Datensammlung zwischen den Runden und wird derzeit noch nicht angeboten.

Häufige Fehler

  • Einen fortgesetzten Durchlauf mit dem reinen Basismodell zu vergleichen; dies rechnet diesem Schritt fälschlicherweise die Arbeit der vorherigen Schritte an.
  • DPO erneut auf denselben Paaren eines DPO-Modells auszuführen. Dies entspricht lediglich weiteren Epochen auf denselben Daten und führt tendenziell zu Over-Tuning.
  • Einen umfangreichen Supervised-Durchlauf auf ein bereits verfeinertes Modell aufzusetzen, ohne es danach erneut zu verfeinern.
  • Zu erwarten, dass das Basismodell mitten in der Kette gewechselt werden kann. Ein fortgesetzter Durchlauf behält das Basismodell und den Anbieter seines Ursprungsmodells bei.
  • RL oder DPO auf dem reinen Basismodell zu starten, wenn bereits ein guter Supervised-Durchlauf existiert.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

  1. 01LoRA: Low-Rank Adaptation of Large Language ModelsHu et al., 2021 · arXiv · arxiv.orgWarum ein LoRA-Adapter ohne zusätzliche Kosten bei der Inferenz in die Basisgewichtungen integriert werden kann.
  2. 02LoRA Learns Less and Forgets LessBiderman et al., 2024 · arXiv · arxiv.orgLoRA im Vergleich zum vollständigen Fine-Tuning hinsichtlich der Gewinne in der neuen Domäne und der Verluste in anderen Bereichen.
  3. 03An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuningLuo et al., 2023 · arXiv · arxiv.orgMisst das Vergessen (Forgetting) bei 1B–7B-Modellen, die nacheinander auf verschiedene Aufgaben trainiert wurden.
  4. 04Catastrophic interferenceWikipedia · en.wikipedia.orgHintergrundinformationen dazu, warum neuronale Netze vergessen, wenn sie mit neuen Daten trainiert werden.
  5. 05LoRAHugging Face PEFT docs · huggingface.coWie Adapter in der Praxis mit dem Basismodell zusammengeführt werden (merge_and_unload).
Best PracticeDas Standardrezept: SFT, dann DPOPreference Tuning schärft Antworten, die ein Modell bereits geben kann. Daher besteht das übliche Rezept aus zwei Schritten: Supervised Fine-Tuning, um die Aufgabe zu lehren, gefolgt von DPO, das auf diesem Modell aufbaut und dagegen evaluiert wird.MethodeFortgesetztes Pre-TrainingFortgesetztes Pre-Training trainiert ein Modell mit Ihren Rohtexten auf dieselbe Weise, wie es ursprünglich trainiert wurde: durch die Vorhersage des nächsten Wortes. Es fügt Wissen über Ihre Fachdomäne hinzu, jedoch kein neues Verhalten. Daher folgt in der Regel ein überwachtes Training (Supervised).MethodeLoRA und Adapter (PEFT)LoRA friert das Basismodell ein und trainiert zwei kleine Matrizen neben ausgewählten Schichten, deren Produkt zu den eingefrorenen Gewichten addiert wird. Es reduziert die trainierbaren Gewichte und den Speicherbedarf drastisch und erreicht bei guter Konfiguration die Leistung eines vollständigen Fine-Tunings auf typischen Fine-Tuning-Datensätzen.MethodeVollständiges Fine-TuningVollständiges Fine-Tuning aktualisiert jedes Gewicht im Modell. Es bietet den größten Spielraum zur Verhaltensänderung, benötigt jedoch ein Vielfaches der eigenen Größe des Modells an GPU-Speicher und führt am ehesten dazu, dass Fähigkeiten des Basismodells verloren gehen.KonzeptBasis- und Fine-Tuning-Modell im direkten VergleichEine Evaluierung stellt dem Ausgangsmodell und dem trainierten Modell dieselben zurückgehaltenen Fragen und vergleicht deren Antworten, sodass Sie sehen können, ob das Training die Antworten tatsächlich verbessert hat.MethodeDestillationDie Destillation trainiert ein kleines, kostengünstiges Student-Modell darauf, sich bei Ihren Aufgaben wie ein großes Teacher-Modell zu verhalten – entweder, indem es aus den Antworten des Teachers lernt, oder aus der Bewertung seiner eigenen Antworten durch den Teacher.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren