Pre-Training und das Basismodell

Was Pre-Training ist

Ein großes Sprachmodell beginnt als Milliarden von Zahlen — seine Gewichte oder Parameter —, die zufällig festgelegt sind. Pre-Training passt diese Zahlen an, indem dem Modell enorme Mengen an Text (Webseiten, Bücher, Code, Nachschlagewerke) gezeigt werden und ihm immer wieder eine Frage gestellt wird: Was kommt als Nächstes, basierend auf dem bisherigen Text? Jede falsche Schätzung passt die Gewichte ein wenig an. Nach Billionen von Schätzungen hat das Modell Grammatik, Fakten, Stile, Denkmuster und ein großes Maß an Weltwissen absorbiert, da all dies hilft, das nächste Wort vorherzusagen.

Dieses Ziel wird als Next-Token Prediction oder kausale Sprachmodellierung bezeichnet. Niemand muss die Daten kennzeichnen: Der Text ist sein eigener Lösungsschlüssel, weshalb beim Pre-Training so viel davon verwendet werden kann.

Die Größenordnungen

Pre-Training ist die mit Abstand teuerste Phase im Leben eines Modells. GPT-3, das 2020 beschrieben wurde, hatte 175 Milliarden Parameter und wurde mit etwa 300 Milliarden Token trainiert. Die Chinchilla-Studie von DeepMind (2022) zeigte dann, dass Modelle bei einem festen Rechenbudget viel mehr Text pro Parameter sehen sollten: Ihr Chinchilla-Modell mit 70 Milliarden Parametern, das mit 1,4 Billionen Token trainiert wurde, übertraf deutlich größere Modelle. Aktuelle offene Modelle werden wochenlang auf Tausenden von GPUs mit vielen Billionen Token trainiert.

Deshalb wiederholt niemand, der ein Modell für den eigenen Gebrauch einem Fine-Tuning unterzieht, diese Phase. Dies ist auch der Grund, warum das Ausgangsmodell so wichtig ist: Sein Wissen, seine Sprachen und seine logischen Fähigkeiten setzen die Obergrenze für das, was jedes spätere Training erreichen kann.

Vom Rohmodell zu Ihrem Ausgangsmodell

Ein Modell, das frisch aus dem Pre-Training kommt, ist gut darin, Text fortzusetzen, aber nicht darin, Anweisungen zu befolgen. Wenn Sie ihm eine Frage stellen, antwortet es möglicherweise mit drei weiteren Fragen, da viele Texte im Internet so aussehen. Modellhersteller trainieren es daher weiter — Instruction Tuning (überwachtes Fine-Tuning anhand von Beispielkonversationen), meist gefolgt von Preference Tuning basierend auf menschlichem oder KI-Feedback —, um es in einen Assistenten zu verwandeln. Die Arbeit von OpenAI an InstructGPT hat gezeigt, wie wichtig dies ist: Menschen bevorzugten die Antworten eines Instruction-Tuned-Modells mit 1,3 Milliarden Parametern gegenüber denen von GPT-3 mit 175 Milliarden Parametern, obwohl es über 100-mal weniger Parameter aufwies.

Offene Modellfamilien werden oft in beiden Formen veröffentlicht: als roher „Base“-Checkpoint und als „Instruct“- oder „Chat“-Version. In Scalata und in diesem Leitfaden bedeutet Basismodell einfach das Modell, mit dem ein Trainingsdurchlauf beginnt. In der Praxis handelt es sich dabei fast immer um ein Instruction-Tuned-Modell, sodass Ihre Beispiele nur das vermitteln müssen, was für Sie spezifisch ist.

Was Fine-Tuning ändern kann und was nicht

Fine-Tuning nutzt dieselben Mechanismen wie Pre-Training — das nächste Token vorhersagen, den Fehler messen, die Gewichte anpassen —, jedoch anhand von Hunderten oder Tausenden Ihrer Beispiele anstelle von Billionen von Token. In dieser Größenordnung ist es sehr effektiv, um Verhalten umzuformen, und weitaus weniger effektiv, um Wissen hinzuzufügen. Die Forschung legt nahe, dass Modelle durch Fine-Tuning wirklich neue Fakten nur langsam erlernen und dass der Versuch, sie dazu zu zwingen, sie anfälliger dafür machen kann, Antworten zu erfinden.

• Lässt sich gut ändern: Tonfall und Stil, Ausgabeformat, Länge, fachspezifische Formulierungen, konsistente Bearbeitung wiederkehrender Anfragen, Befähigung eines kleinen Modells, eine Aufgabe wie ein größeres auszuführen.
• Lässt sich schlecht ändern: große Mengen neuer Fakten, sich häufig ändernde Informationen und Fähigkeiten, die dem Basismodell grundlegend fehlen — ein kleines Modell wird aus ein paar hundert Chats kein fortgeschrittenes logisches Denken erlernen.
• Ändert sich nicht: die Architektur des Modells, sein Tokenizer und sein Kontextfenster.

Die Wahl eines Basismodells

Alles, was Sie trainieren, baut auf dem Basismodell auf, wählen Sie es also bewusst aus:

• Fähigkeit bei Ihrer Aufgabe. Testen Sie das Basismodell zunächst mit echten Fragen. Feinabstimmung schärft das Vorhandene; sie erschafft selten Fähigkeiten aus dem Nichts.
• Größe im Verhältnis zu den Kosten. Größere Modelle wissen mehr, verursachen aber höhere Kosten beim Training und im Betrieb. Ein häufiges Ziel ist das kleinste Modell, das die Aufgabe nach der Feinabstimmung gut erledigt.
• Sprachen. Wenn Ihre Nutzer auf Deutsch oder Japanisch schreiben, prüfen Sie, ob das Modell diese Sprachen gut beherrscht; Pre-Training-Daten werden in der Regel vom Englischen dominiert.
• Grenzen. Das Kontextfenster und das Trainingslimit pro Beispiel sind an das Modell gebunden und ändern sich durch das Training nicht.

Häufige Fehler

• Die Erwartung, dass Fine-Tuning eine große, sich ändernde Menge an Fakten wie einen vollständigen Produktkatalog oder eine Preisliste vermittelt.
• Mit einem Modell zu beginnen, das die Aufgabe überhaupt nicht bewältigen kann, und zu erwarten, dass ein paar hundert Beispiele dies beheben.
• Die Wahl eines rohen, vortrainierten Checkpoints, wenn eigentlich eine Instruction-Tuned-Version desselben offenen Modells beabsichtigt war.
• Das Basismodell nicht zuerst zu testen, sodass keine Baseline existiert, mit der das trainierte Modell verglichen werden kann.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

1. 01Language Models are Few-Shot Learners↗Brown et al., 2020 · arXiv · arxiv.orgDas GPT-3-Paper: Was Pre-Training in großem Maßstab allein bewirken kann.
2. 02Training Compute-Optimal Large Language Models↗Hoffmann et al., 2022 · arXiv · arxiv.orgDie Chinchilla-Studie darüber, mit wie viel Text ein Modell einer bestimmten Größe trainiert werden sollte.
3. 03Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgInstructGPT: Wie ein vortrainiertes Modell zu einem Assistenten wird, der Anweisungen befolgt.
4. 04How do Transformers work?↗Hugging Face LLM Course · huggingface.coEine verständliche Einführung in Pre-Training, Transfer Learning und Fine-Tuning.
5. 05Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?↗Gekhman et al., 2024 · arXiv · arxiv.orgBelege dafür, dass neue Fakten beim Fine-Tuning nur langsam erlernt werden und Halluzinationen verstärken können.

Verwandte Konzepte