Was es ist
Ein großes Modell ist oft gut genug für eine Aufgabe, aber zu langsam oder zu teuer, um es in großem Maßstab auszuführen. Destillation überträgt das, was es bei Ihrer Aufgabe leistet, auf ein viel kleineres Modell. Das große ist der Teacher, das kleine der Student, und der Student wird mit der Ausgabe des Teachers anstelle von oder zusätzlich zu von Menschen geschriebenen Antworten trainiert.
Die Idee ist älter als Sprachmodelle. Das Paper „Distilling the Knowledge in a Neural Network“ von Hinton, Vinyals und Dean aus dem Jahr 2015 zeigte, dass ein kleines Netzwerk aus den vollständigen Ausgabewahrscheinlichkeiten eines großen Modells, die sie Soft Targets nannten, weitaus mehr lernt als aus den korrekten Labels allein.
Warum die Wahrscheinlichkeiten eines Teachers mehr lehren
Ein korrektes Label sagt nur, welche Antwort richtig war. Die Wahrscheinlichkeiten eines Teachers sagen auch, wie falsch jede falsche Antwort war. Hintons Beispiel: Ein Bild eines BMW hat vielleicht nur eine winzige Chance, mit einem Müllwagen verwechselt zu werden, aber das ist immer noch um ein Vielfaches wahrscheinlicher, als es mit einer Karotte zu verwechseln. Dieses Muster von Beinahe-Treffern beschreibt, wie der Teacher das Problem sieht, und ein Student, der dies lernt, generalisiert besser aus weniger Beispielen.
Für ein Sprachmodell gilt dasselbe bei jedem Token. Bei der Fortsetzung von „Ihre Rechnung ist beigefügt als…“ könnte ein Teacher PDF 86 %, CSV 7 %, Datei 4 % vergeben. Das Training mit dem Text des Teachers behält nur „PDF“. Das Training mit seiner Verteilung lehrt auch, dass CSV eine vernünftige Alternative war und die meisten anderen Wörter nicht.
Die Temperatur steuert, wie viel von diesem Detail erhalten bleibt. Die Wahrscheinlichkeiten stammen aus einem Softmax über die Rohwerte (Logits) des Modells; die Division der Logits durch eine Temperatur T über 1 flacht die Verteilung ab, wobei die Rangfolge erhalten bleibt, aber die kleinen Wahrscheinlichkeiten groß genug werden, um das Training zu beeinflussen. Hinton et al. verwendeten dieselbe hohe Temperatur für Teacher und Student und multiplizierten den Soft-Target-Loss mit T², da dessen Gradienten mit steigendem T um 1/T² schrumpfen.
p_i = exp(z_i / T) / Σ_j exp(z_j / T) # z = the model's raw scores (logits)
T = 1 PDF 0.86 CSV 0.07 file 0.04 link 0.02 zip 0.01
T = 3 PDF 0.43 CSV 0.19 file 0.16 link 0.12 zip 0.10 # same order, softerZwei Wege, ein Sprachmodell zu destillieren
Bei Sprachmodellen gibt es zwei praktische Routen, und sie unterscheiden sich darin, aus wessen Antworten der Student lernt.
Beliebige Modellfamilien. Nur Text wird übertragen. Trainiert genau wie überwachtes Fine-Tuning.
Gleicher Tokenizer erforderlich, daher ist der Teacher meist ein größeres Modell derselben Familie. Lernt aus eigenen Fehlern.
| Aspekt | Off-Policy (Sequenz-Ebene) | On-Policy (Token-Ebene) |
|---|---|---|
| Wer die Antworten schreibt | Der Teacher, einmalig, vor dem Training | Der Student, bei jedem Schritt neu |
| Was übertragen wird | Fertiger Text | Die Wahrscheinlichkeiten des Teachers bei jedem Token der Antwort des Studenten |
| Teacher und Student | Beliebige Familien; es wird nur Text geteilt | Gleiches Vokabular (Tokenizer), daher meist dieselbe Familie |
| Training | Klassisches Supervised Fine-Tuning auf Basis von Prompt → Teacher-Antwort | Eine Divergenz zwischen Student und Teacher, Token für Token |
| Signal pro Prompt | Eine Antwort zum Imitieren | Eine Korrektur bei jedem Token, das der Student geschrieben hat |
Off-Policy-Destillation ist die Methode, mit der DeepSeek seine kleinen R1-Modelle entwickelt hat: Etwa 800.000 mit DeepSeek-R1 generierte Samples wurden verwendet, um Qwen- und Llama-Modelle ausschließlich mit überwachtem Training, ohne RL, feinzutunen. Ihr destilliertes 32B-Modell übertraf das gleiche Basismodell, das direkt mit groß angelegtem RL trainiert wurde, deutlich. Wenn ein starker Teacher existiert, ist das Kopieren oft eine bessere Nutzung von Rechenleistung, als ein kleines Modell alles durch Versuch und Irrtum entdecken zu lassen.
Wann es eingesetzt wird
- Sie benötigen ein kostengünstigeres, schnelleres Modell, das bei Ihrem Thema wie ein größeres Modell antwortet.
- Sie haben viele Fragen, aber nur wenige gut formulierte Antworten: Der Lehrer liefert die Antworten.
- Ein großes Modell erledigt die Aufgabe bereits gut, aber seine Kosten oder Latenz sind bei Skalierung zu hoch.
Und wann nicht: Wenn kein Modell, wie groß auch immer, Ihre Fragen gut beantwortet, weil sie von Ihrem Produkt oder internem Wissen abhängen, hat die Destillation nichts zu übertragen. Trainieren Sie zuerst mit Ihren eigenen Antworten.
- Ein großes gehostetes Modell beantwortet Ihre Support-Fragen gut, kostet aber pro Token ein Vielfaches eines kleinen offenen Modells.
- Schritt 1: Evaluieren Sie den Teacher im Vergleich zum Student anhand zurückgehaltener Fragen. Wenn der Teacher klar gewinnt, gibt es etwas zu destillieren; wenn sie meistens gleichauf liegen, nicht.
- Schritt 2: Destillieren Sie und evaluieren Sie dann den destillierten Student im Vergleich zum einfachen Student. Das nützliche Ergebnis ist „nah am Teacher“ zum Preis des Student, nicht „besser als der Teacher“.
- Schritt 3: Wenn die Antworten richtig sind, aber nicht nach Ihrem Team klingen, führen Sie ein überwachtes Training mit Ihren eigenen Antworten durch, aufbauend auf dem destillierten Modell.
Häufige Fehler
- Das Destillieren von einem Teacher, den Sie nicht anhand Ihrer Fragen evaluiert haben. Dessen Fehler werden ebenfalls gelernt.
- Die Erwartung, dass der Student den Teacher schlägt.
- Die Erwartung Ihres hauseigenen Stils. Beide Routen lehren den Stil des Teachers; Ihre Antworten sind höchstens Beispiele für den Teacher.
- Das Destillieren, wenn Teacher und Student bereits in etwa gleich gut antworten; es gibt wenig zu übertragen.
- Die Verwendung von ein paar Dutzend Prompts auf der Off-Policy-Route. So wenig Teacher-Text ändert selten die Gewohnheiten eines Modells.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01Distilling the Knowledge in a Neural NetworkHinton, Vinyals & Dean, 2015 · arXiv · arxiv.orgDas Paper, das der Destillation ihren Namen gab: Soft Targets, Temperatur und der T²-Faktor.
- 02Sequence-Level Knowledge DistillationKim & Rush, 2016 · arXiv · arxiv.orgDestillieren durch Training mit den vom Teacher generierten Sequenzen, die Basis der Off-Policy-Destillation.
- 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgKleine Modelle, die aus R1 ausschließlich mit überwachtem Training destilliert wurden, im Vergleich zu RL auf denselben Grundlagen.
- 04Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?Yue et al., 2025 · arXiv · arxiv.orgStellt fest, dass Destillation im Gegensatz zu RL wirklich neue Argumentationsmuster in ein Modell bringen kann.