On-Policy-Distillation: Der Lehrer benotet den Studenten

Wie es funktioniert

1. Der Student antwortet. Für jeden Prompt schreibt der Student seine eigene Antwort, eine Übungsantwort.
2. Der Lehrer liest sie. Der Lehrer verarbeitet denselben Prompt und dieselbe Antwort in einem Durchgang und gibt an jeder Position seine Wahrscheinlichkeitsverteilung für das nächste Token aus: was er an dieser Stelle gesagt hätte.
3. Vergleichen und aktualisieren. Bei jedem Token wird die Verteilung des Studenten mithilfe einer Divergenz mit der des Lehrers verglichen, und der Student wird an den Lehrer angenähert.

{"prompt": [
  {"role": "user", "content": "What's the difference between EBITDA and EBIT?"}
]}

Es wird keine Referenzantwort benötigt und Ihre Antworten werden nicht als Zielvorgaben verwendet; lediglich die Prompts. Der Teacher schreibt niemals eine ganze Antwort, er liest nur eine, was pro Token viel günstiger ist als das Generieren.

Warum es so gut funktioniert

On-Policy-Distillation vereint das Beste aus zwei anderen Methoden. Wie beim überwachten Training ist das Signal dicht: Jedes Token erhält Feedback. Wie beim Reinforcement Learning sind die Daten On-Policy: Sie stammen aus den eigenen Antworten des Studenten und decken somit die Fehler ab, die der Student tatsächlich macht. Off-Policy-Studenten sehen immer nur die fehlerfreien Pfade des Teachers; RL-Studenten sehen ihre eigenen Pfade, erhalten aber nur eine einzige Zahl für die gesamte Antwort.

Forward KL, Reverse KL oder eine Mischung

Die Verteilungen von Student und Teacher können in zwei Richtungen verglichen werden, und diese Wahl verändert, was aus dem Studenten wird.

• Forward KL, KL(Teacher ‖ Student), bestraft den Studenten stark dafür, wenn er etwas, das der Teacher für wahrscheinlich hält, mit einer geringen Wahrscheinlichkeit versieht. Der Student breitet sich aus, um alle Optionen des Teachers abzudecken (Mode-Covering). Ein kleiner Student, der nicht alle aufnehmen kann, gewichtet letztlich dazwischen, was zu vagen oder qualitativ minderwertigen Texten führen kann.
• Reverse KL, KL(Student ‖ Teacher), bestraft den Studenten stark dafür, Dinge zu äußern, die der Teacher für unwahrscheinlich hält. Der Student legt sich auf die Hauptoption des Teachers fest und ignoriert den Rest (Mode-Seeking): präziser, entschlossener, weniger variabel.
• Jensen-Shannon-Divergenz (JSD) und ihre verallgemeinerte Form mischen beide Ansätze. Das GKD-Paper hat gezeigt, dass die beste Wahl von der jeweiligen Aufgabe abhängt.

Reverse KL eignet sich für kleine Studenten und Aufgaben, bei denen es eine richtige Antwort gibt. Aus diesem Grund ist es bei der On-Policy-Distillation von Chat- und Reasoning-Modellen weit verbreitet: Der Bericht von Thinking Machines aus dem Jahr 2025 verwendet eine tokenbasierte Reverse KL, und der DistillationTrainer von TRL nutzt sie standardmäßig. In Scalata entspricht diese Wahl der Einstellung Divergenz β.

Anforderungen und Kosten

• Gleiches Vokabular. Verteilungen werden Token für Token verglichen, daher müssen beide Modelle den Text in dieselben Tokens aufteilen. In der Praxis ist der Teacher ein größeres Modell derselben Familie, zum Beispiel Qwen2.5-3B, das Qwen2.5-0.5B trainiert.
• Beide Modelle auf der GPU. Der Teacher wird neben dem Studenten geladen; ein 3B-Teacher in bf16 benötigt zusätzlich zum Studenten etwa 6 GB.
• Generierungszeit. Jeder Schritt generiert Antworten Token für Token, was es langsamer macht als ein überwachtes Training mit denselben Daten; die maximale Länge der Übungsantwort ist hierbei der wichtigste Hebel.
• Stil. Der Student lernt die Gewohnheiten des Teachers, einschließlich der Länge. Um auch den Stil Ihres Teams zu übernehmen, führen Sie im Anschluss ein überwachtes Training mit Ihren Antworten durch, aufbauend auf dem destillierten Modell.

Der Nutzen kann enorm sein. Zahlen aus dem technischen Bericht zu Qwen3, die im Bericht von Thinking Machines verglichen werden, zeigen, dass On-Policy-Distillation Qwen3-8B mit etwa 1.800 GPU-Stunden auf 74,4 % bei AIME'24 bringt, während RL von einem ähnlichen Ausgangspunkt mit 17.920 Stunden 67,6 % erreichte. Bei kleinen Modellen und eng gefassten Aufgaben sind die Gewinne geringer, aber das tokenbasierte Signal bringt einen Studenten pro Prompt dennoch weiter, als es eine Handvoll Teacher-Antworten tun würde.

Häufige Fehler

• Die Wahl eines Teachers aus einer anderen Modellfamilie. Die Vokabulare unterscheiden sich, sodass ein Token-für-Token-Vergleich unmöglich ist.
• Den Speicherbedarf des Teachers vergessen. Eine GPU, die nur für den Studenten ausreicht, bietet möglicherweise nicht genug Platz für beide.
• Eine lange Übungsantwortlänge festlegen, „um auf Nummer sicher zu gehen“. Die Generierung dominiert die Schrittzeit.
• Ihren eigenen Stil erwarten. Ihre Antworten dienen hier niemals als Zielvorgaben.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

1. 01On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes↗Agarwal et al., 2024 · ICLR / arXiv · arxiv.orgDie Methode: Training mit den eigenen Ausgaben des Studenten durch Feedback des Teachers auf Token-Ebene und einer wählbaren Divergenz.
2. 02MiniLLM: On-Policy Distillation of Large Language Models↗Gu et al., 2023 · arXiv · arxiv.orgPlädiert für Reverse KL bei der Destillation in kleine Sprachmodelle.
3. 03On-Policy Distillation↗Thinking Machines Lab, 2025 · thinkingmachines.aiEin Praxisbericht mit Rechenleistungsvergleichen gegenüber RL und dem Einsatz zur Wiederherstellung von Fähigkeiten nach weiterem Training.
4. 04Distillation Trainer↗Hugging Face TRL docs · huggingface.coEin Open-Source-Trainer für On-Policy-Distillation und seine Definition von β.

Verwandte Konzepte