Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen/Modelltraining/Trainingsmethoden

Methode

Off-Policy-Distillation: Der Teacher schreibt die Antworten

Bei der Off-Policy-Destillation beantwortet der Teacher Ihre Prompts und der Student wird auf diese Antworten feingetunt, wie bei einem gewöhnlichen überwachten Training. Teacher und Student können aus beliebigen Modellfamilien stammen.

Kapitel 74 Min. Lesezeit4 Quellen

Wie es funktioniert

  1. Prompts. Die Benutzerseite Ihrer Chats. Eine Unterhaltung mit drei Ihrer Antworten wird zu drei Prompt-Zeilen, von denen jede die Unterhaltung bis zu dieser Antwort enthält, sodass der Teacher so antwortet, wie die Unterhaltung tatsächlich verlaufen ist.
  2. Teacher-Antworten. Der Teacher schreibt eine vollständige Antwort auf jeden Prompt. Ihre eigenen Antworten können als Golden Examples einbezogen werden, damit der Teacher sieht, wie Sie antworten. Einige Dienste generieren auch ähnliche Prompts, um die Abdeckung zu erweitern (Datensynthese).
  3. Student-Training. Der Student wird auf Prompt → Teacher-Antwort feingetunt, genau wie beim Supervised Fine-Tuning, wobei der Loss nur für die Antwort-Token berechnet wird.
Weg 1 · Teacher schreibt Antworten
Ihr Prompt→Teacher (groß)→vollständiger Antworttext→Student lernt Prompt → Antwort

Beliebige Modellfamilien. Nur Text wird übertragen. Trainiert genau wie überwachtes Fine-Tuning.

Weg 2 · Teacher bewertet die eigene Antwort des Students
Ihr Prompt→Student schreibt→Teacher bewertet jedes Token→Student nähert sich Teacher an

Gleicher Tokenizer erforderlich, daher ist der Teacher meist ein größeres Modell derselben Familie. Lernt aus eigenen Fehlern.

Off-Policy-Destillation gibt fertigen Text vom Teacher an den Student weiter. On-Policy-Destillation lässt den Student schreiben und zeigt ihm dann Token für Token, was der Teacher stattdessen gesagt hätte.
Eine an den Dienst gesendete Zeile: nur der Prompt, der mit der Nachricht des Benutzers endet
{"messages": [
  {"role": "system",    "content": "You are Scalata's support assistant."},
  {"role": "user",      "content": "How do I share a report with a client?"},
  {"role": "assistant", "content": "Open the report → Share → pick the client."},
  {"role": "user",      "content": "Does the client need an account?"}
]}

In der Forschungsliteratur wird dies als Sequence-Level Knowledge Distillation (Kim & Rush, 2016) bezeichnet: Anstatt die Wahrscheinlichkeiten des Teachers Token für Token abzugleichen, lernt der Student aus der einzigen Sequenz, die der Teacher tatsächlich produziert hat. Dabei wird auf die Details der Soft Targets verzichtet, es wird jedoch nichts weiter vom Teacher benötigt als Text. Aus diesem Grund nutzen Managed Services dieses Verfahren: Der Teacher kann ein gehostetes Modell sein, das nur über eine API erreichbar ist.

Warum „Off-Policy“

Policy ist der Begriff aus dem Reinforcement Learning für die Art und Weise, wie ein Modell Token auswählt. Hier stammen die Trainingsantworten aus einer anderen Policy, nämlich der des Teachers, sodass der Student Off-Policy lernt. Dies hat bekannte Nachteile, die als Exposure Bias oder Train-Inference Mismatch bezeichnet werden. Im Training setzt der Student immer auf dem fehlerfreien Präfix des Teachers auf. In der realen Anwendung setzt er auf seinen eigenen früheren Token auf, einschließlich Fehlern, und hat nie geübt, sich davon zu erholen. Ein kleiner früher Ausrutscher kann ihn an einen Punkt führen, den die Antworten des Teachers nie erreicht haben.

On-Policy-Destillation existiert, um genau dieses Problem zu beheben. Off-Policy bleibt die praktische Wahl, wann immer Teacher und Student aus unterschiedlichen Modellfamilien stammen oder der Teacher nur als Text verfügbar ist.

Praxisbeispiel

Was aus einer Unterhaltung wird
  1. Ein Chat: Der Benutzer fragt, wie man einen Bericht teilt, Sie antworten; er fragt, ob der Kunde ein Konto benötigt, Sie antworten; er fragt, wann der Link abläuft, Sie antworten.
  2. Drei Prompt-Zeilen: (1) die erste Frage; (2) die erste Frage, Ihre erste Antwort und die zweite Frage; (3) alles bis zur dritten Frage.
  3. Der Teacher schreibt drei Antworten. Die früheren Antworten in den Zeilen 2 und 3 sind Ihre, die als Kontext beibehalten werden, sodass der Teacher Ihre Unterhaltung fortsetzt und nicht seine eigene.
  4. Der Student trainiert anhand von drei Beispielen: jede Prompt-Zeile → die Antwort des Teachers darauf.
  5. Kosten: die Inferenz des Teachers für drei Antworten (Eingabe- und Ausgabe-Token) plus die Trainings-Token des Students (Prompts plus Antworten des Teachers, × Epochen).

So holen Sie das Beste heraus

  • Wählen Sie den Teacher durch Evaluierung aus. Vergleichen Sie Teacher und Student zunächst anhand Ihrer zurückgehaltenen Fragen. Wenn der Student bereits nah dran ist, gibt es wenig zu gewinnen.
  • Das Volumen ist entscheidend. Jede Antwort des Teachers ist ein Beispiel, und ein kleines Modell benötigt viele davon, um seine Gewohnheiten zu ändern. Ein paar Dutzend Prompts bewirken selten etwas; planen Sie Hunderte oder mehr ein, oder nutzen Sie die Prompt-Synthese des Dienstes.
  • Achten Sie auf Länge und Stil des Teachers. Der Student übernimmt diese. Ein Teacher, der 300 Wörter schreibt, wo Ihr Team 50 schreibt, bringt einen Studenten hervor, der dasselbe tut. Goldene Beispiele helfen; ein anschließender überwachter Durchlauf mit Ihren eigenen Antworten hilft noch mehr.
  • Denkende Teacher verfassen vor der eigentlichen Antwort lange Begründungen. Das ist wertvoll für komplexe, mehrstufige Probleme, aber teures Rauschen bei kurzen Support-Antworten.

Häufige Fehler

  • Zu wenige Prompts, als dass der Student seine Gewohnheiten ändern könnte.
  • Zu vergessen, dass jeder Fehler des Teachers zu einem Trainingsbeispiel wird.
  • Ihren Stil zu erwarten, ohne Golden Examples oder einen späteren überwachten Durchlauf bereitzustellen.
  • Den destillierten Student nur mit dem Teacher zu vergleichen. Vergleichen Sie ihn auch mit dem unveränderten Student: Das zeigt, was die Destillation hinzugefügt hat.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

  1. 01Sequence-Level Knowledge DistillationKim & Rush, 2016 · arXiv · arxiv.orgDie Methode: Den Student anhand der vom Teacher generierten Sequenzen trainieren.
  2. 02Distilling the Knowledge in a Neural NetworkHinton, Vinyals & Dean, 2015 · arXiv · arxiv.orgDie ursprüngliche Soft-Target-Destillation, die durch die Sequence-Level-Version vereinfacht wird.
  3. 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgEin groß angelegtes Beispiel: 800.000 R1-Samples, die in kleine Qwen- und Llama-Modelle destilliert wurden.
  4. 04On-Policy Distillation of Language Models: Learning from Self-Generated MistakesAgarwal et al., 2024 · ICLR / arXiv · arxiv.orgErklärt den Train-Inference Mismatch, unter dem die Off-Policy-Destillation leidet.
MethodeDestillationDie Destillation trainiert ein kleines, kostengünstiges Student-Modell darauf, sich bei Ihren Aufgaben wie ein großes Teacher-Modell zu verhalten – entweder, indem es aus den Antworten des Teachers lernt, oder aus der Bewertung seiner eigenen Antworten durch den Teacher.MethodeOn-Policy-Distillation: Der Lehrer benotet den StudentenBei der On-Policy-Distillation schreibt der Student seine eigenen Antworten und der Lehrer bewertet jedes Token davon, sodass der Student genau lernt, wo er Fehler macht. Lehrer und Student müssen über ein gemeinsames Vokabular verfügen.EinstellungDestillationseinstellungenTeacher, Student, die beiden Limits für die Antwortlänge und die Divergenz β: Was die einzelnen Destillationseinstellungen bewirken, für welche Methode sie gelten und wie Sie diese auswählen.MethodeSupervised Fine-Tuning (SFT)Supervised Fine-Tuning trainiert ein Modell anhand von Beispielen: Es erhält eine Konversation sowie die gewünschte Antwort, und seine Gewichtungen werden so angepasst, dass diese Antwort Token für Token wahrscheinlicher wird.KonzeptWarum Token die Kosten treibenWie Token-Zahlen zu den Kosten für das Training und die Nutzung eines Modells werden, mit konkreten Zahlenbeispielen, und welche Hebel die Rechnung tatsächlich senken.MethodeFortsetzen eines trainierten ModellsEin Trainingsdurchlauf kann mit den Gewichtungen eines Ihrer früheren Durchläufe anstelle des Basismodells beginnen. So behält das Modell das bereits Gelernte bei und ergänzt es um das Wissen aus den neuen Daten. Auf diese Weise werden mehrstufige Rezepte aufgebaut, wie beispielsweise Supervised- gefolgt von Preference-Tuning.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren