Welche Einstellungen wo gelten
| Einstellung | Off-Policy (Teacher schreibt) | On-Policy (Teacher bewertet) |
|---|---|---|
| Teacher-Modell | Ja | Ja |
| Student-Modell | Ja | Ja |
| Maximale Antwortlänge | Ja, bei einigen Diensten | Nein |
| Maximale Länge der Übungsantwort | Nein | Ja |
| Divergenz β | Nein | Ja |
| Epochen, Lernrate | Ja | Ja |
Die Einstellungen
Das Modell, dessen Verhalten weitergegeben wird. Seine Qualität bei Ihren Fragen bildet die Obergrenze für den Studenten. Da auch Fehler, Länge und Stil übernommen werden, sollten Sie es vor der Destillation mit dem Studenten vergleichen. Off-Policy funktioniert jeder Teacher, da nur Text übertragen wird; Managed Services erlauben jedoch nur die dort aufgeführten Teacher → Student-Paare. On-Policy muss der Teacher das Vokabular des Studenten teilen, weshalb es sich meist um ein größeres Modell derselben Familie handelt, und es muss neben dem Studenten auf die GPU passen. Thinking Teachers, die vor der Antwort ausführlich schlussfolgern, sind wertvoll für komplexe, mehrstufige Probleme; für kurze Chat-Antworten ist ein Non-Thinking Teacher für einen kleinen Studenten meist besser geeignet.
Das kleinere Modell, das trainiert und letztendlich von Ihnen bereitgestellt wird. Es bestimmt somit die Betriebskosten und die Geschwindigkeit. Ein kleineres Modell ist kostengünstiger und schneller, hat jedoch weniger Kapazität, um das Verhalten des Teachers zu übernehmen, und ein Student übertrifft seinen Teacher nur selten. In Scalata ist der Student das von Ihnen gewählte Basis-Modell; Modelle, die für den gewählten Teacher oder Anbieter nicht als Student fungieren können, sind ausgegraut und mit einer Begründung versehen.
Off-Policy, bei Diensten, die dies offenlegen: die längste Antwort in Token, die der Teacher pro Prompt schreiben darf. Längere Antworten kosten mehr Teacher-Ausgabe-Token und mehr Student-Trainings-Token, und der Student lernt diese Länge. Zu kurz, und die Antworten des Teachers werden abgeschnitten und der Student lernt abgeschnittenen Text.
Nur On-Policy: die längste Antwort, die der Student pro Prompt in jedem Schritt schreibt. Die Generierung ist der langsamste Teil des Schritts, daher ist dies der wichtigste Hebel für die GPU-Zeit. Antworten, die länger als das Limit sind, werden abgeschnitten, und der Student erhält nur Feedback zu dem Teil, den er geschrieben hat.
Nur On-Policy: welche Divergenz Student und Teacher bei jedem Token vergleicht. 0 ist Forward-KL: Der Student versucht, alles abzudecken, was der Teacher sagen könnte, was zu breiteren, vielfältigeren Antworten führt, die zwischen Optionen verschwimmen können. 1 ist Reverse-KL: Der Student konzentriert sich auf die wahrscheinlichste Antwort des Teachers, schärfer und entschiedener. 0.5 ist die Jensen-Shannon-Divergenz, eine symmetrische Mischung, und Werte dazwischen interpolieren. Im Gegensatz zum KL-β beim Reinforcement Fine-Tuning verankert dieses β das Modell nicht an seinem Startpunkt; es wählt das Maß selbst.
Wie Sie wählen
- Kandidaten: ein 7B-Modell, das Ihre Evaluierungsfragen gut beantwortet, aber im Hosting zu teuer ist, sowie 0.5B-, 1.5B- und 3B-Modelle derselben Familie.
- Evaluieren Sie das 7B gegen jedes einzelne. Angenommen, es schlägt das 0.5B bei den meisten Fragen, das 1.5B bei vielen und ist mit dem 3B meist gleichauf.
- Das 3B hat wenig zu lernen; das 0.5B hat am meisten zu lernen, aber den geringsten Spielraum, um es aufzunehmen. Das 1.5B ist der natürliche erste Student.
- Gleiche Familie, also ist On-Policy-Destillation möglich: Übungsantwortlänge etwas über Ihrer typischen Antwort, β = 1, und eine GPU, die sowohl das 7B als auch das 1.5B fasst.
- Der Teacher, der eine Antwort fortsetzt, teilt seine Wahrscheinlichkeit auf: „Ja“ 50 %, „Sicher“ 40 %, alles andere 10 %.
- Unter Forward-KL (β = 0) wird der Student dazu gedrängt, sowohl „Ja“ als auch „Sicher“ wahrscheinlich zu halten, und wird hart bestraft, wenn er einem von beiden fast keine Wahrscheinlichkeit beimisst.
- Unter Reverse-KL (β = 1) wird er hart für alles bestraft, was der Teacher für unwahrscheinlich hält, und begnügt sich damit, sein meistes Gewicht allein auf „Ja“ zu legen.
- Über Tausende von Token hinweg ergibt das Erste einen vielfältigeren Student und das Zweite einen konsistenteren. Für kurze, sachliche Antworten ist Konsistenz in der Regel das, was Sie wollen.
Was die Kosten treibt
- Off-Policy: die Inferenz des Teachers (Eingabe- und Ausgabe-Token für jede geschriebene Antwort) plus das Training des Students (Prompts plus Teacher-Antworten, × Epochen). Die Antwortlänge des Teachers ist im Voraus nicht bekannt, daher sind Schätzungen eine Spanne. Die Prompt-Synthese durch den Dienst vergrößert beide Teile.
- On-Policy: GPU-Zeit. Jeder Schritt generiert Antworten und führt beide Modelle aus, daher ist es langsamer als überwachtes Training mit denselben Daten, und die GPU muss beide vorhalten.
Häufige Fehler
- Den Teacher nach Reputation statt durch eine Evaluierung mit Ihren Fragen auszuwählen.
- Einen Student auszuwählen, der zu klein ist, um das Wissen des Teachers aufzunehmen.
- Die maximale Antwortlänge des Teachers weit über Ihrer typischen Antwort zu belassen: Sie zahlen für die Länge und der Student lernt sie.
- Die beiden βs zu verwechseln. Das Destillations-β wählt die Divergenz; das KL-β von RFT ist eine Strafe für das Abdriften.
- Keinen GPU-Speicher für den Teacher in einem On-Policy-Durchlauf einzuplanen.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01Distillation TrainerHugging Face TRL docs · huggingface.coDefiniert β (0 Forward-KL, 1 Reverse-KL, 0.5 JSD) und die standardmäßige Vervollständigungslänge.
- 02On-Policy Distillation of Language Models: Learning from Self-Generated MistakesAgarwal et al., 2024 · ICLR / arXiv · arxiv.orgExperimente darüber, wie die Wahl der Divergenz Qualität gegen Vielfalt abwägt.
- 03Kullback–Leibler divergenceWikipedia · en.wikipedia.orgDie Definition der KL-Divergenz und warum sich ihre beiden Richtungen unterscheiden.
- 04Jensen–Shannon divergenceWikipedia · en.wikipedia.orgDie symmetrische Divergenz, der β = 0.5 entspricht.