Was Chat-Feedback ist
Jede Antwort im Chat kann bewertet werden: 👍, 👎 — mit bis zu zwei Gründen wie „Fehlende Details“ und einem optionalen Kommentar — oder Refresh, um nach einer neuen Antwort zu fragen. Jede Person hat eine Bewertung pro Antwort, und die jeweils letzte zählt. Die Ausnahme ist ein Refresh nach einem 👎: Das 👎 und seine Gründe bleiben erhalten, da es weiterhin ein „Nein“ ist.
Diese Bewertungen sind eine Aufzeichnung dessen, was echte Nutzer über echte Antworten dachten, was sie wertvoll macht. Aber ein Daumen für sich allein ist ein schwaches, verrauschtes Label, und die meisten Fine-Tuning-Methoden können es nicht direkt verwenden. Die Aufgabe des Imports besteht darin, Bewertungen in die Art von Beispielen umzuwandeln, aus denen die von jedem Anbieter unterstützten Methoden lernen können.
Von Bewertungen zu Beispielen
| Was Nutzer getan haben | Wird zu | Methode |
|---|---|---|
| Eine Antwort mit 👍 bewerten | Die Antwort als eine Antwort, aus der gelernt werden kann, mit der vorherigen Konversation als Kontext | Überwachtes Fine-Tuning |
| Dieselbe Frage zweimal in einem Chat gestellt; eine Antwort positiv bewertet, die andere negativ bewertet oder einen Refresh durchgeführt | Ein Paar: Die positiv bewertete Antwort wird ausgewählt, die andere abgelehnt | Präferenz-Tuning (DPO) |
| Eine Antwort mit 👎 bewerten | Ein Element für die Überprüfungswarteschlange. Ein Prüfer verfasst die richtige Antwort; der Export der Warteschlange liefert ein ausgewähltes/abgelehntes Paar sowie eine Antwort, aus der gelernt werden kann | DPO + überwacht |
Regeln, die die Daten verlässlich halten
- Eine negativ bewertete Antwort ist niemals eine Antwort, aus der gelernt wird. Sie erscheint nur als die abgelehnte Seite eines Paares oder als früherer Kontext, mit dem niemals trainiert wird.
- Uneinigkeit wird ausgelassen. Eine Antwort, die von einer Person positiv und von einer anderen negativ bewertet wurde, gilt als gemischt und wird übersprungen.
- Identische Antworten bilden kein Paar. Wenn ein Refresh denselben Text zurückgibt, lehrt „A gegenüber A bevorzugen“ nichts.
- Ein Refresh allein ist ein schwaches Signal. Nutzer führen auch aus Neugier einen Refresh durch. Es zählt nur dann als schlechte Antwort, wenn Sie sich dafür entscheiden, es so zu werten; für Paare wird „erneut gefragt, dann die neue Antwort positiv bewertet“ immer verwendet.
- Importe sind stabil. Ein erneuter Import aktualisiert die beim letzten Mal erstellten Beispiele, anstatt sie zu duplizieren.
- Im Laufe eines Monats vergaben die Mitarbeiter 420 👍 und 95 👎, und in 60 Chats stellten sie eine Frage erneut und bewerteten die zweite Antwort positiv.
- 12 der positiv bewerteten Antworten wurden von einem Kollegen negativ bewertet: gemischt, übersprungen. 408 positiv bewertete Antworten werden zu Antworten, aus denen gelernt werden kann.
- Von den 60 Fällen, in denen erneut gefragt wurde, lieferten 4 denselben Text: kein Paar. 56 werden zu ausgewählten/abgelehnten Paaren.
- Die 95 👎-Antworten gehen in die Überprüfungswarteschlange. Die Prüfer korrigieren 70 und verwerfen 25, die letztendlich doch in Ordnung waren. Der Export fügt 70 Paare und 70 Antworten hinzu.
- Ergebnis: 478 Antworten für überwachtes Training und 126 Paare für DPO, von denen keines auf einer negativ bewerteten Antwort basiert.
Warum nicht direkt mit jedem Daumen trainieren?
Schlechte Antworten passen nicht zu den meisten Methoden. Überwachtes Training benötigt eine gute Antwort zum Imitieren, und DPO benötigt eine bessere und eine schlechtere Antwort auf dieselbe Frage. Ein einzelnes 👎 ist keines von beiden. Es gibt eine Methode, die für einzelne Gut/Schlecht-Labels entwickelt wurde: KTO (Kahneman-Tversky Optimization, 2024). Deren Autoren berichten, dass sie präferenzbasierte Methoden bei Skalierungen von 1 bis 30 Milliarden Parametern erreicht oder übertrifft, während sie nur daraus lernt, ob jede Antwort erwünscht war. Open-Source-Trainer wie Hugging Face TRL unterstützen sie, aber die meisten gehosteten Fine-Tuning-Dienste bieten sie nicht an. Ein 👎 wird für sie erst nützlich, wenn es eine bessere Antwort gibt, mit der es verglichen werden kann.
Rohe Daumen-Bewertungen können das Falsche lehren. Menschen mögen Antworten, die ihnen zustimmen und selbstbewusst klingen. Die Studie von Anthropic zu Sykophantie (2023) ergab, dass sowohl Menschen als auch Präferenzmodelle manchmal eine überzeugend geschriebene, zustimmende Antwort einer korrekten vorziehen. Eine Studie aus dem Jahr 2024, die Modelle direkt mit simuliertem Nutzer-Feedback trainierte, ging noch weiter: Die Modelle lernten zuverlässig manipulative oder trügerische Taktiken, um Daumen nach oben zu gewinnen, und selbst wenn nur 2 % der Nutzer anfällig waren, lernten sie, diese gezielt anzusprechen. Die Weiterleitung von 👎-Antworten an einen Prüfer stellt sicher, dass eine Person entscheidet, was die richtige Antwort ist.
Die Reihenfolge, die normalerweise funktioniert
- Überwachtes Fine-Tuning mit den positiv bewerteten Antworten — und den Korrekturen der Prüfer —, damit das Modell lernt, wie gute Antworten aussehen.
- DPO auf den Paaren, ausgehend vom überwachten Modell, damit es lernt, welche von zwei plausiblen Antworten besser ist.
Die DPO-Richtlinien von OpenAI empfehlen denselben Workflow: zunächst überwachtes Fine-Tuning mit bevorzugten Antworten, gefolgt von einem DPO-Auftrag basierend auf dem Ergebnis.
Einstellungen
Wenn aktiviert, zählt eine Antwort, bei der ohne weitere Bewertung ein Refresh durchgeführt wurde, als schlechte Antwort. Lassen Sie dies deaktiviert, es sei denn, Ihre Nutzer führen nur dann einen Refresh durch, wenn eine Antwort falsch ist. Paare, bei denen die neue Antwort positiv bewertet wurde, werden in jedem Fall verwendet.
Häufige Fehler
- Training mit jeder Antwort, die nicht negativ bewertet wurde, als ob Schweigen Zustimmung bedeuten würde.
- Aktivieren von „Refresh ebenfalls werten“, wenn Nutzer hauptsächlich einen Refresh durchführen, um Alternativen zu sehen.
- Ausführen von DPO auf Feedback-Paaren ohne vorheriges überwachtes Training mit guten Antworten.
- Den Geschmack einer kleinen Gruppe von Bewertern definieren lassen, was „gut“ ist, ohne das Ergebnis anhand einer Evaluierung zu überprüfen.
- Die Überprüfungswarteschlange unbearbeitet lassen, sodass das aufschlussreichste Feedback — was schiefgelaufen ist — niemals zu Daten wird.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01KTO: Model Alignment as Prospect Theoretic OptimizationEthayarajh et al., 2024 · arXiv · arxiv.orgDie Methode, die für einzelne erwünscht/unerwünscht-Labels entwickelt wurde.
- 02KTO TrainerHugging Face TRL docs · huggingface.coWas KTO als Daten benötigt und wie es sich in der Praxis von DPO unterscheidet.
- 03Towards Understanding Sycophancy in Language ModelsSharma et al., 2023 · arXiv · arxiv.orgWie menschliche Präferenzen zustimmende Antworten gegenüber korrekten belohnen können.
- 04On Targeted Manipulation and Deception when Optimizing LLMs for User FeedbackWilliams et al., 2024 · arXiv · arxiv.orgWas Modelle lernen, wenn sie direkt darauf trainiert werden, Daumen nach oben von Nutzern zu gewinnen.
- 05Direct preference optimizationOpenAI API docs · developers.openai.comDie empfohlene Reihenfolge: überwachtes Fine-Tuning mit bevorzugten Antworten, dann DPO.