Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen/Modelltraining/Trainingsmethoden

Best Practice

Woher gute Präferenzpaare kommen

Ein Präferenzpaar ist ein Prompt mit einer besseren und einer schlechteren Antwort. Wie gut DPO funktioniert, hängt hauptsächlich davon ab, ob der Unterschied zwischen den beiden Antworten genau das ist, was Sie tatsächlich ändern möchten.

Kapitel 75 Min. Lesezeit4 Quellen

Was ein Paar ist

Ein Präferenzpaar besteht aus drei Teilen: dem Prompt (der bisherige Gesprächsverlauf, einschließlich etwaiger Systemnachrichten), der bevorzugten Antwort und der nicht bevorzugten Antwort. In einigen Tools werden die letzten beiden als ausgewählt und abgelehnt bezeichnet. Dem Modell wird nie mitgeteilt, warum eine Antwort besser ist. Es leitet dies aus allem ab, was sich zwischen ihnen unterscheidet.

Das ist die zentrale Tatsache bei Paaren: DPO lernt den Unterschied. Wenn die bevorzugte Antwort korrekt und spezifisch ist, während die abgelehnte vage ist, lernt es, spezifisch zu sein. Wenn die bevorzugte Antwort zudem immer länger ist, lernt es stattdessen möglicherweise „länger ist besser“. Was auch immer die beiden Seiten in Ihren Paaren durchgängig unterscheidet, wird verstärkt.

Die drei Quellen im Tool für Präferenzpaare

Jede Antwort in einem Datensatz kann die bessere Seite eines Paares sein. Wenn Sie Paare aus einem Datensatz erstellen, stammt die schlechtere Seite aus einer von drei Quellen:

1 · Aus einer Evaluierung
Optimiertes Modell · gewonnenJa. Öffnen Sie das Dashboard → Teilen → Exportieren → PowerPoint. Jedes Diagramm wird zu einer Folie.
Basismodell · verlorenIch bin nicht sicher, ob diese Funktion existiert; bitte prüfen Sie die Dokumentation.
2 · Aus Ihrer Bearbeitung
Ihre korrigierte AntwortÖffnen Sie Einstellungen → Benachrichtigungen und deaktivieren Sie „Wöchentliche Zusammenfassung“.
Die ursprüngliche AntwortGehen Sie zu den Einstellungen.
3 · Von einem Modell verfasst
die Antwort Ihres TeamsOpen Data Marketplace → Connectors und klicken Sie auf Add bei Snowflake…
generische Antwort, kein UnternehmenswissenDie meisten Plattformen ermöglichen das Hinzufügen von Datenverbindungen in ihrem Einstellungsmenü.
Drei Wege, um die schlechtere Seite eines Paares zu erhalten. Bearbeitungen liefern das stärkste Signal, da eine Person genau angegeben hat, was falsch war; vom Modell verfasste generische Antworten decken jede Antwort ab, die kein anderes Paar hat.
QuelleWie die schlechtere Seite erstellt wirdStärkeDarauf achten
EvaluierungenZwei Modelle haben dieselbe Frage beantwortet und ein Juror hat einen Gewinner ausgewählt. Der Gewinner wird bevorzugt, der Verlierer nicht bevorzugt. Unentschieden werden übersprungen: Sie enthalten keine Präferenz.Beide Antworten sind echte Modellausgaben, daher ist der Kontrast realistisch.Juroren sind unvollkommen, und ein falscher Gewinner vermittelt die falsche Lektion. Führen Sie Stichproben durch.
Ihre BearbeitungenSie haben eine Antwort in einem Datensatz korrigiert. Die korrigierte Version wird bevorzugt, das Original nicht bevorzugt.Das Signal mit der höchsten Qualität: Eine Person sagt genau, was falsch war.Bearbeitungen, die nur umformulieren, lehren wenig.
Von einem Modell geschriebenEin von Ihnen gewähltes Modell schreibt eine einfache, generische Antwort ohne Kenntnis Ihres Unternehmens und ohne Tools. Ihre Antwort wird bevorzugt.Deckt jede Antwort ab, die kein anderes Paar hat; lehrt das Modell, wie Ihr Team zu antworten, anstatt wie ein generischer Assistent.Der Kontrast ist einfach, sodass der Loss schnell sinken kann, ohne dass viel gelernt wird.

Das erneute Hinzufügen derselben Auswertung aktualisiert deren Paare, anstatt sie zu duplizieren. Auswerten, Paare sammeln, trainieren und erneut auswerten ist also ein Kreislauf, den Sie wiederholen können.

Paare aus Chat-Feedback und menschlicher Überprüfung

  • Chat-Feedback. Wenn jemand dieselbe Frage zweimal in einem Chat gestellt hat, eine Antwort positiv bewertet und die andere negativ bewertet oder aktualisiert hat, wird dies durch den Import von Chat-Feedback zu einem Paar: Die positiv bewertete Antwort wird bevorzugt, die andere nicht. Antworten, die von verschiedenen Personen unterschiedlich bewertet wurden, werden übersprungen, ebenso wie identische Antworten. Eine negativ bewertete Antwort allein wird nie zu einer Antwort, aus der gelernt wird; sie wartet auf eine bessere Antwort zum Vergleich.
  • Annotationswarteschlangen. Ein Prüfer, der Antworten blind liest, wählt die bessere aus oder schreibt eine Korrektur. Durch den Export der Warteschlange wird die Korrektur oder die ausgewählte Antwort zur bevorzugten Antwort, aus der gelernt wird, und die weniger gute Antwort zum schlechteren Gegenstück. So dient ein Beispiel sowohl dem überwachten Training als auch DPO. Unentschiedene Bewertungen ohne Korrektur werden nicht exportiert.

Was ein Paar nützlich macht

  • Der Unterschied sollte das sein, worauf es Ihnen ankommt. Wenn beide Antworten gut sind und sich nur in der Formulierung unterscheiden, lernt das Modell Rauschen. Forschungen zu DPO haben gezeigt, dass Paare, deren beide Antworten sehr ähnlich sind, die Wahrscheinlichkeit sogar auf unzusammenhängende Antworten verschieben können.
  • Die bevorzugte Antwort muss tatsächlich besser sein. Ein falscher Gewinner vermittelt die falsche Lektion. Generierte Antworten und Juroren sind unvollkommen, lesen Sie daher eine Stichprobe.
  • Plausible abgelehnte Antworten lehren mehr. „Vage, aber höflich“ ist ein nützlicherer Kontrast als Kauderwelsch. Eine abgelehnte Antwort, die das Modell niemals schreiben würde, bringt ihm wenig bei.
  • Nah an dem, was das Modell schreibt. DPO lernt am meisten aus Antworten, die dem eigenen Verhalten des Modells nahekommen. Evaluierungspaare, bei denen eine Seite vom Modell selbst geschrieben wurde, sind naturgemäß zielführend.
  • Länge und Stil kontrollieren. Wenn bevorzugte Antworten systematisch länger oder stärker formatiert sind, schließen Sie Paare ein, bei denen die kürzere oder einfachere Antwort gewinnt.
  • Erfindungen bestrafen. Wenn ein Modell Spezifika erfindet, fügen Sie Paare hinzu, bei denen die abgelehnte Antwort die erfundene ist und die bevorzugte Antwort korrekt ist oder klar besagt, dass sie es nicht weiß.
Drei Paare für eine Frage, geordnet nach ihrem Lerneffekt
  1. Frage: „Kann ich ein Dashboard nach PowerPoint exportieren?“ Die bevorzugte Antwort ist jedes Mal dieselbe: die korrekten Schritte, Freigeben → Exportieren → PowerPoint.
  2. Schwach: abgelehnte Antwort „asdf“. Der Kontrast ist trivial: Der Loss bei diesem Paar fällt fast sofort auf nahe 0, und das Modell lernt fast nichts.
  3. Besser: abgelehnte Antwort „Ich bin nicht sicher, ob diese Funktion existiert; bitte prüfen Sie die Dokumentation.“ Ein realistischer Fehler: vage und wenig hilfreich.
  4. Am besten, für ein Modell, das erfindet: abgelehnte Antwort „Ja: Drücken Sie Strg+Umschalt+P und wählen Sie In Folien exportieren.“ Selbstsicher und falsch – genau die Angewohnheit, die es zu beseitigen gilt.

Wie viele Paare

Dutzende von Paaren können eine Wirkung auf ein enges Verhalten zeigen; Hunderte oder mehr erzielen eine robuste Wirkung. Die Abdeckung ist dabei genauso wichtig wie die Anzahl: 200 Paare zu denselben fünf Fragen haben einen geringeren Lerneffekt als 200 Paare, die über die Fragen verteilt sind, die Ihre Nutzer tatsächlich stellen. Um ein Gefühl für die Größenordnung zu bekommen: Eine frühe Studie zur Feinabstimmung von Sprachmodellen anhand menschlicher Vergleiche verwendete 5.000 Vergleiche für eine Stilaufgabe und 60.000 für Zusammenfassungen.

Paare aus mehrstufigen Unterhaltungen

Paare können tief aus dem Inneren einer Unterhaltung stammen. Einige Anbieter trainieren mit einer Frage pro Datensatz, sodass frühere Dialogschritte als Kontext in die neueste Benutzernachricht integriert werden. Andere akzeptieren die gesamte Unterhaltung als Prompt und behalten die Dialogschritte als separate Nachrichten bei. Dieselben Paare können auf beide Arten geschrieben werden.

Frühere Dialogschritte in einer Nachricht zusammengefasst
Earlier in this conversation:
User: I uploaded a CSV yesterday.
Assistant: Thanks — it's in Local Storage.

Latest message:
Can I use it in a dashboard?

Häufige Fehler

  • Generierten oder beurteilten Paaren zu vertrauen, ohne eine Stichprobe zu lesen.
  • Paare, die sich nur in der Formulierung unterscheiden oder bei denen beide Antworten gut sind.
  • Abgelehnte Antworten, die offensichtlich fehlerhaft sind, sodass keine subtilen Nuancen erlernt werden.
  • Ein versteckter Längen-Bias: Bevorzugte Antworten sind immer länger, sodass das Modell lernt, abzuschweifen.
  • Paare aus denselben Fragen zu bilden, die Sie auch für die Auswertung verwenden, was das Ergebnis beschönigt.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

  1. 01Fine-Tuning Language Models from Human PreferencesZiegler et al., 2019 · arXiv · arxiv.orgFrühe Arbeiten zum Lernen aus menschlichen Vergleichen, einschließlich der Frage, wie die Abkürzungen der Labeler das Gelernte des Modells prägten.
  2. 02Dataset formats and typesHugging Face TRL docs · huggingface.coDas Format Prompt / Ausgewählt / Abgelehnt, in Standard- und Konversationsformen.
  3. 03Direct preference optimizationOpenAI API docs · developers.openai.comEin gehostetes Format mit bevorzugten und nicht bevorzugten Ausgaben, das Runde für Runde trainiert wird.
  4. 04Unintentional Unalignment: Likelihood Displacement in Direct Preference OptimizationRazin et al., 2024 · arXiv · arxiv.orgWarum Paare mit nahezu identischen Antworten nach hinten losgehen können und wie das Filtern dieser Paare hilft.
MethodePreference Tuning (DPO)Direct Preference Optimization trainiert ein Modell mit Antwortpaaren, von denen eine besser und eine schlechter ist, sodass es lernt, die bessere Variante zu bevorzugen – ohne das Reward-Modell und die Reinforcement-Learning-Schleife, die klassisches RLHF benötigt.MethodeLernen aus Chat-FeedbackWie Daumen hoch, Daumen runter und Aktualisieren im Chat zu Trainingsdaten werden: positiv bewertete Antworten für überwachtes Training, Paare für Preference Tuning und negativ bewertete Antworten, die an einen Prüfer weitergeleitet werden.Best PracticeAnnotationswarteschlangen: manuelle Überprüfung des JudgesPersonen überprüfen Modellantworten einzeln — sie bewerten sie, wählen die bessere aus oder schreiben eine Korrektur —, um zu messen, wie viel Vertrauen man in den LLM-Judge setzen kann, und um ihre Korrekturen in Trainingsdaten umzuwandeln.MethodeLLM-as-a-judgeEin separates Sprachmodell liest die Frage, die Referenzantwort und zwei Antwortkandidaten, bewertet beide und wählt einen Gewinner. Blind eingerichtet, mit gemischter Reihenfolge und einer anderen Modellfamilie, stimmt es mit menschlichen Bewertern etwa so oft überein, wie Menschen untereinander übereinstimmen.KonzeptBasis- und Fine-Tuning-Modell im direkten VergleichEine Evaluierung stellt dem Ausgangsmodell und dem trainierten Modell dieselben zurückgehaltenen Fragen und vergleicht deren Antworten, sodass Sie sehen können, ob das Training die Antworten tatsächlich verbessert hat.MetrikDen DPO-Loss interpretierenDer DPO-Loss misst, wie deutlich das Modell nun die bessere Antwort in jedem Paar bevorzugt, relativ zum Ausgangszustand. Er beginnt bei ln 2 ≈ 0,693 und fällt in Richtung 0, während die Präferenz erlernt wird.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren