Ziele (trainierbare Antworten)

Was ein Ziel ist

Überwachtes Fine-Tuning lehrt durch Beispiele: Hier ist eine Situation, hier ist die gewünschte Antwort. In einem Chat ist die Situation die bisherige Unterhaltung und die Antwort ist eine Nachricht des Assistenten. Die Antworten, die Sie als lernenswert markieren, sind die Ziele, auch trainierbare Antworten genannt. Alles, was vor einem Ziel kommt, ist sein Kontext.

{"messages": [
  {"role": "system",    "content": "You are Scalata's support assistant."},
  {"role": "user",      "content": "How do I reset my password?"},
  {"role": "assistant", "content": "Open Settings → Security and choose Reset password. You'll get an email link valid for 30 minutes."}
]}

Das Modell erlernt eine Zuordnung: Gegeben dieser System-Prompt und diese Frage, produziere diese Antwort. Über Hunderte von Datensätzen hinweg erfasst es, was die Antworten gemeinsam haben — den Stil der Menüpfade, die Länge, den Detaillierungsgrad, den Tonfall.

Wie ein Ziel erlernt wird

Für jedes Ziel liest das Modell den Kontext und sagt die Antwort Token für Token voraus. An jeder Position weist es jedem möglichen nächsten Token eine Wahrscheinlichkeit zu, und der Trainingsfehler — Cross-Entropy Loss — ist gering, wenn es dem Token, das tatsächlich als Nächstes kommt, eine hohe Wahrscheinlichkeit zugewiesen hat. Die Gewichte werden dann so angepasst, dass die Token des Ziels beim nächsten Auftreten eines ähnlichen Kontexts wahrscheinlicher werden. Kontext-Token werden gelesen, aber nicht bewertet; siehe Loss Masking.

Daraus ergeben sich zwei Konsequenzen. Erstens erlernt das Modell alles über ein Ziel: seine Fakten, Formulierungen, Länge und Fehler. Zweitens erlernt es jedes Ziel in seinem Kontext: Eine Antwort, die nach einer Frage richtig ist, kann nach einer ähnlich aussehenden Frage falsch sein, und das Modell kann den Unterschied nur erkennen, wenn der Kontext ihn aufzeigt.

Auswahl guter Ziele

• Korrekt. Falsche Fakten, fehlerhafte Schritte und veraltete Menünamen werden genauso detailgetreu erlernt wie gute.
• Die gewünschte Antwort, nicht die erhaltene Antwort. Wenn eine Antwort fast richtig war, korrigieren Sie sie, anstatt sie so zu belassen, wie sie ist.
• In sich geschlossen. Eine Antwort, die nur aufgrund von etwas Sinn ergibt, das das Modell nicht sehen wird — eine angehängte Datei, ein geteilter Bildschirm —, bringt ihm bei, sich auf Dinge zu beziehen, die nicht vorhanden sind.
• Konsistent. Ähnliche Fragen sollten ähnlich strukturierte Antworten erhalten, andernfalls erlernt das Modell Inkonsistenz.
• Echte Antworten. Fehlermeldungen, Plattformablehnungen und Antworten, die nur eine generierte Datei ankündigen, sind keine Antworten, die erlernt werden sollten.

Häufige Fehler

• Standardmäßiges Markieren jeder Antwort des Assistenten als Ziel, einschließlich Begrüßungen und Füllwörtern.
• Beibehalten einer fast richtigen Antwort als Ziel, anstatt sie zu korrigieren.
• Einbeziehen von Antworten, die von Anhängen oder Tool-Ergebnissen abhängen, über die das Modell nicht verfügen wird.
• Trainieren mit einer Antwort, die sich später als falsch herausstellte.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

1. 01SFT Trainer↗Hugging Face TRL docs · huggingface.coWie ein Open-Source-Trainer ausschließlich mit Antworten des Assistenten trainiert.
2. 02Supervised fine-tuning↗OpenAI API docs · developers.openai.comDie Anleitung eines gehosteten Anbieters zur Vorbereitung von Trainingsbeispielen.
3. 03LIMA: Less Is More for Alignment↗Zhou et al., 2023 · arXiv · arxiv.orgWie weit man mit 1.000 sorgfältig ausgewählten Zielen kommen kann.
4. 04Supervised Fine-Tuning↗Hugging Face LLM Course · huggingface.coEin detaillierter Durchlauf des überwachten Fine-Tunings mit Chat-Daten.

Verwandte Konzepte