Warum Qualität dominiert
Überwachtes Fine-Tuning hat nur eine einzige Wahrheitsquelle: Ihre Beispiele. Das Modell kann eine nachlässige Antwort nicht von einer sorgfältigen unterscheiden und lernt daher beide. Ein kleiner Datensatz korrekter, konsistenter Beispiele ist meist besser als ein großer, gemischter Datensatz. Die LIMA-Studie (2023) hat dies eindrucksvoll belegt: Ein Modell mit 65 Milliarden Parametern, das mit nur 1.000 sorgfältig kuratierten Beispielen feinabgestimmt wurde, lieferte in 43 % der Fälle Antworten, die von Testpersonen als gleichwertig oder besser als die von GPT-4 bewertet wurden.
Die fünf Eigenschaften
| Eigenschaft | Was es bedeutet | Wie man es prüft |
|---|---|---|
| Korrekt | Jede Zielvorgabe ist richtig: Fakten, Schritte, Zahlen, Namen. | Lassen Sie jemanden mit Fachkenntnissen 30–50 zufällige Zielvorgaben gegenlesen. |
| Konsistent | Ähnliche Fragen erhalten ähnlich strukturierte Antworten. | Gruppieren Sie Antworten nach Thema und vergleichen Sie diese direkt miteinander; legen Sie vorab einen einheitlichen Hausstil fest. |
| Vielfältig | Kurze, vage, mehrteilige Fragen und Anschlussfragen, nicht nur sauber formulierte. | Listen Sie die Arten von Fragen auf, die Sie erhalten, und prüfen Sie, ob jede davon vorkommt. |
| Fokussiert | Eine klar definierte Aufgabe oder einige wenige, deutlich voneinander getrennte Aufgaben. | Können Sie in zwei Sätzen beschreiben, was das Modell tun soll? |
| Repräsentativ | Die Eingaben entsprechen dem, was das Modell im realen Einsatz sehen wird. | Vergleichen Sie die Mischung aus Themen und Längen mit dem tatsächlichen Datenverkehr. |
Wie viele Beispiele
Es gibt keine universelle Zahl, aber nützliche Richtwerte. Eng gefasste Aufgaben mit einem klaren Format — die Beantwortung einer bestimmten Art von Frage in einem festen Stil, die Klassifizierung einer Anfrage — zeigen oft schon mit wenigen hundert Beispielen eine deutliche Wirkung. Breit angelegte Assistenten, die viele Themen abdecken, benötigen Tausende. Der Fine-Tuning-Leitfaden von OpenAI berichtet von Verbesserungen ab 50–100 Beispielen und empfiehlt, mit etwa 50 gut ausgearbeiteten Beispielen zu beginnen, diese zu evaluieren und darauf aufbauend weitere hinzuzufügen. Mehr Daten helfen am meisten, wenn sie für Vielfalt sorgen; mehr vom Gleichen erhöht die Kosten, ohne viel Mehrwert zu bieten.
Duplikate und Wiederholungen
Eine Konversation, die zweimal vorkommt, wird auch zweimal trainiert. Eine Standardantwort, die als Ziel für fünfzig verschiedene Fragen dient, bringt dem Modell bei, diese überall zu verwenden. Untersuchungen zu Pre-Training-Daten zeigen, wie wichtig Wiederholungen sind: Das Entfernen von Beinahe-Duplikaten aus gängigen Trainingsdatensätzen führte dazu, dass Modelle auswendig gelernte Texte etwa zehnmal seltener reproduzierten. Auf der Ebene des Fine-Tunings äußert sich dies in einem repetitiven Modell, das einige wenige Standardphrasen übermäßig verwendet.
Zielantworten, die auf neuen Fakten basieren
Seien Sie vorsichtig mit Zielvorgaben, die hauptsächlich auf Fakten basieren, die das Basismodell noch nie gesehen hat. Eine Studie von Gekhman und Kollegen aus dem Jahr 2024 ergab, dass Modelle solche Beispiele langsamer lernen als solche, die mit ihrem Vorwissen übereinstimmen. Zudem neigen sie beim Erlernen dieser neuen Fakten eher zum Halluzinieren. Stellen Sie spezialisierte oder sich ändernde Fakten nach Möglichkeit erst zum Zeitpunkt der Anfrage bereit und nutzen Sie den Datensatz, um dem Modell beizubringen, wie es diese verwenden soll.
- Start: 600 Support-Chats mit 900 potenziellen Zielantworten.
- Korrektheit: Ein Prüfer liest 50 zufällige Zielantworten und findet 6 mit einem veralteten Menünamen. Eine Suche ergibt 40 weitere mit demselben Problem; alle werden korrigiert.
- Konsistenz: Passwortfragen werden in drei verschiedenen Formaten beantwortet. Das Team entscheidet sich für eines und korrigiert die anderen.
- Vielfalt: Sehr kurze Fragen („Export?“) machen 15 % des tatsächlichen Traffics aus, fehlen aber fast vollständig im Datensatz, weshalb 60 solcher Chats hinzugefügt werden.
- Wiederholungen: Eine vorgefertigte Antwort ist 70 Mal die Zielantwort; das Limit von Data Prep für wiederholte Antworten verhindert, dass sie dominiert.
- Ergebnis: Weniger nutzbare Zielantworten als zu Beginn, aber jede einzelne vermittelt das gewünschte Verhalten.
Häufige Fehler
- Hinzufügen weiterer Beispiele derselben Art, anstatt die fehlenden Arten abzudecken.
- Training mit allem, was gesagt wurde, anstatt mit dem, was hätte gesagt werden sollen.
- Mischen verschiedener Antwortstile, weil die Antworten von unterschiedlichen Personen verfasst wurden.
- Weglassen kurzer, vager und ungeschickter Fragen, weil sie den Datensatz unordentlich wirken lassen.
- Die Annahme, dass eine automatische Bereinigung die Richtigkeit der Antworten überprüft.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.org1.000 sorgfältig ausgewählte Beispiele und was sie bewirkt haben.
- 02Deduplicating Training Data Makes Language Models BetterLee et al., 2021 · arXiv · arxiv.orgDie gemessenen Kosten von duplizierten Trainingsdaten.
- 03Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?Gekhman et al., 2024 · arXiv · arxiv.orgWarum Zielvorgaben voller unbekannter Fakten nach hinten losgehen können.
- 04Supervised fine-tuningOpenAI API docs · developers.openai.comDie Empfehlung eines Anbieters, mit wie vielen Beispielen man beginnen sollte.
- 05Datasets: Data characteristicsGoogle Machine Learning Crash Course · developers.google.comEine kurze Einführung in Datenzuverlässigkeit und -qualität.