Was jeder Ansatz ändert
Jede Antwort eines Modells hängt von zwei Faktoren ab: seinen Gewichtungen, die beim Training festgelegt wurden, und dem Kontext, den es zum Zeitpunkt der Anfrage liest. Prompting und Retrieval wirken sich auf den Kontext aus. Fine-Tuning wirkt sich auf die Gewichtungen aus.
Sofort änderbar. Die Anweisungen werden bei jeder Anfrage gesendet und bezahlt.
Das Wissen bleibt außerhalb des Modells, sodass es aktualisiert und zitiert werden kann. Die Art und Weise, wie das Modell antwortet, bleibt unverändert.
Das Verhalten wird einmalig im Voraus erlernt. Erfordert gute Beispiele und einen neuen Durchlauf, wenn das Verhalten geändert werden soll.
Prompting
Prompting bedeutet, Anweisungen und oft auch einige ausgearbeitete Beispiele in die Anfrage zu schreiben. Es erfordert kein Training, wirkt sofort und ist leicht zu ändern, was es zum idealen Ausgangspunkt macht. Die Kosten fallen pro Aufruf an: Ein Prompt mit 2.000 Token wird bei jeder Anfrage bezahlt, erhöht die Latenz und beansprucht Platz im Kontextfenster. Lange Prompts werden zudem nur unvollständig befolgt — je mehr Regeln es gibt, desto wahrscheinlicher ist es, dass einige ignoriert oder inkonsistent angewendet werden.
Retrieval-Augmented Generation (RAG)
Retrieval-Augmented Generation fügt einen Suchschritt hinzu. Ihre Dokumente werden im Voraus indiziert; für jede Frage werden die relevantesten Passagen abgerufen und in den Prompt eingefügt, woraus das Modell dann seine Antwort generiert. Der Begriff stammt aus einer Publikation von Lewis und Kollegen aus dem Jahr 2020. Da das Wissen außerhalb des Modells liegt, wird es durch die Aktualisierung der Dokumente auf dem neuesten Stand gehalten, und Antworten können ihre Quellen zitieren. Die Art und Weise, wie das Modell antwortet, bleibt jedoch unverändert: Es schreibt weiterhin in seinem eigenen Stil und Format.
Wenn das Ziel Wissen ist, ist Retrieval meist die bessere Wahl. Ein Vergleich von Ovadia und Kollegen aus dem Jahr 2023 ergab, dass Retrieval bei der Integration von Fakten in die Antworten eines Modells durchweg besser abschnitt als unüberwachtes Fine-Tuning – sowohl bei Fakten, die das Modell bereits kannte, als auch bei völlig neuen.
Fine-Tuning
Fine-Tuning setzt das Training des Modells mit Ihren Beispielen fort, sodass das gewünschte Verhalten zum Standard wird. Anweisungen, die Sie sonst in jedem Prompt wiederholen müssten — der Tonfall, die Struktur einer Antwort, der Detaillierungsgrad, der Umgang mit unklaren Fragen —, werden einmalig erlernt. Das Ergebnis antwortet auch bei einem kurzen Prompt auf diese Weise, was jede Anfrage günstiger und schneller machen kann. Zudem ermöglicht es einem kleinen Modell, eine spezifische Aufgabe genauso gut zu erledigen wie ein größeres, sorgfältig gepromptetes Modell.
Die Kosten fallen im Voraus an: Sie benötigen gute Beispiele, einen Trainingsdurchlauf, eine Evaluierung und einen neuen Durchlauf, sobald sich das gewünschte Verhalten ändert. Auf diese Weise erlernte Fakten werden zum Zeitpunkt des Trainings eingefroren und weniger zuverlässig abgerufen als Fakten, die im Prompt bereitgestellt werden.
So wählen Sie aus
| Wenn die Frage lautet… | Verweist auf |
|---|---|
| Benötigt das Modell Fakten, die sich wöchentlich ändern, oder eine große Dokumentensammlung? | Retrieval |
| Müssen Antworten belegen, woher ein Fakt stammt? | Retrieval |
| Liegt das Problem in der Art der Antwort — Tonfall, Format, Länge, Konsistenz? | Fine-Tuning |
| Sind Ihre Prompts lang und werden bei jedem Aufruf wiederholt? | Fine-Tuning kann diese integrieren |
| Soll ein kleineres, günstigeres Modell bei einer Aufgabe mit einem größeren gleichziehen? | Fine-Tuning oder Destillation |
| Sind Sie noch dabei herauszufinden, wie eine gute Antwort aussieht? | Zunächst Prompting |
- Woche 1 — Prompting. Ein System-Prompt beschreibt das Produkt und den Tonfall. Es funktioniert, aber die Antworten variieren im Format, und der Prompt wächst auf 1.800 Token an, wenn Regeln hinzugefügt werden.
- Woche 3 — Retrieval. Artikel aus dem Help Center werden indiziert und die drei relevantesten werden jeder Anfrage hinzugefügt. Antworten zu Funktionen werden präzise und aktuell.
- Woche 6 — Fine-Tuning. Dreihundert überprüfte Support-Chats lehren das Format und den Tonfall. Der System-Prompt schrumpft auf zwei Sätze; Retrieval liefert weiterhin die Fakten.
- Ergebnis. Jede Anfrage enthält weitaus weniger Anweisungs-Token, die Antworten sind konsistent, und die Änderung einer Richtlinie bedeutet weiterhin, ein Dokument zu bearbeiten, anstatt neu zu trainieren.
Häufige Fehler
- Fine-Tuning, um sich ändernde Fakten zu vermitteln, und anschließendes erneutes Training bei jeder Änderung.
- Der Vergleich eines feinabgestimmten Modells mit einem schlecht geprompteten Basismodell; vergleichen Sie es stattdessen mit Ihrem besten Prompt.
- Die Erwartung, dass Retrieval den Tonfall oder das Format korrigiert; es ändert lediglich, was das Modell liest.
- Das Weglassen des System-Prompts nach dem Fine-Tuning, wenn das Modell mit einem solchen trainiert wurde.
- Fine-Tuning, bevor Sie wissen, wie eine gute Antwort aussieht, sodass die Beispiele einander widersprechen.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al., 2020 · arXiv · arxiv.orgDie Publikation, die RAG benannt und eingeführt hat.
- 02Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMsOvadia et al., 2023 · arXiv · arxiv.orgEin direkter Vergleich der beiden Methoden zur Wissenserweiterung.
- 03Model optimizationOpenAI API docs · developers.openai.comDie Sicht eines Anbieters, wann gepromptet, evaluiert und feinabgestimmt werden sollte.
- 04Prompt engineering overviewClaude Platform Docs · platform.claude.comWie weit sorgfältiges Prompting reicht, bevor ein Training erforderlich wird.