Aus Dokumenten lernen: Q&A-Generierung

Was es ist

Ein Modell, das mit einigen Dutzend Chats feingetunt wurde, lernt Tonfall und Format in der Regel schnell. Was es nicht lernt, sind die Fakten, die es nie gesehen hat: welche Tarife Exporte beinhalten, wie lange ein freigegebener Link gültig ist, wie eine Einstellung heißt. Evaluierungen zeigen dies deutlich: Ein solches Modell erzielt gute Werte bei Tonfall und Format, aber schlechte bei der inhaltlichen Richtigkeit. Die Fakten befinden sich meist in Dokumenten: Hilfeartikeln, Handbüchern, Produktseiten.

Die Q&A-Generierung schreibt diese Dokumente in das Format um, das überwachtes Training versteht. Ein Modell liest jeden Textabschnitt und verfasst dazu einige Frage-Antwort-Paare. Diese Paare werden als gewöhnliche Beispiele in Ihren Datensatz aufgenommen, sodass die Fakten das Modell über dieselbe Vorbereitung, dasselbe Training und dieselbe Evaluierung erreichen wie Ihre Chats.

Warum nicht einfach mit dem Text selbst trainieren? Die Forschung legt nahe, dass Modelle Fakten aus einer einzigen Kopie nur unzureichend lernen. Ovadia et al. (2023) stellten fest, dass Modelle „Schwierigkeiten haben, neue sachliche Informationen durch unüberwachtes Fine-Tuning zu lernen“, und dass es hilft, viele Variationen desselben Fakts zu sehen. Yang et al. (2024) merken an, dass ein Modell einen Fakt in „Hunderten bis Tausenden von unterschiedlichen Darstellungen“ sehen muss, um ihn während des Pre-Trainings zu lernen. In verschiedenen Worten formulierte Fragen sind genau solche Variationen, und sie lehren das Modell zudem, den Fakt bei Bedarf abzurufen.

Dokumente in einen Datensatz importieren

• Dateien hochladen: PDF, Word, PowerPoint, Text, Markdown oder HTML.
• Bereits in Scalata vorhandene Dateien auswählen; deren extrahierter Text wird wiederverwendet.
• Fügen Sie Webseiten-Adressen ein. Nur öffentliche Seiten: Der Haupttext wird beibehalten, Menüs und Fußzeilen werden entfernt. Adressen, die auf Ihr internes Netzwerk verweisen, werden abgelehnt.
• Importieren Sie die Klartext-Zeilen eines Hugging Face-Datensatzes (Webseiten, Bücher…). Die Zeilen werden zu Dokumenten mit bis zu 40.000 Zeichen zusammengefügt.
• Wählen Sie Dateien aus einer angebundenen Datenquelle wie Google Drive, OneDrive, Amazon S3 oder Snowflake. Es werden nur lesbare Dokumente aufgelistet, Dateien über 50 MB können nicht ausgewählt werden, und die Quelle wird nur gelesen, niemals geändert.

Der Text jedes Dokuments wird einmal gelesen und kann vor der Verwendung mit Text anzeigen überprüft werden. Diese kurze Prüfung lohnt sich: Ein gescanntes PDF mit fehlerhaftem Text oder eine Seite, die hauptsächlich aus Navigationselementen besteht, führt zu schlechten Fragen.

Funktionsweise

1. In Abschnitte unterteilen. Der Text wird in Abschnitte von etwa 900 Wörtern aufgeteilt. Benachbarte Abschnitte überschneiden sich leicht, sodass ein Fakt, der auf eine Grenze fällt, in mindestens einem davon vollständig erscheint.
2. Einen Abschnitt nach dem anderen lesen. Das von Ihnen gewählte Generatormodell liest einen Abschnitt und verfasst einige realistische Frage-Antwort-Paare.
3. Fragen wie von Nutzern. Sie sind so formuliert, wie Menschen tatsächlich tippen („wie teile ich das“), nicht wie Prüfungsfragen.
4. Antworten nur aus dem Abschnitt. Der Generator darf keine Fakten verwenden, die nicht im vorliegenden Text enthalten sind. Ein Abschnitt, der keine Fragen zulässt, wie etwa ein Literaturverzeichnis, liefert keine Fragen.
5. Ihr Tonfall. Wenn der Datensatz bereits Chats enthält, werden dem Generator einige echte Antworten gezeigt, damit die Antworten nach Ihrem Produkt klingen.
6. Gewöhnliche Beispiele. Die Paare landen im Datensatz, wo Sie sie vor der Vorbereitung überprüfen, bearbeiten oder löschen können.

{"messages": [
  {"role": "user",      "content": "does the client need an account to open a shared report?"},
  {"role": "assistant", "content": "No. The link opens without an account and expires after 7 days. You can revoke it any time under Share → Manage links."}
]}

Gute Paare erhalten

• Verwenden Sie nur aktuelle Dokumente. Paare aus einem veralteten Handbuch vermitteln veraltete Fakten, und das mit voller Überzeugung.
• Bevorzugen Sie sauberen Text. Hilfeartikel und Produktseiten funktionieren am besten; Seiten mit Tabellen, Referenzen oder Navigation bringen wenig.
• Mischen Sie mit echten Chats. Generierte Paare liefern die Fakten; echte Chats liefern das Multi-Turn-Verhalten und die Randfälle, die Nutzer tatsächlich einbringen.
• Überlasten Sie das Modell nicht mit neuen Fakten. Gekhman et al. (2024) haben herausgefunden, dass Fine-Tuning-Beispiele mit für das Modell neuem Wissen langsamer gelernt werden und es nach dem Erlernen anfälliger für Halluzinationen machen. Halten Sie die Antworten fundiert und ziehen Sie Retrieval für Fakten in Betracht, die sich häufig ändern.

Q&A-Generierung oder fortgesetztes Pre-Training?

Wählen Sie die generierte Q&A, wenn Sie zeitnah und bei jedem Anbieter bessere Antworten wünschen. Wählen Sie fortgesetztes Pre-Training, wenn Sie über umfangreiche Dokumentationen verfügen und offene Modelle trainieren, idealerweise gefolgt von generierter Q&A oder Chat-Training, das darauf aufbaut.

Einstellungen

Häufige Fehler

• Das Überspringen der Überprüfung. Eine generierte Antwort ist nur so präzise wie ihr Abschnitt, und der Generator kann dennoch zwei Fakten miteinander vermischen.
• Die Einspeisung veralteter Dokumente oder Entwürfe. Das Modell lernt genau das, was im Text steht.
• Das Training ausschließlich mit generierten Paaren. Ohne echte Chats gibt das Modell Fakten möglicherweise gut wieder, bewältigt reale Konversationen jedoch schlecht.
• Die fehlende Prüfung über „Text anzeigen“ bei gescannten oder stark formatierten Dateien, bei denen der extrahierte Text unleserlich sein kann.
• Die Beurteilung des Ergebnisses anhand des Tons. Die Q&A-Generierung zielt auf inhaltliche Richtigkeit ab; achten Sie daher auf die Korrektheitswerte der Evaluierung.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

1. 01Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs↗Ovadia et al., 2023 · arXiv · arxiv.orgModelle lernen neue Fakten aus Rohtext nur unzureichend; viele Variationen eines Fakts sind hilfreich.
2. 02Synthetic continued pretraining↗Yang et al., 2024 · arXiv · arxiv.orgDas Umschreiben eines kleinen Korpus in wesentlich vielfältigeren synthetischen Text, damit ein Modell daraus lernen kann.
3. 03Physics of Language Models: Part 3.1, Knowledge Storage and Extraction↗Allen-Zhu & Li, 2023 · arXiv · arxiv.orgKontrollierte Experimente zeigen, dass Wissen in unterschiedlichen Formen vorliegen muss, um durch Fragen abrufbar zu sein.
4. 04Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?↗Gekhman et al., 2024 · arXiv · arxiv.orgWarum das Vermitteln vieler neuer Fakten durch Fine-Tuning zu mehr Halluzinationen führen kann.
5. 05Instruction Pre-Training: Language Models are Supervised Multitask Learners↗Cheng et al., 2024 · arXiv · arxiv.orgDie Anreicherung von Rohtext mit generierten Anweisungs-Antwort-Paaren während des fortgesetzten Pre-Trainings.

Verwandte Konzepte