ドキュメントからの学習：Q&A生成

概要

数十件のチャットでファインチューニングされたモデルは、通常、トーンとフォーマットを素早く学習します。しかし、見たことのない事実は学習しません。どのプランにエクスポートが含まれているか、共有リンクの有効期限はどのくらいか、設定の名前は何かなどです。評価ではこれが明確に示されます。そのようなモデルはトーンとフォーマットでは高得点を出しますが、正確性では低得点になります。事実は通常、ヘルプ記事、マニュアル、製品ページなどのドキュメントに存在します。

Q&A生成は、これらのドキュメントを教師あり学習が理解できる形に書き換えます。モデルはテキストの各セクションを読み、それに関するいくつかの質疑応答ペアを作成します。これらのペアは通常の例としてデータセットに追加されるため、事実はチャットと同じ準備、トレーニング、評価のプロセスを通じてモデルに到達します。

なぜテキスト自体でトレーニングしないのでしょうか？研究によると、モデルは単一のコピーから事実を学習するのが苦手であることが示唆されています。Ovadiaら（2023年）は、モデルが「教師なしファインチューニングを通じて新しい事実情報を学習するのに苦労する」こと、そして同じ事実の多くのバリエーションを見ることが役立つことを発見しました。Yangら（2024年）は、モデルが事前学習中に事実を学習するには、「数百から数千の多様な表現」で事実を見る必要があると指摘しています。異なる言葉で書かれた質問はまさにそのようなバリエーションであり、質問されたときに事実を検索することもモデルに教えます。

データセットへのドキュメントの取り込み

• ファイルのアップロード: PDF、Word、PowerPoint、テキスト、Markdown、またはHTML。
• すでにScalataにあるファイルを選択します。抽出されたテキストが再利用されます。
• ウェブページのアドレスを貼り付けます。公開ページのみが対象です。本文は保持され、メニューやフッターは除外されます。ネットワーク内部を指すアドレスは拒否されます。
• Hugging Faceデータセットのプレーンテキスト行をインポートします（ウェブページ、書籍など）。行は最大40,000文字のドキュメントに結合されます。
• 接続されたデータソースからファイルを選択します。Google Drive、OneDrive、Amazon S3、Snowflakeなどが対象です。読み取り可能なドキュメントのみがリストされ、50 MBを超えるファイルは選択できません。また、ソースは読み取り専用であり、変更されることはありません。

各ドキュメントのテキストは一度読み込まれ、使用する前にテキストを表示で確認できます。この確認には1分かける価値があります。テキストの品質が低いスキャンされたPDFや、大部分がナビゲーションであるページからは、質の低い質問が生成されます。

仕組み

1. セクションへの分割。 テキストは約900語のセクションに分割されます。隣接するセクションは少し重複しているため、境界にある事実は少なくとも1つのセクションで全体として表示されます。
2. 一度に1つのセクションを読み込む。 選択したジェネレーターモデルがセクションを読み、現実的な質疑応答ペアをいくつか作成します。
3. ユーザーのような質問。 試験問題のようではなく、人々が実際に入力するような表現（「これを共有するにはどうすればいいですか」など）になります。
4. セクションからのみの回答。 ジェネレーターは、目の前のテキストにない事実を使用することはできません。参考文献のリストなど、質問する内容がないセクションからは質問は生成されません。
5. 自社のトーン。 データセットにすでにチャットがある場合、回答が自社製品のように聞こえるように、いくつかの実際の返信がジェネレーターに提示されます。
6. 通常の例。 ペアはデータセットに配置され、準備の前にレビュー、編集、または削除できます。

{"messages": [
  {"role": "user",      "content": "does the client need an account to open a shared report?"},
  {"role": "assistant", "content": "No. The link opens without an account and expires after 7 days. You can revoke it any time under Share → Manage links."}
]}

良質なペアの取得

• 最新のドキュメントのみを使用してください。 古いマニュアルから作成されたペアは、古い事実を自信を持って学習させてしまいます。
• 整ったテキストを優先してください。 ヘルプ記事や製品ページが最も適しています。表、参考文献、ナビゲーションのページからは得られるものがほとんどありません。
• 実際のチャットと組み合わせてください。 生成されたペアは事実を提供し、実際のチャットはユーザーが実際に持ち込む複数回のやり取りやエッジケースを提供します。
• モデルに新しい事実を詰め込みすぎないこと。 Gekhmanら（2024年）の調査によると、モデルにとって新しい知識を含むファインチューニングの例は学習に時間がかかり、一度学習するとハルシネーションを起こしやすくなることが分かっています。回答は事実に基づいたものにし、頻繁に変更される事実については検索の活用を検討してください。

Q&A生成か、継続的な事前学習か？

どのプロバイダーでもすぐに質の高い回答を得たい場合は、生成されたQ&Aを選択してください。大量のドキュメントがあり、オープンモデルをトレーニングする場合は、継続的な事前学習を選択し、その後に生成されたQ&Aまたはそこから続くチャットトレーニングを行うのが理想的です。

設定

よくある間違い

• レビューをスキップすること。生成された回答の正確さはそのセクションに依存し、ジェネレーターが2つの事実を混同する可能性は依然としてあります。
• 古いドキュメントや下書きのドキュメントを入力すること。モデルはテキストに書かれている内容をそのまま学習します。
• 生成されたペアのみでトレーニングすること。実際のチャットがないと、モデルは事実にはうまく回答できても、実際の会話にはうまく対応できない場合があります。
• スキャンされたファイルや書式設定が複雑なファイルで「テキストを表示」を確認しないこと。抽出されたテキストが文字化けしている可能性があります。
• トーンで結果を判断すること。Q&A生成は正確性を目標としているため、評価の正確性スコアを確認してください。

参考文献および関連資料

外部ソースは新しいタブで開きます。

1. 01Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs↗Ovadia et al., 2023 · arXiv · arxiv.orgモデルは生のテキストから新しい事実を学習するのが苦手です。事実の多くのバリエーションが役立ちます。
2. 02Synthetic continued pretraining↗Yang et al., 2024 · arXiv · arxiv.orgモデルが学習できるように、小さなコーパスをより多様な合成テキストに書き換えること。
3. 03Physics of Language Models: Part 3.1, Knowledge Storage and Extraction↗Allen-Zhu & Li, 2023 · arXiv · arxiv.org知識が質問によって検索可能になるためには、多様な形で見られる必要があることを示す対照実験。
4. 04Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?↗Gekhman et al., 2024 · arXiv · arxiv.orgファインチューニングを通じて多くの新しい事実を教えることが、なぜハルシネーションを増加させるのか。
5. 05Instruction Pre-Training: Language Models are Supervised Multitask Learners↗Cheng et al., 2024 · arXiv · arxiv.org継続的な事前学習中に、生成された指示と応答のペアで生のテキストを拡張すること。

関連する概念