トレーニング手法の選択

選択の目的

すべてのトレーニング手法はモデルの重みを変更しますが、それぞれ異なるシグナルから学習します。教師ありファインチューニング（SFT）には正解が提示されます。選好チューニング（DPO）には2つの回答が提示され、どちらが優れているかが伝えられます。強化学習ファインチューニング（RFT）は独自の回答を生成し、スコアを受け取ります。蒸留はより大規模なモデルを複製します。継続事前学習は生のテキストを読み込み、次の単語を予測することを学習します。

したがって、最初の問いは「どの手法が最適か」ではなく、「現在何を持っており、何を変更すべきか」です。1,000件の優れたサポートチャットを持つチームは、SFTデータセットを保有しています。エージェントが回答の草稿を編集しているチームは、選好ペアを収集しています。1つの正しい数値を持つ計算を行う金融チームには、RFTタスクがあります。そして、モデルが毎週変化する事実を必要とする場合、トレーニングは全く解決策にならないかもしれません。質問時に事実を検索する手法であれば、再トレーニングなしで情報を最新の状態に保つことができます。

Training Assistantの選択方法

トレーニングアシスタントは、提供されたデータを確認し、理由とともに手法を推奨します。

• チャットまたはプロンプトと応答のペア → 教師ありファインチューニング。
• 選好ペア → DPO。
• ドキュメント → 継続事前学習。
• 検証可能な回答を持つ質問 → 強化学習ファインチューニング。
• 大規模モデルの小規模な複製 → 蒸留。

選択したプロバイダーとベースモデルがサポートする手法のみを提示します。例えば、継続事前学習はHugging FaceやVertex AIのオープンモデルには存在しますが、Gemini、Azure、Fireworks、または現在のBedrockモデルには存在しません。これらのモデルでは、ドキュメントは生成されたQ&Aに変換され、通常の教師ありデータとしてトレーニングされます。アシスタントは、複数の手法が適合する場合にのみ質問を行います。

メソッドのスタック

実行は以前のものから継続することができるため、手法は一度だけ選択されるのではなく、組み合わされることがよくあります。一般的な連鎖は次のとおりです。教師あり学習の後に選好チューニング（タスクを学習させてから洗練させる）、教師あり学習の後に強化学習（RLはモデルがすでに時折正解できるものを精度向上させることしかできません）、継続事前学習の後に教師あり学習（ドキュメントを読み込んでから、それに基づいて回答することを学習する）。選好チューニングは、ベースモデルまたは教師あり学習の実行からのみ開始されます。各リンクは開始時のモデルに対して評価されるため、そのステップで何が追加されたかを確認できます。

提案される設定

手法が選択されると、アシスタントは各設定について質問するのではなく、設定を提案します。プロバイダーに自動モードがある場合はそれを使用し、ない場合はプロバイダーのデフォルトのエポック数を使用します。また、大規模なデータセットの場合はより少ないエポック数（1〜2）を提案します。トレーニングは処理されたトークンごとに課金され、データを1回余分にパスするごとに、およそ1エポック分のコストが追加されますが、大規模なデータセットであれば、1回のパスでモデルに十分な例を提供できます。

dataset: 3,000,000 tokens          price (illustrative): $2 per 1M training tokens

3 epochs  →  9,000,000 tokens trained  →  $18
2 epochs  →  6,000,000 tokens trained  →  $12
1 epoch   →  3,000,000 tokens trained  →  $6

メソッドの概要

よくある間違い

• 最初に強化学習や選好チューニングを選択すること。教師あり学習を実行しなければ、通常、モデルが精度を高めたり洗練させたりする余地はほとんどありません。
• 少数のチャットで製品の事実を学習できると期待すること。チャットは回答方法を学習するものであり、事実はドキュメントや検索から取得する必要があります。
• 数ページのみで継続事前学習を実行すること。何らかの変化をもたらすには、数万語のデータが必要です。
• 大規模なデータセットで多数のエポックを維持すること。パスごとにコストが増加し、追加のパスは主に過学習を招くだけです。
• 真に必要なものが最新情報である場合にトレーニングを行うこと。毎週変化する事実は、モデルの重みではなく検索に含めるべきです。

参考文献および関連資料

外部ソースは新しいタブで開きます。

1. 01Model optimization↗OpenAI API docs · developers.openai.com教師あり学習、選好チューニング、強化学習ファインチューニングの使い分けに関するプロバイダー独自の概要。
2. 02LIMA: Less Is More for Alignment↗Zhou et al., 2023 · arXiv · arxiv.org強力なベースモデルに優れた回答スタイルを学習させるには、厳選された1,000個の例で十分でした。
3. 03Direct Preference Optimization: Your Language Model is Secretly a Reward Model↗Rafailov et al., 2023 · arXiv · arxiv.org個別の報酬モデルを使用しない選好チューニングの背景にある論文。
4. 04Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs↗Ovadia et al., 2023 · arXiv · arxiv.org知識の追加において、テストされたすべての設定で検索が教師なしファインチューニングを上回りました。

関連する概念