概要
公開されているほぼすべてのトレーニング後パイプラインは、嗜好から学習する前に教師ありファインチューニングを実行します。InstructGPT（教師あり、次に報酬モデルと強化学習）、Zephyr（教師あり、次にDPO）、Tülu 3（教師あり、次にDPO、次に検証可能な報酬を伴う強化学習）がそうでした。ホスト型プロバイダーも、独自の嗜好チューニングに同じ順序を推奨しています。
| ステップ | 手法 | 学習内容 | データ |
|---|---|---|---|
| 1 | 教師ありファインチューニング | タスク：自社の製品、回答、トーン、フォーマット | 適切な返答を含むチャット |
| 2 | 選好チューニング（DPO）、ステップ1のモデルから継続 | 推敲：チームが好む回答を優先 | 良/悪のペア |
| 3 | ステップ1のモデルに対する評価 | ステップ2で何らかの付加価値があったか | 保留された質問 |
順序が重要である理由
DPOは、モデルがすでに生成できる回答の相対的な可能性を調整します。モデルが見たことのない事実を教えるメカニズムはありません。モデルが貴社の製品について何も知らない場合、ペア内の好ましい回答と好ましくない回答はどちらもモデルにとって等しく未知のものであることが多く、比較から利用できる情報はほとんどありません。
技術的な理由もあります。DPOの暗黙の報酬は参照モデルに対して測定され、この手法は、ペアがその参照モデルがもっともらしく記述できる回答のように見える場合に最も効果的に機能します。DPOの論文では、教師ありモデルが存在する場合は常にそれを参照として使用します。存在しない場合は、最初に好ましい回答でファインチューニングを行って不一致を狭めますが、これは別の名前のSFTステップにすぎません。
証拠も一致しています。Zephyrチームは、最初の教師ありステップがないと、モデルは「フィードバックからまったく学習できず、ひどいパフォーマンスになる」と報告しましたが、SFTの後にDPOを行うと、使用した両方のチャットベンチマークで大きな向上が見られました。代わりに上位の回答でさらに教師あり学習を行っても、その向上は再現されませんでした。嗜好ステップは、SFT単独では得られないものを追加したのです。
ステップ1のモデルからの継続
ステップ2はベースモデルから開始しません。ステップ1で生成された重みから開始し、その同じモデルがDPOが測定を行うための凍結された参照モデルになります。
- ホスト型モデル: プロバイダーは、IDを指定するか、そのアダプターからウォームスタートすることにより、以前にファインチューニングされたモデルから新しいジョブを開始します。
- LoRAアダプターでトレーニングされたオープンモデル: ステップ1のアダプターが最初にベースの重みにマージされます。新しいトレーニングはそのマージされたモデルで実行され、結果は再びマージされて完全なモデルとして保存されます。
- 一貫して同じベース: 実行は、継続元の実行と同じプロバイダーおよびベースモデルを使用する必要があるため、モデルの制限と価格は同じままになります。
ステップ間で設定が変更されます。嗜好トレーニングは通常、より少ないエポック数（1〜2）と、はるかに低い学習率を必要とします。規模の参考として、Zephyrは教師ありステップで2e-5、DPOで5e-7のピーク学習率を使用し、β = 0.1としました。
ステップ2の測定
継続されたモデルは、プレーンなベースモデルではなく、ステップ1のモデルと比較してください。ベースモデルに対する勝利は、主にステップ1で学習したことを反映しています。ステップ1のモデルに対する勝利は、嗜好チューニングが追加したものであり、DPOステップを保持すべきかどうかを判断するための唯一の数値です。
- ベースモデルは質問に対して不十分な回答をします。ステップ1（SFT）は、その大部分を修正します。
- ベースモデルに対して評価されたステップ2のモデルは、20問中17問で勝利します。これは素晴らしい結果に見えますが、そのほぼすべてはステップ1によるものです。
- 同じステップ2のモデルをステップ1のモデルに対して評価した場合、6勝5敗9引き分けとなります。嗜好チューニングによる追加効果はほとんどなく、これほど小さな差はノイズの範囲内です。
- 決定: ステップ1の比較で優れている方を保持し、より良いペアを収集してから再試行し、もう一方はアーカイブします。
期待される結果
実際の運用においてDPOステップを実行して得られる一般的な教訓は、初期モデルによっては、同じペアが役立つこともあれば、何の影響も与えないことも、悪影響を及ぼすこともあるということです。高性能なモデルでは、DPOステップによって回答をチームの意図に近づけ、トーンを改善することができます。非常に小規模なモデルでは、結果は引き分けになることが多くなります。モデルが良い回答を生成できない場合、優先すべきものが何もないからです。また、チューニングされたモデルがさらに悪化することもあります。
2つのステップを超えて
- DPO後の新しい知識: 嗜好チューニングされたモデルから教師あり学習を継続します。大量の新しい教師あり学習を行うと、洗練された部分が一部失われる可能性があります。その新しい教師あり学習の後に短い嗜好パスを実行することで、それを復元できます。
- 同じペアを使用したDPOへのDPOの重ね掛けは、同じデータでエポック数を増やすだけであり、過剰なチューニングになる傾向があります。回答が逸脱したり、長くなったり、ペアが報酬を与えるものを悪用し始めたりします。
- 反復的DPO（最初のラウンドの自身の回答から収集した新しいペアでの2回目のラウンド）は有効な手法ですが、ラウンド間に新しいペア収集のステップが必要です。
よくある間違い
- ステップ1をスキップし、プレーンなベースモデルでDPOを実行すること。
- ステップ2をベースモデルに対して評価し、ステップ1の成果をDPOの功績とすること。
- ステップ1の過剰トレーニング。Zephyrは、教師ありモデルが1エポックを超えてトレーニングされた場合、DPOトレーニングが長くなると回帰が生じることを発見しました。
- 同じペアを使用して、DPOモデルで2回目のDPOラウンドを実行すること。
- 小さな差に基づいて行動すること。20問中5勝1敗という結果はヒントであり、証明ではありません。まずはより大規模な評価を実行してください。
参考文献および関連資料
外部ソースは新しいタブで開きます。
- 01Training language models to follow instructions with human feedbackOuyang et al., 2022 · arXiv · arxiv.orgRLHFを第2ステップとする、オリジナルの教師あり先行パイプライン。
- 02Zephyr: Direct Distillation of LM AlignmentTunstall et al., 2023 · arXiv · arxiv.orgSFTの後にDPOを行う詳細。SFTステップを省略した場合に何が起こるかを含みます。
- 03Tulu 3: Pushing Frontiers in Open Language Model Post-TrainingLambert et al., 2024 · arXiv · arxiv.org完全にオープンな手法：教師ありファインチューニング、次にDPO、そして強化学習。
- 04Direct preference optimizationOpenAI API docs · developers.openai.comDPOの前に、好ましい応答に対する教師ありファインチューニングを推奨するホスティングプロバイダー。
- 05Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.org参照モデルが教師ありモデルであるべき理由と、それが存在しない場合の対処法を説明します。