ペアとは何か
選好ペアは3つの部分で構成されます。プロンプト（システムメッセージを含むこれまでの会話）、選好される回答、および選好されない回答です。一部のツールでは、後者2つを選択済み（chosen）および拒否済み（rejected）と呼びます。モデルに対して、なぜ一方が優れているのかが伝えられることはありません。モデルは、両者の間のあらゆる違いからそれを推論します。
これがペアに関する最も重要な事実です。すなわち、DPOは違いを学習します。 選好される回答が正確かつ具体的であり、拒否された回答が曖昧である場合、モデルは具体的であることを学習します。選好される回答が常に長い場合、代わりに「長い方が良い」と学習してしまう可能性があります。ペア全体を通じて両者を一貫して区別する要素が何であれ、それが強化されます。
選好ペアツールの3つのソース
データセット内の各返答は、ペアの優れた側になることができます。データセットからペアを構築する場合、劣る側は次の3つのいずれかから取得されます。
| ソース | より悪い回答の作成方法 | 強み | 注意点 |
|---|---|---|---|
| 評価 | 2つのモデルが同じ質問に回答し、判定者が勝者を選びました。勝者が好ましい回答、敗者が好ましくない回答となります。引き分けはスキップされます。これらには選好が含まれないためです。 | 両方の回答が実際のモデルの出力であるため、対比が現実的です。 | 判定者は完璧ではなく、誤った勝者は誤った学習につながります。抜き打ちチェックを行ってください。 |
| 編集内容 | データセット内の回答を修正しました。修正版が好ましい回答、元のバージョンが好ましくない回答となります。 | 最も高品質なシグナルです。何が間違っていたのかを人間が正確に指摘します。 | 言い回しを変えるだけの編集からは、ほとんど学習できません。 |
| モデルによる生成 | 選択したモデルが、自社の知識やツールを持たずに、シンプルで一般的な回答を生成します。お客様の回答が好ましい回答となります。 | 他のペアを持たないすべての回答を網羅し、一般的なアシスタントではなく、お客様のチームのように回答するようモデルに学習させます。 | 対比が容易であるため、多くを学習することなく損失が急速に低下する可能性があります。 |
同じ評価を再度追加すると、ペアが複製されるのではなく更新されるため、評価、ペアの収集、トレーニング、そして再評価というループを繰り返すことができます。
チャットフィードバックと人間のレビューによるペア
- チャットフィードバック。 チャットで同じ質問が2回行われ、一方の回答に「いいね」が付き、もう一方に「よくないね」が付いたか再生成された場合、チャットフィードバックをインポートするとそれがペアになります。「いいね」が付いた回答が選好され、もう一方は選好されません。異なる人から両方の評価を受けた回答はスキップされ、同一の回答もスキップされます。「よくないね」が付いた回答単独では学習対象の返答にはならず、比較対象となるより良い回答を待ちます。
- アノテーションキュー。 回答をブラインドで読むレビューアが、より良い方を選択するか、修正を書き込みます。キューをエクスポートすると、修正内容または選択された回答が学習対象の返答となり、評価の低かった回答がその劣るペアとなるため、1つの例が教師あり学習とDPOの両方に役立ちます。修正のない引き分けのケースはエクスポートされません。
ペアを有用にする要素
- 違いは、重視すべき点である必要があります。 両方の回答が優れており、言い回しのみが異なる場合、モデルはノイズを学習してしまいます。DPOに関する研究では、2つの回答が非常に似ているペアは、無関係な回答の確率を上げてしまう可能性があることが分かっています。
- 好ましい回答は、実際に優れている必要があります。 誤った勝者を選ぶと、誤った学習につながります。生成された回答や判定は完璧ではないため、サンプルを確認してください。
- もっともらしい却下回答の方が、より多くのことを学習させられます。 「曖昧だが丁寧」な回答は、意味不明な回答よりも有用な対比となります。モデルが決して生成しないような却下回答からは、ほとんど何も学習できません。
- モデルが生成するものに近いこと。 DPOは、モデル自身の挙動に近い回答から最も多くを学習します。片方がモデル自身によって生成された評価ペアは、当然ながら目的に適しています。
- 長さとスタイルを制御する。 好ましい回答が常に長かったり、過度にフォーマットされていたりする場合は、短くてシンプルな回答が勝つペアも含めてください。
- 捏造をペナルティの対象にする。 モデルが詳細を捏造する場合は、却下回答が捏造されたものであり、好ましい回答が正確であるか、あるいは分からないと明確に述べているペアを追加してください。
- 質問：「ダッシュボードをPowerPointにエクスポートできますか？」選好される回答は毎回同じで、正しい手順である「共有」→「エクスポート」→「PowerPoint」です。
- 弱い例: 拒否された回答「asdf」。対比が些細すぎます。このペアの損失はほぼ即座に0近くまで下がり、モデルはほとんど何も学習しません。
- より良い例: 拒否された回答「その機能が存在するかどうかわかりません。ドキュメントを確認してください。」現実的な失敗例であり、曖昧で役に立ちません。
- 最適な例（捏造するモデル向け）: 拒否された回答「はい。Ctrl+Shift+Pを押して、スライドへのエクスポートを選択してください。」自信に満ちて間違っており、これこそがまさに取り除くべき癖です。
ペアの数
数十のペアで限定的な振る舞いに対する効果を示すことができ、数百以上のペアで確固たる効果をもたらします。数と同じくらい網羅性も重要です。同じ5つの質問に対する200のペアは、ユーザーが実際に尋ねる質問全体に分散された200のペアよりも学習効果が低くなります。規模の目安として、人間の比較から言語モデルをファインチューニングした初期の研究では、スタイルのタスクに5,000の比較、要約に60,000の比較が使用されました。
マルチターン会話からのペア
ペアは会話の深い部分から取得されることもあります。一部のプロバイダーは1レコードにつき1つの質問でトレーニングを行うため、以前のターンはコンテキストとして最新のユーザーメッセージにまとめられます。他のプロバイダーは会話全体をプロンプトとして受け入れ、ターンを個別のメッセージとして保持します。同じペアをどちらの方法でも記述できます。
Earlier in this conversation:
User: I uploaded a CSV yesterday.
Assistant: Thanks — it's in Local Storage.
Latest message:
Can I use it in a dashboard?よくある間違い
- サンプルを読まずに、生成または判定されたペアを信頼すること。
- 言い回しのみが異なるペア、または両方の回答が優れているペア。
- 拒否された回答が明らかに破綻しており、微細なニュアンスが何も学習されないこと。
- 隠れた長さのバイアス。選好される回答が常に長いため、モデルが冗長に話すことを学習してしまうこと。
- 評価に使用するのと同じ質問からペアを構築し、結果を実態よりも良く見せてしまうこと。
参考文献および関連資料
外部ソースは新しいタブで開きます。
- 01Fine-Tuning Language Models from Human PreferencesZiegler et al., 2019 · arXiv · arxiv.org人間の比較からの学習に関する初期の研究。ラベラーの近道がモデルの学習内容にどのように影響したかを含みます。
- 02Dataset formats and typesHugging Face TRL docs · huggingface.coプロンプト / 選択 / 却下のフォーマット（標準形式および対話形式）。
- 03Direct preference optimizationOpenAI API docs · developers.openai.com好ましい出力と好ましくない出力を備えたホスト型フォーマット。1ターンずつトレーニングされます。
- 04Unintentional Unalignment: Likelihood Displacement in Direct Preference OptimizationRazin et al., 2024 · arXiv · arxiv.orgほぼ同一の回答を持つペアが裏目に出る理由と、それらをフィルタリングすることがどのように役立つか。