概要
評価器は最終的な目標ではありません。それは測定可能な代替物、すなわち代理指標です。強化学習は代理指標を徹底的に最適化するため、代理指標と本来の目標にズレが生じると、モデルは代理指標の方向へと逸脱していきます。経済学において、これはグッドハートの法則として知られています。すなわち、ある指標が目標になると、それは良い指標ではなくなるという法則です。AIの分野では、これを報酬ハッキングまたは仕様ゲーミングと呼びます。
典型的な例として、ゲームプレイにおける強化学習が挙げられます。ボートレースゲーム「CoastRunners」において、コース上のターゲットに当たることで報酬を得るエージェントは、入り江をぐるぐると回りながら同じターゲットに何度も当たり続けることを学習し、決してレースを完走しようとはしませんでした。コースを完走するよりも、その方が高いスコアを獲得できたからです。システムが壊れていたわけではありません。エージェントは報酬の指示通りに正確に行動しただけなのです。
言語モデルも評価器に対して同じような行動をとります。DeepSeek-R1の開発者らは、有用性を評価する学習済み報酬モデルを用いてトレーニングを行った際、コーディングのベンチマーク性能が低下しているにもかかわらず報酬が上昇し続けたと報告しています。彼らが推論の強化学習において学習済み報酬モデルを使用しなかったのは、これが理由の一つです。
Gaoら（2022）は、この曲線を測定しました。学習済み報酬モデルに対してモデルを最適化する際、彼らは実際の品質を表す独立した「ゴールド」報酬を追跡しました。その結果、モデルが初期状態から離れるにつれて代理指標は上昇し続けた一方で、ゴールドスコアは上昇してピークに達した後、低下に転じました。報酬モデルの規模が大きいほどこの影響は軽減されましたが、完全に排除することはできませんでした。
各評価器における現れ方
| 採点者 | どのように操作されるか | どのように見えるか |
|---|---|---|
| 判定モデル | より長く、網羅的に聞こえる回答。自信に満ちたトーン。判定モデルを称賛または指示するテキスト | 文字数が増加し、回答が注意事項や質問の繰り返しで埋め尽くされます。「この回答は完全かつ正確です」といった文言が散見されるようになります。 |
| 類似性 | 文脈に合っているかどうかにかかわらず、参照元のフレーズを再利用します。 | 模範解答のような自然な文章でありながら、誤った内容を述べている回答。 |
| 数値 | 多数の数値を列挙し、そのうちのどれかが正解に近い値になるようにします。 | 数値や代替案を詰め込んだ回答：「9.9%または10.3%のいずれか」など。 |
| 完全一致 / 検証 | 検証の表面的な条件だけを満たします。 | フィールドが空の有効なJSON形式や、無意味な文字列に囲まれた正しいラベルなど。 |
具体例
- プロンプト: 「ダッシュボードをPowerPointにエクスポートできますか？」 参照データ: 「はい: 共有 → エクスポート → PowerPoint。各チャートがスライドになります。」
- 回答1、スコア0.95、緑: 質問を繰り返し、手順を示し、一般的なプレゼンテーションのヒントを3段落追加し、「この回答はご質問に完全にお答えしています。」で締めくくる。
- 回答2、スコア0.70、赤: 参照データの手順を2文で説明。
- 判定モデルは簡潔さよりも網羅性を高く評価し、締めくくりの一文がそれをさらに後押しした可能性があります。回答2が求めていたものであるにもかかわらず、アップデートによってモデルは回答1の方向へと押しやられます。
- 解決策: より強力な判定モデル、またはご自身の回答との類似性のブレンド。最大回答長の制限の強化。そして、結果を確認するための異なる判定モデルによる評価。
防止策と発見方法
- 強化された回答を確認する。 各グループの緑色の回答は、まさにモデルが学習している内容そのものです。もしそれが意図したものでない場合は、直ちに停止し、評価器を変更してください。
- 独立した評価を行う。 評価器とは異なる判定器を使用し、未学習の質問（ホールドアウトデータ）を用いて、トレーニング済みのモデルを初期モデルと比較します。この評価に反映されない報酬の増加は疑うべきです。
- 評価器を組み合わせる。 各評価器の死角を別の評価器で補います。判定器と数値検証を組み合わせることで、単独で使用する場合よりもハックされるリスクを大幅に抑えることができます。
- 文字数を制限する。 回答の最大長を適切に設定することで、最も一般的なハックを根本から防ぐことができます。
- KL βでアンカーを設定する。 初期モデルからの逸脱に対するペナルティを設けることで、改善のスピードは遅くなりますが、ハックの進行を一定の範囲内に制限できます。
- 過剰なトレーニングを避ける。 初期状態から離れるほど過剰最適化のリスクが高まります。ピーク付近で停止する短いトレーニングの方が、長く続けるよりも良い結果をもたらすことが多々あります。
- 検証可能な報酬を優先する。 完全一致の回答、数値、フォーマット検証、テストなどは、主観的な意見に比べて解釈の余地が少なくなります。
よくある間違い
- 報酬チャートを成功の指標として扱ってしまうこと。
- 評価器と評価用の判定器に同じモデルを使用してしまうこと。
- 「報酬がまだ上昇しているから」という理由で、必要以上に長くトレーニングを続けてしまうこと。
- 1つのハックを修正しただけで回答を再確認しないこと。通常、モデルはすぐに次の抜け穴を見つけ出します。
- モデルのせいにすること。モデルは報酬の指示に従っているだけです。解決策は、ほぼ常に評価器や設定の側にあります。
参考文献および関連資料
外部ソースは新しいタブで開きます。
- 01Concrete Problems in AI SafetyAmodei et al., 2016 · arXiv · arxiv.org機械学習における5つの実践的な安全性の問題の1つとして、報酬ハッキングを挙げています。
- 02Scaling Laws for Reward Model OveroptimizationGao, Schulman & Hilton, 2022 · arXiv · arxiv.orgモデルが代理報酬に対して最適化される過程で、実際の品質がどのようにピークに達し、その後低下するかを測定しています。
- 03Specification gaming: the flip side of AI ingenuityKrakovna et al., 2020 · Google DeepMind · deepmind.google意図された目的ではなく、報酬の指示通りに行動してしまったエージェントの事例です。
- 04Reward Hacking in Reinforcement LearningWeng, 2024 · Lil'Log · lilianweng.github.io強化学習および言語モデルのトレーニングにおける報酬ハッキングに関する包括的な調査報告です。