損失だけでは不十分な理由
教師あり学習では、損失が低下するのを観察します。強化学習によるファインチューニングでは、損失は適切な指標にはなりません。モデルが新しい回答を生成するため、データはステップごとに変化し、アドバンテージは各グループでゼロを中心に再調整されます。そのため、モデルが改善している場合でも、そうでない場合でも、報告される損失はゼロ付近を推移する可能性があります。有用なシグナルは回答に関するものです。つまり、スコア、差異の大きさ、そして長さです。
指標
ステップ内の回答に対するグレーダーの平均スコア（0〜1の範囲）。各ステップで異なるプロンプトが使用されるため、ノイズを伴いながらも上昇傾向を示すはずです。横ばいまたは低下している場合、モデルがより良い回答を見つけられていないことを意味します。タスクの難易度が高すぎる、グレーダーのノイズが多すぎる、または学習率が低すぎる可能性があります。1に向かって急速に上昇している場合は、回答を確認するまで疑ってかかる必要があります。TRLではrewardとして記録されます。複数の報酬関数がある場合、それぞれが独自の行に記録されます。
最大回答長に達して途切れた回答の割合（TRLではcompletions/clipped_ratio）。途切れた回答は通常不完全であり、スコアも低くなります。そのため、この割合が高いとステップの多くが無駄になり、誤った理由でモデルが短い回答を生成するようになる可能性があります。制限を引き上げるか、システムプロンプトでより短い回答を求めてください。GRPOの目的関数における更新のクリッピング（別途記録されます）と混同しないようご注意ください。
スコアのばらつきの大きさ。報酬の標準偏差はスコアの広がりを示します（TRLはバッチ全体で計算します）。ゼロ標準偏差の割合（frac_reward_zero_std）は、N個の回答すべてが同じスコアを獲得したプロンプトの割合です。これらのプロンプトは更新を生成しません。ばらつきがゼロに近い、またはゼロ標準偏差の割合が1に近い場合、実行が停滞していることを意味します。つまり、すべての回答が等しく良いか、等しく悪い状態です。Scalataは、その補集合をシグナルのあるプロンプトとして表示します。
トークン単位での平均回答長（completions/mean_length）。ある程度の変動は正常です。DeepSeek-R1-Zeroのように、困難な推論タスクでは、モデルがより長く処理することを学習するにつれて、回答が長くなるのは妥当です。チャットタスクにおいて、報酬と連動して長さが増加する場合、通常はグレーダーが長さ自体に報酬を与えていることを意味し、これは報酬ハッキングの一種です。報酬が横ばいで長さがゼロに近づく場合は、モデルが発言を控えることでペナルティを回避している可能性があります。
KL βが0より大きい場合、TRLは初期モデルからの平均的な乖離であるklも記録します。報酬の改善が止まっているにもかかわらずKLが上昇し続けている場合、モデルは変化し続けていますが、もはや良い方向への変化ではないことを示しています。
プロバイダーが自らグレーダーを実行する場合（ホストされた推論モデル）、トレーニング中にスコアリングした回答は共有されません。代わりに、数ステップごとに、モデルがトレーニングに使用しない少数の検証用質問を提示し、同じグレーダーで回答を評価します。ステップ0はトレーニング前のモデルであるため、各質問は小さなタイムラインになります。ステップ0での低いスコアが上昇することは、学習が反映されている最も明確な兆候です。ステップ0から1.00の質問は改善を示すことができません。1回の確認での低下はサンプリングノイズです。これらの平均である検証報酬は、検証損失がトレーニング損失よりも優れているのと同じ理由で、トレーニング報酬よりも信頼に値します。プロバイダーは通常、同じステップでチェックポイントを保存するため、途中で確認スコアの改善が止まった場合、該当するチェックポイントが最終モデルと同等に優れている可能性があります。
チャートを合わせて読み解く
| 確認される事象 | 考えられる意味 | 取るべき対応 |
|---|---|---|
| 報酬が上昇、ばらつきが健全、長さが安定 | 学習中 | そのまま実行を継続し、最後に評価を行って確認する |
| 報酬が底付近で横ばい、大部分のプロンプトにシグナルがない | すべての回答が等しく悪く、強化すべきものがない | 教師あり学習の実行またはより大きなモデルから開始する。グレーダーが機能しているか確認する |
| 報酬が上限付近で横ばい、大部分のプロンプトにシグナルがない | プロンプトが簡単すぎる。すべての回答がすでに高スコアを獲得している | より難しいプロンプトを使用するか、停止する。これ以上得られるものはほとんどない |
| 報酬と長さが共に上昇 | グレーダーが長い回答を好んでいる | 強化された回答を確認します。評価器を変更または組み合わせます。長さの制限を引き下げます。 |
| クリップ率が高い | 制限により回答が途切れています | 最大回答長を引き上げるか、より短い回答を要求します |
| 報酬は上昇していますが、評価は開始時よりも悪化しています | 報酬ハッキングまたはドリフト | 学習ステップ数を減らします。KL βを引き上げます。評価器を変更します。 |
- ステップ1〜10：報酬0.31 → 0.38、シグナルを伴うプロンプト80%、クリップ率2%、長さ約180トークン。健全な状態です。
- ステップ10〜30：報酬0.38 → 0.71、長さ180 → 420トークン、クリップ率2% → 18%。報酬と長さが共に上昇しており、回答が制限に達し始めています。
- 実行ページの3つのグループ：緑色の回答は質問を言い換え、考えられるすべての注意点を挙げ、リファレンスのフレーズを繰り返しています。判定者は徹底している点を評価し、水増しをペナルティとする要素はありませんでした。
- 対応：ステップ数を減らし、長さの制限を下げて再実行するか、内容をより厳密にチェックする評価者に切り替えてから、別の判定者を使用した評価で確認してください。
よくある間違い
- RLの実行を損失で判断すること。代わりに報酬、ばらつき、長さを確認してください。
- 最高スコアの回答を読む前に、1に近い報酬を喜ぶこと。
- クリップ率の無視。途切れた回答は、ステップ全体のスコアを損ないます。
- 異なるグレーダーやジャッジを使用した実行間での報酬の比較。尺度が同じではありません。
- チャートだけで判断すること。最終的な結論は、理想的には異なるジャッジを用いた、ホールドアウトされた質問での評価によって得られます。
参考文献および関連資料
外部ソースは新しいタブで開きます。
- 01GRPO TrainerHugging Face TRL docs · huggingface.coreward、reward_std、frac_reward_zero_std、clipped_ratio、mean_lengthの定義。
- 02Reinforcement fine-tuningOpenAI API docs · developers.openai.comホストされたRFTジョブにおける、トレーニング報酬と検証報酬の読み取り。
- 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgR1-Zeroが推論を学習するにつれて回答が長くなった事例：長いことが純粋に良い結果をもたらしたケース。
- 04Understanding R1-Zero-Like Training: A Critical PerspectiveLiu et al., 2025 · arXiv · arxiv.org元のGRPO損失が、特に誤った回答において、どのように長さを増大させる可能性があるか。