強化学習ファインチューニング（RFT）

概要

教師ありファインチューニングでは、モデルに正解が提示され、そのすべてのトークンに対して評価が行われます。一方、強化学習ファインチューニング（RFT）では、モデルに回答が提示されることはありません。モデル自身が回答を作成し、評価器がその結果をスコアリングします。そして、学習を通じて高スコアとなるような回答の生成確率を高めます。お客様にご用意いただくのは、優れた回答と劣った回答を区別する方法のみです。

そのため、優れた回答を判別することは容易であっても、事前に記述することが困難な場合において、RFTは最適な手法となります。結果の検証が可能な計算、既知のラベルによる分類、検証を通過すべきJSONオブジェクト、あるいは高性能な評価モデルが丁寧な回答と粗雑な回答を区別できる自由記述式の質問などがこれに該当します。

強化学習の用語

RFTは、ゲームプレイ用エージェントやロボットの学習分野である強化学習（RL）の用語を借用しています。言語モデルに当てはめると、それぞれ以下の意味を持ちます。

言語モデルにおけるRL（強化学習）が教師あり学習と異なる点は2つあります。1つ目は、報酬が最後にのみ与えられる点です。評価器は完成した回答をスコアリングするため、学習プロセスにおいて、数百あるトークンのうちどれが評価に値するかを特定する必要があります。2つ目は、データが学習中に生成される点です。各ステップで現在のモデルが新たな回答を作成するため、モデルの精度向上に伴い学習元のデータも変化します。これはオンポリシー学習と呼ばれます。

スコアが更新に反映される仕組み

RFTの中核となる更新ルールは、方策勾配（policy gradient）と呼ばれます。簡単に言えば、各回答においてモデルが生成したすべてのトークンを対象とし、回答のアドバンテージ（優位性）が正であればその生成確率を引き上げ、負であれば引き下げます。この変動幅はアドバンテージに比例します。高スコアの回答に含まれるトークンは、その文脈において出現確率がわずかに高まり、低スコアの回答に含まれるトークンはわずかに低くなります。

生のスコア単体では、シグナルとして不十分です。簡単なプロンプトに対するすべての回答が0.9のスコアを獲得した場合、それらすべての確率を引き上げても、何が優れていたのかを示すことにはなりません。そのため、RL手法では各スコアをベースライン（該当プロンプトに対する標準的な回答スコアの推定値）と比較し、その差分のみを評価の対象とします。PPOなどの従来の手法では、2つ目のニューラルネットワークを用いてベースラインを学習していました。現在、多くのRFTサービスで採用されているGRPOという手法では、同一プロンプトに対する複数の回答の平均スコアを単純に算出します。詳細は「GRPO、ステップバイステップ」をご参照ください。

for each step:
    prompts = a few rows from your data
    answers = model.sample(prompts, n = 4)          # 4 tries per prompt
    scores  = grader(prompt, answers, reference)    # 0–1 each; the model never sees the reference
    adv     = (scores − group mean) / group std     # per prompt
    update the model: tokens of answers with adv > 0 become more likely,
                      tokens of answers with adv < 0 less likely

お客様ご自身の回答は、参照（reference）として評価器の入力にのみ使用されます。学習中のモデルがそれを参照することは一切ありません。これが教師あり学習との実用面における最大の相違点です。モデルは正解を模倣して高スコアを獲得することはできず、自ら正解を導き出す必要があります。

{"prompt": [{"role": "user", "content": "How do I share a report with a client?"}],
 "reference": "Open the report → Share → pick the client. They get an email link."}

• 回答ごとに1行とし、その回答で終了します。 お客様の回答が3つ含まれるチャットの場合、3行になります。各行の参照となるのは最後の回答のみであり、それ以前の回答はコンテキストとしてプロンプト内に保持されます。
• システム指示は`developer`メッセージとして記述します。 ホスト型推論モデル（oシリーズ）は、強化学習のサンプルにおいてsystemメッセージを受け付けません。同様の指示はdeveloperメッセージに記述します。これらのモデルは、他のモデルがsystemを処理するのと同様にdeveloperメッセージを処理します。

強化学習（RL）でできることとできないこと

RFTはモデル自身の試行からのみ学習を行うため、モデルがすでに一定の頻度で生成できている挙動しか強化できません。あるプロンプトに対するN個の回答がすべて不十分な場合、各回答のスコアはほぼ同等となり、比較の意味を成さず、そのプロンプトから学習できることはありません。この点は研究でも裏付けられています。Yueら（2025年）の研究によると、RLで学習した推論モデルは、1問につき1回の試行のみ許可された場合にはベースモデルを上回る成績を収めましたが、複数回の試行を許可した場合にはベースモデルの方がより多くの問題を解決しました。つまり、RLはモデルが優れた回答をより確実に見つけ出せるようにしただけであり、自力では到達不可能な回答を与えたわけではないのです。

そのため、最初に教師あり学習を行い、その後にRLを行うのが標準的な手法となっています。優れた回答を用いた教師あり学習でタスクを学習させることで、モデルの試行が適切な範囲に収まるようになります。その後、RLを用いて、それらの試行の中から最適なものを選択する精度を高めます。非常に強力なベースモデルであれば、RL単独でも大きな成果を上げることが可能です。例えば、ルールベースの報酬のみで学習したDeepSeek-R1-Zeroは、AIME 2024のpass@1を15.6%から77.9%へと引き上げました。しかし、大半のファインチューニングはより小規模なモデルから開始されるため、まずは教師あり学習のステップを経ることが結果を左右します。

使用するタイミング

• 回答の確認が可能である：数値、ラベル、フォーマット、テストなど。ルールベースのグレーダーは安価で正確であり、不正操作が困難です。
• 開始時のモデルがすでにかなりの割合で正解している：例えば、自社データでの教師あり学習後である場合や、モデルが大規模である場合などです。
• 品質を判断することはできるが、理想的な回答を大規模に作成することはできない：強力なジャッジモデルを使用すれば、お客様の回答に照らし合わせて自由記述の回答をスコアリングできます。
• 新しい事実や新製品を教えることではありません。それらは教師ありデータや検索から取得する必要があります。

よくある間違い

• ほとんど正答できないモデルでRFTを実行すること。すべてのスコアが最低レベルに近い場合、比較するものがありません。まずは教師あり学習でトレーニングしてください。
• 報酬の上昇を改善の証拠として扱うこと。報酬は評価者の意見にすぎません。独立した評価で確認してください。
• 意味が重要なタスクで単語の重複を測定するなど、誤った指標を測定する評価者を選択すること。モデルは測定されたものを正確に最適化します。
• RFTに知識の追加を期待すること。RFTはモデルがすでに実行できることを再構築するだけです。
• 回答の制限を適切な回答の長さよりも短く設定し、完全な回答が途切れて低評価されること。

参考文献および関連資料

外部ソースは新しいタブで開きます。

1. 01DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning↗DeepSeek-AI, 2025 · arXiv · arxiv.orgルールベースの報酬を用いた大規模なRL、および教師あり学習によるコールドスタートが依然として有効であった理由。
2. 02Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?↗Yue et al., 2025 · arXiv · arxiv.orgRLが新たな推論能力を追加するのではなく、ベースモデルがすでに備えている能力の精度を高めるものであることを示す証拠。
3. 03Reinforcement fine-tuning↗OpenAI API docs · developers.openai.comホスト型RFTサービス：評価器、データ、およびRFTが適しているケースについて。
4. 04Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgフィードバックを用いたRLを、チャットモデルにおける標準的な最終ステップとして定着させた論文。

関連する概念