評価モデルとは
強化学習ファインチューニングでは、モデルはプロンプトごとに複数の回答を作成し、それぞれに数値を割り当てる必要があります。評価モデルがこれを生成します。関数、モデル、またはその両方の組み合わせにより、プロンプト、回答、そしてScalataにおいては参照としてのお客様自身の回答を読み込み、0から1までのスコアを返します。GRPOは同じプロンプトに対する回答間の差異のみを使用するため、評価モデルの最も重要な特性は、お客様と同じように回答をランク付けできることです。
評価モデルには2つの系統があります。ルールベースの評価モデルは、完全一致、単語の重複、数値の比較、フォーマットの検証などによってスコアを計算します。これらは高速かつ無料で、完全に一貫していますが、プログラムされた内容しか測定できません。モデルベースの評価モデルは、LLMが判定者として機能し、人間のように回答を読み、正確さ、有用性、トーンを評価できますが、トークンや時間を消費し、独自のバイアスがかかるという代償があります。DeepSeek-R1の推論強化学習では、学習済みの報酬モデルが大規模な報酬ハッキングを受けやすいと著者が判断したため、ルールベースの報酬のみが使用されました。
評価モデル
LLMが会話、お客様の参照回答、およびN個の回答すべてをまとめて読み込み、正確性、有用性、トーン、フォーマットについてそれぞれ1から5でスコアリングします。このスコアは0〜1にスケーリングされます。意味を理解するため、異なる言葉で表現された正答でも高いスコアを獲得します。エポックごとのプロンプト1回につき1回の判定呼び出しコストがかかり、判定モデルの性能が低い場合はスコアにノイズが生じます。
生成された回答とお客様の回答との間の単語の重複を、ROUGE-L F1（0〜1）として測定します。判定モデルを必要としないため、コストはかかりません。意味ではなく表現を評価するため、異なる言い回しの正答はスコアが低くなり、お客様の言葉を再利用した誤答はスコアが高くなります。
判定スコア70%、類似度30%の割合です。判定モデルが良し悪しを決定し、類似度の項が回答をお客様の表現に近づけます。判定モデルのコストは発生しますが、両方の死角をそれぞれ小さな割合で維持します。
お客様の回答に含まれる主要な数値（小数、パーセンテージ、金額。リストの番号は除く）を抽出し、生成された回答内の最も近い数値と照合します。誤差1%以内は満点、5%以内は半分のスコアとなり、それ以上は0点となります。単位は調整されるため、1,705Mと1.705Bは同じ数値として扱われます。数値が含まれない回答はスキップされます。数値のみをチェックし、その前後の説明は評価しません。
判定50%、数値50%の割合で、推論と数値の両方が評価されます。回答に数値が含まれない場合は、判定スコアのみが使用されます。判定単独の場合と同様に、判定トークンを消費します。
回答が期待値と等しいかそれを含んでいるか、またはコードの一部がそのフォーマット（有効なJSON、既知のラベルなど）をチェックします。スコアは通常、ゼロか満点のいずれかであり、GRPOに非常に明確なシグナルを与えますが、これはチェック可能な回答が1つである場合にのみ機能します。ホスト型プロバイダーは、これらを組み込みの評価モデルとして提供しており、例えば、テキストの類似度、スコアリングモデル、および評価モデルの組み合わせと並んで、文字列チェックなどを提供しています。
類似度の測定方法：ROUGE-L
ROUGEは、機械が作成した要約を人間が作成したものと比較してスコア付けするために、2004年にChin-Yew Linによって導入されました。Lバリアントは、最長共通部分列（LCS）を探索します。これは、両方のテキストに同じ順序で出現する最も長い単語の連続であり、必ずしも隣接している必要はありません。適合率はLCS ÷ 回答の単語数、再現率はLCS ÷ 参照の単語数であり、F1値はその2つを組み合わせたもの（調和平均）です。
- リファレンス（9単語）：「レポートを開き、共有をクリックしてクライアントを選択します。」
- 回答A：「レポートのShareをクリックし、クライアントを選択します。」最長共通部分列：「Shareをクリックし…クライアントを選択します」、6語。適合率6/9、再現率6/9、F1 ≈ 0.67。
- 回答B、正解ですが言い換えられています：「レポートのShareボタンを使用して送信します。」（12語）。最長共通部分列：「レポートの」のみ、2語。適合率2/12、再現率2/9、F1 ≈ 0.19。
- 回答C、宛先が間違っています：「レポートを開き、Shareをクリックして管理者を選択します。」共通する単語は8語、F1 ≈ 0.89で、3つの中で最も高くなっています。
- 単語の分割方法や語幹への還元を行うかどうかは実装によってわずかに異なりますが、教訓は変わりません。類似度は表現を測定するものであり、そのため通常は判定モデルと組み合わせて使用されます。
数値評価モデルのスコアリング方法
- お客様の回答：「WACC ≈ 9.91%、株主資本コスト 10.34%、税引後負債コスト 4.15%、EV ≈ $1,705M。」4つの重要な数値が含まれています。
- 回答には9.95%、10.3%、4.2%、1,700Mが含まれています。
- 9.95と9.91の差は0.4%、10.3と10.34の差は0.4%、1,700と1,705の差は0.3%です。それぞれ満点が与えられます。
- 4.2と4.15の差は1.2%です。5%以内であるため、半分の点数が与えられます。
- スコア = (1 + 1 + 1 + 0.5) ÷ 4 = 0.875。「WACCは1.33%」とだけ記載された回答のスコアは0になります。
数値評価モデルは数値をチェックするものであり、その背後にある推論をチェックするものではありません。間違った方法で導き出された正しい数値でもスコアが与えられ、1つのミスがあるだけの妥当な手法は減点されます。また、多くの数値を列挙する回答は、お客様の数値に近づく可能性が高くなります。判定モデル＋数値の組み合わせは、これら両方のギャップを埋めるために存在します。
判定モデルがすべての回答を一度に確認する理由
Scalataでは、判定モデルはプロンプトに対するN個の回答すべてを同時に確認します。それらを並べて見ることで、互いに一貫した相対的なスコア付けを行います。そして、一貫した相対的なスコアこそがGRPOが使用するものです。判定モデルによる基準ごとの評価と各回答の短い理由は、実行ページの各グループの横に表示されます。
評価モデルの選択
| タスク | 推奨アプローチ | 理由 |
|---|---|---|
| 自由記述型のサポートまたはアドバイザリーチャット | 判定モデル | 自由記述のテキストが正確で役立つかどうかを判定できるのはモデルのみです |
| 回答を自社チームのトーンに合わせる必要がある場合 | 判定モデル + 類似度 | 判定モデルが意味の正確性を担保し、類似度が自社の言い回しに近づけます |
| 正確な結果が求められる計算 | 判定モデル + 数値、または数値のみ | 数値は検証可能であり、判定モデルはその周辺の不自然な記述を検出します |
| 1つの正解ラベルまたは値 | 完全一致 / チェック | オールオアナッシングのスコアが最も明確なシグナルを提供します |
| 固定の出力フォーマット | フォーマットチェック（判定モデルとの組み合わせも可） | 形式の有効性は検証可能ですが、コンテンツには依然として判定が必要な場合があります |
どちらを選択するにしても、長時間の実行を行う前に、ご自身で5つまたは10個の回答をスコア付けし、評価モデルと比較してください。そのランク付けに同意できない場合、モデルはお客様の意見ではなく、評価モデルの意見を学習することになります。
よくある間違い
- 意味が重要となる場面で類似度のみを使用すること。正しい言い換えが減点され、同じ言葉を使った間違った回答が加点されてしまいます。
- 長時間の実行に精度の低い判定モデルを選択すること。ノイズの多いスコアはノイズの多い優位性となり、GRPOは小さな差異を拡大させます。
- 評価モデルと評価判定モデルに同じモデルを使用すること。その場合、モデルの死角が二重に改善として見えてしまいます。
- 回答に数値がほとんど含まれないデータに対して数値評価モデルを使用すること。該当する行はスキップされ、データの一部からしか学習されません。
- 長さ、トーン、捏造された詳細など、評価モデルがチェックしない要素は、モデルが自由に変更できることを忘れてしまうこと。
参考文献および関連資料
外部ソースは新しいタブで開きます。
- 01ROUGE: A Package for Automatic Evaluation of SummariesLin, 2004 · ACL Anthology · aclanthology.orgROUGE-Lの本来の定義と、その最長共通部分列のF値。
- 02GradersOpenAI API docs · developers.openai.comホスト型評価モデルの種類：文字列チェック、テキストの類似度、スコアモデル、Python、およびマルチ評価モデル。
- 03Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgLLM判定モデルと人間の意見の一致度、および既知のバイアス：位置、冗長性、自己選好。
- 04DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.org推論強化学習において、学習済みの報酬モデルよりもルールベースの報酬が好まれた理由。