モデルの単独スコアリング

概要

通常の評価はペアワイズ（一対比較）です。2つのモデルが回答し、判定モデルがどちらの回答が優れているかを判断します。単独評価 — 絶対評価、ポイントワイズ評価、または単一回答評価とも呼ばれます — では、2つ目の回答を省きます。判定モデルは1つの回答を読み、参照用の回答と照らし合わせ、各基準についてスコアを付けます。Zhengら（2023）は、これをペアワイズ比較と並んでLLM判定モデルを使用する標準的な方法の1つとして説明しており、MT-Benchは各モデルに単一のスコアを付与するためにこれを使用しています。

実際には、比較する適切な対象がない場合に使用します。ベースモデルが提供終了となった場合、有用なチェックポイントが存在しない場合、あるいは単に1つのモデルの絶対値が必要な場合などです。

仕組み

You are grading one assistant answer.

Conversation so far:   …
Reference answer:      (the reply from your data)
Answer:                (the model's answer)

Score the answer from 1 to 5 on correctness, helpfulness,
tone and format, and give a short reason.

1. 1つの質問につき1つの回答。 モデルは、ホールドアウトされた各質問に対して1回回答します。
2. 参照ベース。 判定モデルは実際の回答を参照するため、自身が知らない事実も確認できます。
3. 4つの基準、1〜5のスコア。 正確性、有用性、トーン、フォーマット — 並行評価と同じ基準で、短い理由が添えられます。
4. 勝敗ではなく平均。 結果は、基準ごとおよび総合の平均スコアとなります。比較して勝つ対象はありません。

並行評価とは異なる尺度

並行評価の場合、各スコアは部分的に相対的になります。判定モデルは2つ目の回答を見て、それに対して調整を行います。単独評価の場合、測定基準となるのは参照用の回答のみであり、より厳格になる傾向があります。Scalata独自の測定では、同じ判定モデルを用いて同じ質問を同じモデルに回答させた場合、以前のチェックポイントと並行評価した時よりも、単独評価の方が（1〜5の尺度で）約1ポイント低くなりました。モデル自体は何も変わっておらず、設定のみが異なります。

研究でも同様の傾向が示されています。プロトコルが結果を形作るのです。Tripathiら（2025）は、ペアワイズ判定は表面的な特徴に影響されやすいことを発見しました（絶対スコアの9%に対し、約35%のケースで好みが逆転しました）。一方、Liuら（2024）は、ペアワイズ比較の方が直接スコアリングよりも人間の判断とよく一致することを発見しました。それぞれの設定に強みがありますが、両者の数値を混同することはできません。

わかることと、わからないこと

効果的な活用方法

• 長期的に追跡する場合は、設定を固定してください。同じ質問、同じ判定者、同じ基準を使用します。いずれかを変更すると、以前のスコアとの比較ができなくなります。
• 平均値だけでなく、基準を確認してください。 トーンが優れていて正確性が低いことによる2.5と、その逆による2.5では、必要となるデータが異なります。
• モデルを並べてランキングが必要な場合は、チェックポイント比較を優先してください。これにより、モデルを他のモデルと同じ尺度で評価できます。

設定

よくある間違い

• 単独評価されたモデルを、並行評価されたモデルと比較してランク付けすること。
• 低い絶対スコアを「トレーニングによって悪化した」と解釈すること — 比較する前の状態が存在しません。
• 2回の実行間で判定モデルや質問を変更し、そのスコアを比較すること。
• 総合平均のみに注目し、どの基準がスコアを下げているかを見落とすこと。

参考文献および関連資料

外部ソースは新しいタブで開きます。

1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena↗Zheng et al., 2023 · arXiv · arxiv.orgペアワイズ評価、単一回答評価、および参照ベースの評価の並行比較。
2. 02Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation↗Tripathi et al., 2025 · arXiv · arxiv.org絶対評価とペアワイズ評価の選択が結果にどのように影響するか。
3. 03Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators↗Liu et al., 2024 · arXiv · arxiv.org直接的なスコアリングよりも一対比較を推奨する理由。
4. 04Prometheus: Inducing Fine-grained Evaluation Capability in Language Models↗Kim et al., 2023 · arXiv · arxiv.org評価基準と参照回答に基づく、1〜5の絶対評価スコアリング。
5. 05G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment↗Liu et al., 2023 · arXiv · arxiv.orgLLMを使用して単一の出力をスコアリングするための、初期から広く使われている手法。

関連する概念