概要
単一の評価は、「このトレーニングの実行は役立ったか？」という問いに答えます。しかし、いずれ「これらのモデルのうち、どれを使用すべきか？」という別の疑問が生じます。蒸留されたオープンウェイトモデル、あるプロバイダーの強化学習モデル、別のプロバイダーの選好チューニングモデルなど、選択肢は様々です。これらを個別に評価しても、それぞれ独自の質問や審査モデルを使用している可能性があるため、この疑問には答えられません。ある設定での4.0というスコアは、別の設定での4.0とは異なるからです。
比較では、数値を揃えるために条件を固定します。これは、HELMやChatbot Arenaなどの公開リーダーボードと同じ考え方であり、共通のテストをすべての比較対象に同じ方法で適用するアプローチを、お客様独自の質問に合わせて縮小したものです。
仕組み
- 質問を一度選択する：準備データのホールドアウトテスト質問、検証用質問、またはデータセット。
- 各モデルに対して1回の評価を実行する：まったく同じ質問を使用し、各モデルは引き続き独自のベースモデル（またはチェックポイント、あるいは単独でのスコア付け）と比較されます。
- モデルをランク付けする：審査モデルの平均スコアによってランク付けし、各質問に対するすべてのモデルの回答を参照データの横に表示します。
answer score = mean(correctness, helpfulness, tone, format) 1–5
model score = mean of its answer scores over the shared questions
ranking = models judged the same way, highest model score firstランキングは概要にすぎず、実際に学びを得られるのは質問ごとのビューです。同じ質問に対するすべてのモデルの回答を参照データの横に並べて確認することで、最適なモデルでも間違える点や、2つのモデル間の差が少数の質問によるものか、全体的なものかを把握できます。
公平な質問
| 質問のソース | 公平性が保たれる条件 |
|---|---|
| 準備データのホールドアウトテスト質問 | すべてのモデルがその準備データでトレーニングされています。異なる準備データでトレーニングされたモデルは、その一部をすでに学習している可能性があります。 |
| 準備データの検証用質問 | 上記と同様であり、どのモデルもこれらの質問から学習していません（ただし、プロバイダーはトレーニング中にこれらを確認しています）。 |
| データセット | 比較対象のどのモデルも、このデータセットでトレーニングされていません。 |
| トレーニングサンプル | 使用不可：常にその抽出元となったモデルに有利に働きます。 |
並列比較と単独評価：2つの尺度
同じ審査モデルであっても、単独で読まれた回答に対しては、他の回答と並べて読まれた同種の回答よりも著しく低いスコアを付けます。Scalataの測定では、同じモデルでも1〜5の尺度で約1ポイントの差が生じます。そのため、比較では同じ方法で審査されたモデルのみをランク付けします。単独でスコア付けされたモデルは個別にリストされ、比較不可とマークされます。ベースモデルが存在しないモデルをランキングに残すには、代わりにそのチェックポイントの1つと比較してください。
判定者の独立性
比較対象のモデル、またはそのベースモデルを審査モデルとして使用しないでください。審査モデルは、自身の出力に似たテキストを高く評価する傾向があるため、審査モデルと同じファミリーのモデルが暗黙のうちに有利になってしまいます。比較対象のどのモデルも属していないファミリーから審査モデルを選択し、比較全体を通じて同じ審査モデルを使用してください。
コストと時間
比較のコストは各評価の合計となります。これには、各モデルの回答、ベースラインの回答、審査モデルの判定、さらにモデルの一時的なデプロイが必要な場合のホスティング費用が含まれます。
- 質問：3つのモデルすべてがトレーニングされた準備データから除外された30のテスト質問。判定者：4つ目のファミリーのモデル。
- 大規模モデルから蒸留されたモデルAは、そのベースモデルに対して評価されます。強化学習でチューニングされたモデルBは、ベースモデルが廃止されているため、以前のチェックポイントと比較されます。選好チューニングされたモデルCは、その教師ありの親モデルに対して評価されます。
- 平均判定スコアによるランキング：C 4.2、B 3.9、A 3.4。4つ目のモデルDは単独でのみスコア化できたため（2.9）、比較不可として別途記載されています。
- 30の質問において、CはBを0.3リードしています。これは控えめな差です。質問ごとの結果を見ると、Cはほとんどの請求に関する質問でリードし、その他の質問では同点であるため、このリードは1つや2つの質問によるものではなく、広範なものです。
- Cのスコアが最も低かった質問を確認すると、最高のモデルでさえまだ間違える内容がわかります。2つの回答で、名前が変更されたレポート設定が挙げられています。これが次のラウンドのデータとなります。
設定
すべてのモデルが回答する共通の質問セット。すべてのモデルにとって未知のものを選択してください。通常は、トレーニングに使用された準備データのホールドアウトテスト質問を使用します。
比較全体で使用する1つの審査モデル。比較対象のモデルやそのベースモデルが属していないファミリーから選択する必要があります。
よくある間違い
- 異なる質問や審査モデルを使用した個別の評価からモデルをランク付けすること。
- ある準備データのホールドアウト質問を、別の準備データでトレーニングされたモデルに使用すること（すでにその質問を学習している可能性があります）。
- 単独でスコア付けされたモデルを、並列比較で審査されたモデルと一緒にランク付けすること。
- 比較対象のモデル、またはそのベースモデルを審査モデルとして使用すること。
- 質問ごとの回答を確認せずに、コンマ数ポイントの差で勝者を決定すること。
参考文献および関連資料
外部ソースは新しいタブで開きます。
- 01Holistic Evaluation of Language ModelsLiang et al., 2022 · arXiv · arxiv.org結果を揃えるために、同じシナリオと指標の下で多数のモデルを比較する。
- 02Chatbot Arena: An Open Platform for Evaluating LLMs by Human PreferenceChiang et al., 2024 · arXiv · arxiv.org共通のプロンプトに対するペアワイズ判定から多数のモデルをランク付けする。
- 03LLM Evaluators Recognize and Favor Their Own GenerationsPanickssery et al., 2024 · arXiv · arxiv.org審査モデルが比較対象であってはならない理由。
- 04Adding Error Bars to Evals: A Statistical Approach to Language Model EvaluationsMiller, 2024 · arXiv · arxiv.org少数の質問における2つのモデル間のわずかな差がノイズである可能性がある理由。