概要
自由記述の回答には、比較対象となる単一の正解文字列がありません。「レポートをエクスポートするにはどうすればよいですか？」という質問に対する2つの回答はどちらも正しい可能性があり、より短いもの、メニューのパスを指定しているもの、またはよくある落とし穴について警告しているものがより優れている場合があります。人間はそれを判定できますが、時間がかかりコストもかさみます。LLM-as-a-judgeは、高性能な言語モデルを使用して、同じ判定を大規模に行います。
Zhengら（2023年）はこれを体系的に研究し、GPT-4などの強力な判定モデルが80%以上の確率で人間の選好と一致することを発見しました。これは人間同士の一致レベルと同じです。彼らは3つの設定を説明しました。ペアワイズ比較（2つの回答のどちらが優れているか）、単一回答の採点（1つの回答に対するスコア）、および参照ガイド付き採点（既知の優れた回答を手元に置いて判定する）です。ここで使用される設定は、これら3つすべてを組み合わせたものです。
仕組み
Question: <the held-out user message and its context>
Reference answer: <the reply from your data>
Answer A: <one model's answer>
Answer B: <the other model's answer>
Score each answer 1–5 on correctness, helpfulness, tone and format.
Then name the winner (A, B or tie) and give a one-sentence reason.判定モデルには、コンテキストを含む質問、自社データからの参照回答、およびAとBのラベルのみが付けられた2つの回答が提示されます。判定モデルは、4つの基準についてそれぞれ1〜5のスコアを付け、総合的な勝者または引き分けを指定し、短い理由を記述します。スコアは質問全体で平均化され、勝者が勝率となり、理由を読むことでその背景を理解できます。
| 基準 | 評価5の例 | 評価1の例 |
|---|---|---|
| 正確性 | 事実、手順、名称が正しく、参照情報と一致している | 誤った手順、あるいは捏造された機能、設定、数値 |
| 有用性 | 次のステップを含め、ユーザーの実際の問題を解決している | 一般的なアドバイス、または論点のすり替え |
| トーン | 状況や自社のトーン＆マナーに適合している | 不満を抱くユーザーに対して冷淡である、または正確性が求められる場面で冗長である |
| フォーマット | 長さと構成が質問に適している | 1行の回答に対する長文、またはフォーマットの崩れ |
既知のバイアスとそれを相殺する方法
- 位置バイアス。 判定モデルは、最初に提示された回答を好む傾向があります（2番目を好むモデルもあります）。Wangら（2023年）は、これがどれほど強力であるかを示しました。順序を変更するだけで、ChatGPTを判定モデルとした80の質問のうち66で、Vicuna-13BがChatGPTに勝つことができました。解決策： 質問ごとに順序をシャッフルし、バイアスが両方のモデルに均等にかかり平均化されるようにします。
- 自己選好。 モデルは、自身の出力に似たテキストをより高く評価します。Panicksseryら（2024年）は、モデルが自身の出力を認識できるほど、このバイアスが強くなることを発見しました。解決策： 比較対象のモデルとは異なるモデルファミリーの判定モデルを使用します。
- 冗長性バイアス。 より長く、詳細に見える回答は、内容が優れていなくても勝つ傾向があります。長さを制御したAlpacaEvalはこれを補正し、人間のランキングとの一致度を高めました（Chatbot Arenaとのスピアマン相関が0.94から0.98に上昇）。解決策： 勝率とともに平均の長さを比較し、長い回答が勝った理由を確認します。
- ブランドバイアス。 判定モデルが、どちらの回答が「ファインチューニング済み」モデルからのものかを知っている場合、それを優遇または冷遇する可能性があります。解決策： ブラインドのラベル付け。判定モデルにはAとBのみが提示されます。
参照回答も役立ちます。判定モデルは、照合できる既知の優れた回答がある場合、誤った事実を見つける能力がはるかに高くなります。これは、判定モデル自体が正しい手順を知らない可能性があるドメイン固有の質問において最も重要です。
手動による判定モデルの確認
審査役もまたモデルに過ぎません。長い回答を好んだり、誤った数値を見逃したり、自信に満ちたトーンを高く評価したりする可能性があります。その対策として、人間が同じ質問のサンプルをブラインドでレビューし、審査役と同じ回答を選ぶ頻度を測定します。一致率が約80%以上であれば、審査役の勝率は妥当な指標となります。約60%未満の場合は、審査役の数値だけで判断せず、レビューを増やすか、審査役のモデルを変更するか、あるいはチェックする内容を変更してください。人間と審査役の意見が一致しない質問こそ、最も読む価値があります。
- 質問：「パスワードをリセットするにはどうすればよいですか？」 参照：「設定 → セキュリティ → パスワードのリセット。メールのリンクは30分間有効です。」
- 順序はシャッフルされます。今回はチューニングされた回答がBになります。A（ベース）：「通常、アカウント設定からリセットするか、サポートにお問い合わせください。」 B（チューニング済み）：「設定 → セキュリティを開き、パスワードのリセットを選択します。30分以内にメールを確認してください。」
- スコア：A — 正確性 3、有用性 3、トーン 4、フォーマット 4。B — 5、5、4、5。
- 判定：B、理由「具体的で正しい手順が示されており、有効期限にも言及している。Aは曖昧である。」 結果：チューニング済みモデルの勝利。
- この判定された質問は、選好ペアでもあります。Bが選好され、Aは選好されません。
よくある間違い
- 判定モデルと評価対象に同じモデルファミリーを使用し、僅差の勝利を信頼すること。
- チューニングされた回答を常に同じ位置に配置すること。
- 勝率のみを確認すること。理由を読めば、勝利が正確性によるものか、単なる長さによるものかがわかります。
- 判定モデルが自社のドメインを理解していると想定すること。参照回答がない場合、自信に満ちたもっともらしい誤りを高く評価する可能性があります。
- 十数個の質問を自ら読み、判定モデルのスポットチェックを一度も行わないこと。
参考文献および関連資料
外部ソースは新しいタブで開きます。
- 01Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.org人間との80%以上の一致率、ならびに位置、冗長性、および自己強化のバイアス。
- 02Large Language Models are not Fair EvaluatorsWang et al., 2023 · arXiv · arxiv.org位置バイアスの強さと、それに対抗するためのキャリブレーション戦略。
- 03LLM Evaluators Recognize and Favor Their Own GenerationsPanickssery et al., 2024 · arXiv · arxiv.org自己選好性、および別系統の審査役が役立つ理由。
- 04Length-Controlled AlpacaEval: A Simple Way to Debias Automatic EvaluatorsDubois et al., 2024 · arXiv · arxiv.org長い回答に引き寄せられる傾向の補正。
- 05A Survey on LLM-as-a-JudgeGu et al., 2024 · arXiv · arxiv.org審査役の設計、バイアス、および信頼性に関する広範なレビュー。