概要
LLMの判定モデルは高速かつ安価ですが、あくまでモデルに過ぎません。長い回答を好んだり、誤った数値を見逃したり、自信に満ちたトーンを高く評価したりする可能性があります。強力な判定モデルは、人間同士が一致するのと同程度の頻度で人間と一致します（Zheng et al. (2023) では80%以上）。しかし、これは公開ベンチマークでの平均であり、自社製品の質問に対する保証ではありません。アノテーションキューを使用して回答を人間が確認することで、自社のデータにおいて判定モデルをどの程度信頼できるかを把握できます。
アノテーションとは、モデルの出力に対する人間のラベル付けのことです。基準ごとのスコア、2つの回答の選択、または修正された回答が含まれます。アノテーションキューは、これらのアイテムのTo-Doリストであり、レビューのためのルールが設定されています。
キューの仕組み
- アイテムとは、レビューの対象となるものです。評価からは、判定された各質問（質問、両方の回答、および判定モデルの結論）が対象となります。データセットからは、会話内のトレーニング可能な各応答が対象となります。アイテムはコピーであるため、ソースをアーカイブまたは削除してもキューは変更されません。
- ルーブリックとは、回答ごとに1〜5でスコア付けされる基準です。正確性、有用性、トーン、フォーマットなど、判定モデル独自の基準を使用することで、人間と判定モデルのスコアを比較できるようになります。何らかのレビューが行われると、ルーブリックはロックされます。そうしないと、以前のスコアの意味が変わってしまうためです。
- ブラインドレビューでは、レビューが保存されるまで、モデル名を表示せずに「Answer A / Answer B」と表示し、判定モデルの結論を隠します。
- ロックにより、作業中のアイテムはレビュー担当者に保持されるため、2人の担当者が同じアイテムをレビューすることはありません。
userクライアントとレポートを共有するにはどうすればよいですか？
ブラインドレビューが重要である理由
人は最初に見たものに影響を受けます。回答Aが新しくチューニングされたモデルからのものであることをレビュー担当者に示すと、担当者はそれを期待しているため、回答Aを支持する傾向があります。判定モデルの結論を示すと、それに同意する傾向があり、これでは判定モデルを確認する意味がなくなります。レビューが保存されるまで両方を隠すことで、人間のラベル付けの独立性が保たれます。保存すると、どのモデルがどの回答を生成したか、および判定モデルのコメントが表示され、この時点で不一致が明らかになります。
キューに入力する内容
| 選択 | 理由 |
|---|---|
| すべての質問のランダムサンプル（20〜50件） | 判定モデルの公平なスポットチェック |
| もう一方の回答が勝った質問 | チューニングされたモデルが本当に劣っているのか、それとも判定モデルが間違っているのか？ |
| 引き分け | 判定モデルは決定できませんでしたが、通常、人間は決定できます |
| 低い判定スコア | 修正の最適な候補 |
| データセットの応答 | トレーニング前にトレーニングデータを確認する: 悪い応答は悪い癖を教え込みます |
判定モデルが一般的にどの程度正しいかを測定できるのは、ランダムサンプルのみです。その他の選択は、意図的に難しいケースに偏っています。これは問題の発見や修正の作成には最適ですが、全体的な一致率の推定としては誤解を招く恐れがあります。
結果の読み方
agreement = questions where you and the judge picked the same answer
÷ questions you both decided
score gap = your average − judge's average, per criterion,
on the same answers (|gap| ≥ 1 point → look closer)- 判定モデルとの一致率。 約80%以上の場合、判定モデルの勝率は妥当な指標となります。約60%未満の場合、判定モデルの数値だけで判断せず、レビューを追加する、判定モデルを変更する、または確認事項を調整するなどの対応を行ってください。2つの回答から選択する場合、コイントスでも半分の確率で一致するため、60%は偶然よりわずかに良い程度に過ぎないことに留意してください。
- スコア差。 同じ回答に対する、基準ごとの人間の平均スコアと判定モデルのスコアの差です。1ポイント以上の差がある場合、判定モデルがその基準において人間とは異なるスコアを付けていることを意味します。判定モデルは、製品に関する事実の正確性には甘く、フォーマットには厳しい傾向があります。
- 不一致は興味深いアイテムです。 判定モデルが異なる選択をした理由を確認してください。判定モデルの問題（判定モデルを修正する）か、データの問題（参照用の応答自体が間違っているか古い）のいずれかです。
レビューをトレーニングデータに変換する
- 修正は、トレーニング対象の応答（教師ありデータ）になります。評価が低かった回答は劣るペアとして保存されるため、同じ例が選好チューニング（DPO）にも役立ちます。
- 修正がない場合、選択した回答が応答となり、もう一方が劣るペアとなります。
- 修正を伴わない引き分け、およびスコア単体はエクスポートされません。再度エクスポートすると、コピーが追加されるのではなく、同じ例が更新されます。
{"messages": [
{"role": "user", "content": "How do I share a report with a client?"},
{"role": "assistant", "content": "Open the report → Share → pick the client. They get an email link.",
"rejected": "You can export the report as a PDF and email it.", "rejectedSource": "review"}
]}- ブラインドキューには、評価からランダムに抽出された30個の質問が入力され、ジャッジの4つの基準がルーブリックとして使用されます。
- 一致率：30問中24問でレビューアとジャッジが同じ回答を選択しました（80%）。ジャッジの勝率は、このモデルの妥当な指標となります。
- スコアの差：正確性において、レビューアの平均が2.9であるのに対し、ジャッジは4.0であり、1.1ポイントの差があります。ジャッジは製品に関する誤った事実を見逃しています。フォーマットに関しては、ジャッジの方が厳格です。
- 6つの不一致のうち、4つはジャッジの問題です。存在しない機能をでっち上げた回答を高く評価していました。2つはデータの問題です。参照用の回答が、すでに移動したメニューについて説明していました。
- ある質問では、両方の回答が存在しない機能をでっち上げていました。AまたはBのどちらを選んでも、でっち上げられた回答を評価することになるため、レビューアは代わりに修正を記述します。
- エクスポート：5つの修正と19の選択が、優先順位ペアを持つ24のトレーニング例になります。残りの引き分けはエクスポートされません。
設定と数値
レビュアーが各回答に対して1から5までのスコアをつける基準。人間のスコアと判定者のスコアを直接比較するには、判定者の基準を使用します。最初の項目がレビューされるとロックされます。
レビューが保存されるまでモデル名と判定者の結果を非表示にし、レビュアーの先入観を排除します。判定者の確認ではなく、データのラベリングを行う場合にのみオフにしてください。
レビューされた質問のうち、ユーザーと判定者が同じ回答を選択した割合。ランダムサンプルにおいて最も意味を持ちます。
同じ回答に対するユーザーの平均スコアから判定者の平均スコアを引いた値（基準ごと）。判定者の品質に対する感覚がユーザーとどの程度異なるかを示します。
レビュー済みの項目をトレーニング用のサンプルとして書き出します。修正内容または選択された回答を返答とし、もう一方の回答を劣るペアとします。修正のない引き分けやスコアのみのものはスキップされます。再度エクスポートすると同じサンプルが更新されます。
よくある間違い
- モデル名や判定モデルの結論が見える状態でレビューし、判定モデルを「確認」すること。
- ランダムサンプルではなく、引き分けや負けで埋め尽くされたキューから全体的な一致率を推定すること。
- 両方の回答が間違っている場合に、修正を書かずにAまたはBを選択すること。
- 途中で基準の意味を変更すること。ルーブリックがロックされるのはこのためです。
- 参照用の応答自体が古いにもかかわらず、すべての不一致を判定モデルのせいにすること。
参考文献および関連資料
外部ソースは新しいタブで開きます。
- 01Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.org判定モデルと人間の一致率は80%以上で、人間同士の一致レベルとほぼ同等であり、判定モデルのバイアスも存在します。
- 02Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human PreferencesShankar et al., 2024 · arXiv · arxiv.orgLLMによる評価と人間による評価の比較、およびレビュー進行に伴う基準の変動について。
- 03Cohen's kappaWikipedia · en.wikipedia.org偶然性を補正した一致率 — 2択における60%が不十分である理由。
- 04Inter-rater reliabilityWikipedia · en.wikipedia.org評価者間の一致率の測定方法と読み解き方。
- 05Anchoring effectWikipedia · en.wikipedia.orgブラインドレビューによって防げるバイアス。