概要
トレーニングは、損失、ペアの精度、報酬などの数値を生成し、モデルがトレーニングシグナルにどれだけ適合したかを示します。しかし、これらはどれも、お客様が本当に気にかけている「回答は以前より良くなったか？」という問いには答えません。損失の低下は、モデルが事実を誤りながらも言い回しをより忠実にコピーした結果である可能性があります。また、選好の実行によりペアの精度が向上しても、回答が長くなり曖昧になることがあります。
評価はそれを直接測定します。2つのモデル（トレーニング開始時のモデルとトレーニング済みのモデル）が同じテスト質問セットに答え、その回答を質問ごとに比較します。
仕組み
- テスト質問。 デフォルトでは、それぞれが取り分けられたテストセットから取得されます。これは、トレーニングと検証の両方から切り離された会話であり、その返答の1つに至るまでが質問として提示されます。どちらのモデルもこれでトレーニングされておらず、プロバイダーもこれを見たことがありません。
- リファレンス回答。 データからの元の返答です。完璧な回答ではありませんが、チームが正しいと考えた内容を示しています。
- 1問につき2つの回答。 両方のモデルが同じ設定で回答するため、唯一の違いは重みです。
- 比較。 通常、LLMの判定者がより良い回答を選択して両方をスコアリングし、さらにリファレンスとの類似性、長さ、レイテンシなどのより安価なシグナルも評価します。
比較はペアで行われます。各質問には両方のモデルが答え、その結果はその質問における差異に関するものとなります。これは統計的に重要です。質問には簡単なものと難しいものがあり、異なる質問で各モデルを個別にスコアリングすると、その難易度が結果に混ざってしまいます。同じ質問で比較することでそれが相殺されるため、ペア評価ではより少ない質問数で同じ改善を検出できます。
質問の出所
トレーニングに使用した質問で評価されたモデルは、実際よりも良く見えます。そのため、何よりもまず、データ準備の段階でテストセットを取り分けておきます。これは会話の10%（最低3件）で、ランダムに選ばれますがその準備においては固定され、データセットに少なくとも10件の会話がある場合にのみ行われます。テスト会話内のすべての返答は質問となり、そこまでの会話とともに尋ねられます。トレーニングの返答と一言一句同じテストの返答は、モデルが実質的にそれを見たことになるため除外されます。検証セットはこれとは異なります。これはトレーニングを監視するためにプロバイダーに送信されるため、純粋なテストではありません。
| ソース | トレーニング中に見たか？ | 用途 |
|---|---|---|
| ホールドアウトテストセット | いいえ | モデルが本当に改善されたかどうかの判定（デフォルト） |
| 検証 | プロバイダーには見られるが、学習には使用されない | テストセットがない場合のセカンドオピニオン |
| トレーニングサンプル | はい、学習に使用される | 健全性チェックのみ。結果は楽観的になる |
回答の比較方法
| 手法 | 適した用途 | 制限事項 |
|---|---|---|
| 完全一致または数値一致 | 分類、抽出、計算など、正解が1つであるすべてのもの | 多くの回答が正解となり得る、自由記述式の返答には無用 |
| 参照との類似性 | モデルがお客様の言い回しや構造を学習したかどうかを示す、低コストなシグナル | コピーすることが評価され、異なる表現で書かれたより良い回答のスコアが低くなる |
| 判定者としてのLLM | 大規模な自由記述式チャット：正確さ、有用性、トーン、フォーマット | 設定で相殺しなければならない既知のバイアスがあり、判定用のトークンコストがかかる |
| 人間によるレビュー | 品質に関する最終決定、および判定者の確認 | 時間がかかり高コスト。すべての実行で繰り返すのは困難 |
公開ベンチマークは一般的な能力を測定します。ファインチューニングはお客様のタスクに関するものであるため、リーダーボードのスコアよりも、お客様自身がホールドアウトした会話データの方がはるかに優れたテストとなります。
一連の実行の評価
ある実行が以前の実行から継続される場合（例えば、教師あり実行の上に行われる選好実行など）、その評価の「ベース」側は元のベースモデルではなく、その以前の実行となります。元のモデルと比較すると2つのステップが混ざってしまい、選好ステップが役立ったのか、単に教師ありステップの成果を引き継いだだけなのかを区別できなくなります。1つのリンクごとに判定することで、各結果は「このステップは役立ったか？」という1つの問いに答えるものとなります。
比較するベースがない場合、または複数のモデルがある場合
- 以前のチェックポイント。 プロバイダーはベースモデルを廃止するため、ベースがデプロイできなくなると並行比較は不可能です。代わりに、最終モデルを同じ実行の途中で保存されたチェックポイントと比較することができます。これは「元のモデルより優れているか？」ではなく、「後半のトレーニングステップは役立ったか？」という問いに答えるものです。
- 単独のスコアリング。 判定者は会話、お客様の返答、および1つの回答を読み、基準ごとに1〜5のスコアを付けます。勝敗はありません。これは絶対的な品質スコアであり、モデルの追跡やランク付けには役立ちますが、ベースモデルからの改善を示すことはできません。
- モデルの比較。 複数のモデルから選択する場合、すべてのモデルが全く同じ質問に答え、同じ判定者による評価を受け、平均スコアによってランク付けされます。そうしなければ、スコアを同じ尺度で比較することはできません。
- 1,200件の会話に対する教師あり実行が完了し、検証損失が1.9から1.1に低下しました。有望ですが、証明にはなりません。
- 評価には、トレーニングでも検証でも使用されていないテストセットの120件の会話を使用します。ベースモデルと調整済みモデルがそれぞれ120件すべてに回答します。
- 判定者は68問で調整済みの回答を、31問でベースの回答を支持し、21問を引き分けと判定しました。
- 調整済みの回答は40%短く、リファレンスに非常に近いものでした。判定者の理由には、調整済みモデルが勝利した多くのケースで「正しいメニューパスを指定している」と記載されています。
- ベースモデルが勝利したケースのうち、8つの理由で調整済みの回答が「存在しない設定を捏造している」と指摘されています。これはデータのギャップを示しており、すぐに使える8つの選好ペアを提供します。
よくある間違い
- 下降する損失曲線を、回答が改善された証明として扱うこと。
- モデルがトレーニングされた質問で評価し、その結果を現実世界のパフォーマンスとして読み取ること。
- 継続された実行を元のベースモデルと比較すること。これにより、最新のステップが役立ったかどうかが隠れてしまいます。
- 両者間で生成設定を変更すること。これにより、比較はモデルの重みではなく設定を測定するものになってしまいます。
- 1回の評価を実行して停止すること。判定の理由は、次回のデータラウンドに向けた計画となります。
参考文献および関連資料
外部ソースは新しいタブで開きます。
- 01A Survey on Evaluation of Large Language ModelsChang et al., 2023 · arXiv · arxiv.org何を、どこで、どのように評価するかの概要。
- 02Holistic Evaluation of Language ModelsLiang et al., 2022 · arXiv · arxiv.org1つの数値では決して十分ではない理由：多くのシナリオにわたる多くの品質の測定。
- 03Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.org自由記述式の回答に対するペアワイズLLM判定を確立した論文。
- 04Adding Error Bars to Evals: A Statistical Approach to Language Model EvaluationsMiller, 2024 · arXiv · arxiv.org同じ質問に対するペア比較がより正確である理由。