評価結果の読み方

数値

定義

win rate          = tuned wins ÷ questions judged
score difference  = mean(tuned criteria score) − mean(base criteria score)

decided share     = tuned wins ÷ (tuned wins + base wins)

勝率。 判定された質問のうち、チューニング済みモデルが勝利した割合。引き分けはいずれの側の勝利でもないため、引き分けが多い場合、45%の勝率でも明確な改善となる可能性があります — ベースモデルが勝利した頻度を確認してください。
スコア差。 チューニング済みモデルの回答の1〜5の基準スコアの平均から、ベースモデルの回答の平均を引いたもの（全体および基準ごと）。これにより、どの程度良くなったか、または悪くなったか、そしてそれがどこ（正確性、有用性、トーン、またはフォーマット）であるかが分かります。
参照との類似度。 回答が元の返答にどれだけ近いかを示します。類似度の上昇は、モデルがあなたのスタイルを学習したことを意味しますが、それ自体が回答の質が向上したことを意味するわけではありません。
長さとレイテンシ。 チューニング済みモデルが勝利し、その回答が大幅に長くなった場合は、判定者の冗長性バイアスを疑ってください。実際の使用ではレイテンシが重要です。より大きなモデルと引き分けた小規模なチューニング済みモデルの方が、依然として優れた選択肢となる場合があります。

シグナルかノイズか？

すべての評価はサンプルです。数十または数百の質問が、ユーザーが将来尋ねるであろうすべての質問の代わりとなります。異なるサンプルで同じ比較を実行すると、勝率は変動します。問題は「50%を超えているか？」ではなく、「偶然では説明がつかないほど50%を十分に上回っているか？」です。

区間が50%をまたぐ: 結論が出ない区間が50%を上回る: 確かな差異

4つの評価サイズにおける同じ60%の勝率と、その95%信頼区間。10問または30問の場合、区間は50%を大きく下回るため、結果は全く改善されていない可能性とも矛盾しません。100問程度になって初めて、このラインを上回ります。

95%信頼区間とは、観察された結果と一致する勝率の範囲です。その幅は主に質問数によって決まり、質問数が4倍になるごとに約半分になります。10問の場合、6対4の割合は2つの同等なモデルと完全に一致します。100問の場合、60対40の割合は基準をかろうじてクリアします。300問であれば、それは明白です。

「引き分け」の扱いには注意が必要です。判定モデルが多くの引き分けを出した場合、勝敗がついた質問のみで勝ちと負けを比較してください。それが、どちらのモデルが優れているかについての情報を持つ割合となります。

実践例：100問、引き分け18問

結果：チューニング済みモデルの勝数 52、ベースモデルの勝数 30、引き分け 18。勝率52% — コイントスのような結果に見えます。
勝敗がついた82問のうち、チューニング済みモデルは52問、つまり 63% で勝利しました。その95%信頼区間は約53〜73%であり、完全に50%を上回っています。これは確かな改善です。
スコア差：正確性で+0.6、フォーマットで+0.4、トーンで−0.1。トーンはほぼ同じですが、実質的な内容において向上が見られます。
チューニング済みモデルの回答は平均95語であるのに対し、ベースモデルは160語であるため、長さが勝因ではありません。
ベースモデルが勝利した30問を確認すると、9つの理由で架空の設定名が言及されています。これが次回のデータセット修正の対象であり、学習用の9つのペアとなります。

ホールドアウト質問と学習用質問の比較

信頼すべきは、除外されたテストセットでの結果です。検証用質問の信頼性は一段階下がります。モデルはそれらから学習していませんが、プロバイダーはトレーニング中にそれらを確認しているためです。データセットが小さすぎてどちらも用意できない場合、利用できるのはチューニング済みモデルがトレーニングに使用した質問のみとなります。この場合、モデルは単に参照用の回答を記憶しているだけかもしれず、未知の質問に対する実際の性能よりも良く見えている可能性があります。このような結果は上限値として扱ってください。チューニング済みモデルが既知の質問でさえ勝てないなら、未知の質問でも勝てません。勝てたとしても、どの程度優れているかは依然として不明です。

その他の結果

以前のチェックポイントとの比較： 結果は、その後の学習ステップが役立ったかどうかを示します。最後のチェックポイントは通常、最終モデルと同一であるため、それと比較するとほとんどが引き分けになります。
単独でのスコアリング： 勝敗のない絶対的な1〜5のスコアです。同じ判定者でも、単独で読んだ回答には、他の回答と並べて読んだ場合よりも著しく低いスコアを付けるため、単独でスコアリングされたモデルを並行して判定されたモデルとランク付けすることはできません。モデル比較では個別にリストされます。
僅差または意外な結果： アクションを起こす前に、判定を確認してください。アノテーションキューでサンプルをブラインドレビューする人々が、どの程度それに同意するかを示し、彼らの修正が学習データになります。

結果をアクションに繋げる

確認される事象	考えられる意味	次のステップ
明確な勝利、50%を超える区間、正確性に関する理由	トレーニングの成功	採用し、劣るバリアントはアーカイブする
少数の質問での僅差の勝利	兆候であり、証明ではない	行動を起こす前に、より多くの質問で評価する
ほとんどが引き分け	ほとんど変化なし — 小規模なモデルや軽いトレーニングでよく見られる	より多くの、またはより質の高い教師ありデータ
チューニング済みモデルが勝利したが、回答が大幅に長くなった	冗長性バイアスの可能性	理由を読み、正確性のスコアを比較する
「詳細を捏造している」などの理由でチューニング済みモデルが敗北	知識を伴わずにスタイルのみを学習した	より多くのデータ、より小さなステップ、または捏造をペナルティとするペア
判定モデルの理由が、ご自身の解釈と一致しない	このタスクにおいて判定モデルの信頼性が低い可能性がある	サンプルを手動でレビューし、判定モデルとの一致度を測定する

よくある間違い

10問中6問の勝利を改善と呼ぶこと。
引き分けの数を確認せずに、低い勝率を敗北と解釈すること。
学習用質問に対するスコアを、新しい質問に対する予測として扱うこと。
判定者がなぜそれを好んだのかを読まずに、はるかに長い回答による勝利を喜ぶこと。
異なる質問セットまたは異なる判定者で評価された2つの実行の勝率を比較すること。

参考文献および関連資料

外部ソースは新しいタブで開きます。