チェックポイント：ベースモデルが利用できなくなった場合

主なポイント

チェックポイントとは、トレーニングの特定の時点で保存された、デプロイ可能な完全なモデルです。通常、最後のチェックポイントが最終モデルとなります。
プロバイダーはベースモデルの提供を終了します。非推奨（deprecating）に指定されると、そのモデルの新規デプロイは許可されなくなるため、直接比較することは不可能になります。
最終モデルと初期のチェックポイントの比較は、「元のモデルより優れているか？」ではなく、「後半のステップが役立ったか？」という問いに答えるものです。
各チェックポイントには独自のホストされたデプロイメントが必要となるため、ホスティング費用は2倍になります。
最終モデルとチェックポイントの間で引き分けが多い場合は、より短い実行で十分であったことを示唆しています。

概要

トレーニング中、プロバイダーはいくつかの時点でモデルを保存します。各エポックの終わりに保存するプロバイダーもあれば、10ステップの実行におけるステップ5やステップ10など、固定のステップで保存するプロバイダーもあります。保存された各コピーがチェックポイントです。これは、他のモデルと同様にデプロイして質問に回答できる、完全にファインチューニングされたモデルです。通常、最後のチェックポイントは最終モデルと同一です。

チェックポイントが最も重要になるのは、通常の評価が機能しなくなったときです。並行評価を行うには、ベースモデルとトレーニング済みのモデルを同時に稼働させる必要があります。プロバイダーはスケジュールに従ってモデルの提供を終了します。モデルが非推奨（deprecating）に指定されると、公式な提供終了日の数週間前であっても、新規のデプロイは許可されなくなります。そのモデルで既にトレーニングされたモデルは引き続きデプロイできる場合がありますが、ベースモデル自体はデプロイできません。ベースモデルとの直接比較ができなくなった場合、残された選択肢は2つです。初期のチェックポイントと比較するか、モデル単体でスコアリングするかです。

比較の仕組み

ベースモデル非推奨化 · 新規デプロイなしデプロイメント1 · チェックポイントステップ5実行中は1時間単位で課金⇄デプロイメント2 · 最終モデル実行中は1時間単位で課金

保存されたチェックポイント: デプロイ可能なモデルこれ以上デプロイ不可

10ステップの実行では、ステップ5とステップ10でチェックポイントが保存されます。ステップ10のチェックポイントは最終モデルであるため、最終モデルと以前のチェックポイントを比較することが有用です。どちらもファインチューニングされたモデルであり、評価の実行中はそれぞれ独自のホストされたデプロイメントを必要とします。

同じ実行における最終モデルと初期のチェックポイントが、同一のホールドアウトされた質問に回答し、判定モデルがチューニング済みモデルとベースモデルを比較するのと全く同じように、ブラインドで比較します。違いは、その結果が意味する内容です。初期のチェックポイントには既にトレーニングの前半部分が含まれているため、この比較ではチェックポイントから終了までのステップの効果を切り出して評価します。

比較	わかること	わからないこと
最終モデルとベースモデルの比較	トレーニングは少しでも役立ったか？	トレーニングのどの部分が役立ったか
最終チェックポイントと初期チェックポイントの比較	後半のステップが有効であったか	モデルが元のモデルを上回っているか
最終チェックポイントと直前チェックポイントの比較	ほとんどなし：通常は同じモデルです	有用な情報 — ほとんどが同等の結果になります
単独でのスコア	絶対的な基準での回答の質	他のモデルからの改善点

結果の解釈

最終モデルの明らかな勝利。 後半のステップによって実質的な効果が付加されました。全行程を実行した価値があったと言えます。
大部分が引き分けで、平均値もほぼ同等。 後半のステップによる変化はほとんどありませんでした。ステップ数やエポック数を減らした短い実行でも、トレーニングコストを抑えつつ同等の結果が得られたと考えられます。トレーニング中のホールドアウトによる確認もチェックポイントの時点で横ばいになっていた場合、これら2つのシグナルは一致しています。
チェックポイントの勝利。 その時点以降のトレーニングによって回答が悪化しており、これは過学習の典型的な兆候です。モデルは初期段階で改善しましたが、その後暗記を始めてしまいました。次回は、ステップ数やエポック数を減らしてトレーニングを行ってください。

コストと時間

各チェックポイントはそれ自体がファインチューニングされたモデルであるため、独自のホストされたデプロイメントが必要になります。評価中は最終モデルとチェックポイントの両方がデプロイされ、それぞれ時間単位で課金されるため、ホスティング費用は2倍になります。小規模な評価の場合、請求の大部分はトークンではなくホスティング時間によるものです。

推論モデルは回答に時間がかかります。 回答する前に思考するモデルは、質問ペアごとに約1分かかる場合があります。一方、通常のチャットモデルであれば、小規模な評価全体を1〜2分で回答します。そのため、20問の質問で2つのデプロイメントが15分以上稼働し続けることになり、ホスティング時間、ひいてはコストもそれに伴って増加します。

実施例：ベースモデルが提供終了となる場合（例示）

非推奨（deprecating）に指定された推論モデルで、10ステップの強化学習の実行が完了しました。トレーニング済みのモデルは引き続きデプロイ可能ですが、ベースモデルはデプロイできません。
プロバイダーはステップ5とステップ10でチェックポイントを保存しました。ステップ10が最終モデルであるため、24のホールドアウトテストの質問において、最終モデルとステップ5の比較が行われます。
結果：最終モデルが6勝、ステップ5が7勝、引き分けが11。判定の平均スコアは両者とも3.6です。
結果の解釈：ステップ6から10ではほとんど変化がなく、トレーニング中のホールドアウトによる確認もステップ5の時点で横ばいになっていました。5ステップの実行でも同等の結果が得られ、トレーニングコストは約半分に抑えられたと考えられます。
コスト：推論モデルの回答に時間がかかるため、2つのデプロイメントが約25分間稼働しました。評価コストの大部分はホスティング費用です。モデルの絶対的な性能を把握するための次のステップは、モデル単体でのスコアリングです。

設定

比較対象のチェックポイント一般的 初期または中期のチェックポイント（例：中間点）#

同じ実行のどの保存ポイントを「ベース」側とするか。初期または中期のチェックポイントは、後半のステップで追加された要素を分離します。直前のチェックポイントは通常、最終モデルであり、ほとんどが同等の結果になります。

よくある間違い

最後のチェックポイントと比較し、引き分けを「トレーニングの効果がなかった」と解釈すること。
初期のチェックポイントに対する勝利を、モデルが元のベースモデルを上回っている証拠として解釈すること。
両方がデプロイされていることを忘れること。ホスティング費用は2倍になります。
ベースモデルの提供が終了するまで評価を先延ばしにすること。デプロイ可能なうちにベースモデルと比較してください。
次回の実行を短縮せず、チェックポイントとの引き分けを無視すること。

参考文献および関連資料

外部ソースは新しいタブで開きます。