サーバーレスと専用の比較

概要

トレーニング済みのモデルを実行するには、2つの方法があります。サーバーレス（トークン単位またはオンデマンドとも呼ばれます）は、プロバイダーが多くの顧客間で共有するキャパシティ上で実行されます。リクエストを送信し、入出力のトークンに対して料金を支払います。何も送信しない場合は料金は発生しません。専用デプロイメントは、お客様のモデル専用にハードウェアを確保します。常にロードされて準備が整っており、存在している間は1時間ごとに料金を支払います。

コストの比較

serverless cost per day  = tokens per day × price per token
dedicated cost per day   = 24 × hourly price               (used or not)
break-even tokens/day    = 24 × hourly price ÷ price per token

直感的な理解: 専用デプロイメントの場合、トークンあたりのコストは、1時間あたりの価格を、その1時間に実際に処理したトークン数で割ったものになります。フル稼働時には、サーバーレスよりも安くなる可能性があります。負荷が低い場合ははるかに高額になり、待機時間のトークンあたりのコストは無限大になります。サーバーレスはその逆で、トークンあたりの価格が固定されているため、コストは使用量に正確に比例します。

なぜすべてがサーバーレスではないのでしょうか。共有での提供は、多くの顧客のためにベースモデルをロードしたままにすることで機能します。一部のプロバイダーは、リクエストごとに小さなファインチューニング済みアダプターをその共有モデルにアタッチできるため、チューニング済みモデルのトークン単位での提供が可能になります。他のプロバイダーは、チューニング済みモデル全体を独自のハードウェアにロードする必要があり（オープンモデルやフルファインチューニングで一般的です）、その場合は専用が唯一の選択肢となります。さらに、カスタマイズされたモデルには予約済みのキャパシティを要求するプロバイダーもあります。

選択方法

• サーバーレスが利用可能で、使用量が少ない、不確実、または突発的である場合（テスト、評価、パイロット版など）は、サーバーレスを使用してください。
• モデルがその方法でしか提供できない場合、安定したトラフィックが損益分岐点を上回る場合、または保証されたキャパシティとレイテンシが必要な場合は、専用を使用してください。
• テストに使用する専用デプロイメントには必ず終了時間を設定し、完了したら削除してください。数週間または数か月のコミットメントにより1時間あたりの価格は下がる可能性がありますが、そのオプションは利用できなくなります。

よくある間違い

• テスト用の専用デプロイメントを消し忘れ、何日も待機時間の料金を支払ってしまうこと。
• 想定される使用量に換算せずに、専用の1時間あたりの価格とサーバーレスのトークンあたりの価格を比較してしまうこと。
• ベースモデルがトークン単位で提供可能であるため、チューニング済みのモデルも同様に提供できると思い込んでしまうこと。
• まだ反復開発中のモデルに対して、長期のキャパシティコミットメントを契約してしまうこと。

参考文献および関連資料

外部ソースは新しいタブで開きます。

1. 01Increase model invocation capacity with Provisioned Throughput in Amazon Bedrock↗Amazon Bedrock User Guide · docs.aws.amazon.com予約済みキャパシティの実際の例：削除されるまで1時間単位で課金され、オプションでコミットメントも可能。
2. 02Inference Endpoints↗Hugging Face docs · huggingface.coオートスケーリングを備えた、オープンモデル用の専用エンドポイント。
3. 03Serverless computing↗Wikipedia · en.wikipedia.org従量課金制の一般的なモデルと、コールドスタートなどのそのトレードオフ。

関連する概念