オープンウェイトモデル

主なポイント

オープンウェイトモデルはダウンロードして任意の環境でファインチューニングできますが、GeminiやGPTなどのクローズドモデルは、可能であったとしてもプロバイダー経由でしかチューニングできません。
ファインチューニングを行う前に、モデルのサイズ、ライセンス、ゲーティング、精度、およびファイルフォーマットを確認してください。
学習には、FP8やMXFP4に圧縮されたコピーではなく、フル精度のバージョンが必要です。
ゲーテッドモデルは、Hugging Faceで一度ライセンスに同意する必要があります。
オープンウェイトはオープンソースではありません。学習データやコードは公開されていないことが一般的です。

概要

GeminiやGPTなどのクローズドモデルは、プロバイダーのサーバー上にのみ存在します。プロバイダー経由でファインチューニングすることは可能ですが、ダウンロードすることはできないため、自社のマシンで学習させることはできません。オープンウェイトモデルは、誰でもダウンロードできる重みファイルとして公開されています。Qwen、Llama、Mistral、Phi、そしてGoogleのオープンファミリーであるGemmaなどがこれに該当します。オープンウェイトはオープンソースとは異なります。学習データやコードは公開されていないことが多く、モデルの利用条件はライセンスによって定められています。

これは、コントロールと利便性のトレードオフです。オープンウェイトでは、ハードウェアを選択し、学習済みモデルを保持し、完全なオフライン環境を含め、任意の場所で実行できます。クローズドモデルでは、プロバイダーがハードウェアを管理しますが、チューニングされたモデルはプロバイダーのサーバー上に留まり、そのサービスを通じてのみ使用できます。

選択前に確認すべき事項

ファインチューニングを行う前にモデルのページで確認すべき事項（説明用の7Bモデルの例）。最初の5つは、それが妥当な出発点であるかどうかを判断するものです。ライセンスとゲーティングは、ご自身で読んで同意する必要がある条件です。

サイズ。 これにより、マシンの学習に必要なメモリ容量が決まります。
ライセンス。 多くのモデルはApache 2.0のような寛容なライセンスを使用していますが、LlamaのコミュニティライセンスやGemmaの利用規約など、独自の条件を設けているものもあります。商用利用の前に必ずご確認ください。
ゲーティング。 ダウンロード前にHugging Faceで規約への同意が求められるかどうかを確認します。
フォーマット。 数値のみを保持し、読み込み時に隠しコードが実行されることのないファイルフォーマットであるsafetensors形式の重みを推奨します。古いpickleベースのチェックポイントは、読み込み時にコードが実行される可能性があります。
アーキテクチャとツール。 まったく新しいアーキテクチャは、一般的な学習ライブラリでサポートされるまでに時間がかかる場合があります。実績のあるモデルファミリーから始める方が安全です。

リリースの読み方

通常、1つのファミリーからサイズごとに複数のリリースが公開されます。ベースモデルはテキストを続けるためだけにトレーニングされています。インストラクト（チャット）モデルは指示に従うようさらにチューニングされています。また、低コストで実行できるように、FP8、MXFP4、GGUF、AWQなどのフォーマットで事前量子化されたコピーが用意されていることもよくあります。7Bなどの名前の数字はパラメータ数を数十億単位で示しており、トレーニングに必要なメモリ量を決定します。

フル精度のみ

一部のモデルは、実行コストを下げるために、8ビット（FP8）や4ビット（MXFP4）のフォーマットですでに圧縮された状態で公開されています。学習による各重みの微小な変化は、そのような粗い数値では失われてしまうため、学習にはフル精度のバージョンが必要です。Ministral 3の-BF16で終わるバージョンのように、BF16のバージョンをお探しください。QLoRAはフル精度モデル自体を圧縮するため、これもBF16バージョンから開始します。

ファインチューニング用リリースの選択（例）

BF16 safetensors形式、Apache 2.0の7B Instructモデル： 優れた出発点です。LoRAでの学習には約 2 × 7 + 3 ≈ 17 GB が必要です。
同モデルのFP8リリース： 実行コストは抑えられますが、学習の出発点には適していません。BF16バージョンを使用するか、QLoRAで4ビットに量子化してください。学習には約8 GBが必要です。
コミュニティライセンス下のゲーテッド8Bモデル： Hugging Faceで規約に同意すれば使用可能ですが、構築を開始する前にライセンスを読み、商用利用の制限をご確認ください。

ゲーテッドモデル

Llamaを提供するMetaやGemma 3を提供するGoogleなど、一部のパブリッシャーはモデルをゲート化しています。ダウンロードする前に、モデルのHugging Faceページで一度ライセンスに同意する必要があります。アクセス権はHugging Faceアカウントに付与されるため、モデルをダウンロードするツールは、利用規約に同意したアカウントに代わって機能する必要があります。

画像対応モデル

Gemma 3および4、Qwen3.5、Ministral 3などの一部のモデルは、画像の読み取りも可能です。テキストのみのデータでファインチューニングを行うと、言語機能がトレーニングされます。画像機能は通常そのまま維持されますが、テキストのみの過度なトレーニングは画像機能をわずかに低下させる可能性があります。タスクにおいて画像が重要である場合は、画像の例を含めるか、トレーニング後に画像の挙動を確認してください。

ベースモデルの選択

適合性の優先。 お使いのハードウェアで学習可能なモデルから選択します。メモリに関するページの経験則が参考になります。
チャット用のInstructバージョン。 ほとんどのモデルファミリーは、未加工のベースバージョンとInstruct（チャット）バージョンを公開しています。会話の学習においては、Instructバージョンはすでにチャットフォーマットに従っているため、より少ない例で適切に動作します。
多くの場合、小規模で十分。 特定のタスクにファインチューニングされた小規模モデルは、そのタスクにおいてより大規模な汎用モデルに匹敵する可能性があり、学習や回答も高速です。まずは小規模モデルを試し、評価で不足が認められた場合にのみ規模を拡大してください。
言語とドメイン。 英語以外の言語、コード、または長いドキュメントの処理能力は、モデルファミリーによって異なります。ベースモデルで簡単なテストチャットを行うことで、その初期性能を確認できます。

よくある間違い

ダウンロード可能なGeminiやGPTの重みを探すこと。これらはクローズドモデルです。GemmaはGoogleのオープンウェイトファミリーです。
BF16バージョンではなく、モデルのFP8またはMXFP4リリースから開始すること。
初回実行前に、Hugging Faceでゲーテッドモデルのライセンスに同意し忘れること。
オープンウェイトであればあらゆる用途が許可されていると思い込むこと。用途はライセンスによって決定されます。
学習時にメモリに収まるかどうかを確認する前に、大規模モデルを選択すること。

参考文献および関連資料

外部ソースは新しいタブで開きます。