近日公開Scalata Enterpriseにてモデルトレーニングがまもなく提供開始されます。 チームの対応方法をモデルに学習させます。今後の展開を見る

リソース/モデルのトレーニング/トレーニング中のプロセス

手法

LoRAおよびアダプター（PEFT）

LoRAはベースモデルを凍結し、選択したレイヤーの横で2つの小さな行列をトレーニングします。その積が凍結された重みに追加されます。これにより、トレーニング可能な重みとメモリが劇的に削減され、適切に構成されていれば、一般的なファインチューニングデータセットでのフルファインチューニングに匹敵します。

第6章読了時間 2分参考文献 5件

概要

PEFT（パラメータ効率的ファインチューニング）は、元の重みを凍結したまま少数の新しい重みをトレーニングすることでモデルを適応させる手法の総称です。2021年にHuらによって導入されたLoRA（Low-Rank Adaptation）は、最も広く使用されています。これは、ファインチューニングが大規模な重み行列に加えるべき変更は、行列自体よりもはるかに少ない数値で記述できるという1つの観察に基づいています。数学的な用語で言えば、この変更は低ランクを持ちます。

x入力Wd × d · 凍結 🔒Ar × dBd × r学習可能 · ランク r (4–16)+hh = Wx + BAx
LoRAは元の重み行列Wを凍結したまま、その横で2つの薄い行列を学習します。それらの積B·AはWと同じ形状ですが、ランクはrのみとなります。そのため、4096 × 4096のレイヤー（1680万個の重み）は、ランク8の場合、2 × 4096 × 8 ≈ 6万5000個の学習可能な重みで適応されます。

仕組み

形状がd × kの重み行列Wを持つ1つの線形レイヤーを例に挙げます。フルファインチューニングでは、同じ形状の変更ΔW、つまりd × k個の新しい数値を学習します。代わりにLoRAは、その変更を2つの薄い行列の積として学習します。A（r × k）はレイヤーの入力をr個の数値に圧縮し、B（d × r）はそれらを元に拡張します。ランクrは通常4〜64と小さいのに対し、dとkは数千の規模になります。

LoRAの更新
h = W·x + (α / r) · B·A·x

W : d × k    frozen
A : r × k    trainable, random at the start
B : d × r    trainable, zero at the start   →   B·A = 0 at step 0

trainable weights per adapted layer = r × (d + k)
  • 初期化。 Aはランダムに、Bはゼロから開始されるため、B·A = 0となり、ステップ0の時点では適応されたモデルはベースモデルと完全に同一です。学習が進むにつれて徐々に変化します。
  • スケーリング。 アダプターの出力にはalpha ÷ rが乗算されます。これにより、rが変化してもその効果の大きさがほぼ安定するため、ランクごとに学習率を再調整する必要がありません。派生型であるランク安定化LoRA（rsLoRA）は、代わりにrの平方根で除算し、高いランクでより良好に機能します。
  • マージ。 学習後、B·Aを展開してWに加算することができます。マージされたモデルは元の形状を保ち、元の速度で実行され、レイテンシの増加はありません。あるいは、アダプターを小さな別ファイルとして保持し、ベースの上に読み込むことで、1つのベースモデルで複数のアダプターを処理することも可能です。
重みの計算：1つのレイヤー、そしてモデル全体
  1. 1つの4096 × 4096アテンション射影： Wに1,680万の重み。
  2. ランク8のLoRA： Aは8 × 4096、Bは4096 × 8であるため、2 × 4096 × 8 = 65,536の学習可能な重みとなり、レイヤーの0.4%に相当します。
  3. すべての線形レイヤーにおいてランク16のLlama型7Bモデル（32の各レイヤーに4つのアテンション射影と3つのMLP射影）：約4,000万の学習可能な重みとなり、モデルの約0.6%に相当します。
  4. 学習メモリ： これら4,000万の重みは、勾配とAdamWの状態に約0.6 GBを必要とします。これに対し、70億すべてのフルファインチューニングには約112 GBが必要です。
  5. 保存されたアダプターは16ビットで約80 MBですが、モデルの完全なコピーには14 GBが必要です。
  6. 元の論文では、GPT-3 175Bにおいて、LoRAはAdamを用いたフルファインチューニングと比較して、学習可能なパラメータを最大10,000分の1に、GPUメモリを約3分の1に削減しました。
フルファインチューニング16-bit + Adam≈ 112 GBLoRA16-bitベース、凍結≈ 15 GBQLoRA4-bitベース、凍結≈ 4–5 GBAdam + fp32コピー凍結された重み学習可能な重み勾配オプティマイザの状態
アクティベーション前の、70億パラメータモデルのファインチューニングに必要なおおよそのGPUメモリ。Adamを使用したフルファインチューニングでは、各重みに対して約16バイト（重み、その勾配、単精度のマスターコピー、および2つのオプティマイザ統計量）が必要です。LoRAはベースモデルを凍結したままにするため、勾配とオプティマイザの状態は小さなアダプタ（ここでは約4,000万の重み）にのみ存在します。

設定

ランク（r）一般的 4〜16。大規模なデータセットの場合は最大64#

AとBの内部次元であり、アダプターの容量でもあります。つまり、各レイヤーで学習できる独立した変更の方向の数を示します。トレーニング可能な重みはrに比例して増加します。トーン、スタイル、フォーマットには低いランクで十分ですが、知識を多く含む大規模なデータセットでは、より高いランクが有効です。アダプターがデータに対して十分な容量を持つと、ランクを上げても結果は改善されず、コストが追加されるだけになります。一部のプロバイダーはこれをアダプターサイズと呼んでいます。

アルファ（α）一般的 rから2 × r、または16〜32の固定値#

スケーリング係数：アダプターの出力にはalpha ÷ rが乗算されます。アルファを大きくすると、高い学習率と同様に、各更新の影響が大きくなります。そのため、多くの設定ではアルファを固定し、代わりに学習率を調整します。一般的な慣例としては、アルファをrと同じにする、アルファをrの2倍にする、または16や32などの固定値にするなどがあります。1つの慣例を選び、それを維持してください。アルファを固定したままrを変更すると、スケールも変更されます。

  • ターゲットモジュールは、どのレイヤーにアダプターを適用するかを決定します。元の論文では、アテンションのクエリとバリューの射影のみを適応させていました。QLoRAやThinking Machinesによる2025年の研究を含むその後の研究では、フルファインチューニングに匹敵するためには、すべての線形レイヤー、特にMLP（フィードフォワード）レイヤーを適応させる必要があることが判明しました。通常、ライブラリには「すべての線形レイヤー」のオプションが用意されています。
  • LoRAドロップアウトは、トレーニング中にアダプターの入力の一部をランダムにゼロにします。これは、小規模なデータセットでの過学習に対する緩やかな防御策となります。一般的な値は0から0.1です。
  • 学習率。 LoRAは通常、フルファインチューニングよりも高い学習率を必要とします。Thinking Machinesの研究では約10倍高く、また最適な学習率はランク間でほとんど変化しないことも判明しました。
  • バッチサイズ。 同研究では、LoRAはフルファインチューニングほど非常に大きなバッチを許容できないことが判明したため、中程度のバッチサイズを選択する方が安全です。

QLoRA：4ビットベース上のアダプター

QLoRA（Dettmersら、2023年）は、通常の16ビットLoRAアダプターをトレーニングしますが、凍結されたベースモデルを正規分布の重み用に設計された4ビット形式（NF4）で保存します。これには、量子化定数自体を圧縮する二重量子化と、メモリのスパイクを吸収するページドオプティマイザが追加されています。この論文では、16ビットファインチューニングのタスクパフォーマンスを維持しながら、単一の48 GB GPUで650億パラメータのモデルをファインチューニングしました。トレードオフは速度です。4ビットの重みはオンザフライで展開されるため、各ステップはやや遅くなります。

LoRAが適切な選択となる場合

状況推奨される手法
数百から数千のサンプルに基づく、トーン、フォーマット、またはドメイン固有の言い回しLoRA
限られたGPUメモリまたは予算LoRA、またはQLoRA
1つのベースモデルに対する複数のタスク固有のバリアントLoRA：それぞれに1つの小さなアダプター
ベースモデルの一般的な能力を維持することが重要忘却が少ないLoRA
コードや数学など、実質的な新しいスキルを学習させるための非常に大規模なデータセットフルファインチューニングにより、さらに多くの学習が可能になる場合があります

よくある間違い

  • アテンションレイヤーのみを適応させること。ほとんどのファインチューニングデータにおいて、これはMLPを含むすべての線形レイヤーにアダプターを適用した場合よりもパフォーマンスが劣ります。
  • フルファインチューニングの学習率を再利用すること。LoRAは通常、約10倍高い学習率を必要とします。そうでない場合、ほとんど学習が進みません。
  • アルファを固定したままランクを変更し、alpha ÷ r、つまり実効的なステップサイズも変更されていることに気づかないこと。
  • より高いランクが、小規模または一貫性のないデータセットを救うと期待すること。サンプルに明確なパターンがない場合、容量を増やしても効果はありません。
  • トレーニング時とは異なるベースモデル、またはその異なるバージョンにアダプターをロードすること。

参考文献および関連資料

外部ソースは新しいタブで開きます。

  1. 01LoRA: Low-Rank Adaptation of Large Language ModelsHu et al., 2021 · arXiv · arxiv.org元の論文：低ランクのアイデア、alpha ÷ rのスケーリング、およびGPT-3の結果。
  2. 02QLoRA: Efficient Finetuning of Quantized LLMsDettmers et al., 2023 · arXiv · arxiv.org4ビットNF4ベース重み、二重量子化、およびページドオプティマイザ。
  3. 03LoRA Without RegretThinking Machines Lab, 2025 · thinkingmachines.aiLoRAがフルファインチューニングに匹敵する場合、すべてのレイヤーが重要である理由、および10倍の学習率の法則。
  4. 04LoRAHugging Face PEFT docs · huggingface.co実装されているすべてのLoRA設定：ランク、アルファ、ドロップアウト、ターゲットモジュール、およびrsLoRA。
  5. 05A Rank Stabilization Scaling Factor for Fine-Tuning with LoRAKalajdzievski, 2023 · arXiv · arxiv.org
手法フルファインチューニングフルファインチューニングは、モデル内のすべての重みを更新します。動作を変更する余地が最も大きい反面、モデル自体のサイズの何倍ものGPUメモリを必要とし、ベースモデルが持っていたスキルを損なう可能性が最も高くなります。手法QLoRA（4ビットLoRA）QLoRAは、16ビットではなく4ビットで保存されたベースモデル上で、通常のLoRAアダプターをトレーニングします。トレーニングに必要なメモリが約3分の1に減少するため、速度は多少犠牲になりますが、同じマシンで約3倍の大きさのモデルをファインチューニングできます。概念Gradient checkpointingGradient checkpointingは、フォワードパスの中間結果の一部のみを保持し、バックワードパスで必要になった際に残りを再計算することでメモリを節約します。メモリ使用量を大幅に削減しますが、トレーニングの速度は約20〜30%遅くなります。設定ハイパーパラメーターハイパーパラメーターとは、モデルが学習する重みとは対照的に、エポック、学習率、バッチサイズ、アダプターランクなど、お客様が選択するトレーニング設定のことです。Autoはお客様のデータからこれらを選択し、適切な初回実行を行います。このページでは、そこからチューニングできるように各設定について説明します。設定学習率学習率は、各更新で重みがどれだけ移動するかを設定します。これは最も敏感な学習設定であり、高すぎるとオーバーシュートしてスキルを消去する可能性があり、低すぎるとモデルがほとんど変化しません。通常、スケジュールではウォームアップを行い、その後、実行全体にわたって減衰させます。手法トレーニング済みモデルからの継続トレーニングの実行は、ベースモデルの代わりに以前の実行の重みから開始できるため、モデルは学習した内容を保持しつつ、新しいデータが教える内容を追加できます。このようにして、教師あり学習の後に嗜好チューニングを行うといった、マルチステップのレシピが構築されます。

専門家が数週間かける作業を数分に短縮します

Scalataがお客様のチーム、データ、および統制にどのように適合するかをご確認ください。

営業へのお問い合わせ