ハイパーパラメーター

トレーニングがデータ全体を何回パスするか。少なすぎるとモデルはほとんど変化しません。多すぎるとサンプルを一言一句再現し始め（過学習）、トレーニング損失は低下し続ける一方で検証損失が上昇する現象として表れます。小さなデータセットではエポック数を少し増やすことができますが、大きなデータセットでは通常1回で十分です。選好チューニングは通常、教師あり学習よりも少ないエポック数を必要とします。また、エポックごとにコストも増加します。

各重み更新の大きさを指します。これは最も繊細な設定です。高すぎると更新が行き過ぎて損失が不安定になり、モデルが持っていたスキルを失う可能性があります。低すぎると、モデルが十分に学習する前に実行が終了してしまいます。ホスト型モデルでは、生の学習率の代わりに乗数が公開されることがよくあります。プロバイダーがそのモデルとお客様のデータに対して設定したデフォルトの学習率に、お客様が設定した値が掛けられます。つまり、1の場合はデフォルトを維持し、2の場合は2倍、0.5の場合は半分になります。オープンモデルでは、LoRAアダプターの場合は約1e-4、フルファインチューニングの場合は約1e-5といった生の学習率を使用します。

各重み更新に平均化されるサンプルの数。バッチサイズが大きいほど、更新はより滑らかで信頼性が高くなりますが、エポックあたりの更新回数は減り、より多くのメモリを必要とします。バッチサイズが小さいほど、更新頻度は高くなりますが、ノイズが多くなります。バッチサイズを変更する場合は、学習率も再検討してください。通常、バッチサイズが大きいほど高い学習率を許容し、また必要とします。小さなデータセットで非常に大きなバッチを使用すると、学習するためのステップ数が少なすぎることになります。

オープンモデルでのアダプタートレーニング用です。LoRAが各レイヤーの横でトレーニングする2つの小さな行列のランクであり、アダプターが学習できる量を設定します。トーン、スタイル、フォーマットにはランク4〜16で十分ですが、知識を多く含む大規模なデータセットではより高いランクを使用できます。ランクを高くするとメモリと時間がより多くかかり、アダプターが十分な容量に達すると効果がなくなります。LoRAのページでは、アルファ、ターゲットモジュール、ドロップアウトについて説明しています。

トレーニングの最初のステップでは、学習率は最初から最大値で始まるのではなく、ゼロに近い値から最大値まで徐々に上がります。初期段階では、オプティマイザーの実行統計は非常に少ない勾配に基づいているため、フルサイズのステップでは最初のアクションが不適切になるリスクがあります。短いウォームアップにより、不安定な開始を回避できます。これは、ステップ数または全ステップの割合として指定されます。ウォームアップ後、学習率は通常、実行の残りの期間にわたってゼロに向かって減衰します。