品質が最重要である理由
教師ありファインチューニングにおける信頼できる唯一の情報源は、お客様が提供する例です。モデルは不注意な回答と慎重な回答を区別できないため、両方を学習します。通常、正確で一貫した小規模なデータセットは、混在した大規模なデータセットに勝ります。LIMAの調査（2023年）はこの点を鮮明に示しています。慎重に厳選されたわずか1,000件の例でファインチューニングされた650億パラメータのモデルは、43%のケースでGPT-4と同等またはそれ以上と評価される回答を生成しました。
5つの特性
| 特性 | 意味 | 確認方法 |
|---|---|---|
| 正確性 | すべてのターゲットが正しいこと（事実、手順、数値、名前）。 | その主題に詳しい担当者に、ランダムに選んだ30〜50件のターゲットを読んでもらいます。 |
| 一貫性 | 類似した質問には、類似した形式の回答が返されること。 | 回答をトピックごとにグループ化して並べて比較し、まずは社内スタイルに合意します。 |
| 多様性 | 整然とした質問だけでなく、短く曖昧な質問、複数部分からなる質問、フォローアップの質問も含まれていること。 | 受け取る質問の種類をリストアップし、それぞれが含まれているかを確認します。 |
| 明確な焦点 | 明確に定義された1つのジョブ、または明確に分離された少数のジョブであること。 | モデルがすべきことを2つの文で説明できますか？ |
| 代表性 | 入力が、実際の使用時にモデルが処理するものと似ていること。 | トピックと長さの構成比を、実際のトラフィックと比較します。 |
サンプルの数
普遍的な数値はありませんが、有用な目安はあります。明確なフォーマットを持つ限定的なタスク（固定されたスタイルで1種類の質問に答える、リクエストを分類するなど）では、多くの場合、数百の例で明確な効果が見られます。多くのトピックを網羅する広範なアシスタントには数千の例が必要です。OpenAIのファインチューニングガイドでは、50〜100件の例で改善が見られると報告されており、まずは約50件のよく練られた例から始め、評価を行い、そこから追加していくことを推奨しています。データ量の増加が最も役立つのは多様性が加わる場合です。同じようなデータを増やしても、コストがかさむだけで大きな効果は得られません。
重複と繰り返し
2回出現する会話は2回トレーニングされ、50の異なる質問のターゲットとして使用される定型的な回答は、モデルがどこでもその回答を生成するように学習させます。事前学習データに関する研究は、繰り返しの影響がいかに大きいかを示しています。一般的なトレーニングセットから重複に近いものを削除したところ、モデルが暗記したテキストを再現する頻度が約10分の1に減少しました。ファインチューニングの規模では、この症状は少数の決まり文句を多用する反復的なモデルとして現れます。
新しい事実に依存するターゲット
ベースモデルがこれまで見たことのない事実を主に基づいて構築されたターゲットには注意が必要です。Gekhmanらによる2024年の研究では、モデルはすでに知っていることと一致する例よりも、そのような例を学習するのに時間がかかり、学習が進むにつれてハルシネーションを起こしやすくなることがわかりました。可能な限り、専門的な事実や変化する事実はリクエスト時に提供し、データセットはそれらの使用方法を教えるために活用してください。
- 開始: 900の候補ターゲットを含む600のサポートチャット。
- 正確性: レビュアーがランダムに50のターゲットを読み、古いメニュー名が含まれるものを6つ発見します。検索により、同じ問題を持つものがさらに40見つかり、すべて修正されます。
- 一貫性: パスワードに関する質問には3つの異なる形式で回答されています。チームは1つを選択し、他のものを修正します。
- 多様性: 非常に短い質問（「エクスポート？」など）は実際のトラフィックの15%を占めますが、データセットにはほとんど存在しないため、そのようなチャットを60追加します。
- 繰り返し: 1つの定型的な返答が70回ターゲットになっています。Data Prepの繰り返しの返答に対する制限により、それが支配的になるのを防ぎます。
- 結果: 使用可能なターゲットは開始時よりも少なくなりますが、それぞれが望ましい動作を学習させます。
よくある間違い
- 不足している種類を網羅するのではなく、同じ種類の例をさらに追加してしまうこと。
- 言うべきだったことではなく、言われたことすべてをトレーニングしてしまうこと。
- 異なる担当者が回答を作成したため、複数の回答スタイルが混在してしまうこと。
- データセットが乱雑に見えるという理由で、短く曖昧で不自然な質問を除外してしまうこと。
- 自動クリーニングによって回答が正確かどうかも確認されると思い込んでしまうこと。
参考文献および関連資料
外部ソースは新しいタブで開きます。
- 01LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.org慎重に選ばれた1,000件の例と、それらが達成したこと。
- 02Deduplicating Training Data Makes Language Models BetterLee et al., 2021 · arXiv · arxiv.org重複したトレーニングデータの測定コスト。
- 03Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?Gekhman et al., 2024 · arXiv · arxiv.org未知の事実で満たされたターゲットが裏目に出る理由。
- 04Supervised fine-tuningOpenAI API docs · developers.openai.com最初に用意すべき例の数に関するプロバイダーのアドバイス。
- 05Datasets: Data characteristicsGoogle Machine Learning Crash Course · developers.google.comデータの信頼性と品質に関する短い入門書。