LoRA et adaptateurs (PEFT)

Ce que c'est

Le PEFT (fine-tuning efficace en paramètres) est une famille de méthodes qui adaptent un modèle en entraînant un petit nombre de nouveaux poids tandis que les poids d'origine restent gelés. LoRA (Low-Rank Adaptation), introduit par Hu et al. en 2021, est la plus utilisée. Elle repose sur une observation : la modification que le fine-tuning doit apporter à une grande matrice de poids peut être décrite avec beaucoup moins de nombres que la matrice elle-même. En termes mathématiques, la modification a un rang faible.

Comment ça fonctionne

Prenez une couche linéaire avec une matrice de poids W de dimension d × k. Un fine-tuning complet apprendrait une modification ΔW de la même dimension : d × k nouveaux nombres. LoRA apprend plutôt cette modification comme le produit de deux matrices fines. A (r × k) compresse l'entrée de la couche à r nombres, et B (d × r) les redéploie. Le rang r est petit, généralement de 4–64, tandis que d et k se comptent en milliers.

h = W·x + (α / r) · B·A·x

W : d × k    frozen
A : r × k    trainable, random at the start
B : d × r    trainable, zero at the start   →   B·A = 0 at step 0

trainable weights per adapted layer = r × (d + k)

• Initialisation. A commence de manière aléatoire et B commence à zéro, donc B·A = 0 et le modèle adapté est exactement le modèle de base à l'étape 0. L'entraînement l'en éloigne progressivement.
• Mise à l'échelle. La sortie de l'adaptateur est multipliée par alpha ÷ r. Cela maintient la taille de son effet à peu près stable lorsque r change, de sorte que le taux d'apprentissage n'a pas besoin d'être réajusté pour chaque rang. Une variante, le LoRA à rang stabilisé (rsLoRA), divise plutôt par la racine carrée de r, ce qui se comporte mieux aux rangs élevés.
• Fusion. Après l'entraînement, B·A peut être multiplié et ajouté à W. Le modèle fusionné conserve la forme d'origine et s'exécute à la vitesse initiale, sans latence supplémentaire. L'adaptateur peut également être conservé sous forme de petit fichier séparé et chargé par-dessus la base, ce qui permet à un seul modèle de base de servir plusieurs adaptateurs.

Les paramètres

• Les modules cibles déterminent quelles couches reçoivent un adaptateur. L'article d'origine n'adaptait que les projections de requêtes et de valeurs de l'attention. Des travaux ultérieurs, notamment QLoRA et une étude de 2025 de Thinking Machines, ont révélé que l'adaptation de toutes les couches linéaires, en particulier les couches MLP (feed-forward), est nécessaire pour égaler un fine-tuning complet. Les bibliothèques proposent généralement une option « toutes les couches linéaires ».
• Le dropout LoRA met aléatoirement à zéro une partie de l'entrée de l'adaptateur pendant l'entraînement, une légère protection contre le surapprentissage sur les petits jeux de données. Les valeurs courantes vont de 0 à 0,1.
• Taux d'apprentissage. LoRA nécessite généralement un taux d'apprentissage plus élevé qu'un fine-tuning complet : environ dix fois plus élevé selon l'étude de Thinking Machines, qui a également révélé que le meilleur taux varie peu d'un rang à l'autre.
• Taille de lot. La même étude a révélé que LoRA tolère moins bien les très grands lots qu'un fine-tuning complet, des tailles de lot modérées constituent donc le choix le plus sûr.

QLoRA : des adaptateurs sur une base 4 bits

QLoRA (Dettmers et al., 2023) entraîne des adaptateurs LoRA ordinaires de 16 bits mais stocke le modèle de base gelé dans un format de 4 bits conçu pour des poids normalement distribués (NF4). Il ajoute une double quantification, qui compresse les constantes de quantification elles-mêmes, et des optimiseurs paginés qui absorbent les pics de mémoire. L'article a effectué le fine-tuning d'un modèle de 65 milliards de paramètres sur un seul GPU de 48 Go tout en préservant les performances de tâche d'un fine-tuning de 16 bits. Le compromis est la vitesse : les poids de 4 bits sont décompressés à la volée, chaque étape est donc un peu plus lente.

Quand LoRA est le bon choix

Erreurs courantes

• N'adapter que les couches d'attention. Sur la plupart des données de fine-tuning, cette méthode est moins performante que les adaptateurs sur toutes les couches linéaires, y compris le MLP.
• Réutiliser un taux d'apprentissage de fine-tuning complet. LoRA nécessite généralement un taux environ dix fois supérieur, sans quoi il n'apprend presque rien.
• Modifier le rang tout en gardant alpha fixe, sans remarquer qu'alpha ÷ r, et donc la taille de pas effective, a également changé.
• Attendre d'un rang plus élevé qu'il sauve un jeu de données restreint ou incohérent. La capacité n'est d'aucune aide lorsque les exemples ne présentent aucun motif clair.
• Charger un adaptateur sur un modèle de base différent, ou sur une version différente de celui-ci, que celui sur lequel il a été entraîné.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

1. 01LoRA: Low-Rank Adaptation of Large Language Models↗Hu et al., 2021 · arXiv · arxiv.orgL'article d'origine : l'idée de rang faible, la mise à l'échelle alpha ÷ r et les résultats sur GPT-3.
2. 02QLoRA: Efficient Finetuning of Quantized LLMs↗Dettmers et al., 2023 · arXiv · arxiv.orgPoids de base NF4 de 4 bits, double quantification et optimiseurs paginés.
3. 03LoRA Without Regret↗Thinking Machines Lab, 2025 · thinkingmachines.aiQuand LoRA égale le fine-tuning complet, pourquoi toutes les couches comptent, et la règle du taux d'apprentissage multiplié par 10×.
4. 04LoRA↗Hugging Face PEFT docs · huggingface.coChaque paramètre LoRA tel qu'implémenté : rang, alpha, dropout, modules cibles et rsLoRA.
5. 05A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA↗Kalajdzievski, 2023 · arXiv · arxiv.org

Concepts associés