Modèles à poids ouverts

Ce que c'est

Un modèle fermé, tel que Gemini ou GPT, réside uniquement sur les serveurs de son fournisseur. Vous pouvez l'affiner par l'intermédiaire du fournisseur, mais vous ne pourrez jamais le télécharger, il ne peut donc pas être entraîné sur votre propre machine. Un modèle à poids ouverts est publié sous forme de fichiers de poids que tout le monde peut télécharger : Qwen, Llama, Mistral, Phi et Gemma, la famille ouverte de Google, entre autres. Les poids ouverts ne sont pas synonymes d'open source : les données d'entraînement et le code ne sont souvent pas publiés, et la licence définit ce que vous êtes autorisé à faire avec le modèle.

Le compromis se situe entre le contrôle et la commodité. Avec des poids ouverts, vous choisissez le matériel, conservez le modèle entraîné et pouvez l'exécuter où vous le souhaitez, y compris de manière totalement hors ligne. Avec un modèle fermé, le fournisseur gère le matériel, mais le modèle ajusté reste sur ses serveurs et ne peut être utilisé que via son service.

Ce qu'il faut vérifier avant d'en choisir un

Ce qu'il faut vérifier sur la page d'un modèle avant de l'affiner, pour un modèle illustratif de 7B. Les cinq premiers points déterminent s'il s'agit d'un point de départ pertinent ; la licence et l'accès restreint sont des conditions que vous devez lire et accepter vous-même.

La taille, qui détermine la mémoire dont une machine a besoin pour l'entraîner.
La licence. De nombreux modèles utilisent des licences permissives telles qu'Apache 2.0 ; d'autres ont leurs propres conditions, comme la licence communautaire de Llama ou les conditions d'utilisation de Gemma. Lisez-les avant d'utiliser un modèle à des fins commerciales.
L'accès restreint, si Hugging Face vous demande d'accepter des conditions avant le téléchargement.
Le format. Privilégiez les poids au format safetensors, un format de fichier qui ne contient que des nombres, de sorte que son chargement ne peut pas exécuter de code caché. Les anciens checkpoints basés sur pickle peuvent exécuter du code lors de leur chargement.
L'architecture et les outils. Une toute nouvelle architecture peut mettre un certain temps à être prise en charge par les bibliothèques d'entraînement courantes ; une famille bien établie constitue un point de départ plus sûr.

Comprendre une version

Une famille publie généralement plusieurs versions de chaque taille. Un modèle de base est entraîné uniquement pour continuer du texte ; un modèle d'instruction (chat) est ajusté pour suivre des directives ; et il existe souvent des copies pré-quantifiées, dans des formats tels que FP8, MXFP4, GGUF ou AWQ, conçues pour fonctionner à moindre coût. Le nombre dans le nom, comme 7B, compte les paramètres en milliards et détermine la quantité de mémoire nécessaire à l'entraînement.

Pleine précision uniquement

Certains modèles sont publiés déjà compressés, dans des formats 8 bits (FP8) ou 4 bits (MXFP4), afin de les rendre moins coûteux à exécuter. L'entraînement nécessite la version en pleine précision, car les petites modifications que l'entraînement apporte à chaque poids se perdent dans des nombres aussi approximatifs. Recherchez la version en BF16, par exemple les versions de Ministral 3 se terminant par -BF16. QLoRA compresse lui-même un modèle en pleine précision, il part donc également de la version BF16.

Choisir une version à affiner (à titre d'illustration)

Un modèle instruct 7B en safetensors BF16, Apache 2.0 : un bon point de départ. LoRA nécessite environ 2 × 7 + 3 ≈ 17 Go pour l'entraîner.
La version FP8 de ce même modèle : moins coûteuse à exécuter, mais ce n'est pas un point de départ pour l'entraînement. Utilisez la version BF16, ou laissez QLoRA la quantifier en 4 bits, soit environ 8 Go pour l'entraînement.
Un modèle 8B à accès restreint sous licence communautaire : utilisable une fois que vous avez accepté ses conditions sur Hugging Face, mais lisez la licence pour connaître les limites d'utilisation commerciale avant de développer à partir de celui-ci.

Modèles à accès restreint

Certains éditeurs, dont Meta pour Llama et Google pour Gemma 3, restreignent l'accès à leurs modèles : vous devez accepter la licence une fois sur la page Hugging Face du modèle avant de pouvoir le télécharger. L'accès étant lié à votre compte Hugging Face, tout outil téléchargeant le modèle pour vous doit agir au nom d'un compte ayant accepté les conditions d'utilisation.

Modèles capables de traiter des images

Certains modèles, tels que Gemma 3 et 4, Qwen3.5 et Ministral 3, peuvent également lire des images. Leur ajustement fin sur des données exclusivement textuelles entraîne la partie linguistique ; leurs capacités visuelles restent généralement intactes, bien qu'un entraînement intensif uniquement sur du texte puisse les affaiblir légèrement. Si les images sont importantes pour votre tâche, incluez des exemples visuels ou vérifiez le comportement du modèle avec les images après l'entraînement.

Choisir un modèle de base

La compatibilité avant tout. Choisissez parmi les modèles que votre matériel peut entraîner : la règle empirique de la page sur la mémoire donne une réponse rapide.
Les versions Instruct pour le chat. La plupart des familles publient une version de base brute et une version instruct (chat). Pour un entraînement sur des conversations, la version instruct suit déjà le format de chat et nécessite moins d'exemples pour bien se comporter.
Un modèle plus petit est souvent suffisant. Un petit modèle affiné sur une tâche précise peut égaler un modèle généraliste beaucoup plus grand sur cette même tâche, tout en s'entraînant et en répondant plus rapidement. Essayez d'abord un petit modèle et passez à la taille supérieure uniquement si l'évaluation montre qu'il est insuffisant.
Les langues et le domaine. Les familles de modèles diffèrent dans leur capacité à traiter des langues autres que l'anglais, le code ou les documents longs. Un test rapide sous forme de chat avec le modèle de base permet de voir son niveau de départ.

Erreurs courantes

Chercher à télécharger les poids de Gemini ou GPT. Ils sont fermés ; Gemma est la famille à poids ouverts de Google.
Partir de la version FP8 ou MXFP4 d'un modèle au lieu de sa version BF16.
Oublier d'accepter la licence d'un modèle à accès restreint sur Hugging Face avant la première exécution.
Supposer que les poids ouverts signifient que toute utilisation est autorisée. C'est la licence qui en décide.
Choisir un grand modèle avant de vérifier s'il tiendra dans la mémoire pour l'entraînement.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.