Bientôt disponibleL'Entraînement de modèles sera bientôt disponible dans Scalata Enterprise. Apprenez à un modèle à répondre comme votre équipe.Découvrir les nouveautés

Ressources/Entraînement du modèle/Ce qui se passe lors de l'entraînement

Concept

Mode de facturation de l'entraînement

La plupart des services de fine-tuning gérés sont facturés par token traité : les tokens du fichier d'entraînement multipliés par les époques et par un prix. Les tâches sur des GPU loués sont quant à elles facturées au temps. L'utilisation ultérieure du modèle constitue un coût distinct.

Chapitre 65 min de lecture3 références

Les principaux modèles de facturation

FacturéFormuleTypique pour
Par token d'entraînementTokens dans le fichier d'entraînement × époques × prix par tokenLa plupart des services gérés de fine-tuning
Au temps de GPUTemps d'exécution × taux horaire × nombre de GPUTâches sur des GPU loués, généralement des modèles ouverts
Par heure d'entraînementHeures × un taux horaire (élevé)Certains services hébergés de fine-tuning par renforcement
Par token d'inférenceTokens d'entrée et de sortie × le prix du modèleÉvaluations, juges, modèles enseignants, chats de test
Par jeton d'entraînement
2,000,000jetons dans le fichier d'entraînement×3époques=6,000,000jetons d'entraînement facturés×$3.00par million de jetons (exemple)=$18.00coût d'entraînement
Par temps de GPU
45 minutesdurée d'exécution de la tâche×$1.20par heure de GPU (exemple)=$0.90coût d'entraînement
Les deux modes de facturation courants de l'entraînement, avec des prix à titre indicatif. La tarification par jeton est connue avant le début de la tâche, une fois le nombre d'époques fixé. La tarification par GPU dépend de la durée d'exécution de la tâche, qui varie selon la taille du modèle, le volume de données et la méthode.

Entraînement par token

Les services de fine-tuning gérés comptent les tokens de votre fichier d'entraînement et facturent chaque token traité lors de l'entraînement. Chaque époque traite à nouveau l'intégralité du fichier, la facture correspond donc aux tokens du fichier multipliés par le nombre d'époques et par le prix, généralement indiqué par million de tokens. Lisez attentivement la grille tarifaire : certains services facturent également les tokens de validation, appliquent des frais minimums par tâche, facturent l'ajustement des préférences plus cher que l'entraînement supervisé, ou prélèvent des frais mensuels pour stocker le modèle entraîné.

Les deux formules
per training token:  cost = tokens in the training file × epochs × price per token
per GPU time:        cost = runtime in hours × hourly rate × number of GPUs
Estimation d'une tâche facturée au token
  1. Données : 1 500 conversations d'une moyenne de 1 200 tokens chacune après préparation : 1 800 000 tokens.
  2. Époques : 3, soit 5 400 000 tokens d'entraînement traités.
  3. Prix : pour un prix d'exemple de 3,00 $ par million de tokens d'entraînement, 5,4 × 3,00 $ = 16,20 $.
  4. Avec les époques automatiques : si le fournisseur avait choisi 2 ou 4 époques, la même tâche aurait coûté 10,80 $ ou 21,60 $. Cet écart explique pourquoi un chiffre annoncé à l'avance n'est qu'une estimation.
  5. Décompte des tokens : le fournisseur effectue le décompte avec son propre tokenizer, une estimation basée sur la longueur du texte peut donc varier de quelques pour cent dans un sens ou dans l'autre.

Entraînement au temps GPU

Lorsque l'entraînement s'exécute sur des GPU loués, ce qui est typique pour les modèles ouverts, vous payez au temps : le temps d'exécution de la tâche multiplié par le taux horaire du GPU, multiplié par le nombre de GPU. Le temps d'exécution augmente avec la taille du modèle, le nombre de tokens, les époques et la méthode. Les méthodes qui génèrent du texte pendant l'entraînement, telles que la distillation on-policy et l'apprentissage par renforcement, passent une grande partie de leur temps à écrire des réponses token par token, ce qui les rend plus lentes par exemple que l'entraînement supervisé. Un modèle plus grand peut également nécessiter un GPU plus puissant, ou plusieurs, à un taux horaire plus élevé.

Estimer une tâche GPU
  1. Tâche : Fine-tuning LoRA d'un petit modèle ouvert s'exécutant pendant 45 minutes sur un GPU.
  2. Tarif : pour un exemple à 1,20 $ par heure de GPU, 0,75 h × 1,20 $ = 0,90 $.
  3. Un modèle deux fois plus grand peut nécessiter un GPU doté de plus de mémoire à un tarif plus élevé, et son exécution est également plus longue : les deux facteurs se multiplient.
  4. Les temps annexes comptent : le démarrage, le chargement du modèle et l'enregistrement du résultat font généralement partie du temps facturé, ce qui a un impact majeur sur les tâches courtes.

Les autres sources de coûts

  • Évaluation : la génération de réponses à partir des modèles de base et affinés, ainsi que leur notation par un modèle juge, sont facturées par token.
  • Modèles enseignants dans la distillation : les réponses de l'enseignant sont facturées par token d'entrée et de sortie, en plus de l'entraînement de l'étudiant.
  • Service : la capacité partagée (serverless) est facturée par token utilisé ; un déploiement dédié est facturé à l'heure tant qu'il existe, même en cas d'inactivité.
  • Stockage : certains fournisseurs facturent la conservation des modèles entraînés ou des fichiers importés.

Chaque chiffre de coût ne vaut que par ce sur quoi il repose, c'est pourquoi chacun est assorti d'un statut — Final, Estimé, En attente ou Non facturé — indiquant s'il s'agit du propre chiffre du fournisseur, de l'estimation faite au départ, d'une tâche toujours en cours d'exécution, ou d'une tâche arrêtée avant toute facturation.

Comment réduire les coûts

  • Nettoyez avant d'entraîner. Les doublons, les réponses d'erreur et les conversations trop longues ajoutent tous des tokens facturés sans ajouter de signal.
  • Commencez petit. Une première exécution sur un sous-ensemble, ou avec moins d'époques, montre si l'approche fonctionne avant de payer pour la tâche complète.
  • Utilisez le plus petit modèle de base qui réussit votre évaluation. L'entraînement et le service deviennent tous deux moins chers.
  • Privilégiez LoRA sur les modèles ouverts : moins de mémoire, des GPU plus petits, des exécutions plus rapides.
  • Supprimez les déploiements dédiés une fois les tests terminés ; ils sont facturés à l'heure.

Erreurs courantes

  • Oublier que les époques multiplient la facture : quatre époques coûtent quatre fois plus cher qu'une seule.
  • Budgétiser uniquement l'entraînement, puis laisser un déploiement dédié s'exécuter pendant des jours.
  • Comparer les prix par token entre les fournisseurs sans comparer leurs époques, leurs frais minimums et leurs frais de stockage.
  • S'entraîner sur des données non nettoyées et payer pour des tokens qui n'enseignent que du bruit.
  • Considérer une estimation initiale comme un devis. Le propre décompte de tokens du fournisseur et les époques choisies déterminent le chiffre final.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

  1. 01Amazon Bedrock PricingAmazon Web Services · aws.amazon.comUne grille tarifaire de fournisseur qui détaille les tokens entraînés comme tokens du corpus × époques, en plus du stockage et de la tarification horaire.
  2. 02PricingTogether AI · together.aiPrix du fine-tuning par token selon la taille du modèle, avec des frais minimums et des tarifs distincts pour l'ajustement des préférences.
  3. 03GPU memory usageHugging Face Transformers docs · huggingface.coPourquoi la taille du modèle détermine le GPU, et donc le taux horaire, dont une tâche a besoin.
ConceptPourquoi les tokens déterminent les coûtsComment le nombre de tokens se traduit par le prix de l'entraînement et de l'utilisation d'un modèle, avec des chiffres concrets, et quels leviers permettent réellement de réduire la facture.ConceptCoûts : interpréter les chiffresLe travail des modèles est facturé de plusieurs manières différentes. Ainsi, chaque coût affiché par Scalata comporte un état — Définitif, Estimé, En attente ou Non facturé — qui indique sur quoi le chiffre est basé.ConceptTokensLes fragments de texte qu'un modèle lit et écrit réellement — comment ils sont créés, pourquoi les décomptes diffèrent d'un modèle à l'autre, et pourquoi chaque limite et chaque prix lors de l'entraînement sont mesurés avec ces unités.ConceptÉpoque, lot et étapeUn lot est le groupe d'exemples qui sous-tend une mise à jour des poids, une étape correspond à une mise à jour, et une époque représente un passage complet sur les données d'entraînement. Ensemble, ils déterminent la fréquence de modification du modèle et le nombre de fois qu'il traite chaque exemple.ConceptServerless vs dédiéLe service serverless facture au jeton sur une capacité partagée sans coût d'inactivité ; un déploiement dédié réserve des GPU pour votre modèle et facture chaque heure de son existence. La solution la plus économique dépend de votre volume d'utilisation.MéthodeLoRA et adaptateurs (PEFT)LoRA gèle le modèle de base et entraîne deux petites matrices à côté des couches sélectionnées, dont le produit est ajouté aux poids gelés. Il réduit considérablement les poids entraînables et la mémoire et, s'il est bien configuré, égale un fine-tuning complet sur des jeux de données de fine-tuning typiques.

Transformez des semaines de travail d'expert en quelques minutes

Découvrez comment Scalata s'adapte à votre équipe, à vos données et à vos contrôles.

Contacter le service commercial