Bientôt disponibleL'Entraînement de modèles sera bientôt disponible dans Scalata Enterprise. Apprenez à un modèle à répondre comme votre équipe.Découvrir les nouveautés

Ressources/Entraînement du modèle/Tokens et contexte

Concept

Pourquoi les tokens déterminent les coûts

Comment le nombre de tokens se traduit par le prix de l'entraînement et de l'utilisation d'un modèle, avec des chiffres concrets, et quels leviers permettent réellement de réduire la facture.

Chapitre 24 min de lecture4 références

Ce que vous payez

Les fournisseurs mesurent le travail des modèles de langage en tokens car les calculs effectués par un modèle augmentent avec le nombre de tokens qu'il traite. L'entraînement lit chaque token de chaque enregistrement, une fois par époque. L'utilisation d'un modèle lit chaque token d'entrée et génère chaque token de sortie, un par un.

Entraînement · facturation par token
tokens dans le fichier d'entraînementcontexte + cibles, chaque enregistrement×époques×prix par token d'entraînement=coût d'entraînement
Utilisation · par requête
tokens en entrée × prix en entréeprompt système, historique, documents, question+tokens en sortie × prix en sortiegénéralement le prix le plus élevé=coût d'une requête
L'entraînement est facturé une seule fois par exécution et évolue avec les époques. L'utilisation d'un modèle est facturée à chaque requête, et l'entrée est renvoyée à chaque fois.

Coût d'entraînement

Avec l'entraînement par token — le mode de facturation de la plupart des services de fine-tuning gérés — la formule est simple :

Entraînement par token
training cost = tokens in the training file × epochs × price per training token

Chaque token du fichier compte, et pas seulement les réponses cibles. Le prompt système et le contexte de chaque enregistrement sont également lus pendant l'entraînement, même si le modèle n'est évalué que sur les cibles. Un prompt système long répété dans chaque enregistrement, ou de longs historiques de conversation, rendent l'entraînement plus coûteux.

L'entraînement sur des GPU loués est quant à lui facturé au temps : durée d'exécution × prix horaire du GPU. Les tokens restent importants, car un plus grand nombre de tokens nécessite plus de temps, mais la taille du modèle, la méthode d'entraînement et le matériel comptent tout autant.

Estimer le coût d'un cycle d'entraînement
  1. Un jeu de données préparé compte 500 enregistrements d'une moyenne de 800 tokens : 400 000 tokens.
  2. Trois époques signifient que le modèle traite 1,2 million de tokens.
  3. À un prix indicatif de 3 $ par million de tokens d'entraînement, cela représente environ 3,60 $.
  4. Réduire de moitié un prompt système de 200 tokens retire 50 000 tokens du fichier — soit 150 000 tokens de moins traités sur trois époques.

Coût d'utilisation

Un modèle entraîné est servi soit par token sur une capacité partagée, soit sur un déploiement dédié facturé à l'heure, qu'il soit utilisé ou non. La tarification par token sépare les tokens d'entrée (tout ce qui est envoyé : prompt système, historique, documents récupérés, la question) des tokens de sortie (la réponse). Les tokens de sortie sont généralement plusieurs fois plus chers, car ils sont générés un par un.

Utilisation par token
cost per request = input tokens × input price  +  output tokens × output price

Puisque l'entrée est renvoyée à chaque appel, un prompt long constitue un coût récurrent. C'est l'un des arguments pratiques en faveur du fine-tuning : un comportement assimilé dans les poids n'a plus besoin d'être expliqué à chaque requête.

Ce que coûte un prompt long sur un mois
  1. Un assistant traite 100 000 requêtes par mois. Ses instructions comptent 1 500 tokens ; la question et l'historique en ajoutent 500 autres.
  2. Cela représente 2 000 tokens en entrée par requête, soit 200 millions de tokens en entrée par mois.
  3. Après le fine-tuning, les instructions sont réduites à 150 tokens : 650 tokens en entrée par requête, soit 65 millions par mois — environ un tiers.
  4. Que cela permette de faire des économies dépend du prix du modèle fine-tuné, qui chez certains fournisseurs est plus élevé que celui du modèle de base. Comparez les deux avant de décider.

Ce qui réduit la facture

  • Moins d'exemples, mais de meilleure qualité. Quelques centaines d'enregistrements bien choisis surpassent souvent des milliers d'enregistrements bruités, pour une fraction du coût d'entraînement.
  • Moins d'époques. Le coût augmente proportionnellement aux époques, et un plus grand nombre d'époques n'est pas toujours préférable.
  • Des enregistrements plus courts. Réduire l'historique ancien et conserver un prompt système court diminue à la fois les tokens d'entraînement et d'utilisation.
  • Un modèle plus petit. Les prix par token baissent considérablement avec la taille du modèle.
  • Une facturation par token lorsque cela est possible. Un déploiement dédié coûte de l'argent pour chaque heure d'existence.

Erreurs courantes

  • Ne compter que les réponses cibles lors de l'estimation des tokens d'entraînement.
  • Oublier de multiplier par le nombre d'époques.
  • Comparer les modèles uniquement sur le prix d'entrée alors que les tokens de sortie coûtent généralement plus cher.
  • Laisser un déploiement de test dédié en cours d'exécution après avoir terminé de l'utiliser.
  • Considérer une estimation comme un devis.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

  1. 01PricingClaude Platform Docs · platform.claude.comUn exemple de prix distincts pour les tokens d'entrée et de sortie.
  2. 02Amazon Bedrock PricingAmazon Web Services · aws.amazon.comPrix de l'inférence par token, de la personnalisation et de l'hébergement horaire sur une seule page.
  3. 03Token countingClaude Platform Docs · platform.claude.comCompter les tokens avant d'envoyer une requête.
  4. 04Understand and count tokensGemini API docs · ai.google.devComment un autre fournisseur compte et facture les tokens.
ConceptTokensLes fragments de texte qu'un modèle lit et écrit réellement — comment ils sont créés, pourquoi les décomptes diffèrent d'un modèle à l'autre, et pourquoi chaque limite et chaque prix lors de l'entraînement sont mesurés avec ces unités.ConceptFenêtre de contexteLe nombre maximum de tokens qu'un modèle peut prendre en compte simultanément, la façon dont cet espace est partagé, et en quoi il diffère de la limite par exemple qui s'applique lors de l'entraînement.ConceptMode de facturation de l'entraînementLa plupart des services de fine-tuning gérés sont facturés par token traité : les tokens du fichier d'entraînement multipliés par les époques et par un prix. Les tâches sur des GPU loués sont quant à elles facturées au temps. L'utilisation ultérieure du modèle constitue un coût distinct.ConceptCoûts : interpréter les chiffresLe travail des modèles est facturé de plusieurs manières différentes. Ainsi, chaque coût affiché par Scalata comporte un état — Définitif, Estimé, En attente ou Non facturé — qui indique sur quoi le chiffre est basé.ConceptServerless vs dédiéLe service serverless facture au jeton sur une capacité partagée sans coût d'inactivité ; un déploiement dédié réserve des GPU pour votre modèle et facture chaque heure de son existence. La solution la plus économique dépend de votre volume d'utilisation.ConceptInférence et déploiementL'inférence consiste à utiliser un modèle pour générer des réponses. Un modèle entraîné doit d'abord être déployé — ses poids chargés sur du matériel derrière un point de terminaison — ce qui peut prendre plusieurs minutes, puis coûte de l'argent au token ou à l'heure.

Transformez des semaines de travail d'expert en quelques minutes

Découvrez comment Scalata s'adapte à votre équipe, à vos données et à vos contrôles.

Contacter le service commercial