Bientôt disponibleL'Entraînement de modèles sera bientôt disponible dans Scalata Enterprise. Apprenez à un modèle à répondre comme votre équipe.Découvrir les nouveautés

Ressources/Entraînement du modèle/Évaluation

Concept

Points de contrôle : lorsque le modèle de base n'est plus disponible

Les points de contrôle sont des copies du modèle que le fournisseur sauvegarde en cours d'entraînement. Lorsque le modèle de base ne peut plus être déployé, la comparaison du modèle final avec un point de contrôle antérieur permet de déterminer si les étapes d'entraînement ultérieures ont été utiles.

Chapitre 85 min de lecture4 références

Définition

Pendant l'entraînement, le fournisseur enregistre le modèle à différents moments — certains à la fin de chaque époque, d'autres à des étapes fixes, comme l'étape 5 et l'étape 10 d'un cycle de 10 étapes. Chaque copie enregistrée est un point de contrôle : un modèle affiné complet qui peut être déployé et interrogé comme n'importe quel autre. Le dernier point de contrôle est généralement identique au modèle final.

Les points de contrôle sont particulièrement utiles lorsque l'évaluation standard n'est plus possible. Une évaluation comparative nécessite que le modèle de base et le modèle entraîné s'exécutent simultanément. Les fournisseurs retirent les modèles selon un calendrier précis, et dès qu'un modèle est marqué comme obsolète, aucun nouveau déploiement n'est autorisé — souvent des semaines avant sa date de retrait officielle. Les modèles déjà entraînés sur cette base peuvent toujours être déployés ; la base elle-même ne le peut plus. La comparaison directe avec la base n'étant plus possible, deux alternatives s'offrent à vous : comparer avec un point de contrôle antérieur, ou évaluer le modèle seul.

Fonctionnement de la comparaison

UN CYCLE D'ENTRAÎNEMENT12345678910point de contrôle · étape 5étape 10 = finalÉTAPES D'ENTRAÎNEMENT
Modèle de basedépréciation en cours · aucun nouveau déploiementDéploiement 1 · point de contrôle étape 5facturé à l'heure pendant son exécution⇄Déploiement 2 · modèle finalfacturé à l'heure pendant son exécution
point de contrôle enregistré : un modèle que vous pouvez déployerne peut plus être déployé
Un cycle de 10 étapes enregistre des points de contrôle à l'étape 5 et à l'étape 10. Le point de contrôle de l'étape 10 est le modèle final, la comparaison utile est donc le modèle final par rapport à un point de contrôle antérieur. Chaque partie est un modèle affiné et nécessite son propre déploiement hébergé pendant l'exécution de l'évaluation.

Le modèle final et un point de contrôle antérieur du même cycle répondent aux mêmes questions réservées, et le juge les compare à l'aveugle, exactement comme il comparerait le modèle affiné et le modèle de base. La différence réside dans la signification du résultat. Le point de contrôle initial intègre déjà la première partie de l'entraînement, la comparaison isole donc les étapes situées entre le point de contrôle et la fin.

ComparaisonRéponsesNe répond pas
Final contre baseL'entraînement a-t-il été utile ?Quelle partie de l'entraînement a été utile
Point de contrôle final vs initialLes étapes ultérieures ont-elles été utiles ?Si le modèle surpasse l'original
Point de contrôle final vs dernier point de contrôlePresque rien : il s'agit généralement du même modèleRien d'utile — attendez-vous principalement à des résultats équivalents
Évalué seulQuelle est la qualité des réponses, dans l'absolu ?Toute amélioration par rapport à un autre modèle

Interprétation du résultat

  • Le modèle final l'emporte nettement. Les dernières étapes ont apporté une réelle valeur ajoutée. La durée totale du cycle était justifiée.
  • Majorité d'égalités, moyennes quasi identiques. Les dernières étapes n'ont pas changé grand-chose. Un cycle plus court — moins d'étapes ou d'époques — aurait probablement donné le même résultat pour une fraction du coût d'entraînement. Si les vérifications sur les données réservées pendant l'entraînement avaient également stagné au moment du point de contrôle, les deux indicateurs concordent.
  • Le point de contrôle l'emporte. Poursuivre l'entraînement au-delà de ce point a dégradé les réponses, un signe classique de surapprentissage : le modèle s'est amélioré au début, puis a commencé à mémoriser. La prochaine fois, réduisez le nombre d'étapes ou d'époques d'entraînement.

Coût et temps

Chaque point de contrôle est un modèle affiné à part entière, il nécessite donc son propre déploiement hébergé. Pendant l'évaluation, le modèle final et le point de contrôle sont tous deux déployés et facturés à l'heure, l'hébergement est donc payé deux fois. Pour une petite évaluation, la facture correspond principalement au temps d'hébergement, et non aux tokens.

Les modèles de raisonnement répondent lentement. Les modèles qui réfléchissent avant de répondre peuvent prendre environ une minute par paire de questions, là où un modèle de chat classique répond à une petite évaluation complète en une ou deux minutes. Vingt questions peuvent ainsi mobiliser deux déploiements pendant un quart d'heure ou plus — le temps d'hébergement, et donc le coût, augmentant en conséquence.

Exemple pratique : le modèle de base est retiré (à titre illustratif)
  1. Un cycle de renforcement en 10 étapes s'est achevé sur un modèle de raisonnement qui a depuis été marqué comme obsolète. Le modèle entraîné peut toujours être déployé ; le modèle de base ne le peut plus.
  2. Le fournisseur a enregistré des points de contrôle à l'étape 5 et à l'étape 10. L'étape 10 correspond au modèle final, la comparaison est donc final contre étape 5, sur 24 questions de test réservées.
  3. Résultat : le modèle final l'emporte 6 fois, l'étape 5 l'emporte 7 fois, 11 égalités. Les notes moyennes du juge sont de 3,6 pour les deux.
  4. Interprétation : les étapes 6 à 10 n'ont presque rien changé, et les vérifications sur les données réservées pendant l'entraînement avaient également stagné dès l'étape 5. Un cycle de 5 étapes aurait probablement donné le même résultat, pour environ la moitié du coût d'entraînement.
  5. Coût : deux déploiements ont tourné pendant environ 25 minutes, car le modèle de raisonnement répond lentement. L'essentiel du coût de l'évaluation réside dans l'hébergement. Pour connaître la performance absolue du modèle, l'étape suivante consiste à l'évaluer seul.

Paramètres

Point de contrôle de comparaisonTypique un point de contrôle initial ou intermédiaire, par ex. à mi-parcours#

Quel point de sauvegarde de la même exécution joue le rôle de « base ». Un point de contrôle initial ou intermédiaire isole ce que les étapes ultérieures ont apporté ; le dernier point de contrôle correspond généralement au modèle final et donne principalement des résultats équivalents.

Erreurs courantes

  • Comparer avec le dernier point de contrôle et interpréter les égalités comme « l'entraînement n'a servi à rien ».
  • Interpréter une victoire contre un point de contrôle initial comme la preuve que le modèle surpasse la base d'origine.
  • Oublier que les deux modèles sont déployés : l'hébergement est payé deux fois.
  • Repousser l'évaluation jusqu'au retrait du modèle de base — comparez avec la base tant qu'elle peut encore être déployée.
  • Ignorer une égalité avec le point de contrôle au lieu de raccourcir le cycle suivant.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

  1. 01Supervised fine-tuningOpenAI API docs · developers.openai.comComment un fournisseur sauvegarde des points de contrôle utilisables pendant l'entraînement, et pourquoi un point de contrôle antérieur peut s'avérer être le meilleur modèle.
  2. 02Foundry Models lifecycle and support policyMicrosoft Learn · learn.microsoft.comCe que signifient « déprécié » et « retiré » lors de la création de nouveaux déploiements d'un modèle.
  3. 03DeprecationsOpenAI API docs · developers.openai.comLe calendrier publié par un fournisseur concernant l'arrêt des modèles.
  4. 04Early stoppingWikipedia · en.wikipedia.orgPourquoi un entraînement prolongé peut dégrader les performances d'un modèle sur de nouvelles données, et comment savoir quand s'arrêter.
ConceptModèle de base vs modèle affiné, côte à côteUne évaluation pose les mêmes questions mises de côté au modèle de départ et au modèle entraîné, puis compare leurs réponses, afin que vous puissiez voir si l'entraînement a réellement amélioré les réponses.MéthodeÉvaluation individuelle d'un modèleAu lieu de comparer deux réponses, le juge lit une réponse à côté de la conversation et de votre réponse de référence, puis lui attribue une note de 1 à 5 par critère. Le résultat est un score de qualité absolu : aucune victoire et aucune mesure d'amélioration.MétriqueVérifications sur données réservées lors du réglage fin par renforcementLorsqu'un fournisseur exécute un fine-tuning par renforcement sur un modèle de raisonnement hébergé, il repose quelques questions de validation exclues à intervalles réguliers et note les réponses avec le même évaluateur. Chaque question devient un historique montrant si l'entraînement se généralise aux questions sur lesquelles le modèle ne s'est jamais entraîné.MétriqueSurapprentissage et sous-apprentissageLe surapprentissage se produit lorsqu'un modèle mémorise ses exemples d'entraînement au lieu d'en assimiler la logique sous-jacente. Il est donc performant sur ces exemples, mais moins bon sur de nouveaux. Le sous-apprentissage est l'inverse : il n'a pas du tout assimilé la logique.ConceptÉpoque, lot et étapeUn lot est le groupe d'exemples qui sous-tend une mise à jour des poids, une étape correspond à une mise à jour, et une époque représente un passage complet sur les données d'entraînement. Ensemble, ils déterminent la fréquence de modification du modèle et le nombre de fois qu'il traite chaque exemple.ConceptServerless vs dédiéLe service serverless facture au jeton sur une capacité partagée sans coût d'inactivité ; un déploiement dédié réserve des GPU pour votre modèle et facture chaque heure de son existence. La solution la plus économique dépend de votre volume d'utilisation.

Transformez des semaines de travail d'expert en quelques minutes

Découvrez comment Scalata s'adapte à votre équipe, à vos données et à vos contrôles.

Contacter le service commercial