Modèle de base vs modèle affiné, côte à côte

Ce que c'est

L'entraînement produit des chiffres — perte, précision sur vos paires, récompense — qui vous indiquent dans quelle mesure le modèle s'est ajusté au signal d'entraînement. Aucun d'entre eux ne répond à la question qui vous intéresse réellement : ses réponses sont-elles meilleures maintenant ? Une perte plus faible peut provenir du fait que le modèle copie la formulation de plus près tout en se trompant sur les faits ; une exécution de préférence peut augmenter sa précision sur vos paires tandis que les réponses deviennent plus longues et plus vagues.

Une évaluation mesure cela directement. Deux modèles répondent au même ensemble de questions de test — le modèle à partir duquel l'entraînement a commencé et le modèle entraîné — et les réponses sont comparées question par question.

Fonctionnement

1. Questions de test. Par défaut, chacune provient de l'ensemble de test mis de côté : une conversation séparée de l'entraînement et de la validation, déroulée jusqu'à l'une de ses réponses. Aucun des modèles ne s'est entraîné dessus, et le fournisseur ne l'a jamais vue.
2. Réponse de référence. La réponse d'origine issue de vos données. Ce n'est pas une réponse parfaite, mais elle montre ce que votre équipe a considéré comme correct.
3. Deux réponses par question. Les deux modèles répondent avec les mêmes paramètres, la seule différence réside donc dans les poids.
4. Une comparaison. Généralement, un juge LLM choisit la meilleure réponse et note les deux, en ajoutant des signaux moins coûteux tels que la similarité avec la référence, la longueur et la latence.

La comparaison est appariée : chaque question reçoit une réponse des deux modèles, et le résultat porte sur la différence pour cette question. Cela a une importance statistique. Certaines questions sont faciles et d'autres difficiles ; noter chaque modèle séparément sur des questions différentes intégrerait cette difficulté dans le résultat. La comparaison sur la même question l'annule, de sorte qu'une évaluation appariée nécessite moins de questions pour détecter la même amélioration.

D'où proviennent les questions

Un modèle évalué sur les questions sur lesquelles il a été entraîné semble meilleur qu'il ne l'est. Ainsi, avant toute chose, la préparation des données met de côté un ensemble de test : 10 % des conversations, au moins 3, choisies au hasard mais fixes pour cette préparation, et uniquement lorsque le jeu de données compte au moins 10 conversations. Chaque réponse dans une conversation de test devient une question, posée avec la conversation jusqu'à ce point. Une réponse de test identique mot pour mot à une réponse d'entraînement est ignorée, car le modèle l'a effectivement déjà vue. L'ensemble de validation est différent : il est envoyé au fournisseur pour surveiller l'entraînement, ce n'est donc pas un test impartial.

Méthodes de comparaison des réponses

Les benchmarks publics mesurent la capacité générale. L'ajustement fin concerne votre tâche, de sorte que vos propres conversations mises de côté constituent un bien meilleur test qu'un score dans un classement.

Évaluer une chaîne d'exécutions

Lorsqu'une exécution fait suite à une exécution antérieure — par exemple, une exécution de préférence par-dessus une exécution supervisée — la partie « de base » de son évaluation est cette exécution antérieure, et non le modèle de base d'origine. Une comparaison avec l'original mélangerait deux étapes : vous ne pourriez pas dire si l'étape de préférence a été utile ou si elle a simplement hérité des gains de l'étape supervisée. En jugeant un maillon à la fois, chaque résultat répond à une seule question : cette étape a-t-elle été utile ?

En l'absence de base de comparaison, ou avec plusieurs modèles

• Un point de contrôle antérieur. Les fournisseurs retirent les modèles de base, et lorsqu'un modèle de base ne peut plus être déployé, une comparaison côte à côte est impossible. Le modèle final peut alors être comparé à un point de contrôle sauvegardé en cours d'exécution. Cela permet de répondre à la question « les étapes d'entraînement ultérieures ont-elles été utiles ? », et non « est-il meilleur que le modèle d'origine ? ».
• La notation seule. Le juge lit la conversation, votre réponse et une réponse générée, puis attribue une note de 1 à 5 par critère. Il n'y a pas de vainqueur : il s'agit d'un score de qualité absolu, utile pour le suivi ou le classement des modèles, mais qui ne permet pas de démontrer une amélioration par rapport à un modèle de base.
• Une comparaison de modèles. Pour choisir entre plusieurs modèles, ils répondent tous exactement aux mêmes questions, sont évalués par le même juge et sont classés selon le score moyen attribué. Dans le cas contraire, les scores ne sont pas sur la même échelle.

Erreurs courantes

• Considérer une courbe de perte descendante comme la preuve que les réponses se sont améliorées.
• Évaluer sur des questions sur lesquelles le modèle s'est entraîné et interpréter le résultat comme une performance en conditions réelles.
• Comparer une exécution prolongée avec le modèle de base d'origine, ce qui masque l'utilité de la dernière étape.
• Modifier les paramètres de génération entre les deux versions, de sorte que la comparaison évalue les paramètres plutôt que les poids.
• Exécuter une seule évaluation puis s'arrêter : les justifications du juge constituent le plan pour le prochain cycle de données.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.

1. 01A Survey on Evaluation of Large Language Models↗Chang et al., 2023 · arXiv · arxiv.orgUn aperçu de ce qu'il faut évaluer, où et comment.
2. 02Holistic Evaluation of Language Models↗Liang et al., 2022 · arXiv · arxiv.orgPourquoi un seul chiffre ne suffit jamais : mesurer de nombreuses qualités à travers de multiples scénarios.
3. 03Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena↗Zheng et al., 2023 · arXiv · arxiv.orgL'article qui a établi l'évaluation par paires par un LLM pour les réponses ouvertes.
4. 04Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations↗Miller, 2024 · arXiv · arxiv.orgPourquoi les comparaisons appariées sur les mêmes questions sont plus précises.

Concepts associés