En quoi cela consiste
Une évaluation unique répond à la question « cet entraînement a-t-il été utile ? ». Tôt ou tard, une autre question se pose : lequel de ces modèles devrions-nous utiliser ? Peut-être un modèle distillé à poids ouverts, un modèle ajusté par renforcement chez un fournisseur et un modèle ajusté par préférences chez un autre. Leurs évaluations distinctes ne peuvent y répondre, car chacune a utilisé ses propres questions, et peut-être son propre juge — et un 4,0 obtenu dans une configuration n'équivaut pas à un 4,0 dans une autre.
Une comparaison fixe les conditions afin que les chiffres concordent. Il s'agit du même principe que les classements publics tels que HELM et Chatbot Arena — un test partagé, appliqué de la même manière à chaque concurrent — adapté à l'échelle de vos propres questions.
Fonctionnement
- Sélectionner les questions une seule fois : les questions de test réservées d'une préparation, ses questions de validation ou un jeu de données.
- Exécuter une évaluation par modèle sur ces questions exactes, chaque modèle étant toujours comparé à sa propre base (ou à un point de contrôle, ou évalué seul).
- Classer les modèles selon leur score moyen attribué par le juge, et afficher la réponse de chaque modèle par question à côté de la référence.
answer score = mean(correctness, helpfulness, tone, format) 1–5
model score = mean of its answer scores over the shared questions
ranking = models judged the same way, highest model score firstLe classement constitue le résumé ; la vue par question est ce qui vous permet d'apprendre. Voir la réponse de chaque modèle à la même question à côté de votre référence montre ce que le meilleur modèle fait encore de travers, et si l'écart entre deux modèles provient de quelques questions ou de l'ensemble d'entre elles.
Questions équitables
| Source des questions | Équitable lorsque |
|---|---|
| Les questions de test réservées d'une préparation | Chaque modèle a été entraîné sur cette préparation. Un modèle entraîné sur une préparation différente pourrait en avoir vu certaines. |
| Les questions de validation d'une préparation | Comme ci-dessus, et aucun des modèles n'a appris d'elles — bien que le fournisseur les ait vues pendant l'entraînement. |
| Un jeu de données | Aucun des modèles comparés n'a été entraîné dessus. |
| Un échantillon d'entraînement | Jamais : il favorise toujours le modèle dont il provient. |
Côte à côte vs seul : deux échelles
Le même juge attribue des scores nettement inférieurs à une réponse lue seule par rapport au même type de réponse lue à côté d'une autre — selon les mesures de Scalata, environ un point entier sur l'échelle de 1 à 5 pour le même modèle. Ainsi, une comparaison ne classe que les modèles ayant été jugés de la même manière. Un modèle évalué seul est listé séparément et marqué comme non comparable. Pour conserver dans le classement un modèle dont la base a disparu, comparez-le plutôt à l'un de ses points de contrôle.
Indépendance du juge
N'utilisez pas l'un des modèles comparés — ou sa base — comme juge. Les juges évaluent plus favorablement les textes qui ressemblent à leur propre style d'écriture, la propre famille du juge bénéficierait donc d'une avance discrète. Choisissez un juge issu d'une famille à laquelle n'appartient aucun des concurrents, et conservez-le pour l'ensemble de la comparaison.
Coût et temps
Une comparaison coûte la somme de ses évaluations : les réponses de chaque modèle, les réponses de sa base de référence et les décisions du juge, plus l'hébergement lorsqu'un modèle nécessite un déploiement temporaire.
- Les questions : 30 questions de test exclues de la préparation sur laquelle les trois modèles ont été entraînés. Le juge : un modèle issu d'une quatrième famille.
- Le modèle A, distillé à partir d'un modèle plus grand, est évalué par rapport à sa base. Le modèle B, ajusté par renforcement, possède une base retirée et est donc comparé à un point de contrôle antérieur. Le modèle C, ajusté par préférences, est évalué par rapport à son parent supervisé.
- Classement selon la note moyenne du juge : C 4,2, B 3,9, A 3,4. Un quatrième modèle, D, n'a pu être évalué que seul (2,9) ; il est répertorié séparément car non comparable.
- C devance B de 0,3 sur 30 questions — un écart modeste. La vue par question montre que C est en tête sur la plupart des questions de facturation et à égalité ailleurs, ce qui indique que l'avance est globale plutôt que due à une ou deux questions.
- L'analyse des questions où C a obtenu les scores les plus bas montre les erreurs que même le meilleur modèle commet encore : deux réponses mentionnent un paramètre de rapport qui a été renommé. Cela fera l'objet de la prochaine série de données.
Paramètres
L'ensemble de questions partagé auquel chaque modèle répond. Choisissez-en un qui est nouveau pour tous : généralement les questions de test réservées de la préparation sur laquelle ils ont été entraînés.
Un seul modèle juge pour l'ensemble de la comparaison. Il doit provenir d'une famille à laquelle n'appartient aucun des modèles comparés, ni leurs bases.
Erreurs courantes
- Classer des modèles à partir d'évaluations distinctes ayant utilisé des questions ou des juges différents.
- Utiliser les questions réservées d'une préparation pour un modèle entraîné sur une autre, qui pourrait les avoir déjà vues.
- Classer un modèle évalué seul par rapport à des modèles jugés côte à côte.
- Laisser l'un des concurrents, ou sa base, agir en tant que juge.
- Désigner un vainqueur à quelques dixièmes de point près sans lire les réponses par question.
Références et lectures complémentaires
Les sources externes s'ouvrent dans un nouvel onglet.
- 01Holistic Evaluation of Language ModelsLiang et al., 2022 · arXiv · arxiv.orgComparer de nombreux modèles selon les mêmes scénarios et métriques, afin que les résultats concordent.
- 02Chatbot Arena: An Open Platform for Evaluating LLMs by Human PreferenceChiang et al., 2024 · arXiv · arxiv.orgClasser de nombreux modèles à partir de jugements par paires sur des invites partagées.
- 03LLM Evaluators Recognize and Favor Their Own GenerationsPanickssery et al., 2024 · arXiv · arxiv.orgPourquoi le juge ne doit pas être l'un des concurrents.
- 04Adding Error Bars to Evals: A Statistical Approach to Language Model EvaluationsMiller, 2024 · arXiv · arxiv.orgPourquoi un faible écart entre deux modèles sur quelques questions peut être du bruit.