Interpréter les résultats d'évaluation

Les chiffres

définitions

win rate          = tuned wins ÷ questions judged
score difference  = mean(tuned criteria score) − mean(base criteria score)

decided share     = tuned wins ÷ (tuned wins + base wins)

Taux de victoire. La part des questions jugées que le modèle affiné a remportée. Une égalité n'est une victoire pour aucune des parties. Ainsi, avec de nombreuses égalités, un taux de victoire de 45 % peut tout de même représenter une nette amélioration — vérifiez à quelle fréquence le modèle de base a gagné.
Différence de score. La moyenne des scores de 1 à 5 des réponses affinées moins celle des réponses de base, globalement et par critère. Elle indique à quel point le résultat est meilleur ou pire, et où : exactitude, utilité, ton ou format.
Similarité avec la référence. La proximité des réponses avec vos réponses d'origine. Une similarité croissante signifie que le modèle a assimilé votre style ; cela ne signifie pas en soi que les réponses sont meilleures.
Longueur et latence. Si le modèle affiné gagne et que ses réponses sont devenues beaucoup plus longues, soupçonnez un biais de verbosité de la part du juge. La latence est importante pour une utilisation réelle : un petit modèle affiné qui fait jeu égal avec un modèle plus grand peut tout de même s'avérer être le meilleur choix.

Signal ou bruit ?

Chaque évaluation est un échantillon : quelques dizaines ou centaines de questions représentant toutes les questions que les utilisateurs poseront un jour. Effectuez la même comparaison sur un échantillon différent et le taux de victoire variera. La question n'est pas « est-il supérieur à 50 % ? » mais « est-il suffisamment supérieur à 50 % pour que le hasard soit une explication improbable ? »

l'intervalle croise 50 % : non concluantl'intervalle franchit 50 % : une vraie différence

Le même taux de victoire de 60 % pour quatre tailles d'évaluation, avec son intervalle de confiance à 95 %. À 10 ou 30 questions, l'intervalle descend bien en dessous de 50 %, le résultat est donc compatible avec l'absence totale d'amélioration ; ce n'est qu'autour de 100 questions qu'il franchit le seuil.

Un intervalle de confiance à 95 % est la plage de taux de victoire cohérente avec ce que vous avez observé. Sa largeur est principalement définie par le nombre de questions, et diminue environ de moitié chaque fois que le nombre de questions quadruple. Avec 10 questions, une répartition de 6 contre 4 est tout à fait compatible avec deux modèles égaux ; avec 100 questions, une répartition de 60/40 franchit tout juste la limite ; avec 300, c'est sans ambiguïté.

Les égalités requièrent une attention particulière. Si le juge prononce de nombreuses égalités, comparez les victoires et les défaites uniquement sur les questions tranchées. C'est cette proportion qui indique réellement quel modèle est le meilleur.

Exemple pratique : 100 questions, 18 égalités

Résultat : le modèle affiné a gagné 52 fois, le modèle de base 30 fois, 18 égalités. Taux de victoire de 52 % — cela ressemble à un tirage à pile ou face.
Parmi les 82 questions tranchées, le modèle affiné en a remporté 52, soit 63 %. L'intervalle de confiance à 95 % se situe entre 53 et 73 % : entièrement au-dessus de 50 %. Il s'agit d'une véritable amélioration.
Différence de score : +0,6 sur l'exactitude, +0,4 sur le format, −0,1 sur le ton. Le gain se situe sur le fond, le ton restant à peu près le même.
Les réponses affinées comptent en moyenne 95 mots contre 160 pour le modèle de base, la longueur n'est donc pas le facteur de victoire.
En analysant les 30 victoires du modèle de base : neuf justifications mentionnent un nom de paramètre inventé. C'est la prochaine correction à apporter au jeu de données, et neuf paires sur lesquelles s'entraîner.

Questions de test vs questions d'entraînement

Les résultats obtenus sur le jeu de test réservé sont les plus fiables. Les questions de validation ont moins de poids : le modèle n'a pas appris d'elles, mais le fournisseur les a vues lors de l'entraînement. Si un jeu de données est trop restreint pour ces deux options, les seules questions disponibles sont celles sur lesquelles le modèle ajusté s'est entraîné. Il se peut qu'il restitue simplement votre réponse de référence, paraissant ainsi plus performant qu'il ne le sera face à de nouvelles questions. Considérez ce résultat comme une limite supérieure : si le modèle ajusté ne s'impose pas sur des questions familières, il ne le fera pas sur des questions inédites ; s'il s'impose, vous ignorez encore dans quelle proportion.

Autres types de résultats

Contre un point de contrôle antérieur : le résultat indique si les étapes d'entraînement ultérieures ont été utiles. Le dernier point de contrôle est généralement identique au modèle final, la comparaison avec celui-ci donne donc principalement des égalités.
Évalué seul : un score absolu de 1 à 5 sans victoires. Le même juge attribue des scores sensiblement plus bas à une réponse lue seule qu'à une réponse lue à côté d'une autre. Ainsi, un modèle évalué seul ne peut pas être classé par rapport à des modèles jugés côte à côte ; une comparaison de modèles le répertorie séparément.
Un résultat serré ou surprenant : avant d'agir en conséquence, vérifiez le juge. Les personnes examinant un échantillon à l'aveugle dans une file d'attente d'annotation montrent à quelle fréquence elles sont d'accord avec lui, et leurs corrections deviennent des données d'entraînement.

Transformer les résultats en actions

Ce que vous observez	Signification probable	Étape suivante
Victoire nette, intervalle supérieur à 50 %, justifications fondées sur l'exactitude	L'entraînement a fonctionné	Conservez-le ; archivez les variantes moins performantes
Victoire de justesse sur quelques questions	Un indice, pas une preuve	Évaluez sur davantage de questions avant d'agir
Majorité d'égalités	Peu de changements — fréquent pour les petits modèles ou un entraînement léger	Données supervisées plus nombreuses ou de meilleure qualité
Le modèle ajusté gagne, mais les réponses sont devenues beaucoup plus longues	Biais de verbosité possible	Lisez les justifications ; comparez les scores d'exactitude
Le modèle ajusté perd avec des justifications telles que « invente des détails »	A assimilé le style sans les connaissances	Plus de données, des étapes plus courtes, ou des paires qui pénalisent l'invention
Les justifications du juge ne correspondent pas à votre propre lecture	Le juge peut manquer de fiabilité sur cette tâche	Examinez un échantillon manuellement et mesurez la concordance avec le juge

Erreurs courantes

Considérer 6 victoires sur 10 comme une amélioration.
Interpréter un faible taux de victoire comme une défaite sans vérifier combien de questions ont abouti à une égalité.
Traiter un score sur des questions d'entraînement comme une prévision pour de nouvelles questions.
Célébrer une victoire obtenue avec des réponses beaucoup plus longues, sans lire pourquoi le juge les a préférées.
Comparer les taux de victoire de deux exécutions évaluées sur des ensembles de questions différents ou avec des juges différents.

Références et lectures complémentaires

Les sources externes s'ouvrent dans un nouvel onglet.