Interpretación de los resultados de evaluación

Las cifras

win rate          = tuned wins ÷ questions judged
score difference  = mean(tuned criteria score) − mean(base criteria score)

decided share     = tuned wins ÷ (tuned wins + base wins)

• Tasa de victorias. La proporción de preguntas juzgadas que ganó el modelo ajustado. Un empate no es una victoria para ninguna de las partes, por lo que, con muchos empates, una tasa de victorias del 45 % puede seguir siendo una clara mejora: compruebe con qué frecuencia ganó el modelo base.
• Diferencia de puntuación. La puntuación media (de 1 a 5) de las respuestas del modelo ajustado menos la de las respuestas del modelo base, a nivel general y por criterio. Muestra cuánto mejor o peor es, y dónde: exactitud, utilidad, tono o formato.
• Similitud con la referencia. Cuánto se acercan las respuestas a sus réplicas originales. Una mayor similitud significa que el modelo ha captado su estilo; no significa por sí sola que las respuestas sean mejores.
• Longitud y latencia. Si el modelo ajustado gana y sus respuestas se han vuelto mucho más largas, sospeche del sesgo de verbosidad del juez. La latencia es importante para el uso real: un modelo ajustado más pequeño que empate con uno más grande puede seguir siendo la mejor opción.

¿Señal o ruido?

Cada evaluación es una muestra: unas pocas docenas o cientos de preguntas que representan todas las preguntas que los usuarios harán jamás. Si ejecuta la misma comparación en una muestra diferente, la tasa de victorias variará. La pregunta no es «¿está por encima del 50 %?», sino «¿está lo suficientemente por encima del 50 % como para que el azar sea una explicación improbable?».

Un intervalo de confianza del 95 % es el rango de tasas de victorias coherente con lo que ha observado. Su amplitud viene determinada principalmente por el número de preguntas, y se reduce aproximadamente a la mitad cada vez que el número de preguntas se cuadruplica. Con 10 preguntas, una división de 6 a 4 es totalmente coherente con dos modelos iguales; con 100 preguntas, una división de 60/40 apenas supera el límite; con 300, es inequívoca.

Los empates requieren atención. Si el juez declara muchos empates, compare las victorias con las derrotas únicamente entre las preguntas decididas. Esa es la proporción que aporta información sobre qué modelo es mejor.

Preguntas reservadas frente a preguntas de entrenamiento

Los resultados en el conjunto de prueba reservado son los fiables. Las preguntas de validación son un paso más débiles: el modelo no aprendió de ellas, pero el proveedor las vio durante el entrenamiento. Cuando un conjunto de datos era demasiado pequeño para ambos, las únicas preguntas disponibles son aquellas con las que el modelo ajustado se entrenó. Es posible que simplemente esté recordando su respuesta de referencia, por lo que parece mejor de lo que será en preguntas nuevas. Trate dicho resultado como un límite superior: si el modelo ajustado no gana ni siquiera en preguntas conocidas, no lo hará en las nuevas; si lo hace, aún no sabrá por cuánto.

Otros tipos de resultados

• Frente a un punto de control anterior: el resultado indica si los pasos de entrenamiento posteriores fueron útiles. El último punto de control suele ser idéntico al modelo final, por lo que la comparación con este produce principalmente empates.
• Puntuado de forma aislada: una puntuación absoluta de 1 a 5 sin victorias. El mismo juez otorga puntuaciones notablemente más bajas a una respuesta leída por sí sola que a una leída junto a otra, por lo que un modelo puntuado de forma aislada no puede clasificarse frente a modelos juzgados de forma comparativa; una comparación de modelos lo enumera por separado.
• Un resultado ajustado o sorprendente: antes de tomar medidas al respecto, compruebe al juez. Las personas que revisan una muestra a ciegas en una cola de anotación muestran con qué frecuencia están de acuerdo con él, y sus correcciones se convierten en datos de entrenamiento.

Convertir los resultados en acciones

Errores comunes

• Considerar que 6 victorias de 10 es una mejora.
• Interpretar una tasa de victorias baja como una derrota sin comprobar cuántas preguntas resultaron en empate.
• Tratar una puntuación en preguntas de entrenamiento como una previsión para preguntas nuevas.
• Celebrar una victoria que se obtuvo con respuestas mucho más largas, sin leer por qué el juez las prefirió.
• Comparar las tasas de victorias de dos ejecuciones evaluadas en diferentes conjuntos de preguntas o con diferentes jueces.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

1. 01Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations↗Miller, 2024 · arXiv · arxiv.orgIntervalos de confianza, comparaciones emparejadas y cuántas preguntas necesita.
2. 02Binomial proportion confidence interval↗Wikipedia · en.wikipedia.orgLas matemáticas detrás de un intervalo en una tasa de victorias, incluido el intervalo de Wilson utilizado en la figura.
3. 03Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference↗Chiang et al., 2024 · arXiv · arxiv.orgTasas de victorias por pares a gran escala, con su incertidumbre.
4. 04Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators↗Dubois et al., 2024 · arXiv · arxiv.orgPor qué la longitud debe acompañar a la tasa de victorias.

Conceptos relacionados