PróximamenteEl Entrenamiento de modelos estará disponible pronto en Scalata Enterprise. Enseñe a un modelo a responder como lo hace su equipo.Ver próximas novedades

Recursos/Entrenamiento de modelos/Evaluación

Mejor práctica

Comparación de varios modelos

Para elegir entre modelos — diferentes proveedores, métodos o tamaños base —, estos deben responder a las mismas preguntas y ser evaluados por el mismo juez. Una comparación ejecuta una evaluación por modelo sobre un conjunto de preguntas compartido y los clasifica según la puntuación media del juez.

Capítulo 85 min de lectura4 referencias

En qué consiste

Una única evaluación responde a la pregunta «¿ha sido útil esta ejecución de entrenamiento?». Tarde o temprano surge una pregunta diferente: ¿cuál de estos modelos deberíamos utilizar? Tal vez un modelo destilado de pesos abiertos, un modelo ajustado por refuerzo en un proveedor y un modelo ajustado por preferencias en otro. Sus evaluaciones por separado no pueden responder a esto, porque cada una utilizó sus propias preguntas, y quizás su propio juez; y un 4,0 en una configuración no equivale a un 4,0 en otra.

Una comparación fija las condiciones para que las cifras sean equiparables. Es la misma idea que las tablas de clasificación públicas como HELM y Chatbot Arena —una prueba compartida, aplicada de la misma manera a cada contendiente— adaptada a sus propias preguntas.

Cómo funciona

  1. Seleccione las preguntas una sola vez: las preguntas de prueba reservadas de una preparación, sus preguntas de validación o un conjunto de datos.
  2. Ejecute una evaluación por modelo exactamente sobre esas preguntas, comparando cada modelo con su propia base (o un punto de control, o puntuado en solitario).
  3. Clasifique los modelos según su puntuación media del juez y muestre la respuesta de cada modelo por pregunta junto a la referencia.
30 preguntas reservadasun juezigual para todos los modelos
1Modelo C · ajustado por preferenciasvs. su base4.2
2Modelo B · refuerzovs. un punto de control anterior3.9
3Modelo A · destiladovs. su base3.4
Puntuado de forma aislada · no comparable
–Modelo D · base retiradapuntuado de forma aislada2.9
Una comparación ilustrativa: tres modelos, las mismas 30 preguntas reservadas y el mismo juez, clasificados por la puntuación media del juez. Un modelo puntuado de forma aislada se evaluó en una escala diferente, por lo que se enumera por separado en lugar de clasificarse.
cómo se calcula la clasificación
answer score   = mean(correctness, helpfulness, tone, format)     1–5
model score    = mean of its answer scores over the shared questions
ranking        = models judged the same way, highest model score first

La clasificación es el resumen; la vista por pregunta es donde se aprende. Ver la respuesta de cada modelo a la misma pregunta junto a su referencia muestra en qué sigue fallando el mejor modelo, y si la diferencia entre dos modelos proviene de unas pocas preguntas o de todas ellas.

Preguntas justas

Origen de las preguntasJusto cuando
Las preguntas de prueba reservadas de una preparaciónTodos los modelos fueron entrenados en esa preparación. Un modelo entrenado en una preparación diferente podría haber visto algunas de ellas.
Las preguntas de validación de una preparaciónIgual que en el caso anterior, y ninguno de los modelos aprendió de ellas, aunque el proveedor las vio durante el entrenamiento.
Un conjunto de datosNinguno de los modelos comparados fue entrenado con él.
Una muestra de entrenamientoNunca: siempre favorece al modelo del que proviene.

En paralelo frente a en solitario: dos escalas

El mismo juez otorga puntuaciones notablemente más bajas a una respuesta leída por sí sola que al mismo tipo de respuesta leída junto a otra; según las mediciones de Scalata, alrededor de un punto completo en la escala de 1 a 5 para el mismo modelo. Por lo tanto, una comparación solo clasifica los modelos que fueron evaluados de la misma manera. Un modelo puntuado en solitario se enumera por separado y se marca como no comparable. Para mantener en la clasificación un modelo cuya base ha desaparecido, compárelo en su lugar con uno de sus puntos de control.

Independencia del juez

No utilice uno de los modelos comparados —o su base— como juez. Los jueces valoran mejor los textos que se asemejan a su propia forma de escribir, por lo que la propia familia del juez obtendría una ventaja silenciosa. Elija un juez de una familia a la que no pertenezca ninguno de los contendientes y manténgalo durante toda la comparación.

Costo y tiempo

Una comparación cuesta la suma de sus evaluaciones: las respuestas de cada modelo, las respuestas de su línea base y las decisiones del juez, además del alojamiento cuando un modelo necesita una implementación temporal.

Ejemplo práctico: tres candidatos para un asistente de soporte (ilustrativo)
  1. Las preguntas: 30 preguntas de prueba reservadas del conjunto de preparación con el que se entrenaron los tres modelos. El juez: un modelo de una cuarta familia.
  2. El Modelo A, destilado de un modelo más grande, se evalúa frente a su base. El Modelo B, ajustado por refuerzo, tiene una base retirada, por lo que se compara con un punto de control anterior. El Modelo C, ajustado por preferencias, se evalúa frente a su modelo padre supervisado.
  3. Clasificación según la puntuación media del juez: C 4.2, B 3.9, A 3.4. Un cuarto modelo, D, solo pudo puntuarse de forma aislada (2.9); se enumera por separado al no ser comparable.
  4. C supera a B por 0.3 en 30 preguntas —una diferencia modesta—. La vista por pregunta muestra a C por delante en la mayoría de las preguntas de facturación y empatado en el resto, por lo que la ventaja es generalizada en lugar de provenir de una o dos preguntas.
  5. Al abrir las preguntas en las que C obtuvo la puntuación más baja, se observa lo que incluso el mejor modelo sigue haciendo mal: dos respuestas mencionan una configuración de informe que cambió de nombre. Esa es la siguiente ronda de datos.

Configuración

PreguntasTípico las preguntas de prueba reservadas de una preparación#

El conjunto de preguntas compartido que responden todos los modelos. Elija uno que sea nuevo para todos ellos: por lo general, las preguntas de prueba reservadas de la preparación en la que fueron entrenados.

JuezTípico una familia de modelos diferente por cada participante#

Un modelo juez para toda la comparación. Debe provenir de una familia a la que no pertenezca ninguno de los modelos comparados, ni sus bases.

Errores comunes

  • Clasificar modelos a partir de evaluaciones separadas que utilizaron diferentes preguntas o jueces.
  • Utilizar preguntas reservadas de una preparación para un modelo entrenado en otra, el cual podría haberlas visto.
  • Clasificar un modelo puntuado en solitario frente a modelos evaluados en paralelo.
  • Permitir que uno de los contendientes, o su base, actúe como juez.
  • Elegir un ganador por unas pocas décimas de punto sin leer las respuestas por pregunta.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

  1. 01Holistic Evaluation of Language ModelsLiang et al., 2022 · arXiv · arxiv.orgComparar muchos modelos bajo los mismos escenarios y métricas, para que los resultados sean equiparables.
  2. 02Chatbot Arena: An Open Platform for Evaluating LLMs by Human PreferenceChiang et al., 2024 · arXiv · arxiv.orgClasificar muchos modelos a partir de juicios por pares sobre prompts compartidos.
  3. 03LLM Evaluators Recognize and Favor Their Own GenerationsPanickssery et al., 2024 · arXiv · arxiv.orgPor qué el juez no debe ser uno de los contendientes.
  4. 04Adding Error Bars to Evals: A Statistical Approach to Language Model EvaluationsMiller, 2024 · arXiv · arxiv.orgPor qué una pequeña diferencia entre dos modelos en unas pocas preguntas puede ser ruido.
ConceptoComparativa entre modelo base y ajustadoUna evaluación plantea al modelo inicial y al modelo entrenado las mismas preguntas reservadas y compara sus respuestas, de modo que usted pueda comprobar si el entrenamiento realmente ha mejorado las respuestas.ConceptoPreguntas de prueba: por qué importa que sean «reservadas»Una parte de sus conversaciones que la preparación de datos reserva antes que nada, para que una evaluación pueda hacerle al modelo entrenado preguntas que nunca ha visto. Es la única forma limpia de distinguir una mejora real de la memorización.MétodoLLM como juezUn modelo de lenguaje independiente lee la pregunta, la respuesta de referencia y dos respuestas candidatas, puntúa ambas y elige una ganadora. Configurado a ciegas, con un orden aleatorio y una familia de modelos diferente, coincide con los evaluadores humanos casi con la misma frecuencia con la que los humanos coinciden entre sí.MétodoPuntuación de un modelo de forma independienteEn lugar de comparar dos respuestas, el juez lee una respuesta junto a la conversación y su respuesta de referencia, y la puntúa de 1 a 5 por criterio. El resultado es una puntuación de calidad absoluta: no hay victorias ni medidas de mejora.ConceptoPuntos de control: cuando el modelo base ya no está disponibleLos puntos de control son copias del modelo que el proveedor guarda durante el entrenamiento. Cuando el modelo base ya no se puede implementar, comparar el modelo final con un punto de control anterior muestra si los pasos de entrenamiento posteriores fueron útiles.MétricaInterpretación de los resultados de evaluaciónCómo interpretar la tasa de victorias, la diferencia de puntuación y las señales secundarias de una evaluación — y cómo distinguir una mejora real del ruido cuando el número de preguntas es pequeño.

Convierta semanas de trabajo experto en minutos

Vea cómo Scalata se adapta a su equipo, a sus datos y a sus Controles.

Contactar con ventas