Qué es
El entrenamiento genera cifras —pérdida, precisión en sus pares, recompensa— que le indican hasta qué punto el modelo se ajusta a la señal de entrenamiento. Ninguna de ellas responde a la pregunta que realmente le interesa: ¿son mejores sus respuestas ahora? Una pérdida menor puede deberse a que el modelo copia las frases con mayor exactitud aunque se equivoque en los hechos; una ejecución de preferencia puede aumentar su precisión en sus pares mientras las respuestas se vuelven más largas y ambiguas.
Una evaluación mide esto directamente. Dos modelos responden al mismo conjunto de preguntas de prueba —el modelo desde el que comenzó el entrenamiento y el modelo entrenado— y las respuestas se comparan pregunta por pregunta.
Cómo funciona
- Preguntas de prueba. Por defecto, cada una proviene del conjunto de prueba reservado: una conversación mantenida al margen tanto del entrenamiento como de la validación, consultada hasta una de sus respuestas. Ninguno de los modelos se entrenó con ella, y el proveedor nunca la vio.
- Respuesta de referencia. La respuesta original de sus datos. No es una respuesta perfecta, pero muestra lo que su equipo consideró correcto.
- Dos respuestas por pregunta. Ambos modelos responden con la misma configuración, por lo que la única diferencia son los pesos.
- Una comparación. Por lo general, un juez LLM elige la mejor respuesta y puntúa ambas, además de señales más económicas como la similitud con la referencia, la longitud y la latencia.
La comparación es pareada: ambos modelos responden a cada pregunta y el resultado trata sobre la diferencia en esa pregunta. Esto es importante a nivel estadístico. Algunas preguntas son fáciles y otras difíciles; puntuar cada modelo por separado en preguntas distintas mezclaría esa dificultad en el resultado. Al comparar la misma pregunta, esto se anula, por lo que una evaluación pareada necesita menos preguntas para detectar la misma mejora.
De dónde provienen las preguntas
Un modelo evaluado con las preguntas con las que se entrenó parece mejor de lo que es. Por lo tanto, antes que nada, la preparación de datos reserva un conjunto de prueba: el 10 % de las conversaciones, al menos 3, elegidas al azar pero fijas para esa preparación, y solo cuando el conjunto de datos tiene al menos 10 conversaciones. Cada respuesta de una conversación de prueba se convierte en una pregunta, formulada con la conversación hasta ese punto. Si una respuesta de prueba es exactamente igual a una respuesta de entrenamiento, se descarta, ya que, a efectos prácticos, el modelo la ha visto. El conjunto de validación es diferente: se envía al proveedor para supervisar el entrenamiento, por lo que no es una prueba limpia.
| Fuente | ¿Visto durante el entrenamiento? | Úselo para |
|---|---|---|
| Conjunto de prueba reservado | No | Juzgar si el modelo realmente ha mejorado (por defecto) |
| Validación | Visto por el proveedor, no utilizado para el aprendizaje | Una segunda opinión cuando no hay un conjunto de prueba |
| Muestra de entrenamiento | Sí, utilizado para el aprendizaje | Solo como comprobación de coherencia; los resultados son optimistas |
Formas de comparar respuestas
| Método | Ideal para | Límites |
|---|---|---|
| Coincidencia exacta o numérica | Clasificación, extracción, cálculos: cualquier cosa con una única respuesta correcta | Inútil para respuestas abiertas, donde muchas contestaciones son correctas |
| Similitud con la referencia | Un indicador económico de si el modelo ha captado su redacción y estructura | Recompensa la copia; una respuesta mejor pero redactada de forma diferente obtiene una puntuación menor |
| LLM como juez | Chat abierto a gran escala: exactitud, utilidad, tono, formato | Presenta sesgos conocidos que la configuración debe anular; consume tokens del juez |
| Revisión humana | La última palabra sobre la calidad y la verificación del juez | Lenta y costosa; difícil de repetir en cada ejecución |
Los puntos de referencia públicos miden la capacidad general. El ajuste fino se centra en su tarea, por lo que sus propias conversaciones reservadas son una prueba mucho mejor que la puntuación de una tabla de clasificación.
Evaluación de una cadena de ejecuciones
Cuando una ejecución continúa a partir de una ejecución anterior —por ejemplo, una ejecución de preferencia sobre una supervisada—, la parte «base» de su evaluación es esa ejecución anterior, no el modelo base original. Compararlo con el original mezclaría dos pasos: no podría saber si el paso de preferencia fue útil o si simplemente heredó las mejoras del paso supervisado. Al evaluar un eslabón a la vez, cada resultado responde a una pregunta: ¿fue útil este paso?
Cuando no hay un modelo base con el cual comparar, o hay varios modelos
- Un punto de control anterior. Los proveedores retiran los modelos base y, una vez que un modelo base ya no se puede implementar, resulta imposible realizar una comparación en paralelo. En su lugar, el modelo final se puede comparar con un punto de control guardado en un punto intermedio de la misma ejecución. Esto responde a la pregunta «¿fueron útiles los pasos de entrenamiento posteriores?», no a «¿es mejor que el modelo original?».
- Puntuación aislada. El juez lee la conversación, su respuesta y una contestación, y otorga de 1 a 5 puntos por criterio. No hay ganadores: es una puntuación de calidad absoluta, útil para el seguimiento o la clasificación de modelos, pero no puede mostrar la mejora respecto a un modelo base.
- Una comparación de modelos. Para elegir entre varios modelos, todos responden exactamente a las mismas preguntas, se enfrentan al mismo juez y se clasifican según la puntuación media del juez. De lo contrario, las puntuaciones no estarían en la misma escala.
- Una ejecución supervisada con 1200 conversaciones finaliza con una pérdida de validación que desciende de 1,9 a 1,1. Prometedor, pero no es una prueba.
- La evaluación utiliza las 120 conversaciones del conjunto de prueba, que no se usaron ni en el entrenamiento ni en la validación. Tanto el modelo base como el ajustado responden a las 120.
- El juez prefiere la respuesta ajustada en 68 preguntas, la respuesta base en 31 y declara un empate en 21.
- Las respuestas ajustadas son un 40 % más cortas y mucho más cercanas a la referencia. Los motivos del juez mencionan «nombra la ruta de menú correcta» en muchas de las victorias del modelo ajustado.
- Entre las victorias del modelo base, ocho motivos indican que la respuesta ajustada «inventa una configuración que no existe». Esto señala un vacío en los datos — y proporciona ocho pares de preferencia listos para usar.
Errores comunes
- Tratar una curva de pérdida descendente como prueba de que las respuestas mejoraron.
- Evaluar con preguntas con las que se entrenó el modelo e interpretar el resultado como rendimiento en el mundo real.
- Comparar una ejecución continuada con el modelo base original, lo que oculta si el último paso fue de ayuda.
- Cambiar la configuración de generación entre ambas partes, de modo que la comparación mida la configuración en lugar de los pesos.
- Ejecutar una evaluación y detenerse: los motivos del juez constituyen el plan para la siguiente ronda de datos.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01A Survey on Evaluation of Large Language ModelsChang et al., 2023 · arXiv · arxiv.orgUna visión general de qué evaluar, dónde y cómo.
- 02Holistic Evaluation of Language ModelsLiang et al., 2022 · arXiv · arxiv.orgPor qué una sola cifra nunca es suficiente: medir múltiples cualidades en múltiples escenarios.
- 03Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgEl artículo que estableció la evaluación de LLM por pares para respuestas abiertas.
- 04Adding Error Bars to Evals: A Statistical Approach to Language Model EvaluationsMiller, 2024 · arXiv · arxiv.orgPor qué las comparaciones por pares sobre las mismas preguntas son más precisas.