PróximamenteEl Entrenamiento de modelos estará disponible pronto en Scalata Enterprise. Enseñe a un modelo a responder como lo hace su equipo.Ver próximas novedades

Recursos/Entrenamiento de modelos/Evaluación

Método

Puntuación de un modelo de forma independiente

En lugar de comparar dos respuestas, el juez lee una respuesta junto a la conversación y su respuesta de referencia, y la puntúa de 1 a 5 por criterio. El resultado es una puntuación de calidad absoluta: no hay victorias ni medidas de mejora.

Capítulo 85 min de lectura5 referencias

Qué es

Una evaluación normal es por pares: dos modelos responden y el juez determina qué respuesta es mejor. La puntuación individual —también llamada calificación absoluta, por puntos o de respuesta única— omite la segunda respuesta. El juez lee una respuesta, la contrasta con su respuesta de referencia y le asigna una puntuación en cada criterio. Zheng et al. (2023) la describieron junto con la comparación por pares como una de las formas estándar de utilizar un juez LLM; MT-Bench la utiliza para otorgar a cada modelo una puntuación única.

En la práctica, se recurre a ella cuando no hay nada razonable con lo que comparar: el modelo base ha sido retirado, no existe ningún checkpoint útil o simplemente se desea obtener un número absoluto para un modelo.

Cómo funciona

lo que se le proporciona al juez (simplificado)
You are grading one assistant answer.

Conversation so far:   …
Reference answer:      (the reply from your data)
Answer:                (the model's answer)

Score the answer from 1 to 5 on correctness, helpfulness,
tone and format, and give a short reason.
  1. Una respuesta por pregunta. El modelo responde una vez a cada pregunta reservada.
  2. Guiado por referencia. El juez ve su respuesta real, por lo que puede comprobar datos que quizá no conozca por sí mismo.
  3. Cuatro criterios, 1–5. Exactitud, utilidad, tono y formato — los mismos criterios que en la evaluación en paralelo, con una breve justificación.
  4. Medias, no victorias. El resultado es la puntuación media por criterio y general. No hay ningún oponente al que vencer.

Una escala diferente a la evaluación en paralelo

Evaluado junto a otra respuesta3.5Puntuado de forma aislada2.5≈ 1 PUNTO · MISMO MODELO12345
Puntuaciones ilustrativas para un modelo, un juez y las mismas preguntas. Leída junto a otra respuesta, la media es de aproximadamente 3,5; leída por sí sola, de aproximadamente 2,5. La diferencia proviene de la configuración, no del modelo, por lo que las puntuaciones de ambas configuraciones no se pueden comparar entre sí.

En una lectura en paralelo, cada puntuación es en parte relativa: el juez ve una segunda respuesta y se calibra en función de ella. En una lectura individual, solo tiene la referencia para medirse y tiende a ser más estricto. En las propias mediciones de Scalata, el mismo modelo en las mismas preguntas con el mismo juez obtuvo aproximadamente un punto menos (en la escala de 1 a 5) de forma individual que cuando se evaluó junto a un checkpoint anterior. No cambió nada del modelo — solo la configuración.

Las investigaciones apuntan en la misma dirección: el protocolo determina el resultado. Tripathi et al. (2025) descubrieron que los juicios por pares son más fáciles de influenciar con características superficiales —las preferencias se invirtieron en aproximadamente el 35 % de los casos, frente al 9 % en las puntuaciones absolutas—, mientras que Liu et al. (2024) descubrieron que la comparación por pares se alinea mejor con el juicio humano que la puntuación directa. Cada configuración tiene sus puntos fuertes; lo que no se puede hacer es mezclar sus cifras.

Qué puede y qué no puede indicarle

Pregunta¿Puntuado de forma independiente?
¿Cómo de buenas son las respuestas en términos absolutos?Sí
¿Qué criterio es el más débil?Sí — compare las medias por criterio
¿Es mejor ahora que hace tres meses?Sí, si ambos se puntuaron de forma individual en las mismas preguntas con el mismo juez
¿Mejoró el entrenamiento respecto a la base?No — no hay nada con lo que comparar
¿Es mejor que un modelo evaluado en paralelo?No — ambos están en escalas diferentes
Ejemplo práctico: un modelo cuya base fue retirada (ilustrativo)
  1. Un modelo de soporte ajustado por refuerzo se evalúa de forma aislada en 20 preguntas reservadas. Su modelo base ya no se puede implementar.
  2. Resultado: 2,45 / 5 en general — exactitud 2,0, utilidad 2,1, tono 3,0, formato 2,7.
  3. Lectura: el tono y el formato son aceptables, por lo que el estilo se asemeja más a sus respuestas que el contenido. La exactitud se queda atrás: los motivos del juez señalan rutas de menú incorrectas y configuraciones inventadas. El modelo no conoce el producto.
  4. Siguiente paso: mayor conocimiento del producto a través de datos supervisados, no más refuerzo — el refuerzo perfecciona el comportamiento que el modelo ya tiene.
  5. Tras una ronda supervisada, el nuevo modelo se puntúa de forma individual en las mismas 20 preguntas con el mismo juez: 3,3. Esa comparación es válida, ya que ambas puntuaciones provienen de la misma configuración.

Uso adecuado

  • Mantenga la configuración fija al realizar un seguimiento a lo largo del tiempo: mismas preguntas, mismo juez, mismos criterios. Si cambia alguno de ellos, las puntuaciones anteriores dejarán de ser comparables.
  • Lea los criterios, no solo el promedio. Un 2,5 compuesto por un tono fuerte y una exactitud débil requiere datos diferentes que un 2,5 compuesto por lo contrario.
  • Prefiera una comparación de puntos de control cuando necesite una clasificación junto a modelos en paralelo: mantiene el modelo en la misma escala que los demás.

Configuración

Puntuar de forma independienteTípico cuando no hay nada razonable con lo que comparar#

Evalúe el modelo sin un segundo modelo. Utilícelo cuando el modelo base no se pueda implementar y no exista un punto de control útil, o cuando desee una puntuación absoluta para realizar un seguimiento a lo largo del tiempo.

Errores comunes

  • Clasificar un modelo puntuado de forma individual frente a modelos evaluados en paralelo.
  • Interpretar una puntuación absoluta baja como «el entrenamiento lo empeoró» — no hay un antes con el que comparar.
  • Cambiar el juez o las preguntas entre dos ejecuciones y, a continuación, comparar sus puntuaciones.
  • Fijarse únicamente en la media general y pasar por alto qué criterio la está reduciendo.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

  1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgCalificación por pares, de respuesta única y guiada por referencia, en paralelo.
  2. 02Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based EvaluationTripathi et al., 2025 · arXiv · arxiv.orgCómo la elección entre la puntuación absoluta y por pares cambia el resultado.
  3. 03Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model EvaluatorsLiu et al., 2024 · arXiv · arxiv.orgArgumentos a favor de la comparación por pares frente a la puntuación directa.
  4. 04Prometheus: Inducing Fine-grained Evaluation Capability in Language ModelsKim et al., 2023 · arXiv · arxiv.orgPuntuación absoluta de 1 a 5 frente a una rúbrica y una respuesta de referencia.
  5. 05G-Eval: NLG Evaluation using GPT-4 with Better Human AlignmentLiu et al., 2023 · arXiv · arxiv.orgUna fórmula inicial y muy utilizada para puntuar resultados individuales con un LLM.
MétodoLLM como juezUn modelo de lenguaje independiente lee la pregunta, la respuesta de referencia y dos respuestas candidatas, puntúa ambas y elige una ganadora. Configurado a ciegas, con un orden aleatorio y una familia de modelos diferente, coincide con los evaluadores humanos casi con la misma frecuencia con la que los humanos coinciden entre sí.ConceptoPuntos de control: cuando el modelo base ya no está disponibleLos puntos de control son copias del modelo que el proveedor guarda durante el entrenamiento. Cuando el modelo base ya no se puede implementar, comparar el modelo final con un punto de control anterior muestra si los pasos de entrenamiento posteriores fueron útiles.Mejor prácticaComparación de varios modelosPara elegir entre modelos — diferentes proveedores, métodos o tamaños base —, estos deben responder a las mismas preguntas y ser evaluados por el mismo juez. Una comparación ejecuta una evaluación por modelo sobre un conjunto de preguntas compartido y los clasifica según la puntuación media del juez.MétricaInterpretación de los resultados de evaluaciónCómo interpretar la tasa de victorias, la diferencia de puntuación y las señales secundarias de una evaluación — y cómo distinguir una mejora real del ruido cuando el número de preguntas es pequeño.ConceptoComparativa entre modelo base y ajustadoUna evaluación plantea al modelo inicial y al modelo entrenado las mismas preguntas reservadas y compara sus respuestas, de modo que usted pueda comprobar si el entrenamiento realmente ha mejorado las respuestas.MétodoAjuste fino supervisado (SFT)El ajuste fino supervisado enseña a un modelo mediante ejemplos: se le muestra una conversación y la respuesta deseada, y sus pesos se ajustan para que dicha respuesta sea más probable, token por token.

Convierta semanas de trabajo experto en minutos

Vea cómo Scalata se adapta a su equipo, a sus datos y a sus Controles.

Contactar con ventas