Qué es un evaluador
En el ajuste fino por refuerzo, el modelo escribe varias respuestas por prompt y necesita un número para cada una. El evaluador lo genera: una función, un modelo o una mezcla de ambos, que lee el prompt, la respuesta y, en Scalata, su propia respuesta como referencia, y devuelve una puntuación de 0 a 1. GRPO solo utiliza las diferencias entre las respuestas al mismo prompt, por lo que la propiedad más importante de un evaluador es que clasifique las respuestas de la misma manera que lo haría usted.
Los evaluadores se dividen en dos familias. Los evaluadores basados en reglas calculan la puntuación: coincidencia exacta, superposición de palabras, comparación de números, validación de un formato. Son rápidos, gratuitos y perfectamente coherentes, pero solo miden aquello para lo que fueron programados. Los evaluadores basados en modelos, un LLM que actúa como juez, leen la respuesta como lo haría una persona y pueden sopesar la corrección, la utilidad y el tono, a costa de tokens, tiempo y sus propios sesgos. DeepSeek-R1 utilizó únicamente recompensas basadas en reglas para su RL de razonamiento, ya que sus autores descubrieron que los modelos de recompensa aprendidos eran vulnerables a la manipulación de recompensas a gran escala.
Los evaluadores
Un LLM lee la conversación, su respuesta de referencia y las N respuestas juntas, y puntúa cada una del 1 al 5 en exactitud, utilidad, tono y formato; las notas se escalan de 0 a 1. Como comprende el significado, una respuesta correcta con otras palabras sigue obteniendo una buena puntuación. Cuesta una llamada al juez por prompt y por epoch, y un juez débil produce puntuaciones con ruido.
La coincidencia de palabras entre la respuesta generada y su respuesta, medida como ROUGE-L F1 (0–1). No necesita un modelo juez, por lo que no tiene coste. Recompensa la redacción, no el significado: una respuesta correcta expresada de forma diferente obtiene una puntuación baja, y una respuesta incorrecta que reutiliza sus palabras obtiene una puntuación alta.
70 % de puntuación del juez más 30 % de similitud. El juez decide qué es correcto; el factor de similitud acerca las respuestas a su redacción. Usted paga por el juez y mantiene ambos puntos ciegos, cada uno en menor medida.
Toma las cifras clave de su respuesta (decimales, porcentajes, importes; no la numeración de listas) y empareja cada una con el número más cercano en la respuesta generada: un margen del 1 % obtiene la puntuación máxima, un 5 % la mitad, y más allá de eso, nada. Las unidades se alinean, por lo que 1,705M y 1.705B cuentan como la misma cifra. Las respuestas sin números se omiten. Solo comprueba las cifras, no la explicación que las rodea.
50 % juez más 50 % números, por lo que tanto el razonamiento como las cifras cuentan. Cuando su respuesta no contiene números, se utiliza únicamente la puntuación del juez. Cuesta tokens de juez al igual que el juez por sí solo.
La respuesta es igual o contiene el valor esperado, o un fragmento de código comprueba su formato (un JSON válido, una etiqueta conocida). Las puntuaciones suelen ser de todo o nada, lo que proporciona a GRPO una señal muy limpia, pero solo funciona cuando hay una respuesta comprobable. Los proveedores alojados los ofrecen como evaluadores integrados, por ejemplo, una comprobación de cadenas, junto a la similitud de texto, un modelo de puntuación y combinaciones de evaluadores.
Cómo se mide la similitud: ROUGE-L
ROUGE fue introducido por Chin-Yew Lin en 2004 para puntuar resúmenes escritos por máquinas frente a los humanos. La variante L busca la subsecuencia común más larga (LCS, por sus siglas en inglés): la serie más larga de palabras que aparecen en ambos textos en el mismo orden, no necesariamente una al lado de la otra. La precisión es LCS ÷ palabras en la respuesta, la exhaustividad es LCS ÷ palabras en la referencia, y F1 combina ambas (su media armónica).
- Referencia, 9 palabras: «Abra el informe, pulse Compartir y elija el cliente».
- Respuesta A: “Haga clic en Compartir en el informe y seleccione el cliente”. Subsecuencia común más larga: “haga clic en compartir … y seleccione el cliente”, 6 palabras. Precisión 6/9, exhaustividad 6/9, F1 ≈ 0,67.
- Respuesta B, correcta pero redactada de otra forma: “Utilice el botón Compartir de su informe para enviárselo”. (12 palabras). Subsecuencia común más larga: solo “el informe”, 2 palabras. Precisión 2/12, exhaustividad 2/9, F1 ≈ 0,19.
- Respuesta C, destinatario incorrecto: “Abra el informe, haga clic en Compartir y seleccione al administrador”. 8 palabras en común, F1 ≈ 0,89, el más alto de los tres.
- Las implementaciones difieren ligeramente en cómo separan las palabras y si las reducen a su raíz, pero la lección se mantiene: la similitud mide la redacción, por lo que suele combinarse con un juez.
Cómo puntúa el evaluador de números
- Su respuesta: “WACC ≈ 9,91 %; coste del capital 10,34 %; deuda después de impuestos 4,15 %; EV ≈ $1.705M”. Cuatro cifras clave.
- La respuesta contiene 9,95 %, 10,3 %, 4,2 % y 1.700M.
- 9,95 frente a 9,91 difiere en un 0,4 %, 10,3 frente a 10,34 difiere en un 0,4 %, 1.700 frente a 1.705 difiere en un 0,3 %: puntuación completa para cada uno.
- 4,2 frente a 4,15 difiere en un 1,2 %: dentro del 5 %, por lo que recibe la mitad de la puntuación.
- Puntuación = (1 + 1 + 1 + 0,5) ÷ 4 = 0,875. Una respuesta que solo diga “El WACC es del 1,33 %” obtiene un 0.
El evaluador de números comprueba las cifras, no el razonamiento en torno a ellas: un número correcto obtenido de forma incorrecta sigue puntuando, y un método sólido con un solo error pierde puntuación. Una respuesta que enumera muchas cifras también tiene más posibilidades de acercarse a la suya. La combinación de juez + números existe para cubrir ambas deficiencias.
Por qué el juez ve todas las respuestas a la vez
En Scalata, el juez ve las N respuestas a un prompt juntas. Al verlas unas junto a otras, las puntúa de forma coherente entre sí, y las puntuaciones relativas coherentes son exactamente lo que utiliza GRPO. Las calificaciones por criterio del juez y una breve justificación para cada respuesta se muestran en la página de ejecución junto a cada grupo.
Elección de un evaluador
| Su tarea | Comience con | Por qué |
|---|---|---|
| Chat de soporte o asesoramiento abierto | Modelo juez | Solo un modelo puede juzgar si el texto libre es correcto y útil |
| Las respuestas también deben sonar como las de su equipo | Juez + similitud | El juez protege el significado; la similitud orienta hacia su redacción |
| Cálculos con resultados exactos | Juez + números, o solo números | Las cifras son verificables; el juez detecta cualquier sinsentido a su alrededor |
| Una única etiqueta o valor correcto | Coincidencia exacta / comprobaciones | Las puntuaciones de todo o nada ofrecen la señal más clara |
| Un formato de salida fijo | Una comprobación de formato, posiblemente combinada con un juez | La validez es verificable; el contenido aún puede requerir juicio |
Sea cual sea el que elija, puntúe usted mismo cinco o diez respuestas y compárelas con el evaluador antes de una ejecución larga. Si no está de acuerdo con su clasificación, el modelo aprenderá la opinión del evaluador, no la suya.
Errores comunes
- Usar solo la similitud cuando el significado es importante. Las paráfrasis correctas se penalizan y las respuestas incorrectas con sus propias palabras se recompensan.
- Elegir un juez débil para una ejecución larga. Las puntuaciones ruidosas se convierten en ventajas ruidosas, y GRPO amplifica las pequeñas diferencias.
- Usar el mismo modelo como evaluador y como juez de evaluación. Sus puntos ciegos parecerán mejoras por partida doble.
- Usar el evaluador de números en datos cuyas respuestas tienen pocas cifras; esas filas se omiten y la ejecución aprende de una fracción de sus datos.
- Olvidar que el modelo es libre de cambiar cualquier aspecto que el evaluador no compruebe, como la longitud, el tono o los detalles inventados.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01ROUGE: A Package for Automatic Evaluation of SummariesLin, 2004 · ACL Anthology · aclanthology.orgLa definición original de ROUGE-L y su medida F de la subsecuencia común más larga.
- 02GradersOpenAI API docs · developers.openai.comTipos de evaluadores alojados: comprobación de cadenas, similitud de texto, modelo de puntuación, Python y multievaluadores.
- 03Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgEl grado de acuerdo de los jueces LLM con las personas y sus sesgos conocidos: posición, verbosidad, autopreferencia.
- 04DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgPor qué se prefirieron las recompensas basadas en reglas a los modelos de recompensa aprendidos para el RL de razonamiento.