Por qué la pérdida no es suficiente
En el entrenamiento supervisado, se observa cómo disminuye la pérdida. En el ajuste fino por refuerzo, la pérdida es una mala guía: los datos cambian en cada paso porque el modelo escribe respuestas nuevas, y las ventajas se vuelven a centrar en cero en cada grupo, por lo que la pérdida reportada puede rondar el cero mientras el modelo mejora, o mientras no lo hace. Las señales útiles se encuentran en las respuestas: qué puntuación obtienen, cuánto difieren y qué longitud tienen.
Las métricas
La puntuación media del evaluador sobre las respuestas del paso, en una escala de 0 a 1. Debería mostrar una tendencia al alza, con ruido, ya que cada paso recibe prompts diferentes. Plana o a la baja significa que el modelo no está encontrando mejores respuestas: la tarea puede superarlo, el evaluador puede tener demasiado ruido o la tasa de aprendizaje puede ser demasiado baja. Si sube rápidamente hacia 1, merece sospecha hasta que haya leído las respuestas. TRL lo registra como reward; si hay varias funciones de recompensa, cada una obtiene también su propia línea.
La proporción de respuestas que alcanzaron la longitud máxima y fueron cortadas (completions/clipped_ratio en TRL). Una respuesta cortada suele estar incompleta y obtiene una mala puntuación, por lo que una tasa alta desperdicia gran parte del paso y puede forzar al modelo a ser breve por el motivo equivocado. Aumente el límite o solicite respuestas más cortas en el prompt del sistema. No debe confundirse con el recorte (clipping) de la actualización en el objetivo de GRPO, que se registra por separado.
Cuánto difieren las puntuaciones. La desviación estándar de la recompensa es la dispersión de las puntuaciones (TRL la calcula sobre todo el lote). La fracción de desviación estándar cero (frac_reward_zero_std) es la proporción de prompts cuyas N respuestas obtuvieron la misma puntuación; esos prompts no producen ninguna actualización. Una dispersión cercana a cero, o una fracción de desviación estándar cero cercana a 1, significa que la ejecución se queda sin señal: todas las respuestas son igual de buenas o igual de malas. Scalata muestra el complemento como prompts con señal.
La longitud media de la respuesta en tokens (completions/mean_length). Cierta variación es normal: en tareas de razonamiento complejas, las respuestas crecen legítimamente a medida que el modelo aprende a trabajar durante más tiempo, como ocurrió con DeepSeek-R1-Zero. En las tareas de chat, si la longitud aumenta a la par que la recompensa, suele significar que el evaluador premia la longitud en sí misma, una forma de manipulación de la recompensa (reward hacking). Si la longitud se reduce a casi nada con una recompensa plana, puede significar que el modelo está evitando penalizaciones al decir poco.
Cuando KL β es superior a 0, TRL también registra kl, la divergencia media respecto al modelo inicial. Un KL que sigue subiendo mientras la recompensa ha dejado de mejorar indica que el modelo sigue cambiando, pero ya no para mejor.
Cuando el proveedor ejecuta el evaluador por sí mismo (modelos de razonamiento alojados), no comparte las respuestas que puntuó durante el entrenamiento. En su lugar, cada pocos pasos formula un puñado de preguntas de validación con las que el modelo nunca se entrena y evalúa las respuestas con el mismo evaluador. El paso 0 es el modelo antes del entrenamiento, por lo que cada pregunta se convierte en una pequeña línea de tiempo. Una puntuación baja en el paso 0 que luego aumenta es la señal más clara de un aprendizaje que se transfiere; una pregunta con 1.00 desde el paso 0 no puede mostrar mejora; una caída en una comprobación es ruido de muestreo. Su media, la recompensa de validación, merece más confianza que la recompensa de entrenamiento, por la misma razón que la pérdida de validación supera a la pérdida de entrenamiento. Los proveedores suelen guardar puntos de control (checkpoints) en los mismos pasos, por lo que si las comprobaciones dejan de mejorar a mitad de camino, el punto de control correspondiente puede ser tan bueno como el modelo final.
Interpretación conjunta de los gráficos
| Lo que observa | Significado probable | Qué hacer |
|---|---|---|
| Recompensa al alza, dispersión saludable, longitud estable | Aprendizaje | Deje que se ejecute; confirme con una evaluación al final |
| Recompensa plana cerca del mínimo, la mayoría de los prompts sin señal | Todas las respuestas son igual de malas: no hay nada que reforzar | Comience desde una ejecución supervisada o un modelo más grande; compruebe que el evaluador funciona |
| Recompensa plana cerca del máximo, la mayoría de los prompts sin señal | Los prompts son demasiado fáciles: todas las respuestas ya obtienen una buena puntuación | Utilice prompts más difíciles o deténgase: queda poco por ganar |
| Recompensa y longitud aumentan juntas | Al evaluador le gustan las respuestas largas | Lea las respuestas reforzadas; cambie o combine el evaluador; reduzca el límite de longitud |
| Alta tasa de recorte | Respuestas cortadas en el límite | Aumente la longitud máxima de la respuesta o solicite respuestas más cortas |
| La recompensa aumenta, pero la evaluación es peor que al inicio | Manipulación de la recompensa o deriva | Entrene durante menos pasos, aumente KL β, cambie el evaluador |
- Pasos 1–10: recompensa 0,31 → 0,38, 80 % de prompts con señal, ratio de recorte del 2 %, longitud de unos 180 tokens. Saludable.
- Pasos 10–30: recompensa 0,38 → 0,71, longitud 180 → 420 tokens, ratio de recorte 2 % → 18 %. La recompensa y la longitud aumentan a la vez, y las respuestas empiezan a alcanzar el límite.
- Tres grupos en la página de la ejecución: las respuestas en verde reformulan la pregunta, enumeran todas las advertencias posibles y repiten frases de la referencia. Al juez le gustó la exhaustividad y nada penalizó el relleno.
- Acción: vuelva a ejecutar con menos pasos y un límite de longitud inferior, o cambie a un evaluador que compruebe el contenido de forma más estricta y, a continuación, confirme con una evaluación que utilice un juez diferente.
Errores comunes
- Juzgar una ejecución de RL por su pérdida. En su lugar, observe la recompensa, la dispersión y la longitud.
- Celebrar una recompensa cercana a 1 antes de leer las respuestas con mayor puntuación.
- Ignorar la tasa de recorte. Las respuestas cortadas arruinan las puntuaciones de un paso completo.
- Comparar las recompensas entre ejecuciones con diferentes evaluadores o jueces. Las escalas no son las mismas.
- Detenerse en los gráficos. La última palabra la tiene una evaluación con preguntas reservadas, idealmente con un juez distinto.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01GRPO TrainerHugging Face TRL docs · huggingface.coDefiniciones de reward, reward_std, frac_reward_zero_std, clipped_ratio y mean_length.
- 02Reinforcement fine-tuningOpenAI API docs · developers.openai.comLectura de la recompensa de entrenamiento y validación en un trabajo de RFT alojado.
- 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgLa longitud de la respuesta creció a medida que R1-Zero aprendía a razonar: un caso en el que más largo era genuinamente mejor.
- 04Understanding R1-Zero-Like Training: A Critical PerspectiveLiu et al., 2025 · arXiv · arxiv.orgCómo la pérdida original de GRPO puede inflar la longitud, especialmente en las respuestas incorrectas.