Qué es
Algunos entrenadores informan, junto a la pérdida de DPO, un número generalmente llamado precisión de preferencia (Hugging Face TRL lo registra como rewards/accuracies). Para cada par, plantea una pregunta de sí o no: ¿el modelo clasifica ahora la respuesta preferida por encima de la no preferida, una vez que cada una se compara con el modelo de referencia? El valor informado es la proporción de pares donde la respuesta es afirmativa.
Cómo se calcula
Recuerde la recompensa implícita de DPO: β multiplicado por el logaritmo de cuánto más probable considera una respuesta el modelo entrenado en comparación con el de referencia. Cada par tiene dos, uno por lado, y el margen es la recompensa elegida menos la rechazada.
margin = reward(chosen) − reward(rejected)
correct = margin > 0
accuracy = (pairs with margin > 0) ÷ (all pairs)En el primer paso, el modelo entrenado es igual al de referencia, por lo que cada margen es exactamente 0. En las primeras actualizaciones, los márgenes son minúsculos y de signo casi aleatorio, por lo que la precisión ronda el 50 %: como lanzar una moneda. A medida que avanza el entrenamiento, los márgenes se dispersan y, si los pares están enseñando algo, la mayoría se desplaza a la derecha del cero.
- Después de una época, diez pares tienen márgenes de 0,9, 0,6, 0,5, 0,4, 0,3, 0,2, 0,1, 0,05, −0,1 y −0,3.
- Ocho están por encima de cero, por lo que la precisión de preferencia es 8 ÷ 10 = 80 %.
- El margen promedio es 2,65 ÷ 10 = 0,265: positivo, pero modesto.
- Ahora imagine una ejecución donde los diez márgenes son 0,02. La precisión es del 100 %, pero la pérdida sigue siendo 0,68: cada par se clasifica correctamente por un margen mínimo. La precisión cuenta los ganadores; la pérdida y el margen indican por cuánto.
Interpretación junto con la pérdida
| Precisión | Pérdida | Lectura |
|---|---|---|
| Alrededor del 50 % | Alrededor de 0,69 | Aún no se ha aprendido nada, o los pares son demasiado sutiles para que el modelo los separe. |
| Aumentando de forma constante | Disminuyendo de forma constante | El patrón saludable: el modelo está aprendiendo la preferencia. |
| 100 % de forma temprana | Cerca de 0 | Los pares son fáciles o se han memorizado. Compruebe su variedad y dificultad; considere menos épocas o un β más alto. |
| Alta | Aún cerca de 0,6 | Pares clasificados correctamente, pero por márgenes minúsculos: el modelo apenas se ha movido. |
| Por debajo del 50 % | Por encima de 0,69 | El modelo está aprendiendo lo contrario. Compruebe si hay etiquetas intercambiadas. |
Espere que la curva sea inestable. La precisión a menudo se registra por lote, y un lote de 8 pares solo puede obtener un 0 %, 12,5 %, 25 %, etc., por lo que las lecturas individuales fluctúan ampliamente. Observe la tendencia a lo largo de muchos pasos, o el valor por época, en lugar de un punto aislado. Con muy pocos pares en total, un puñado de pares que cambian de signo mueve mucho el número sin significar gran cosa.
Qué no mide
La precisión de preferencia se calcula sobre sus pares, cuyas respuestas ya estaban escritas. Nunca analiza lo que el modelo redacta ahora. Un estudio de 2024 midió un número relacionado (si un modelo otorga directamente la mayor probabilidad a la mejor respuesta, sin una referencia) y descubrió que la mayoría de los modelos de vanguardia ajustados por preferencias lo hacen menos del 60 % de las veces en conjuntos de datos de preferencias comunes, en parte porque DPO tiene dificultades para corregir incluso errores leves de clasificación que el modelo inicial ya cometía. Un número alto en sus pares de entrenamiento demuestra que la ejecución funcionó mecánicamente; no es una medida de la calidad de la respuesta.
Si la precisión también se informa sobre pares reservados, ese número es más informativo que el de entrenamiento, porque muestra si la preferencia se traslada a pares con los que el modelo no fue entrenado. La última palabra sigue correspondiendo a una evaluación en la que el modelo redacta sus propias respuestas.
Errores comunes
- Interpretar una precisión de entrenamiento del 100 % como un éxito. Con pares escasos o fáciles es lo esperado, y puede significar memorización.
- Interpretar la precisión sin la pérdida o el margen: acertar por un margen mínimo y acertar por un margen amplio cuentan ambos como correctos.
- Comparar la precisión entre conjuntos de datos. Los pares más difíciles y sutiles naturalmente arrojan números más bajos.
- Tratarla como una evaluación. Nunca analiza las respuestas que redacta el modelo.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01DPO TrainerHugging Face TRL docs · huggingface.coDefine las recompensas/precisiones y recompensas/márgenes registrados durante el entrenamiento DPO.
- 02Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.orgDe dónde proviene la recompensa implícita detrás de esta métrica.
- 03Preference Learning Algorithms Do Not Learn Preference RankingsChen et al., 2024 · arXiv · arxiv.orgCon qué frecuencia los modelos ajustados por preferencias realmente clasifican mejor la respuesta superior, y por qué el DPO rara vez corrige los errores de clasificación existentes.
- 04Zephyr: Direct Distillation of LM AlignmentTunstall et al., 2023 · arXiv · arxiv.orgPrecisión de entrenamiento perfecta después de una época de DPO, y lo que significó y no significó para el modelo final.