Qué es
Durante una ejecución de preferencia, el entrenador informa una pérdida, por paso o por época, y a veces también en pares retenidos. Responde a una pregunta: en promedio, ¿con qué nivel de confianza la recompensa implícita del modelo clasifica la respuesta preferida por encima de la no preferida, en comparación con el punto de partida del modelo?
Se asemeja a una pérdida supervisada, pero no significa lo mismo. La pérdida supervisada es la entropía cruzada sobre los tokens y puede comenzar en cualquier valor, a menudo por encima de 1. La pérdida de DPO es una pérdida de clasificación por par con un valor inicial fijo y un límite inferior de 0. Ambas no son comparables.
Por qué empieza en 0.693
En el primer paso, el modelo que se está entrenando y el modelo de referencia son idénticos. Cada razón logarítmica es 0, por lo que cada margen es 0, σ(0) = 0,5 y la pérdida es −ln 0,5 = ln 2 ≈ 0,693: la pérdida de un lanzamiento de moneda. Esto se cumple para todos los conjuntos de datos y todos los modelos, lo que lo convierte en un control de coherencia útil. Los primeros valores registrados deberían situarse en 0,69 o justo por debajo; un inicio muy alejado de este valor suele significar que la referencia no es el modelo inicial, o que se está utilizando una variante de pérdida diferente.
step 0: model = reference
every log-ratio = 0 → margin = 0
loss = −ln σ(0) = −ln 0.5 = ln 2 ≈ 0.693Las formas que debe reconocer
| Lo que observa | Lo que suele significar | Qué hacer |
|---|---|---|
| Se mantiene alrededor de 0,6–0,7 | Los pares apenas cambiaron el modelo. Es común cuando hay pocos pares o cuando las dos respuestas difieren solo ligeramente. | Añada pares y haga que la diferencia entre las respuestas sea más clara; solo entonces considere un valor de β más bajo u otra época. |
| Cae de forma constante, p. ej., a 0,3 | El modelo está aprendiendo la preferencia. | Evalúe frente al modelo inicial para comprobar que las respuestas realmente han mejorado. |
| Cae a casi 0 muy rápido | Los pares son demasiado fáciles (la peor respuesta es obviamente mala) o el modelo los está memorizando. | Utilice pares más variados o difíciles, menos épocas o un valor de β más alto. |
| Sube por encima de 0,69 | En promedio, el modelo ahora clasifica los pares al revés, en comparación con su estado inicial. | Compruebe que las respuestas preferidas y no preferidas no estén intercambiadas; reduzca la tasa de aprendizaje. |
Interpretación de los números
Dado que la pérdida para un par es −ln σ(β × margen), cada valor corresponde a un nivel de concordancia entre el modelo y la etiqueta:
| Pérdida | σ: concordancia con la etiqueta | β × margen |
|---|---|---|
| 0,693 | 0,50 (lanzamiento de moneda) | 0 |
| 0,51 | 0,60 | 0,4 |
| 0,30 | 0,74 | 1,05 |
| 0,10 | 0,90 | 2,25 |
| 0,01 | 0,99 | 4,6 |
La pérdida notificada es un promedio sobre los pares, por lo que un valor intermedio puede ocultar una división: la mayoría de los pares se aprendieron bien y unos pocos se clasificaron de forma incorrecta. Por este motivo, los entrenadores suelen informar la precisión de preferencia (la proporción de pares clasificados correctamente) y el margen de recompensa promedio junto a ella.
- Cuatro pares finalizan el entrenamiento con un valor de β × margen de 2.0, 2.0, 2.0 y −1.0.
- Sus pérdidas son 0.13, 0.13, 0.13 y 1.31.
- El promedio es 0.42, lo que se interpreta como un progreso moderado. De hecho, se han aprendido tres pares y uno está firmemente clasificado de forma incorrecta. Vale la pena revisar ese par: podría estar mal etiquetado.
Lo que la pérdida no puede decirle
- Si las respuestas mejoraron. La pérdida se calcula sobre pares fijos, no sobre las respuestas que escribe el modelo. Un modelo puede separar sus pares a la perfección y, aun así, responder peor a preguntas nuevas.
- En qué dirección se movieron las probabilidades. La pérdida disminuye si la respuesta rechazada se vuelve menos probable, incluso cuando la elegida también lo hace. Los investigadores han descubierto que la verosimilitud de la respuesta elegida a menudo disminuye durante el DPO (“desplazamiento de verosimilitud”), y la documentación de TRL señala que la brecha suele ampliarse más al suprimir las respuestas rechazadas que al elevar las preferidas.
- Si el sobreajuste es perjudicial. En el informe de Zephyr, el paso de DPO se sobreajustó fuertemente después de una época (precisión perfecta en el conjunto de entrenamiento); sin embargo, esto no perjudicó los resultados de referencia, y el mejor modelo se obtuvo tras tres épocas de DPO. No obstante, cuando el modelo supervisado se había entrenado durante más de una época, un entrenamiento de DPO más prolongado provocó una regresión. Las curvas de entrenamiento no pudieron distinguir esos casos; las evaluaciones sí.
La precisión de tokens, mostrada para las ejecuciones supervisadas, no es una medida del aprendizaje de preferencias, por lo que no se muestra para el DPO.
Errores comunes
- Comparar una pérdida de DPO con una pérdida supervisada. Fórmulas diferentes, escalas diferentes.
- Comparar pérdidas de DPO entre ejecuciones con diferentes valores de β.
- Celebrar una pérdida cercana a 0. Con pares escasos o fáciles es el resultado esperado, y a menudo es un signo de memorización.
- Pasar por alto etiquetas intercambiadas. Una pérdida que supera 0,69 generalmente significa que los lados preferido y no preferido se invirtieron en algún punto.
- Detenerse en la curva. Solo una evaluación frente al modelo inicial muestra si las respuestas mejoraron.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.orgDefine la función de pérdida y explica cómo su gradiente pondera cada par.
- 02DPO TrainerHugging Face TRL docs · huggingface.coEnumera lo que registra un entrenador DPO: pérdida, recompensas implícitas, márgenes y precisiones.
- 03Unintentional Unalignment: Likelihood Displacement in Direct Preference OptimizationRazin et al., 2024 · arXiv · arxiv.orgPor qué la verosimilitud de la respuesta preferida puede disminuir durante la DPO y qué pares lo causan.
- 04Zephyr: Direct Distillation of LM AlignmentTunstall et al., 2023 · arXiv · arxiv.orgUna ejecución práctica de SFT seguida de DPO, incluyendo lo que el sobreajuste en el paso de DPO hizo y no hizo.