La receta estándar: SFT seguido de DPO

En qué consiste

Casi todos los procesos de postentrenamiento publicados ejecutan un ajuste fino supervisado antes de aprender de las preferencias. InstructGPT lo hizo (supervisado, luego un modelo de recompensa y aprendizaje por refuerzo). Zephyr lo hizo (supervisado, luego DPO). Tülu 3 lo hizo (supervisado, luego DPO, luego aprendizaje por refuerzo con recompensas verificables). Los proveedores de modelos alojados recomiendan el mismo orden para su propio ajuste de preferencias.

Por qué importa el orden

La DPO ajusta la probabilidad relativa de las respuestas que el modelo ya podía producir. No tiene ningún mecanismo para enseñar hechos que el modelo nunca ha visto. Si un modelo no sabe nada sobre su producto, las respuestas preferidas y no preferidas de un par suelen resultarle igualmente ajenas, y la comparación aporta poco que pueda utilizar.

También existe un motivo técnico. La recompensa implícita de la DPO se mide frente al modelo de referencia, y el método funciona mejor cuando los pares se asemejan a las respuestas que dicha referencia podría escribir de forma plausible. El artículo sobre la DPO utiliza un modelo supervisado como referencia siempre que exista uno; cuando no lo hay, primero realiza un ajuste fino sobre las respuestas preferidas para reducir el desajuste, lo cual es un paso de SFT con otro nombre.

La evidencia lo confirma. El equipo de Zephyr informó que, sin un paso supervisado inicial, sus modelos "no eran capaces de aprender en absoluto de los comentarios y tenían un rendimiento pésimo", mientras que la SFT seguida de la DPO proporcionó una gran mejora en los dos bancos de pruebas de chat que utilizaron. Por el contrario, realizar más entrenamiento supervisado sobre las respuestas mejor clasificadas no reprodujo esa mejora: el paso de preferencias añadió algo que la SFT por sí sola no logró.

Continuación a partir del modelo del paso 1

El paso 2 no parte del modelo base. Parte de los pesos que produjo el paso 1, y ese mismo modelo se convierte en la referencia congelada frente a la cual se mide la DPO.

• Modelos alojados: el proveedor inicia un nuevo trabajo a partir del modelo ajustado anteriormente, mediante su identificador o con un inicio en caliente desde su adaptador.
• Modelos abiertos entrenados con un adaptador LoRA: el adaptador del paso 1 se fusiona primero con los pesos base. El nuevo entrenamiento se ejecuta sobre ese modelo fusionado, y el resultado se fusiona de nuevo y se guarda como un modelo completo.
• Misma base en todo el proceso: la ejecución debe utilizar el mismo proveedor y modelo base que la ejecución que continúa, de modo que los límites y el precio del modelo se mantengan iguales.

La configuración cambia entre los pasos. El entrenamiento de preferencias suele requerir menos épocas (1–2) y una tasa de aprendizaje mucho menor. A modo de referencia, Zephyr utilizó una tasa de aprendizaje máxima de 2e-5 para su paso supervisado y de 5e-7 para la DPO, con β = 0.1.

Medición del paso 2

Compare el modelo continuado con el modelo del paso 1, no con el base simple. Una victoria sobre el base refleja principalmente lo que enseñó el paso 1. Una victoria sobre el modelo del paso 1 es lo que añadió el ajuste de preferencias, y es la única cifra que le indica si debe conservar el paso de DPO.

Qué esperar

La lección general de ejecutar pasos de DPO en la práctica es que los mismos pares pueden ayudar, no hacer nada o perjudicar, dependiendo del modelo inicial. En un modelo capaz, un paso de DPO puede acercar las respuestas a las de su equipo y mejorar el tono. En un modelo muy pequeño, el resultado suele ser mayormente empates: si el modelo no puede producir una buena respuesta, no hay nada que pueda preferir. Y a veces, el modelo ajustado empeora.

Más allá de dos pasos

• Nuevos conocimientos tras la DPO: continúe con el entrenamiento supervisado a partir del modelo ajustado por preferencias. Un entrenamiento supervisado extenso puede diluir en parte el refinamiento; una breve pasada de preferencias posterior, a partir de esa nueva ejecución supervisada, lo restaura.
• DPO sobre DPO con los mismos pares equivale simplemente a más épocas con los mismos datos y tiende al sobreajuste: las respuestas se desvían, se alargan o empiezan a manipular lo que los pares recompensan.
• DPO iterativa (una segunda ronda con nuevos pares recopilados a partir de las propias respuestas de la primera ronda) es una técnica válida, pero requiere un nuevo paso de recopilación de pares entre rondas.

Errores comunes

• Omitir el paso 1 y ejecutar la DPO en un modelo base simple.
• Evaluar el paso 2 frente al modelo base y atribuir a la DPO las mejoras del paso 1.
• Sobreentrenar el paso 1. Zephyr descubrió que cuando el modelo supervisado se entrenaba durante más de una época, un entrenamiento de DPO más largo provocaba una regresión.
• Ejecutar una segunda ronda de DPO en un modelo DPO con los mismos pares.
• Actuar basándose en una diferencia pequeña. 5 victorias frente a 1 en 20 preguntas es un indicio, no una prueba: ejecute primero una evaluación más amplia.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

1. 01Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgEl flujo de trabajo original de supervisión primero, con RLHF como segundo paso.
2. 02Zephyr: Direct Distillation of LM Alignment↗Tunstall et al., 2023 · arXiv · arxiv.orgSFT seguido de DPO en detalle, incluyendo lo que ocurre cuando se omite el paso de SFT.
3. 03Tulu 3: Pushing Frontiers in Open Language Model Post-Training↗Lambert et al., 2024 · arXiv · arxiv.orgUna receta totalmente abierta: ajuste fino supervisado, seguido de DPO y, por último, aprendizaje por refuerzo.
4. 04Direct preference optimization↗OpenAI API docs · developers.openai.comUn proveedor de alojamiento que recomienda el ajuste fino supervisado en las respuestas preferidas antes de DPO.
5. 05Direct Preference Optimization: Your Language Model is Secretly a Reward Model↗Rafailov et al., 2023 · arXiv · arxiv.orgExplica por qué el modelo de referencia debe ser un modelo supervisado y qué hacer cuando no existe ninguno.

Conceptos relacionados