PróximamenteEl Entrenamiento de modelos estará disponible pronto en Scalata Enterprise. Enseñe a un modelo a responder como lo hace su equipo.Ver próximas novedades

Recursos/Entrenamiento de modelos/Métodos de entrenamiento

Método

Destilación on-policy: el profesor califica al estudiante

En la destilación on-policy, el estudiante redacta sus propias respuestas y el profesor evalúa cada token de las mismas, de modo que el estudiante aprende exactamente dónde se equivoca. El profesor y el estudiante deben compartir un vocabulario.

Capítulo 75 min de lectura4 referencias

Cómo funciona

  1. El estudiante responde. Para cada prompt, el estudiante redacta su propia respuesta, una respuesta de práctica.
  2. El profesor lo lee. El profesor procesa el mismo prompt y respuesta en una sola pasada y, en cada posición, genera su distribución de probabilidad sobre el siguiente token: lo que habría dicho en ese punto.
  3. Comparar y actualizar. En cada token, la distribución del estudiante se compara con la del profesor mediante una divergencia, y el estudiante se ajusta para acercarse al profesor.
Fila de entrenamiento: solo el prompt
{"prompt": [
  {"role": "user", "content": "What's the difference between EBITDA and EBIT?"}
]}

No se necesita una respuesta de referencia y sus respuestas no se utilizan como objetivos; solo los prompts. El maestro nunca escribe una respuesta completa, solo lee una, lo cual es mucho más barato por token que generar.

Por qué funciona tan bien

La destilación on-policy toma lo mejor de otros dos métodos. Al igual que el entrenamiento supervisado, su señal es densa: cada token recibe retroalimentación. Al igual que el aprendizaje por refuerzo, sus datos son on-policy: provienen de las propias respuestas del estudiante, por lo que cubren los errores que el estudiante realmente comete. Los estudiantes off-policy solo ven las rutas impecables del maestro; los estudiantes de RL ven sus propias rutas, pero obtienen un solo número por toda la respuesta.

Método 1 · el maestro escribe las respuestas
su prompt→maestro (grande)→texto completo de la respuesta→el estudiante aprende prompt → respuesta

Cualquier familia de modelos. Solo se transfiere el texto. Se entrena exactamente igual que el ajuste fino supervisado.

Método 2 · el maestro califica la respuesta del propio estudiante
su prompt→el estudiante escribe→el maestro puntúa cada token→el estudiante se acerca al maestro

Requiere el mismo tokenizador, por lo que el maestro suele ser un modelo más grande de la misma familia. Aprende de sus propios errores.

La destilación off-policy pasa el texto terminado del maestro al estudiante. La destilación on-policy permite al estudiante escribir y luego le muestra, token a token, lo que el maestro habría dicho en su lugar.
Aprendizaje en el token donde ocurrió el error
  1. Prompt: “¿Cuál es la diferencia entre el EBITDA y el EBIT?”
  2. El estudiante comienza bien, luego escribe “El EBIT vuelve a sumar la depreciación…”, lo cual es al revés: es el EBITDA el que la vuelve a sumar.
  3. En el token “suma”, las probabilidades del maestro favorecen “deduce” o “resta”; las del estudiante favorecieron “suma”. La divergencia es grande exactamente ahí.
  4. La actualización reduce “suma” y aumenta las opciones del maestro en ese contexto: la corrección precisa. Los tokens donde ambos ya coinciden casi no contribuyen.
  5. El aprendizaje por refuerzo (RL) con un evaluador habría calificado toda la respuesta con una puntuación baja y habría desalentado todos sus tokens por igual, incluidos los correctos.

KL directa, KL inversa o una combinación

Las distribuciones del estudiante y del maestro se pueden comparar en dos direcciones, y la elección cambia en qué se convierte el estudiante.

  • KL directa (Forward KL), KL(maestro ‖ estudiante), penaliza fuertemente al estudiante por asignar una probabilidad baja a cualquier cosa que el maestro considere probable. El estudiante se dispersa para cubrir todas las opciones del maestro (cobertura de modos). Un estudiante pequeño que no puede abarcarlas todas termina distribuyendo el peso entre ellas, lo que puede producir texto vago o de baja calidad.
  • KL inversa (Reverse KL), KL(estudiante ‖ maestro), penaliza fuertemente al estudiante por decir cosas que el maestro considera improbables. El estudiante se compromete con la opción principal del maestro e ignora el resto (búsqueda de modos): más nítido, más decisivo, menos variado.
  • La divergencia de Jensen-Shannon (JSD), y su forma generalizada, combina ambas. El artículo de GKD descubrió que la mejor opción depende de la tarea.
respuestas posibles →β = 0 · KL directaAbarca todo lo que el maestro podría decir y, por tanto, también da peso a la brecha entre sus respuestas. Más amplio, más variado, a veces impreciso.
respuestas posibles →β = 1 · KL inversaSe ciñe a la respuesta principal del maestro e ignora el resto. Más preciso y determinante, menos variado.
maestro (línea discontinua)estudiante (relleno)
Un estudiante pequeño no puede copiar a un maestro que tiene dos respuestas buenas. La divergencia KL directa hace que se expanda para abarcar ambas (cobertura de modas); la divergencia KL inversa hace que elija una y se ajuste bien a ella (búsqueda de modas). Un valor de β entre 0 y 1 combina ambas.

La KL inversa se adapta a estudiantes pequeños y tareas con una respuesta correcta en mente, razón por la cual es común para la destilación on-policy de modelos de chat y razonamiento: el artículo de 2025 de Thinking Machines utiliza una KL inversa por token, y el DistillationTrainer de TRL la usa por defecto. En Scalata, esta elección es el ajuste de divergencia β.

Requisitos y costes

  • Mismo vocabulario. Las distribuciones se comparan token por token, por lo que ambos modelos deben dividir el texto en los mismos tokens. En la práctica, el maestro es un modelo más grande de la misma familia, por ejemplo, Qwen2.5-3B enseñando a Qwen2.5-0.5B.
  • Ambos modelos en la GPU. El maestro se carga junto al estudiante; un maestro de 3B en bf16 necesita unos 6 GB adicionales al estudiante.
  • Tiempo de generación. Cada paso genera respuestas token por token, lo que lo hace más lento que el entrenamiento supervisado con los mismos datos; la longitud máxima de la respuesta de práctica es el factor principal.
  • Estilo. El estudiante aprende los hábitos del maestro, incluida la longitud. Para obtener también el estilo de su equipo, ejecute un entrenamiento supervisado en sus respuestas posteriormente, continuando desde el modelo destilado.

La recompensa puede ser grande. Las cifras del informe técnico de Qwen3, comparadas en el artículo de Thinking Machines, muestran que la destilación on-policy lleva a Qwen3-8B al 74,4 % en AIME'24 con unas 1.800 horas de GPU, mientras que el RL desde un punto de partida similar alcanzó el 67,6 % con 17.920. Con modelos pequeños en tareas específicas, las ganancias son menores, pero la señal por token sigue haciendo avanzar a un estudiante más por prompt que un puñado de respuestas del maestro.

Errores comunes

  • Elegir un maestro de otra familia de modelos. Los vocabularios difieren, por lo que la comparación token por token es imposible.
  • Olvidar la memoria del maestro. Una GPU en la que cabe solo el estudiante podría no tener capacidad para ambos.
  • Establecer una longitud larga para la respuesta de práctica “por seguridad”. La generación domina el tiempo del paso.
  • Esperar su propio estilo. Sus respuestas nunca son los objetivos aquí.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

  1. 01On-Policy Distillation of Language Models: Learning from Self-Generated MistakesAgarwal et al., 2024 · ICLR / arXiv · arxiv.orgEl método: entrenar con los propios resultados del estudiante con retroalimentación del maestro a nivel de token, y una elección de divergencia.
  2. 02MiniLLM: On-Policy Distillation of Large Language ModelsGu et al., 2023 · arXiv · arxiv.orgArgumenta a favor de la KL inversa al destilar en modelos de lenguaje pequeños.
  3. 03On-Policy DistillationThinking Machines Lab, 2025 · thinkingmachines.aiUn informe práctico, con comparaciones de cómputo frente a RL y su uso para recuperar habilidades tras un entrenamiento adicional.
  4. 04Distillation TrainerHugging Face TRL docs · huggingface.coUn entrenador de destilación on-policy de código abierto y su definición de β.
MétodoDestilaciónLa destilación entrena a un modelo estudiante pequeño y económico para que se comporte como un modelo maestro grande en sus tareas, ya sea aprendiendo de las respuestas del maestro o de la evaluación que hace el maestro de las suyas propias.MétodoDestilación off-policy: el maestro escribe las respuestasEn la destilación fuera de política, el maestro responde a sus prompts y el estudiante se somete a un ajuste fino con esas respuestas, al igual que en el entrenamiento supervisado ordinario. El maestro y el estudiante pueden provenir de cualquier familia de modelos.ConfiguraciónAjustes de destilaciónMaestro, estudiante, los dos límites de longitud de respuesta y la divergencia β: qué hace cada ajuste de destilación, a qué ruta se aplica y cómo elegirlo.MétodoGRPO, paso a pasoLa Optimización de Políticas Relativas de Grupo puntúa varias respuestas al mismo prompt y refuerza aquellas que están por encima de la media del grupo. Reemplaza el modelo de valor separado de PPO con esa sencilla comparación.MétodoContinuación a partir de un modelo entrenadoUna ejecución de entrenamiento puede partir de los pesos de una de sus ejecuciones anteriores en lugar del modelo base, de modo que el modelo conserva lo que aprendió y añade lo que enseñan los nuevos datos. Así es como se construyen las recetas de varios pasos, como el ajuste supervisado seguido del ajuste por preferencias.MétodoLoRA y adaptadores (PEFT)LoRA congela el modelo base y entrena dos pequeñas matrices junto a las capas seleccionadas, cuyo producto se suma a los pesos congelados. Reduce drásticamente los pesos entrenables y la memoria y, si se configura bien, iguala al ajuste fino completo en conjuntos de datos de ajuste fino típicos.

Convierta semanas de trabajo experto en minutos

Vea cómo Scalata se adapta a su equipo, a sus datos y a sus Controles.

Contactar con ventas