Destilación

Qué es

Un modelo de gran tamaño suele ser lo suficientemente bueno para una tarea, pero demasiado lento o costoso para ejecutarse a escala. La destilación transfiere lo que hace en su tarea a un modelo mucho más pequeño. El grande es el maestro, el pequeño es el estudiante, y el estudiante se entrena con los resultados del maestro en lugar de, o además de, las respuestas escritas por humanos.

La idea es anterior a los modelos de lenguaje. El artículo de 2015 de Hinton, Vinyals y Dean, «Distilling the Knowledge in a Neural Network», demostró que una red pequeña aprende mucho más de las probabilidades de salida completas de un modelo grande, a las que llamaron objetivos suaves, que solo de las etiquetas correctas.

Por qué las probabilidades de un maestro enseñan más

Una etiqueta correcta solo indica qué respuesta era la acertada. Las probabilidades de un maestro también indican cuán equivocada estaba cada respuesta incorrecta. El ejemplo de Hinton: una imagen de un BMW puede tener solo una pequeña probabilidad de confundirse con un camión de basura, pero sigue siendo muchas veces más probable que confundirla con una zanahoria. Ese patrón de cuasiaciertos describe cómo el maestro ve el problema, y un estudiante que lo aprende generaliza mejor a partir de menos ejemplos.

Para un modelo de lenguaje, lo mismo se aplica a cada token. Al continuar «Su factura se adjunta como un…», un maestro podría asignar PDF 86 %, CSV 7 %, archivo 4 %. Entrenar con el texto del maestro conserva únicamente «PDF». Entrenar con su distribución también enseña que CSV era una alternativa razonable y que la mayoría de las demás palabras no lo eran.

La temperatura controla cuánto de ese detalle sobrevive. Las probabilidades provienen de una función softmax sobre las puntuaciones brutas del modelo (logits); dividir los logits por una temperatura T superior a 1 aplana la distribución, manteniendo la clasificación pero haciendo que las probabilidades pequeñas sean lo suficientemente grandes como para influir en el entrenamiento. Hinton et al. utilizaron la misma temperatura alta para el maestro y el estudiante, y multiplicaron la pérdida del objetivo suave por T² porque sus gradientes se reducen en 1/T² a medida que T aumenta.

p_i = exp(z_i / T) / Σ_j exp(z_j / T)        # z = the model's raw scores (logits)

T = 1   PDF 0.86   CSV 0.07   file 0.04   link 0.02   zip 0.01
T = 3   PDF 0.43   CSV 0.19   file 0.16   link 0.12   zip 0.10    # same order, softer

Dos formas de destilar un modelo de lenguaje

Con los modelos de lenguaje existen dos rutas prácticas, y difieren en de quién son las respuestas de las que aprende el estudiante.

La destilación off-policy es la forma en que DeepSeek construyó sus modelos R1 pequeños: se utilizaron alrededor de 800.000 muestras generadas con DeepSeek-R1 para ajustar los modelos Qwen y Llama únicamente con entrenamiento supervisado, sin RL. Su modelo destilado de 32B superó claramente al mismo modelo base entrenado directamente con RL a gran escala. Cuando existe un maestro fuerte, copiarlo suele ser un mejor uso de la capacidad de cálculo que hacer que un modelo pequeño descubra todo por ensayo y error.

Cuándo utilizarla

• Busca un modelo más económico y rápido que responda como uno de mayor tamaño sobre su tema.
• Tiene muchas preguntas pero pocas respuestas bien redactadas: el maestro proporciona las respuestas.
• Un modelo grande ya hace bien el trabajo, pero su coste o latencia es demasiado alto a escala.

Y cuándo no hacerlo: si ningún modelo, por grande que sea, responde bien a sus preguntas porque dependen de su producto o conocimiento interno, la destilación no tiene nada que transferir. Entrene primero con sus propias respuestas.

Errores comunes

• Destilar a partir de un maestro que no ha evaluado en sus preguntas. Sus errores también se aprenden.
• Esperar que el estudiante supere al maestro.
• Esperar su estilo corporativo. Ambas rutas enseñan el estilo del maestro; sus respuestas son, como máximo, ejemplos para el maestro.
• Destilar cuando el maestro y el estudiante ya responden casi igual de bien; hay poco que transferir.
• Utilizar unas pocas docenas de prompts en la ruta off-policy. Esa cantidad de texto del maestro rara vez cambia los hábitos de un modelo.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

1. 01Distilling the Knowledge in a Neural Network↗Hinton, Vinyals & Dean, 2015 · arXiv · arxiv.orgEl artículo que dio nombre a la destilación: objetivos suaves, temperatura y el factor T².
2. 02Sequence-Level Knowledge Distillation↗Kim & Rush, 2016 · arXiv · arxiv.orgDestilar mediante el entrenamiento en las secuencias generadas por el maestro, la base de la destilación off-policy.
3. 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning↗DeepSeek-AI, 2025 · arXiv · arxiv.orgModelos pequeños destilados de R1 únicamente con entrenamiento supervisado, en comparación con RL sobre las mismas bases.
4. 04Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?↗Yue et al., 2025 · arXiv · arxiv.orgDescubre que la destilación, a diferencia del RL, puede aportar patrones de razonamiento genuinamente nuevos a un modelo.

Conceptos relacionados