PróximamenteEl Entrenamiento de modelos estará disponible pronto en Scalata Enterprise. Enseñe a un modelo a responder como lo hace su equipo.Ver próximas novedades

Recursos/Entrenamiento de modelos/Métodos de entrenamiento

Método

Destilación off-policy: el maestro escribe las respuestas

En la destilación fuera de política, el maestro responde a sus prompts y el estudiante se somete a un ajuste fino con esas respuestas, al igual que en el entrenamiento supervisado ordinario. El maestro y el estudiante pueden provenir de cualquier familia de modelos.

Capítulo 74 min de lectura4 referencias

Cómo funciona

  1. Prompts. El lado del usuario en sus chats. Una conversación con tres de sus respuestas se convierte en tres filas de prompts, cada una de las cuales contiene la conversación hasta esa respuesta, de modo que el maestro responde de la forma en que realmente se desarrolló la conversación.
  2. Respuestas del maestro. El maestro redacta una respuesta completa para cada prompt. Sus propias respuestas pueden incluirse como ejemplos de referencia, para que el maestro vea cómo responde usted. Algunos servicios también generan prompts similares para ampliar la cobertura (síntesis de datos).
  3. Entrenamiento del estudiante. El estudiante se somete a un ajuste fino basado en el prompt → respuesta del maestro, exactamente igual que en el ajuste fino supervisado, aplicando la pérdida únicamente a los tokens de la respuesta.
Método 1 · el maestro escribe las respuestas
su prompt→maestro (grande)→texto completo de la respuesta→el estudiante aprende prompt → respuesta

Cualquier familia de modelos. Solo se transfiere el texto. Se entrena exactamente igual que el ajuste fino supervisado.

Método 2 · el maestro califica la respuesta del propio estudiante
su prompt→el estudiante escribe→el maestro puntúa cada token→el estudiante se acerca al maestro

Requiere el mismo tokenizador, por lo que el maestro suele ser un modelo más grande de la misma familia. Aprende de sus propios errores.

La destilación off-policy pasa el texto terminado del maestro al estudiante. La destilación on-policy permite al estudiante escribir y luego le muestra, token a token, lo que el maestro habría dicho en su lugar.
Una fila enviada al servicio: solo el prompt, que termina con el mensaje del usuario
{"messages": [
  {"role": "system",    "content": "You are Scalata's support assistant."},
  {"role": "user",      "content": "How do I share a report with a client?"},
  {"role": "assistant", "content": "Open the report → Share → pick the client."},
  {"role": "user",      "content": "Does the client need an account?"}
]}

En la literatura de investigación, esto se conoce como destilación de conocimiento a nivel de secuencia (Kim y Rush, 2016): en lugar de igualar las probabilidades del maestro token por token, el estudiante aprende de la única secuencia que el maestro produjo realmente. Renuncia al detalle de los objetivos suaves, pero no necesita nada del maestro excepto texto. Por este motivo lo utilizan los servicios gestionados: el maestro puede ser un modelo alojado al que solo se puede acceder a través de una API.

Por qué «fuera de política»

Política es el término del aprendizaje por refuerzo para referirse a la forma en que un modelo elige los tokens. Aquí, las respuestas de entrenamiento provienen de una política diferente, la del maestro, por lo que el estudiante aprende fuera de política. Esto tiene un coste conocido, denominado sesgo de exposición o desajuste entre entrenamiento e inferencia. Durante el entrenamiento, el estudiante siempre continúa a partir del prefijo impecable del maestro. En el uso real, continúa a partir de sus propios tokens anteriores, incluidos los errores, y nunca ha practicado cómo recuperarse de ellos. Un pequeño desliz inicial puede llevarlo a un punto al que las respuestas del maestro nunca llegaron.

La destilación en política existe para solucionar exactamente esto. La opción fuera de política sigue siendo la alternativa práctica siempre que el maestro y el estudiante provengan de diferentes familias de modelos, o cuando el maestro solo esté disponible en formato de texto.

Ejemplo práctico

En qué se convierte una conversación
  1. Un chat: el usuario pregunta cómo compartir un informe, usted responde; pregunta si el cliente necesita una cuenta, usted responde; pregunta cuándo caduca el enlace, usted responde.
  2. Tres filas de prompts: (1) la primera pregunta; (2) la primera pregunta, su primera respuesta y la segunda pregunta; (3) todo hasta la tercera pregunta.
  3. El maestro redacta tres respuestas. Las respuestas anteriores dentro de las filas 2 y 3 son suyas, conservadas como contexto, de modo que el maestro continúa la conversación de usted en lugar de la suya propia.
  4. El estudiante se entrena con tres ejemplos: cada fila de prompt → la respuesta del maestro a la misma.
  5. Coste: la inferencia del maestro para tres respuestas (tokens de entrada y salida), más los tokens de entrenamiento del estudiante (prompts más las respuestas del maestro, × épocas).

Cómo aprovecharlo al máximo

  • Elija el modelo maestro mediante evaluación. Compare primero al maestro y al estudiante en sus preguntas reservadas. Si el estudiante ya está cerca, hay poco que ganar.
  • El volumen importa. Cada respuesta del maestro es un ejemplo, y un modelo pequeño necesita muchos para cambiar sus hábitos. Unas pocas docenas de prompts rara vez lo logran; planifique cientos o más, o utilice la síntesis de prompts del servicio.
  • Tenga en cuenta la longitud y el estilo del maestro. El estudiante los aprende. Un maestro que escribe 300 palabras donde su equipo escribe 50 produce un estudiante que hace lo mismo. Los ejemplos de referencia ayudan; una pasada supervisada sobre sus respuestas posteriores ayuda más.
  • Los maestros que razonan escriben un razonamiento largo antes de la respuesta. Eso es valioso para problemas complejos de varios pasos, pero resulta en ruido costoso para respuestas cortas de soporte.

Errores comunes

  • Muy pocos prompts para que el estudiante cambie sus hábitos.
  • Olvidar que cada error del maestro se convierte en un ejemplo de entrenamiento.
  • Esperar su propio estilo sin ejemplos de referencia ni una pasada supervisada posterior.
  • Comparar al estudiante destilado únicamente con el maestro. Compárelo también con el estudiante base: eso demuestra lo que aportó la destilación.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

  1. 01Sequence-Level Knowledge DistillationKim & Rush, 2016 · arXiv · arxiv.orgEl método: entrenar al estudiante con las secuencias generadas por el maestro.
  2. 02Distilling the Knowledge in a Neural NetworkHinton, Vinyals & Dean, 2015 · arXiv · arxiv.orgLa destilación original de objetivos suaves que la versión a nivel de secuencia simplifica.
  3. 03DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-AI, 2025 · arXiv · arxiv.orgUn ejemplo a gran escala: 800.000 muestras de R1 destiladas en modelos Qwen y Llama pequeños.
  4. 04On-Policy Distillation of Language Models: Learning from Self-Generated MistakesAgarwal et al., 2024 · ICLR / arXiv · arxiv.orgExplica el desajuste entre entrenamiento e inferencia que sufre la destilación fuera de política.
MétodoDestilaciónLa destilación entrena a un modelo estudiante pequeño y económico para que se comporte como un modelo maestro grande en sus tareas, ya sea aprendiendo de las respuestas del maestro o de la evaluación que hace el maestro de las suyas propias.MétodoDestilación on-policy: el profesor califica al estudianteEn la destilación on-policy, el estudiante redacta sus propias respuestas y el profesor evalúa cada token de las mismas, de modo que el estudiante aprende exactamente dónde se equivoca. El profesor y el estudiante deben compartir un vocabulario.ConfiguraciónAjustes de destilaciónMaestro, estudiante, los dos límites de longitud de respuesta y la divergencia β: qué hace cada ajuste de destilación, a qué ruta se aplica y cómo elegirlo.MétodoAjuste fino supervisado (SFT)El ajuste fino supervisado enseña a un modelo mediante ejemplos: se le muestra una conversación y la respuesta deseada, y sus pesos se ajustan para que dicha respuesta sea más probable, token por token.ConceptoPor qué los tokens determinan el costeCómo los recuentos de tokens se convierten en el precio de entrenamiento y de uso de un modelo, con números calculados, y qué factores reducen realmente la factura.MétodoContinuación a partir de un modelo entrenadoUna ejecución de entrenamiento puede partir de los pesos de una de sus ejecuciones anteriores en lugar del modelo base, de modo que el modelo conserva lo que aprendió y añade lo que enseñan los nuevos datos. Así es como se construyen las recetas de varios pasos, como el ajuste supervisado seguido del ajuste por preferencias.

Convierta semanas de trabajo experto en minutos

Vea cómo Scalata se adapta a su equipo, a sus datos y a sus Controles.

Contactar con ventas