PróximamenteEl Entrenamiento de modelos estará disponible pronto en Scalata Enterprise. Enseñe a un modelo a responder como lo hace su equipo.Ver próximas novedades

Recursos/Entrenamiento de modelos/Métodos de entrenamiento

Configuración

Ajustes de destilación

Maestro, estudiante, los dos límites de longitud de respuesta y la divergencia β: qué hace cada ajuste de destilación, a qué ruta se aplica y cómo elegirlo.

Capítulo 75 min de lectura4 referencias

Qué configuración se aplica en cada caso

AjusteOff-policy (el maestro escribe)On-policy (el maestro evalúa)
Modelo maestroSíSí
Modelo estudianteSíSí
Longitud máxima de respuestaSí, en algunos serviciosNo
Longitud máxima de respuesta de prácticaNoSí
Divergencia βNoSí
Épocas, tasa de aprendizajeSíSí

La configuración

Modelo maestroTípico El maestro más capaz que pueda permitirse y que ya responda bien a sus preguntas#

El modelo cuyo comportamiento se transmite. Su calidad en sus preguntas establece el límite para el estudiante, y sus errores, longitud y estilo también se aprenden, por lo que debe evaluarlo frente al estudiante antes de destilar. Off-policy, cualquier maestro funciona porque solo se transfiere texto, pero los servicios gestionados solo permiten los pares maestro → estudiante de su lista. On-policy, el maestro debe compartir el vocabulario del estudiante, por lo que es un modelo más grande de la misma familia, y debe caber en la GPU junto al estudiante. Los maestros pensantes, que razonan extensamente antes de responder, son valiosos para problemas complejos de varios pasos; para respuestas cortas de chat, un maestro no pensante suele adaptarse mejor a un estudiante pequeño.

Modelo estudiante (modelo base)Típico El más pequeño que siga respondiendo bien#

El modelo más pequeño que se está entrenando, y el que usted implementará, por lo que determina el coste de ejecución y la velocidad. Un modelo más pequeño es más barato y rápido, pero tiene menos capacidad para absorber el comportamiento del maestro, y un estudiante rara vez supera a su maestro. En Scalata, el estudiante es el modelo base que usted elige; los modelos que no pueden ser estudiantes para el maestro o proveedor seleccionado aparecen atenuados junto con el motivo.

Longitud máxima de respuestaTípico Aproximadamente la longitud de una buena respuesta (p. ej., 1000)#

Off-policy, en los servicios que lo exponen: la respuesta más larga, en tokens, que el maestro puede escribir por prompt. Las respuestas más largas cuestan más tokens de salida del maestro y más tokens de entrenamiento del estudiante, y el estudiante aprende esa longitud. Si es demasiado corta, las respuestas del maestro se cortan y el estudiante aprende texto truncado.

Longitud máxima de respuesta de prácticaTípico Un poco por encima de la longitud de una buena respuesta (p. ej., 512)#

Solo on-policy: la respuesta más larga que el estudiante escribe por prompt en cada paso. La generación es la parte más lenta del paso, por lo que este es el principal factor que influye en el tiempo de GPU. Las respuestas que superan el límite se cortan, y el estudiante solo recibe retroalimentación sobre la parte que escribió.

Divergencia βTípico 1 (el valor predeterminado de la biblioteca)#

Solo on-policy: qué divergencia compara al estudiante y al maestro en cada token. 0 es KL directa: el estudiante intenta abarcar todo lo que el maestro podría decir, lo que produce respuestas más amplias y variadas que pueden desdibujarse entre opciones. 1 es KL inversa: el estudiante se concentra en la respuesta más probable del maestro, siendo más preciso y resolutivo. 0.5 es la divergencia de Jensen-Shannon, una mezcla simétrica, y los valores intermedios se interpolan. A diferencia de la β de KL en el ajuste fino por refuerzo, esta β no ancla el modelo a su inicio; elige la medida en sí.

Cómo elegir

Elección de un maestro y un estudiante (ilustrativo)
  1. Candidatos: un modelo de 7B que responde bien a sus preguntas de evaluación pero cuyo alojamiento es demasiado costoso, y modelos de 0.5B, 1.5B y 3B de la misma familia.
  2. Evalúe el modelo de 7B frente a cada uno. Supongamos que supera al de 0.5B en la mayoría de las preguntas, al de 1.5B en muchas, y casi empata con el de 3B.
  3. El de 3B tiene poco que aprender; el de 0.5B es el que más tiene que aprender, pero el que menos capacidad tiene para absorberlo. El de 1.5B es el primer estudiante natural.
  4. Al ser de la misma familia, la destilación on-policy es posible: una longitud de respuesta de práctica un poco superior a su respuesta habitual, β = 1, y una GPU que aloje tanto el modelo de 7B como el de 1.5B.
Qué hace β en un token
  1. El maestro, al continuar una respuesta, divide su probabilidad: «Sí» 50 %, «Claro» 40 %, cualquier otra cosa 10 %.
  2. Bajo la divergencia KL directa (β = 0), se presiona al estudiante para que mantenga como probables tanto «Sí» como «Claro», y se le penaliza severamente si asigna a cualquiera de las dos una probabilidad casi nula.
  3. Bajo la divergencia KL inversa (β = 1), se le penaliza severamente por cualquier cosa que el maestro considere improbable, y se conforma con concentrar la mayor parte de su peso únicamente en «Sí».
  4. A lo largo de miles de tokens, el primer enfoque genera un estudiante más variado y el segundo uno más coherente. Para respuestas breves y objetivas, la coherencia suele ser lo que se busca.
respuestas posibles →β = 0 · KL directaAbarca todo lo que el maestro podría decir y, por tanto, también da peso a la brecha entre sus respuestas. Más amplio, más variado, a veces impreciso.
respuestas posibles →β = 1 · KL inversaSe ciñe a la respuesta principal del maestro e ignora el resto. Más preciso y determinante, menos variado.
maestro (línea discontinua)estudiante (relleno)
Un estudiante pequeño no puede copiar a un maestro que tiene dos respuestas buenas. La divergencia KL directa hace que se expanda para abarcar ambas (cobertura de modas); la divergencia KL inversa hace que elija una y se ajuste bien a ella (búsqueda de modas). Un valor de β entre 0 y 1 combina ambas.

Qué determina el coste

  • Off-policy: la inferencia del modelo maestro (tokens de entrada y salida para cada respuesta que escribe) más el entrenamiento del modelo estudiante (prompts más las respuestas del maestro, × épocas). La longitud de la respuesta del maestro no se conoce de antemano, por lo que las estimaciones son un rango. La síntesis de prompts por parte del servicio incrementa ambas partes.
  • On-policy: tiempo de GPU. Cada paso genera respuestas y ejecuta ambos modelos, por lo que es más lento que el entrenamiento supervisado con los mismos datos, y la GPU debe alojar ambos.

Errores comunes

  • Elegir al maestro por su reputación en lugar de mediante una evaluación con sus propias preguntas.
  • Elegir un estudiante demasiado pequeño para retener lo que sabe el maestro.
  • Dejar la longitud máxima de respuesta del maestro muy por encima de su respuesta habitual: usted paga por la longitud y el estudiante la aprende.
  • Confundir las dos β. La β de destilación elige la divergencia; la β de KL del RFT es una penalización por desviación.
  • No presupuestar memoria de GPU para el maestro en una ejecución on-policy.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

  1. 01Distillation TrainerHugging Face TRL docs · huggingface.coDefine β (0 KL directa, 1 KL inversa, 0.5 JSD) y la longitud de finalización predeterminada.
  2. 02On-Policy Distillation of Language Models: Learning from Self-Generated MistakesAgarwal et al., 2024 · ICLR / arXiv · arxiv.orgExperimentos sobre cómo la elección de la divergencia equilibra la calidad frente a la diversidad.
  3. 03Kullback–Leibler divergenceWikipedia · en.wikipedia.orgLa definición de la divergencia KL y por qué difieren sus dos direcciones.
  4. 04Jensen–Shannon divergenceWikipedia · en.wikipedia.orgLa divergencia simétrica a la que corresponde β = 0.5.
MétodoDestilaciónLa destilación entrena a un modelo estudiante pequeño y económico para que se comporte como un modelo maestro grande en sus tareas, ya sea aprendiendo de las respuestas del maestro o de la evaluación que hace el maestro de las suyas propias.MétodoDestilación off-policy: el maestro escribe las respuestasEn la destilación fuera de política, el maestro responde a sus prompts y el estudiante se somete a un ajuste fino con esas respuestas, al igual que en el entrenamiento supervisado ordinario. El maestro y el estudiante pueden provenir de cualquier familia de modelos.MétodoDestilación on-policy: el profesor califica al estudianteEn la destilación on-policy, el estudiante redacta sus propias respuestas y el profesor evalúa cada token de las mismas, de modo que el estudiante aprende exactamente dónde se equivoca. El profesor y el estudiante deben compartir un vocabulario.ConfiguraciónAjustes de RFTLos seis ajustes de una ejecución de ajuste fino por refuerzo: qué puntúa las respuestas, cuántas respuestas escribe el modelo y qué longitud pueden tener, y cuán grande y anclada es cada actualización.ConfiguraciónHiperparámetrosLos hiperparámetros son los ajustes de entrenamiento que usted elige, como las épocas, la tasa de aprendizaje, el tamaño del lote y el rango del adaptador, a diferencia de los pesos que el modelo aprende. Auto los selecciona a partir de sus datos y realiza una buena primera ejecución; esta página explica cada uno para que pueda ajustarlos a partir de ahí.ConceptoCómo se factura el entrenamientoLa mayor parte del ajuste fino gestionado se factura por token procesado: los tokens del archivo de entrenamiento multiplicados por las épocas y por un precio. En cambio, los trabajos en GPU alquiladas se facturan por tiempo. El uso posterior del modelo supone un coste aparte.

Convierta semanas de trabajo experto en minutos

Vea cómo Scalata se adapta a su equipo, a sus datos y a sus Controles.

Contactar con ventas