Continuación a partir de un modelo entrenado

Qué es

Normalmente, una ejecución comienza desde el modelo base, el modelo preentrenado que usted eligió. En cambio, una ejecución continuada parte de los pesos producidos por una ejecución anterior suya, y los nuevos datos se aprenden sobre lo que aprendió esa ejecución. También lo verá denominado inicio en caliente, ajuste fino continuado o ajuste fino continuo. El modelo base subyacente no cambia, por lo que la ventana de contexto, el precio por token y el proveedor siguen siendo los mismos.

Modelo basepreentrenado

→evaluado frente a modelo baseEjecución supervisadaaprende la tarea

→evaluado frente a ejecución supervisadaEjecución de preferenciaspule las respuestas

Cada eslabón de una cadena parte de los pesos producidos por el eslabón anterior y se evalúa frente a ese predecesor, de modo que el resultado siempre mide lo que ha aportado este paso.

Por qué encadenar ejecuciones

Los distintos métodos enseñan cosas diferentes, y los resultados más sólidos suelen obtenerse al aplicarlos en secuencia, partiendo cada uno del resultado anterior.

Cadena	Qué aporta cada paso	Por qué este orden
Supervisado → preferencia (DPO)	La tarea, luego un estilo preferido	DPO clasifica las respuestas que el modelo ya puede dar; en un modelo base simple, ambas respuestas suelen estar igual de desinformadas
Supervisado → refuerzo (RFT)	La tarea, luego una mayor tasa de aciertos	RL solo refuerza las respuestas que el modelo acierta a veces
Destilación → supervisado	El conocimiento del maestro, luego el estilo de su equipo	La destilación enseña los hábitos del maestro; sus respuestas no son sus objetivos
Supervisado → supervisado	Más conocimiento: una nueva área de producto, más chats	Evita volver a entrenar todo desde cero
Supervisado → DPO → supervisado → DPO	Nuevo conocimiento en un modelo pulido, luego volver a pulir	Un entrenamiento supervisado intenso puede diluir el pulido de preferencias
Preentrenamiento continuo → supervisado	Conocimiento de sus documentos, luego cómo responder con él	El entrenamiento con texto sin procesar enseña hechos, no comportamiento; los chats o las preguntas y respuestas generadas enseñan luego a responder

Cómo funciona a nivel interno

Modelo abierto con un adaptador LoRA

pesos base W+adaptador de la ejecución 1→modelo fusionado W₁W₁ = W + B₁A₁→la ejecución 2 entrena un nuevo adaptador sobre W₁→fusionado de nuevo, guardado como un modelo completo

Modelo alojado

su modelo ajustado (por su id)→un nuevo trabajo se inicia en caliente a partir de él→un nuevo modelo ajustado

Mismo proveedor, mismo modelo base y, a veces, el mismo nivel de entrenamiento que la ejecución de la que continúa.

Dos formas en las que una ejecución continúa a partir de una anterior. En ambos casos, el nuevo entrenamiento comienza desde los pesos que produjo la ejecución anterior, nunca desde el modelo base original.

Modelos alojados. El proveedor continúa un nuevo trabajo a partir de su modelo ajustado anteriormente, nombrado por su id, o realiza un inicio en caliente desde su adaptador guardado. Las reglas son las del proveedor: el mismo modelo base y, en algunos, el mismo nivel de entrenamiento que utilizó la ejecución anterior.

Modelos abiertos entrenados con LoRA. Una ejecución LoRA no cambia los pesos base W; entrena un pequeño adaptador cuyo producto B·A se les suma. Para continuar, el adaptador anterior primero se fusiona con la base, W₁ = W + B₁A₁ (escalado por el factor α/r del adaptador), lo que da como resultado un modelo ordinario. La nueva ejecución entrena un adaptador nuevo sobre W₁, y al final ese adaptador también se fusiona y el resultado se guarda como un modelo completo.

Fusionar un adaptador LoRA antes de continuar

run 1 (LoRA):   W  stays frozen, adapter B₁A₁ is trained
merge:          W₁ = W + (α / r) · B₁A₁               # one ordinary model again
run 2 (LoRA):   W₁ stays frozen, adapter B₂A₂ is trained
merge + save:   W₂ = W₁ + (α / r) · B₂A₂              # saved as a complete model

Fusionar primero es importante porque un adaptador aprende una corrección para los pesos sobre los que se asienta. Al entrenarse sobre W₁, el nuevo adaptador se basa en el comportamiento de la primera ejecución en lugar de competir con él.

Olvido: lo que el nuevo entrenamiento puede deshacer

Entrenar con datos nuevos puede sobrescribir lo que una red aprendió antes, un efecto conocido como olvido catastrófico. Luo et al. (2023) lo observaron en modelos de lenguaje de 1B a 7B parámetros durante el ajuste continuo de instrucciones. También ocurre entre sus propias ejecuciones: un gran volumen de nuevo entrenamiento supervisado sobre un modelo ajustado por preferencias lo empuja de nuevo a copiar respuestas de ejemplo y puede diluir en parte el pulido de preferencias.

Mantenga cada paso enfocado. Una pasada corta de preferencias después de un nuevo entrenamiento supervisado restaura el pulido de forma más económica que una enorme ejecución combinada.
LoRA ayuda. Biderman et al. (2024) descubrieron que LoRA aprende menos que el ajuste fino completo en un nuevo dominio, pero olvida menos del antiguo: un intercambio útil cuando el objetivo es añadir, no reemplazar.
Mezcle datos anteriores al añadir nuevo conocimiento, para que el comportamiento antiguo se siga practicando.
Reevalúe cada eslabón. Una regresión se hace evidente cuando el nuevo modelo se compara con su predecesor.

Medición de cada eslabón

Una ejecución continuada se evalúa frente al modelo del que partió, no frente a la base simple. Una victoria sobre la base reflejaría principalmente los pasos anteriores; una victoria sobre el modelo padre es lo que aportó este paso. Una cadena se juzga eslabón por eslabón, y un eslabón que no supera a su modelo padre es una hipótesis fallida: conserve el modelo padre y archive el intento.

Una cadena de cuatro eslabones (ilustrativa)

Ejecución A: supervisada en 400 chats de soporte, desde la base. Evaluada frente a la base: gana claramente.
Ejecución B: DPO en 120 pares, continuada desde A. Evaluada frente a A: 11 victorias, 6 derrotas, 3 empates. Mantener B.
Ejecución C: supervisada en 150 nuevos chats sobre una nueva función, continuada desde B. Evaluada frente a B: mejor en la nueva función, pero el juez señala que las respuestas perdieron parte de la concisión de B.
Ejecución D: una pasada corta de DPO, continuada desde C. Evaluada frente a C: recupera la concisión. D es el modelo a utilizar; A, B y C permanecen en el registro o en el Archivo.

Puntos de partida permitidos

Nueva ejecución	Puede empezar desde	Por qué
Supervisado	El modelo base, o cualquier ejecución entrenada	Añadir nuevos conocimientos a lo que ya tiene
Preferencia (DPO)	El modelo base, o solo una ejecución supervisada	Pulir un modelo que ha aprendido la tarea; DPO sobre DPO con los mismos pares solo sobreajusta
Refuerzo (RFT)	El modelo base, o una ejecución supervisada	RL necesita un modelo que ya acierte algunas respuestas

Una segunda ronda de DPO sobre pares nuevos recopilados del modelo de la primera ronda, conocida como DPO iterativo, es una técnica válida, pero requiere un nuevo paso de recopilación de pares entre rondas y aún no se ofrece.

Errores comunes

Evaluar una ejecución continuada frente al modelo base simple; esto atribuye a este paso el trabajo de los pasos anteriores.
Volver a ejecutar DPO sobre los mismos pares de un modelo DPO. Son solo más épocas sobre los mismos datos y tiende a sobreajustar.
Acumular una gran ejecución supervisada sobre un modelo pulido sin volver a pulirlo después.
Esperar cambiar de modelo base a mitad de la cadena. Una ejecución continuada mantiene el modelo base y el proveedor de su modelo padre.
Iniciar RL o DPO desde la base simple cuando ya existe una buena ejecución supervisada.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.