PróximamenteEl Entrenamiento de modelos estará disponible pronto en Scalata Enterprise. Enseñe a un modelo a responder como lo hace su equipo.Ver próximas novedades

Recursos/Entrenamiento de modelos/Qué ocurre durante el entrenamiento

Configuración

Tasa de aprendizaje

La tasa de aprendizaje establece cuánto se mueven los pesos en cada actualización. Es la configuración de entrenamiento más sensible: si es demasiado alta, se excede y puede borrar habilidades; si es demasiado baja, apenas cambia el modelo. Una programación suele calentarla y luego reducirla a lo largo de la ejecución.

Capítulo 65 min de lectura5 referencias

Qué es

Cada paso de entrenamiento calcula, para cada peso, qué dirección reduciría la pérdida. La tasa de aprendizaje decide hasta dónde avanzar en esa dirección. Es un único número, normalmente escrito en notación científica: 1e-5 significa 0,00001. Parece minúsculo porque un modelo tiene miles de millones de pesos y cada paso los mueve todos a la vez; los pequeños cambios individuales se suman para lograr un gran cambio en el comportamiento.

La actualización y cómo interpretar la notación
new weight = old weight − learning rate × (gradient, as scaled by the optimizer)

1e-4 = 0.0001      2e-5 = 0.00002      1e-5 = 0.00001

Con Adam y AdamW, el gradiente se normaliza primero por peso, por lo que la tasa de aprendizaje se acerca al tamaño real del cambio de cada peso por paso, independientemente del tamaño bruto del gradiente. Por eso las tasas típicas se mantienen razonablemente entre modelos de tamaño similar, y por qué una tasa diez veces mayor es un problema grave en lugar de uno menor.

Demasiado baja, adecuada, demasiado alta

pérdida de entrenamientopasos de entrenamiento →demasiado bajoadecuadodemasiado altaaltobajo
Los mismos datos entrenados con tres tasas de aprendizaje. Demasiado baja: la pérdida desciende lentamente y la ejecución termina antes de que el modelo haya aprendido mucho. Adecuada: una caída rápida, seguida de un aplanamiento constante. Demasiado alta: un inicio rápido, seguido de una curva irregular que vuelve a subir a medida que las actualizaciones se exceden.
Lo que observaCausa probablePruebe
La pérdida cae muy lentamente; las respuestas apenas difieren del modelo baseDemasiado bajaAuméntela, p. ej., con un multiplicador de 1,5–2
Una caída rápida, seguida de un aplanamiento suave que sigue la pérdida de validaciónAdecuadaManténgala
La pérdida es irregular, tiene picos o vuelve a subir; las respuestas se vuelven repetitivas o extrañasDemasiado altaRedúzcala a la mitad; añada o alargue el calentamiento
La pérdida de entrenamiento cae rápido pero la pérdida de validación aumenta prontoDemasiado alta para este tamaño de datos, o demasiadas épocasReduzca la tasa o el número de épocas
La pérdida se convierte en NaN (no es un número)Excesivamente alta, o un problema numéricoRedúzcala sustancialmente

Una tasa demasiado alta también empeora el olvido: las actualizaciones grandes sobrescriben las habilidades generales que tenía el modelo base, incluso cuando la pérdida en sus datos parece correcta.

Programaciones: calentamiento y decaimiento

  • Calentamiento. Durante los primeros porcentajes de pasos, la tasa asciende linealmente desde casi cero hasta su punto máximo. Al principio, los promedios móviles de Adam se basan en muy pocos gradientes, por lo que los pasos de tamaño completo corren el riesgo de un mal primer movimiento. El calentamiento gradual se popularizó para el entrenamiento con lotes grandes y ahora es una práctica estándar.
  • Decaimiento. Después del pico, la tasa disminuye hacia cero, de modo que las últimas actualizaciones realizan ajustes finos en lugar de saltar alrededor de una buena solución. El decaimiento lineal la reduce en línea recta y es el valor predeterminado en el Trainer de Hugging Face. El decaimiento coseno sigue media onda cosenoidal: se mantiene alta durante más tiempo y luego disminuye.
  • Constante. Algunas ejecuciones cortas mantienen la tasa plana después del calentamiento. Es simple y adecuado cuando solo hay unos pocos pasos.
CALENTAMIENTOtasa de aprendizaje máximadecaimiento cosenoidaldecaimiento linealtasa de aprendizajepasos de entrenamiento →010%100%
Un programa típico de tasa de aprendizaje. El calentamiento eleva la tasa desde casi cero hasta su punto máximo durante el primer porcentaje de pasos, de modo que las primeras actualizaciones, que son las más ruidosas, sean pequeñas. Luego, la tasa decae hacia cero, mediante una curva cosenoidal o una línea recta, para que las últimas actualizaciones realicen ajustes finos en lugar de grandes saltos.
Calentamiento, seguido de decaimiento lineal o cosenoidal
warm-up (step < W):  lr = peak × step / W
linear decay:        lr = peak × (T − step) / (T − W)
cosine decay:        lr = peak × ½ × (1 + cos(π × (step − W) / (T − W)))

W = warm-up steps,  T = total steps

Valores típicos

Tipo de entrenamientoTasa de aprendizaje típica
Ajuste fino completo de un modelo de lenguaje (AdamW)Alrededor de 1e-5
Adaptador LoRAAlrededor de 1e-4 a 2e-4, aproximadamente 10 veces la tasa de ajuste fino completo
Ajuste de preferencias (DPO)Inferior a la ejecución supervisada correspondiente
Ajuste fino por refuerzoPasos mucho más pequeños; alrededor de 1e-5 con LoRA
Modelos alojados con un multiplicadorValor predeterminado del proveedor × 0.5–2

Estos son puntos de partida, no reglas. La mejor tasa depende del modelo, los datos y el tamaño del lote, y la única forma fiable de encontrarla es realizar algunas ejecuciones y compararlas en función de la pérdida de validación y la evaluación.

Por qué los métodos de preferencia y aprendizaje por refuerzo utilizan pasos más pequeños

El entrenamiento supervisado aprende de respuestas fijas y correctas. El ajuste de preferencias y el aprendizaje por refuerzo aprenden de comparaciones y puntuaciones de los propios resultados del modelo, una señal con más ruido, y su propósito suele ser pulir un modelo que ya funciona. Los pasos grandes lo alejarían de ese punto de partida, donde las respuestas pueden desviarse, alargarse o empezar a manipular lo que la señal recompensa. Las tasas más pequeñas mantienen cada actualización moderada.

Qué significa un multiplicador en la práctica
  1. Supongamos que la tasa predeterminada del proveedor para este modelo y conjunto de datos es 2e-5. Los proveedores alojados no suelen mostrarla.
  2. Multiplicador 1: la ejecución utiliza 2e-5.
  3. Multiplicador 2: 4e-5. Vale la pena probarlo cuando una ejecución completa apenas ha modificado el modelo.
  4. Multiplicador 0.5: 1e-5. Vale la pena probarlo cuando la pérdida de validación aumentó pronto, o cuando las respuestas a preguntas generales empeoraron en comparación con las del modelo base.
  5. Realice ajustes en factores de aproximadamente 2. Los ajustes más pequeños suelen perderse en el ruido entre ejecuciones.

Errores comunes

  • Aumentar la tasa de aprendizaje para que un conjunto de datos pequeño enseñe más. Principalmente añade inestabilidad; disponer de más o mejores datos resulta más útil.
  • Utilizar una tasa de ajuste fino completo para LoRA, o una tasa de LoRA para un ajuste fino completo: uno apenas aprende, el otro puede dañar el modelo.
  • Omitir el calentamiento con una tasa alta, lo que hace que las primeras actualizaciones sean las más grandes y las menos fundamentadas.
  • Juzgar la tasa únicamente por la pérdida de entrenamiento. Una tasa demasiado alta puede seguir mostrando una caída en la pérdida de entrenamiento mientras que la pérdida de validación y las respuestas empeoran.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

  1. 01OptimizationHugging Face Transformers docs · huggingface.coAdamW y las programaciones estándar (lineal, coseno, constante con calentamiento) tal como se implementan.
  2. 02SGDR: Stochastic Gradient Descent with Warm RestartsLoshchilov & Hutter, 2016 · arXiv · arxiv.orgIntrodujo la programación de la tasa de aprendizaje coseno que ahora se utiliza en todo el entrenamiento de modelos de lenguaje.
  3. 03Accurate, Large Minibatch SGD: Training ImageNet in 1 HourGoyal et al., 2017 · arXiv · arxiv.orgPor qué un calentamiento gradual estabiliza el inicio del entrenamiento.
  4. 04LoRA Without RegretThinking Machines Lab, 2025 · thinkingmachines.aiMide la mejor tasa de aprendizaje de LoRA en aproximadamente diez veces la tasa de ajuste fino completo.
  5. 05Learning rateWikipedia · en.wikipedia.org
ConfiguraciónHiperparámetrosLos hiperparámetros son los ajustes de entrenamiento que usted elige, como las épocas, la tasa de aprendizaje, el tamaño del lote y el rango del adaptador, a diferencia de los pesos que el modelo aprende. Auto los selecciona a partir de sus datos y realiza una buena primera ejecución; esta página explica cada uno para que pueda ajustarlos a partir de ahí.ConceptoEl bucle de entrenamientoEl ajuste fino es un procedimiento breve que se repite miles de veces: predecir la respuesta objetivo, medir el margen de error de la predicción, calcular en qué dirección debe moverse cada peso y moverlo un poco.MétricaInterpretación de las curvas de pérdidaLa pérdida de entrenamiento muestra hasta qué punto el modelo se ajusta a los ejemplos de los que aprende; la pérdida de validación muestra su capacidad para predecir ejemplos reservados con los que nunca se entrenó. La brecha entre ambas curvas es la señal más útil que le ofrece una ejecución de entrenamiento.MétodoLoRA y adaptadores (PEFT)LoRA congela el modelo base y entrena dos pequeñas matrices junto a las capas seleccionadas, cuyo producto se suma a los pesos congelados. Reduce drásticamente los pesos entrenables y la memoria y, si se configura bien, iguala al ajuste fino completo en conjuntos de datos de ajuste fino típicos.MétricaSobreajuste y subajusteEl sobreajuste ocurre cuando un modelo memoriza sus ejemplos de entrenamiento en lugar de aprender el patrón que los respalda, por lo que funciona bien con esos ejemplos y peor con los nuevos. El subajuste es lo contrario: no ha aprendido el patrón en absoluto.MétodoAjuste de preferencias (DPO)La optimización directa de preferencias entrena un modelo con pares de respuestas, una mejor y otra peor, para que aprenda a preferir las mejores, sin el modelo de recompensa ni el ciclo de aprendizaje por refuerzo que requiere el RLHF clásico.

Convierta semanas de trabajo experto en minutos

Vea cómo Scalata se adapta a su equipo, a sus datos y a sus Controles.

Contactar con ventas