PróximamenteEl Entrenamiento de modelos estará disponible pronto en Scalata Enterprise. Enseñe a un modelo a responder como lo hace su equipo.Ver próximas novedades

Recursos/Entrenamiento de modelos/Métodos de entrenamiento

Configuración

Ajustes de RFT

Los seis ajustes de una ejecución de ajuste fino por refuerzo: qué puntúa las respuestas, cuántas respuestas escribe el modelo y qué longitud pueden tener, y cuán grande y anclada es cada actualización.

Capítulo 76 min de lectura4 referencias

Cómo se integran las configuraciones

Una ejecución de refuerzo repite un ciclo: muestrear respuestas, puntuarlas, comparar, actualizar. Cada ajuste actúa en un punto de ese ciclo, por lo que la mayoría de los problemas en una ejecución pueden rastrearse hasta uno de ellos.

  1. 01Muestrearel modelo escribe N respuestas para cada prompt⚙ respuestas por prompt · longitud máxima de respuesta
  2. 02Puntuarel evaluador califica cada respuesta de 0 a 1⚙ evaluador · modelo juez
  3. 03Compararcada puntuación frente al promedio de su grupo⚙ nada que configurar: el grupo es la línea base
  4. 04Actualizarun pequeño paso hacia las respuestas por encima del promedio⚙ tasa de aprendizaje · KL β
Dónde actúa cada configuración en un paso de refuerzo. Las dos primeras determinan qué intenta el modelo y cómo se juzga; las dos últimas deciden cuánto puede avanzar en un solo paso.

Los ajustes

CalificadorTípico Modelo juez#

Lo que convierte cada respuesta en una puntuación de 0 a 1: un modelo juez, la similitud con su respuesta, una comprobación de números, comprobaciones de coincidencia exacta o una combinación. Es la definición de «mejor» para toda la ejecución, así que elíjalo en función de lo que realmente desea y compruébelo manualmente en algunas respuestas. La sección Calificadores explica cada opción.

Modelo juezTípico Un modelo potente y asequible#

Qué LLM realiza la puntuación cuando el evaluador incluye un juez. Un juez más potente clasifica las respuestas de forma más fiable, lo cual es más importante de lo habitual aquí porque GRPO convierte incluso las pequeñas diferencias de puntuación en actualizaciones completas. También tiene un coste mayor por llamada. Es preferible utilizar un modelo de una familia distinta a la del que se está entrenando, y reservar otro juez para la evaluación final.

Respuestas por prompt (N)Típico 4 (2–8)#

El tamaño del grupo: cuántas respuestas escribe el modelo para cada prompt por paso. Más respuestas ofrecen una imagen más clara de qué tipo de respuesta obtiene mejor puntuación y aumentan la probabilidad de que al menos una difiera del resto. También multiplican el tiempo de generación y los tokens de entrada del juez; el juez sigue haciendo una llamada por prompt. Con N = 2, cualquier diferencia se convierte en una señal completa de +1 / −1.

Longitud máxima de la respuestaTípico Un poco por encima de la longitud de una buena respuesta#

La respuesta más larga, en tokens, que el modelo puede escribir por intento. Una respuesta que alcanza el límite se corta a mitad de la frase y suele obtener una mala puntuación, lo que desperdicia el paso o enseña al modelo a ser breve por el motivo equivocado. Establézcalo un poco por encima de la longitud de una buena respuesta: un token equivale aproximadamente a ¾ de una palabra, por lo que una respuesta de 150 palabras son unos 200 tokens. Los modelos de razonamiento escriben reflexiones largas antes de responder; Scalata desactiva el razonamiento para ellos durante el RL para que el presupuesto se destine a la respuesta.

Tasa de aprendizajeTípico ≈ 1e-5 con LoRA#

El tamaño de cada actualización. Los pasos de RL son mucho más pequeños que los supervisados: la señal es más ruidosa (puntuaciones de los propios intentos del modelo en lugar de una respuesta correcta) y los datos cambian a medida que lo hace el modelo, por lo que un paso grande puede llevarlo a un punto del que sus siguientes respuestas no puedan recuperarse. Con LoRA, una tasa de alrededor de 1e-5 es un inicio común; el RL de pesos completos suele utilizar alrededor de 1e-6, como hizo DeepSeekMath.

KL βTípico 0; auméntelo si las respuestas se degradan#

Con qué firmeza se mantiene el modelo cerca de su punto de partida. En cada paso, se resta del objetivo β × la divergencia KL entre el modelo entrenado y una copia congelada del inicio. 0 significa que no hay penalización; es el valor predeterminado actual en TRL y también evita cargar la copia congelada. DeepSeekMath utilizó 0.04. Auméntelo desde 0 si las respuestas empiezan a desviarse de formas que el evaluador no penaliza: frases extrañas, formato roto, cambio de idioma o pérdida de habilidades generales.

Ejemplos prácticos

Cómo el tamaño del grupo cambia la probabilidad de una señal
  1. Tome un evaluador de aprobado/reprobado y un modelo que acierta un prompt el 10% de las veces. Un grupo solo enseña algo si sus respuestas difieren.
  2. N = 2: todos fallan con una probabilidad de 0.9² = 0.81 y todos aprueban con 0.01, por lo que solo alrededor del 18% de los prompts proporcionan una señal.
  3. N = 4: todos fallan con una probabilidad de 0,9⁴ ≈ 0,66, por lo que aproximadamente el 34 % da una señal.
  4. N = 8: 0,9⁸ ≈ 0,43, por lo que aproximadamente el 57 % da una señal, con el doble de tiempo de generación que N = 4.
  5. Si el modelo acierta la mitad de las veces, N = 4 ya da una señal en aproximadamente el 88 % de los prompts (solo 1 grupo de cada 8 aprueba o falla en su totalidad). Los grupos más grandes son más útiles cuando las respuestas correctas son escasas.
Qué mide KL, en números
  1. Tome una decisión en la que el modelo inicial responda «Sí» o «No» con un 50 % de probabilidad cada uno.
  2. Después del entrenamiento, responde «Sí» el 80 % de las veces. KL desde el inicio = 0,8 × ln(0,8 ÷ 0,5) + 0,2 × ln(0,2 ÷ 0,5) ≈ 0,19.
  3. Si alcanza un 99 % de certeza: 0,99 × ln(0,99 ÷ 0,5) + 0,01 × ln(0,01 ÷ 0,5) ≈ 0,64. El coste aumenta rápidamente a medida que el modelo adquiere certeza donde inicialmente estaba indeciso.
  4. Con β = 0,04, estos cuestan alrededor de 0,008 y 0,025 por token, sumados a lo largo de cada token de una respuesta: es pequeño para un solo token, pero notable cuando cambia el estilo de toda una respuesta.
Elección del límite de respuesta
  1. Sus respuestas de referencia tienen un promedio de unas 120 palabras; las más largas tienen unas 250.
  2. 120 palabras ≈ 160 tokens; 250 palabras ≈ 330 tokens.
  3. Un límite de 384–512 tokens deja espacio para una respuesta completa. Observe la proporción de recortes en los primeros pasos: si más de un pequeño porcentaje de las respuestas alcanza el límite, auméntelo o solicite respuestas más cortas en el prompt del sistema.

Una primera ejecución sensata

  • Comience desde una ejecución supervisada, no desde el modelo base simple, a menos que este ya responda a sus preguntas razonablemente bien.
  • Calificador: un modelo juez (o juez + números para cálculos), con un juez sólido y asequible.
  • N = 4, longitud máxima de respuesta un poco por encima de su respuesta típica, tasa de aprendizaje de alrededor de 1e-5 con LoRA, KL β = 0.
  • Primero a pequeña escala: unas pocas docenas de prompts y una época, luego lea los grupos y el gráfico de recompensas antes de ampliar la escala.

Errores comunes

  • Aumentar N para solucionar una recompensa plana. Si el modelo nunca produce una buena respuesta, más intentos de la misma calidad no ayudan; comience desde un modelo mejor.
  • Una longitud máxima de respuesta inferior a su respuesta típica. Las respuestas completas se cortan y el modelo aprende de texto truncado.
  • Usar una tasa de aprendizaje de entrenamiento supervisado. Los pasos grandes de RL pueden arruinar el resultado del modelo en unos pocos pasos.
  • Comenzar con un KL β grande. El modelo apenas se mueve; comience en 0 y auméntelo solo si las respuestas se degradan.
  • Calificar con el mismo juez con el que evaluará.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

  1. 01GRPO TrainerHugging Face TRL docs · huggingface.coValores predeterminados y significado del tamaño del grupo, la longitud de finalización, β y las variantes de pérdida.
  2. 02DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language ModelsShao et al., 2024 · arXiv · arxiv.orgLos ajustes originales de GRPO: tasa de aprendizaje de 1e-6, coeficiente KL de 0,04, 64 respuestas por pregunta.
  3. 03Training language models to follow instructions with human feedbackOuyang et al., 2022 · arXiv · arxiv.orgCómo una penalización KL mantiene un modelo ajustado por RL cerca de su punto de partida supervisado.
  4. 04Kullback–Leibler divergenceWikipedia · en.wikipedia.orgLa definición y por qué KL no es simétrico.
MétodoAjuste fino por refuerzo (RFT)El ajuste fino por refuerzo entrena un modelo basándose en puntuaciones en lugar de respuestas de ejemplo: responde a cada prompt varias veces, un evaluador puntúa cada intento y el modelo se inclina hacia lo que obtuvo mejor puntuación.MétodoGRPO, paso a pasoLa Optimización de Políticas Relativas de Grupo puntúa varias respuestas al mismo prompt y refuerza aquellas que están por encima de la media del grupo. Reemplaza el modelo de valor separado de PPO con esa sencilla comparación.ConfiguraciónEvaluadores: cómo se puntúan las respuestasUn evaluador convierte una respuesta en un número entre 0 y 1. En el ajuste fino por refuerzo, es la única definición de «bueno» que el modelo llega a ver, por lo que la elección del evaluador decide qué aprende el modelo.MétricaMétricas de RFT a vigilarRecompensa, tasa de recorte, dispersión de la recompensa y longitud de la respuesta: los cuatro gráficos que le indican si una ejecución de refuerzo está aprendiendo, se ha quedado sin señal o está engañando a su evaluador.ConfiguraciónTasa de aprendizajeLa tasa de aprendizaje establece cuánto se mueven los pesos en cada actualización. Es la configuración de entrenamiento más sensible: si es demasiado alta, se excede y puede borrar habilidades; si es demasiado baja, apenas cambia el modelo. Una programación suele calentarla y luego reducirla a lo largo de la ejecución.ConfiguraciónHiperparámetrosLos hiperparámetros son los ajustes de entrenamiento que usted elige, como las épocas, la tasa de aprendizaje, el tamaño del lote y el rango del adaptador, a diferencia de los pesos que el modelo aprende. Auto los selecciona a partir de sus datos y realiza una buena primera ejecución; esta página explica cada uno para que pueda ajustarlos a partir de ahí.

Convierta semanas de trabajo experto en minutos

Vea cómo Scalata se adapta a su equipo, a sus datos y a sus Controles.

Contactar con ventas