Ajuste fino por refuerzo (RFT)

Qué es

En el ajuste fino supervisado, al modelo se le muestra la respuesta y se le evalúa en cada token de la misma. El ajuste fino por refuerzo (RFT) nunca le muestra una respuesta al modelo. Este escribe la suya propia, un evaluador califica el resultado y el entrenamiento hace que los tipos de respuestas con alta puntuación sean más probables. Lo único que usted debe proporcionar es una forma de distinguir una respuesta mejor de una peor.

Esto hace que el RFT sea el método de elección cuando una buena respuesta es fácil de reconocer pero difícil de redactar de antemano: un cálculo cuyo resultado se puede comprobar, una clasificación con una etiqueta conocida, un objeto JSON que debe validarse, o una pregunta abierta donde un modelo juez capaz puede distinguir una respuesta cuidadosa de una descuidada.

El vocabulario del aprendizaje por refuerzo

El RFT toma prestada su terminología del aprendizaje por refuerzo (RL), el campo que entrena a agentes de juegos y robots. Aplicados a un modelo de lenguaje, significan:

Dos aspectos diferencian al RL en modelos de lenguaje del entrenamiento supervisado. La recompensa llega solo al final: el evaluador califica la respuesta terminada, por lo que el entrenamiento debe deducir cuáles de los cientos de tokens merecen el mérito. Y los datos se generan durante el entrenamiento: en cada paso, el modelo actual escribe respuestas nuevas, por lo que aquello de lo que aprende cambia a medida que mejora. A esto se le llama aprendizaje on-policy.

Cómo una puntuación se convierte en una actualización

La regla de actualización en el núcleo del RFT se denomina gradiente de política. En términos sencillos: para cada respuesta, tome cada token que escribió el modelo y aumente su probabilidad si la ventaja de la respuesta es positiva, o redúzcala si es negativa, en una cantidad proporcional a la ventaja. Un token que apareció en una respuesta con buena puntuación se vuelve un poco más probable en ese contexto; un token de una respuesta con mala puntuación, un poco menos.

Las puntuaciones brutas por sí solas son una señal deficiente. Si cada respuesta a un prompt sencillo obtiene 0.9, aumentar todas ellas no dice nada sobre qué las hizo buenas. Por lo tanto, los métodos de RL comparan cada puntuación con una línea base, una estimación de lo que puntúa una respuesta ordinaria a ese prompt, y solo cuenta la diferencia. Métodos más antiguos como PPO aprenden la línea base con una segunda red neuronal. GRPO, el método que utilizan ahora la mayoría de los servicios de RFT, simplemente toma la puntuación media de varias respuestas al mismo prompt; consulte GRPO, paso a paso.

for each step:
    prompts = a few rows from your data
    answers = model.sample(prompts, n = 4)          # 4 tries per prompt
    scores  = grader(prompt, answers, reference)    # 0–1 each; the model never sees the reference
    adv     = (scores − group mean) / group std     # per prompt
    update the model: tokens of answers with adv > 0 become more likely,
                      tokens of answers with adv < 0 less likely

Su propia respuesta aparece únicamente en la entrada del evaluador, como una referencia. El modelo que se está entrenando nunca la ve, lo cual es la principal diferencia práctica con el entrenamiento supervisado: el modelo no puede copiar para obtener una puntuación alta, tiene que encontrarla.

{"prompt": [{"role": "user", "content": "How do I share a report with a client?"}],
 "reference": "Open the report → Share → pick the client. They get an email link."}

• Una fila por respuesta, terminando en esa respuesta. Un chat con tres de sus respuestas genera tres filas. La referencia de cada fila es únicamente su última respuesta; las respuestas anteriores permanecen en el prompt como contexto.
• Instrucciones del sistema como un mensaje `developer`. Los modelos de razonamiento alojados (la serie o) no aceptan un mensaje system en los ejemplos de refuerzo. Las mismas instrucciones van en un mensaje developer, que estos modelos tratan de la misma manera que otros modelos tratan system.

Lo que el RL puede y no puede hacer

Debido a que aprende solo de sus propios intentos, el RFT únicamente puede reforzar el comportamiento que el modelo ya produce parte del tiempo. Si ninguna de las N respuestas a un prompt es buena en ningún caso, todas las respuestas puntúan más o menos lo mismo, la comparación es vacía y el prompt no enseña nada. La investigación respalda esto: Yue et al. (2025) descubrieron que los modelos de razonamiento entrenados con RL superaban a sus modelos base cuando se les permitía un intento por problema, pero que con muchos intentos los modelos base resolvían más. El RL hizo que el modelo encontrara sus buenas respuestas de manera más fiable; no le proporcionó respuestas que nunca podría alcanzar.

Es por eso que la receta estándar es primero supervisado, luego RL. El entrenamiento supervisado en buenas respuestas enseña la tarea, de modo que los intentos del modelo comienzan a aterrizar en el área correcta; el RL luego perfecciona cuáles de esos intentos prefiere. Sobre una base muy sólida, el RL por sí solo puede llegar lejos: DeepSeek-R1-Zero, entrenado únicamente con recompensas basadas en reglas, aumentó su pass@1 en AIME 2024 del 15.6% al 77.9%. La mayoría de los ajustes finos comienzan con modelos mucho más pequeños, donde un paso supervisado previo marca la diferencia.

Cuándo utilizarlo

• La respuesta se puede comprobar: una cifra, una etiqueta, un formato, una prueba. Los evaluadores basados en reglas son económicos, exactos y difíciles de engañar.
• El modelo inicial ya acierta en gran medida, por ejemplo, tras un entrenamiento supervisado con sus datos, o porque es de gran tamaño.
• Puede juzgar la calidad, pero no puede escribir respuestas ideales a gran escala: un modelo juez potente puede puntuar respuestas de texto libre comparándolas con su respuesta.
• No para enseñar nuevos datos o un nuevo producto: estos deben provenir de datos supervisados o de recuperación.

Errores comunes

• Ejecutar un RFT en un modelo que casi nunca responde bien. Si todas las puntuaciones están cerca del mínimo, no hay nada que comparar; entrénelo primero de forma supervisada.
• Considerar que el aumento de la recompensa es una prueba de mejora. La recompensa es la opinión del evaluador; confírmelo con una evaluación independiente.
• Elegir un evaluador que mida lo equivocado, como la coincidencia de palabras en una tarea donde lo que importa es el significado. El modelo optimiza exactamente lo que se mide.
• Esperar que el RFT añada conocimientos. Lo que hace es reordenar lo que el modelo ya hace.
• Establecer el límite de respuesta por debajo de la longitud de una buena respuesta, de modo que las respuestas completas se cortan y se puntúan como malas.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

1. 01DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning↗DeepSeek-AI, 2025 · arXiv · arxiv.orgRL a gran escala con recompensas basadas en reglas, y por qué un arranque en frío supervisado siguió siendo de ayuda.
2. 02Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?↗Yue et al., 2025 · arXiv · arxiv.orgEvidencia de que el RL perfecciona lo que un modelo base ya puede hacer en lugar de añadir un nuevo razonamiento.
3. 03Reinforcement fine-tuning↗OpenAI API docs · developers.openai.comUn servicio de RFT alojado: evaluadores, datos y cuándo el RFT es una buena opción.
4. 04Training language models to follow instructions with human feedback↗Ouyang et al., 2022 · arXiv · arxiv.orgEl artículo que convirtió al RL a partir de retroalimentación en el paso final estándar para los modelos de chat.

Conceptos relacionados