Comprobaciones reservadas en el ajuste fino por refuerzo

Qué son

En los modelos abiertos, Scalata puede mostrarle los grupos reales de respuestas que calificó el evaluador. En los modelos de razonamiento alojados, el proveedor ejecuta el evaluador por sí mismo y no comparte las respuestas que calificó durante el entrenamiento. Lo que sí comparte es un conjunto de comprobaciones reservadas: cada ciertos pasos, formula un puñado de preguntas de validación con las que el modelo nunca se entrena, y califica esas respuestas con el mismo evaluador.

Dado que la primera comprobación se ejecuta en el paso 0, antes de cualquier entrenamiento, cada pregunta de validación se convierte en una pequeña línea de tiempo: cómo cambió la respuesta a la misma pregunta a medida que avanzaba el entrenamiento. Esto convierte a las comprobaciones en la mejor evidencia disponible de que las mejoras se transfieren a preguntas que el modelo no ha visto, y no solo a aquellas con las que practicó.

Interpretación de la línea de tiempo

• Baja en el paso 0 y luego al alza: la señal más clara de un aprendizaje que se transfiere a nuevas preguntas.
• 1,00 desde el paso 0 en adelante: un techo. El modelo ya respondía lo suficientemente bien, por lo que esta pregunta no puede mostrar mejora. Si hay muchas así, significa que el evaluador es demasiado indulgente o que las preguntas son demasiado fáciles.
• Una caída en el medio: ruido normal. Cada comprobación es una respuesta muestreada, y una muestra desafortunada puede obtener una puntuación baja. Observe la tendencia a lo largo de las comprobaciones y de las preguntas, no en una sola tarjeta.
• Plana en todas partes por debajo del techo: el modelo no está encontrando mejores respuestas. La causa habitual es un modelo inicial que rara vez acierta en estas preguntas; realizar primero una ejecución supervisada resulta de ayuda.

Recompensa de validación frente a recompensa de entrenamiento

El proveedor informa de dos recompensas. La recompensa de entrenamiento es la puntuación media del evaluador en las preguntas con las que el modelo se está entrenando en ese paso; esas preguntas cambian de un paso a otro, por lo que el número fluctúa, y un modelo puede aumentarlo mejorando exactamente en esos prompts. La recompensa de validación es la media de las comprobaciones reservadas: las mismas preguntas cada vez, con las que nunca se entrena. Confíe más en ella, por la misma razón que la pérdida de validación supera a la pérdida de entrenamiento. La documentación de OpenAI lo describe de la misma manera: los valores de la recompensa de entrenamiento «pueden fluctuar drásticamente de un paso a otro», mientras que la recompensa de validación es «una métrica más estable».

Comprobaciones y puntos de control

Los proveedores suelen guardar un punto de control en los mismos pasos que las comprobaciones. Por lo tanto, si las comprobaciones dejan de mejorar a la mitad, el punto de control correspondiente puede ser tan bueno como el modelo final, y una ejecución más corta habría costado menos. El ajuste fino por refuerzo alojado se factura por hora de entrenamiento y los modelos de razonamiento escriben respuestas largas, por lo que cada paso es lento: observar dónde se aplanan las comprobaciones supone un ahorro directo en la siguiente ejecución.

En qué se entrena el modelo

El ajuste fino por refuerzo utiliza los mismos chats que el entrenamiento supervisado, convertidos en una fila por respuesta, terminando en esa respuesta. La conversación hasta la respuesta es el prompt; la respuesta en sí se convierte en una referencia que solo ve el evaluador. Un chat con tres respuestas genera tres filas, y la referencia de cada fila es solo su última respuesta, manteniendo las respuestas anteriores en el prompt como contexto.

chat:  system · user 1 · reply 1 · user 2 · reply 2 · user 3 · reply 3

row 1  prompt: developer · user 1                                   reference: reply 1
row 2  prompt: developer · user 1 · reply 1 · user 2                reference: reply 2
row 3  prompt: developer · user 1 · reply 1 · user 2 · reply 2 · user 3   reference: reply 3

Los modelos de razonamiento alojados (la serie o) no aceptan un mensaje system en los ejemplos de refuerzo. Las mismas instrucciones van en un mensaje developer, que estos modelos tratan de la misma forma que otros modelos tratan system; un archivo de entrenamiento que contenga un mensaje de sistema allí no superará la validación.

{"messages": [
   {"role": "developer", "content": "You are Scalata's support assistant. Be brief."},
   {"role": "user",      "content": "How do I share a report with a client?"}],
 "reference": "Open the report → Share → pick the client. They get an email link."}

Métricas

Errores comunes

• Leer una sola tarjeta. Una única comprobación es una respuesta muestreada; evalúe la tendencia a lo largo de las comprobaciones y las preguntas.
• Confiar en una recompensa de entrenamiento al alza cuando la recompensa de validación es plana. El modelo podría estar sobreajustándose a los prompts de entrenamiento o engañando al evaluador.
• Ignorar los techos. Las preguntas en 1,00 de principio a fin inflan el promedio y ocultan si ha habido algún cambio.
• Usar siempre el modelo final. Si las comprobaciones se aplanaron a la mitad, el punto de control correspondiente es igual de bueno y la siguiente ejecución puede ser más corta.
• Escribir un mensaje de sistema en archivos de refuerzo creados manualmente para modelos de la serie o. Utilice un mensaje de desarrollador en su lugar.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

1. 01Reinforcement fine-tuning↗OpenAI API docs · developers.openai.comEl servicio RFT alojado: archivos de validación, recompensa de entrenamiento y validación, y puntos de control.
2. 02Graders↗OpenAI API docs · developers.openai.comCómo se definen los evaluadores del proveedor y qué leen de cada fila.
3. 03Fine-tune a model with reinforcement fine-tuning in Microsoft Foundry↗Microsoft Learn · learn.microsoft.comAjuste fino por refuerzo de modelos de razonamiento en Azure, incluidos los datos de validación.
4. 04Scaling Laws for Reward Model Overoptimization↗Gao, Schulman & Hilton, 2022 · arXiv · arxiv.orgPor qué una puntuación frente a la cual se optimiza el modelo puede aumentar mientras la verdadera calidad disminuye.

Conceptos relacionados