En qué consiste
Durante el entrenamiento, el proveedor guarda el modelo en varios momentos: algunos proveedores al final de cada época, otros en pasos fijos como el paso 5 y el paso 10 de una ejecución de 10 pasos. Cada copia guardada es un punto de control: un modelo completo ajustado que se puede implementar y al que se le pueden hacer preguntas como a cualquier otro. El último punto de control suele ser idéntico al modelo final.
Los puntos de control son más importantes cuando la evaluación normal deja de funcionar. Una evaluación en paralelo necesita que el modelo base y el modelo entrenado se ejecuten al mismo tiempo. Los proveedores retiran los modelos según un calendario, y una vez que un modelo se marca como obsoleto, no se permiten nuevas implementaciones del mismo, a menudo semanas antes de su fecha de retirada oficial. Los modelos ya entrenados en él pueden seguir implementándose; el modelo base en sí no. La comparación directa con el modelo base desaparece, y quedan dos alternativas: comparar con un punto de control anterior o puntuar el modelo por sí solo.
Cómo funciona la comparación
El modelo final y un punto de control anterior de la misma ejecución responden a las mismas preguntas reservadas, y el juez los compara a ciegas, exactamente igual que compararía el modelo ajustado y el base. La diferencia radica en el significado del resultado. El punto de control temprano ya contiene la primera parte del entrenamiento, por lo que la comparación aísla los pasos entre el punto de control y el final.
| Comparación | Responde | No responde |
|---|---|---|
| Final frente a base | ¿Sirvió de algo el entrenamiento? | Qué parte del entrenamiento ayudó |
| Punto de control final vs. inicial | ¿Fueron útiles los pasos posteriores? | Si el modelo supera al original |
| Punto de control final vs. último | Casi nada: por lo general, son el mismo modelo | Cualquier aspecto útil — espere principalmente empates |
| Puntuado individualmente | ¿Qué tan buenas son las respuestas en términos absolutos? | Cualquier mejora con respecto a otro modelo |
Interpretación del resultado
- El modelo final gana claramente. Los últimos pasos aportaron un valor real. La duración completa de la ejecución mereció la pena.
- Mayoría de empates, medias casi iguales. Los últimos pasos cambiaron poco. Una ejecución más corta —menos pasos o épocas— probablemente habría funcionado igual de bien por una fracción del coste de entrenamiento. Si las comprobaciones reservadas durante el entrenamiento también se habían estabilizado para el punto de control, ambas señales coinciden.
- El punto de control gana. Entrenar más allá de ese punto empeoró las respuestas, un signo clásico de sobreajuste: el modelo mejoró al principio y luego empezó a memorizar. La próxima vez, entrene durante menos pasos o épocas.
Coste y tiempo
Cada punto de control es un modelo ajustado en sí mismo, por lo que necesita su propia implementación alojada. Durante la evaluación, tanto el modelo final como el punto de control se implementan y se facturan por hora, por lo que el alojamiento se paga dos veces. En una evaluación pequeña, la factura corresponde principalmente al tiempo de alojamiento, no a los tokens.
Los modelos de razonamiento responden lentamente. Los modelos que piensan antes de responder pueden tardar alrededor de un minuto por par de preguntas, mientras que un modelo de chat normal responde a toda una evaluación pequeña en uno o dos minutos. Veinte preguntas pueden mantener dos implementaciones en ejecución durante un cuarto de hora o más, y el tiempo de alojamiento, y por tanto el coste, aumenta con ello.
- Una ejecución de refuerzo de 10 pasos finalizó en un modelo de razonamiento que desde entonces ha sido marcado como obsoleto. El modelo entrenado aún se puede implementar; el modelo base no.
- El proveedor guardó puntos de control en el paso 5 y en el paso 10. El paso 10 es el modelo final, por lo que la comparación es final frente al paso 5, en 24 preguntas de prueba reservadas.
- Resultado: el final gana 6, el paso 5 gana 7, 11 empates. Las puntuaciones medias del juez son de 3,6 para ambos.
- Interpretación: los pasos 6–10 no cambiaron casi nada, y las comprobaciones reservadas durante el entrenamiento también se habían estabilizado para el paso 5. Una ejecución de 5 pasos probablemente habría funcionado igual de bien, a aproximadamente la mitad del coste de entrenamiento.
- Coste: dos implementaciones se ejecutaron durante unos 25 minutos, porque el modelo de razonamiento responde lentamente. La mayor parte del coste de la evaluación corresponde al alojamiento. Para saber cómo de bueno es el modelo en términos absolutos, el siguiente paso es puntuarlo por sí solo.
Configuración
Qué punto guardado de la misma ejecución actúa como "base". Un punto de control inicial o intermedio aísla lo que añadieron los pasos posteriores; el último punto de control suele ser el modelo final y produce principalmente empates.
Errores comunes
- Comparar con el último punto de control e interpretar los empates como que «el entrenamiento no sirvió de nada».
- Interpretar una victoria sobre un punto de control temprano como prueba de que el modelo supera al base original.
- Olvidar que ambas partes están implementadas: el alojamiento se paga dos veces.
- Posponer la evaluación hasta que se retire el modelo base: compárelo con el modelo base mientras aún se pueda implementar.
- Ignorar un empate con el punto de control en lugar de acortar la siguiente ejecución.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01Supervised fine-tuningOpenAI API docs · developers.openai.comCómo un proveedor guarda puntos de control utilizables durante el entrenamiento y por qué uno anterior puede ser el mejor modelo.
- 02Foundry Models lifecycle and support policyMicrosoft Learn · learn.microsoft.comQué significan "obsoleto" y "retirado" al crear nuevas implementaciones de un modelo.
- 03DeprecationsOpenAI API docs · developers.openai.comEl calendario publicado por un proveedor sobre los modelos que se darán de baja.
- 04Early stoppingWikipedia · en.wikipedia.orgPor qué un entrenamiento más prolongado puede empeorar un modelo con datos nuevos y cómo saber cuándo detenerse.