Qué muestran las curvas
Mientras se ejecuta un trabajo, el proveedor registra la pérdida, la entropía cruzada media en los tokens de destino, a lo largo del tiempo. Dos curvas son importantes, y algunos proveedores añaden un tercer número.
- La pérdida de entrenamiento se mide en los lotes con los que se entrena, normalmente en cada paso. Presenta ruido porque cada lote es diferente: un lote de respuestas cortas y predecibles obtiene una puntuación menor que uno de respuestas largas e inusuales.
- La pérdida de validación se mide en el conjunto de validación reservado cada cierto tiempo, cada N pasos o una vez por época, sin actualizaciones de pesos. Utiliza los mismos ejemplos cada vez, por lo que es más suave, y es la más honesta: el modelo nunca aprendió de ellos.
- La precisión de los tokens, notificada por algunos proveedores, es la proporción de tokens objetivo que la mejor predicción del modelo acertó exactamente. Se mueve en dirección opuesta a la pérdida y es más fácil de interpretar, pero menos detallada.
Qué significan las cifras
La entropía cruzada se mide con el logaritmo natural. Una pérdida de L por token significa que el modelo asignó al siguiente token correcto una probabilidad de aproximadamente e elevado a −L, promediada en el sentido geométrico. Esto hace que algunos valores sean fáciles de imaginar.
| Pérdida por token | Probabilidad del token correcto | Aproximadamente |
|---|---|---|
| 2,3 | Alrededor de 0,10 | A menudo inseguro; muchas continuaciones plausibles |
| 1,0 | Alrededor de 0,37 | Bastante seguro en promedio |
| 0,5 | Alrededor de 0,61 | Predice bien el estilo y la redacción |
| 0,1 | Aproximadamente 0,90 | Casi palabra por palabra; en los datos de entrenamiento suele ser señal de memorización |
El nivel absoluto depende en gran medida de los datos. Las respuestas variadas y de formato libre tienen un límite inferior alto, ya que muchas respuestas diferentes son igualmente válidas; las respuestas basadas en plantillas pueden llegar a ser muy bajas sin que haya ningún error. Por lo tanto, compare las curvas dentro de una misma ejecución, y entre ejecuciones con el mismo modelo base y los mismos datos, en lugar de compararlas con una cifra de otra fuente. Los distintos modelos base utilizan diferentes tokenizadores, lo que hace que sus pérdidas sean incomparables.
Patrones y qué hacer
| Lo que se observa | Significado | Qué hacer |
|---|---|---|
| Ambas siguen descendiendo al final | Sigue aprendiendo | Más épocas pueden ayudar |
| El entrenamiento desciende, la validación se estabiliza | Adecuado | Detenerse aquí |
| El entrenamiento desciende, la validación aumenta | Sobreajuste: memorización de sus ejemplos | Menos épocas, una tasa de aprendizaje menor, datos más variados |
| Ninguna desciende mucho | Subajuste o datos inconsistentes | Compruebe la calidad de los datos; aumente ligeramente las épocas o la tasa de aprendizaje |
| Pérdida de entrenamiento irregular con picos | Tasa de aprendizaje demasiado alta | Redúzcala; añada calentamiento |
| La pérdida de entrenamiento cae escalonadamente en el límite de cada época | El modelo reconoce ejemplos de la época anterior | Una señal temprana de memorización; vigile la pérdida de validación |
| Pérdida de validación muy por debajo de la pérdida de entrenamiento desde el inicio | El conjunto de validación es más fácil o se solapa con el de entrenamiento | Revise la división en busca de conversaciones compartidas o casi duplicadas |
- Configuración: 1200 conversaciones de entrenamiento, 130 reservadas, tamaño de lote de 8, 3 épocas: 150 pasos por época, 450 en total.
- Época 1: la pérdida de entrenamiento cae de 1,6 a 0,9; la de validación, de 1,5 a 0,95. Ambas caen: hay aprendizaje.
- Época 2: el entrenamiento llega a 0,6; la validación toca fondo en 0,85 alrededor del paso 250.
- Época 3: el entrenamiento sigue cayendo hasta 0,35, pero la validación vuelve a subir a 1,0. La brecha se amplía: el modelo está memorizando.
- Conclusión: el mejor modelo se encontraba cerca del paso 250, al principio de la época 2. Vuelva a ejecutar con 2 épocas, o utilice un punto de control de ese momento si el proveedor conserva uno, y evalúelo frente al modelo base.
Lo que la pérdida no puede decirle
La pérdida mide la probabilidad que el modelo asigna a sus respuestas de destino, token por token. No mide si una respuesta es correcta, útil o segura. Un modelo puede reducir su pérdida imitando su fraseo y formato, aunque se equivoque en los hechos, y un modelo con una pérdida de validación ligeramente superior puede ofrecer mejores respuestas. Utilice las curvas para elegir las épocas y la tasa de aprendizaje, y para detectar problemas; utilice una evaluación, comparando las respuestas de los modelos ajustado y base lado a lado, para decidir si el modelo es realmente mejor.
Errores comunes
- Elegir la ejecución con la menor pérdida de entrenamiento. Suele ser la que presenta mayor sobreajuste.
- Reaccionar a puntos individuales con ruido en la curva de entrenamiento en lugar de a la tendencia.
- Comparar pérdidas entre diferentes modelos base, tokenizadores o conjuntos de datos.
- Considerar que la falta de una curva de validación no es un problema. Sin datos reservados, el sobreajuste es invisible.
- Quedarse solo en las curvas. Una curva con buen aspecto sigue necesitando una evaluación de las respuestas reales.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01Overfitting: Interpreting loss curvesGoogle Machine Learning Crash Course · developers.google.comUna galería de formas reales de curvas de pérdida, cada una con su causa probable.
- 02OverfittingGoogle Machine Learning Crash Course · developers.google.comCómo divergen las pérdidas de entrenamiento y validación, y qué significa esa divergencia.
- 03Cross-entropyWikipedia · en.wikipedia.org
- 04A full training loopHugging Face LLM Course · huggingface.coDe dónde provienen las pérdidas de entrenamiento y evaluación en un bucle de entrenamiento real.