El panorama general
El ajuste fino no construye un modelo desde cero. Orienta a un modelo existente con múltiples ejemplos del comportamiento deseado.
- 01Sesionesseleccionar chats
- 02Conjunto de datosrecopilar ejemplos
- 03Proveedordónde se entrena
- 04Preparación de datoslimpiar + convertir
- 05Entrenamientoejecutar el trabajo
- 06Evaluacióndemostrar que mejoró
- 07Chat de pruebapruébelo usted mismo
- 08Usopóngalo a trabajar
ConceptoEl preentrenamiento y el modelo baseCómo un modelo de lenguaje aprende el lenguaje en primer lugar, qué sabe ya el modelo base del que parte y por qué el ajuste fino lo adapta en lugar de reconstruirlo.Leer en profundidad →ConceptoPrompting, recuperación o ajusteTres formas de adaptar un modelo a su caso de uso: qué cambia cada una, cuánto cuesta y cómo elegir entre ellas o combinarlas.Leer en profundidad →ConceptoEl pipeline de entrenamientoLas etapas por las que pasa un proyecto de entrenamiento en Scalata, qué produce cada una y por qué cada etapa se conserva como un registro propio e inspeccionable.Leer en profundidad →
Tokens y contexto
Los modelos leen y escriben tokens, no caracteres ni palabras. Casi todos los límites y precios en el entrenamiento se calculan en base a ellos.
ConceptoTokensLos fragmentos de texto que un modelo realmente lee y escribe — cómo se crean, por qué los recuentos difieren entre modelos y por qué cada límite y precio en el entrenamiento se mide en ellos.Leer en profundidad →ConceptoVentana de contextoEl número máximo de tokens que un modelo puede tener en cuenta a la vez, cómo se comparte ese espacio y cómo difiere del límite por ejemplo que se aplica durante el entrenamiento.Leer en profundidad →ConceptoPor qué los tokens determinan el costeCómo los recuentos de tokens se convierten en el precio de entrenamiento y de uso de un modelo, con números calculados, y qué factores reducen realmente la factura.Leer en profundidad →
De chats a ejemplos de entrenamiento
Un chat se convierte en datos de entrenamiento al decidir cuáles de sus respuestas debe aprender a escribir el modelo.
ConceptoRoles de los mensajesCómo se almacena una conversación como mensajes del sistema, del usuario y del asistente, y cómo esos roles se convierten en el flujo único de tokens que un modelo lee realmente.Leer en profundidad →ConceptoObjetivos (respuestas entrenables)Las respuestas del asistente que usted elige para que el modelo aprenda: cómo se aprende un objetivo, qué lo hace bueno y por qué todo lo anterior es contexto.Leer en profundidad →ConceptoConversaciones de múltiples turnos y ponderacionesCómo una conversación con varias respuestas del asistente se convierte en datos de entrenamiento, los dos formatos que utilizan los proveedores para ello y el efecto secundario que se debe tener en cuenta.Leer en profundidad →ConceptoEnmascaramiento de pérdidaPor qué un modelo se puntúa solo sobre los tokens objetivo de cada registro, cómo se hace en la práctica y qué cambia y qué no.Leer en profundidad →
Conjuntos de datos
Una colección de ejemplos estática y con nombre —proveniente de chats reales, chats generados, conjuntos de datos públicos o comentarios de chats— y el factor individual más importante en la calidad final del modelo entrenado.
ConceptoQué es un conjunto de datosUna colección congelada y con nombre de ejemplos de entrenamiento —copiados de chats, escritos por un modelo o importados— además de cualquier documento del cual aprender: por qué es una instantánea en lugar de un enlace, y qué significa eso para las correcciones, las importaciones y la reproducibilidad.Leer en profundidad →Mejor prácticaQué hace que un conjunto de datos sea buenoLas propiedades que determinan si el ajuste fino mejora un modelo — correcto, coherente, variado, centrado y representativo — y cómo comprobar cada una antes de entrenar.Leer en profundidad →MétodoDatos sintéticos y el Generador de conjuntos de datosCómo un modelo capaz puede redactar las conversaciones de ejemplo que usted aún no tiene, y cómo las instrucciones, el plan, las comprobaciones y la revisión del Generador de conjuntos de datos mantienen esos chats variados, fundamentados y bajo su control.Leer en profundidad →ConceptoConjuntos de datos públicos de Hugging FaceQué contiene un conjunto de datos público de Hugging Face, los formatos comunes en los que se presentan y por qué algunos conjuntos de datos se convierten en chats, otros en documentos y otros no pueden utilizarse para el entrenamiento en absoluto.Leer en profundidad →MétodoAprendizaje a partir de los comentarios del chatCómo los votos positivos, los votos negativos y Actualizar en el chat se convierten en datos de entrenamiento: las respuestas con voto positivo para el entrenamiento supervisado, los pares para el ajuste de preferencias y las respuestas con voto negativo se envían a un revisor.Leer en profundidad →
Preparación de datos
La preparación de datos convierte los ejemplos del conjunto de datos en los archivos de entrenamiento exactos que espera un proveedor: limpios, anonimizados, recortados y divididos en conjuntos de entrenamiento, validación y prueba.
Paso del pipelineLimpiezaLa limpieza elimina las respuestas de las que un modelo nunca debería aprender — errores, rechazos, marcado de la interfaz, duplicados y respuestas predefinidas — y corrige la estructura para que cada registro sea válido para el entrenamiento.Leer en profundidad →Paso del pipelineDatos personales y secretos (PII)Antes del entrenamiento, los correos electrónicos, números de teléfono, números de tarjeta, IBAN, documentos de identidad y claves de API se detectan y, por defecto, se sustituyen por marcadores de posición, ya que un modelo con ajuste fino puede repetir su texto de entrenamiento palabra por palabra.Leer en profundidad →ConfiguraciónLímites de tokens y recortesCada proveedor limita la cantidad de tokens que puede contener un ejemplo de entrenamiento. Las conversaciones largas que superan el límite se recortan —eliminando primero los intercambios más antiguos— o se descartan.Leer en profundidad →Paso del pipelineDivisión de validaciónUna proporción de las conversaciones se reserva fuera del entrenamiento y se utiliza para observar la pérdida en datos de los que el modelo no aprende. La división se realiza por conversación completa, de modo que ninguna parte de un chat reservado se filtre al entrenamiento — y no es lo mismo que el conjunto de prueba que se retiene para la evaluación.Leer en profundidad →ConfiguraciónPrompt del sistemaEl prompt del sistema es una instrucción permanente que se coloca antes de cada conversación. Al añadirse durante el entrenamiento, el modelo aprende su comportamiento en presencia de ese prompt exacto, por lo que debe mantenerse igual cuando se utilice el modelo.Leer en profundidad →ConceptoArchivos de entrenamiento JSONLJSONL (JSON Lines) es un archivo de texto con un objeto JSON completo por línea. Es el formato estándar para los datos de ajuste fino: una línea equivale a un registro de entrenamiento.Leer en profundidad →
Qué ocurre durante el entrenamiento
El entrenamiento es un ciclo: predecir, medir el error, calcular cómo debe cambiar cada peso, modificarlo ligeramente — y repetir miles de veces.
ConceptoEl bucle de entrenamientoEl ajuste fino es un procedimiento breve que se repite miles de veces: predecir la respuesta objetivo, medir el margen de error de la predicción, calcular en qué dirección debe moverse cada peso y moverlo un poco.Leer en profundidad →ConceptoÉpoca, lote y pasoUn lote es el grupo de ejemplos detrás de una actualización de pesos, un paso es una actualización y una época es un recorrido completo por los datos de entrenamiento. Juntos deciden con qué frecuencia cambia el modelo y cuántas veces ve cada ejemplo.Leer en profundidad →MétodoAjuste fino completoEl ajuste fino completo actualiza todos los pesos del modelo. Ofrece el mayor margen para cambiar el comportamiento, pero necesita varias veces el tamaño del propio modelo en memoria de la GPU y es el más propenso a deteriorar las habilidades que tenía el modelo base.Leer en profundidad →MétodoLoRA y adaptadores (PEFT)LoRA congela el modelo base y entrena dos pequeñas matrices junto a las capas seleccionadas, cuyo producto se suma a los pesos congelados. Reduce drásticamente los pesos entrenables y la memoria y, si se configura bien, iguala al ajuste fino completo en conjuntos de datos de ajuste fino típicos.Leer en profundidad →MétodoQLoRA (LoRA de 4 bits)QLoRA entrena un adaptador LoRA ordinario sobre un modelo base almacenado en 4 bits en lugar de 16. La memoria de entrenamiento se reduce a aproximadamente un tercio, por lo que la misma máquina puede realizar el ajuste fino de un modelo unas tres veces mayor, a costa de cierta velocidad.Leer en profundidad →ConceptoGradient checkpointingEl gradient checkpointing ahorra memoria al conservar solo algunos de los resultados intermedios de la propagación hacia adelante y recalcular el resto cuando la propagación hacia atrás los necesita. Utiliza mucha menos memoria y hace que el entrenamiento sea entre un 20 y un 30 % más lento.Leer en profundidad →Mejor práctica¿Cabrá el modelo? Memoria para el entrenamientoEl entrenamiento necesita espacio para los pesos del modelo, sus gradientes y el estado del optimizador, además de la memoria de trabajo. Una regla general sencilla, de unos 2 GB por cada mil millones de parámetros para LoRA y 12 GB para el ajuste fino completo, le indica antes de empezar si un modelo cabrá en su máquina.Leer en profundidad →ConceptoModelos de pesos abiertosUn modelo de pesos abiertos es aquel cuyos pesos entrenados se publican para que cualquiera pueda descargarlos, de modo que pueda ajustarse y ejecutarse en el hardware que usted elija. Su licencia establece lo que puede hacer con él, y la versión desde la que se parte importa tanto como la familia a la que pertenece.Leer en profundidad →ConfiguraciónHiperparámetrosLos hiperparámetros son los ajustes de entrenamiento que usted elige, como las épocas, la tasa de aprendizaje, el tamaño del lote y el rango del adaptador, a diferencia de los pesos que el modelo aprende. Auto los selecciona a partir de sus datos y realiza una buena primera ejecución; esta página explica cada uno para que pueda ajustarlos a partir de ahí.Leer en profundidad →ConfiguraciónTasa de aprendizajeLa tasa de aprendizaje establece cuánto se mueven los pesos en cada actualización. Es la configuración de entrenamiento más sensible: si es demasiado alta, se excede y puede borrar habilidades; si es demasiado baja, apenas cambia el modelo. Una programación suele calentarla y luego reducirla a lo largo de la ejecución.Leer en profundidad →MétricaInterpretación de las curvas de pérdidaLa pérdida de entrenamiento muestra hasta qué punto el modelo se ajusta a los ejemplos de los que aprende; la pérdida de validación muestra su capacidad para predecir ejemplos reservados con los que nunca se entrenó. La brecha entre ambas curvas es la señal más útil que le ofrece una ejecución de entrenamiento.Leer en profundidad →MétricaSobreajuste y subajusteEl sobreajuste ocurre cuando un modelo memoriza sus ejemplos de entrenamiento en lugar de aprender el patrón que los respalda, por lo que funciona bien con esos ejemplos y peor con los nuevos. El subajuste es lo contrario: no ha aprendido el patrón en absoluto.Leer en profundidad →ConceptoCómo se factura el entrenamientoLa mayor parte del ajuste fino gestionado se factura por token procesado: los tokens del archivo de entrenamiento multiplicados por las épocas y por un precio. En cambio, los trabajos en GPU alquiladas se facturan por tiempo. El uso posterior del modelo supone un coste aparte.Leer en profundidad →
Métodos de entrenamiento
Los métodos difieren en la señal de la que aprende el modelo — y, por lo tanto, en los datos que se necesitan y en lo que cada uno puede y no puede enseñar.
Ajuste de preferencias
MétodoAjuste de preferencias (DPO)La optimización directa de preferencias entrena un modelo con pares de respuestas, una mejor y otra peor, para que aprenda a preferir las mejores, sin el modelo de recompensa ni el ciclo de aprendizaje por refuerzo que requiere el RLHF clásico.Leer en profundidad →ConfiguraciónBeta (β) en DPOBeta establece con qué fuerza el ajuste de preferencias mantiene al modelo en su punto de partida: los valores menores permiten que los pares lo cambien más, mientras que los valores mayores lo mantienen más cerca del original.Leer en profundidad →MétricaInterpretación de la pérdida de DPOLa pérdida de DPO mide con qué claridad el modelo prefiere ahora la mejor respuesta en cada par, en relación con su estado inicial. Comienza en ln 2 ≈ 0,693 y desciende hacia 0 a medida que se aprende la preferencia.Leer en profundidad →Mejor prácticaDe dónde provienen los buenos pares de preferenciaUn par de preferencia es un prompt con una respuesta mejor y otra peor. La eficacia de DPO depende principalmente de si la diferencia entre ambas respuestas es lo que realmente desea cambiar.Leer en profundidad →MétricaPrecisión de preferenciaLa precisión de preferencia es la proporción de pares en los que el modelo ahora otorga a la respuesta preferida una recompensa implícita mayor que a la no preferida, en relación con su punto de partida. Comienza cerca del 50 % y aumenta a medida que se aprende la preferencia.Leer en profundidad →Mejor prácticaLa receta estándar: SFT seguido de DPOEl ajuste de preferencias perfecciona las respuestas que un modelo ya puede dar, por lo que la receta habitual consta de dos pasos: ajuste fino supervisado para enseñar la tarea, seguido de DPO a partir de ese modelo y evaluado frente a él.Leer en profundidad →
Ajuste fino por refuerzo
MétodoAjuste fino por refuerzo (RFT)El ajuste fino por refuerzo entrena un modelo basándose en puntuaciones en lugar de respuestas de ejemplo: responde a cada prompt varias veces, un evaluador puntúa cada intento y el modelo se inclina hacia lo que obtuvo mejor puntuación.Leer en profundidad →MétodoGRPO, paso a pasoLa Optimización de Políticas Relativas de Grupo puntúa varias respuestas al mismo prompt y refuerza aquellas que están por encima de la media del grupo. Reemplaza el modelo de valor separado de PPO con esa sencilla comparación.Leer en profundidad →ConfiguraciónEvaluadores: cómo se puntúan las respuestasUn evaluador convierte una respuesta en un número entre 0 y 1. En el ajuste fino por refuerzo, es la única definición de «bueno» que el modelo llega a ver, por lo que la elección del evaluador decide qué aprende el modelo.Leer en profundidad →ConfiguraciónAjustes de RFTLos seis ajustes de una ejecución de ajuste fino por refuerzo: qué puntúa las respuestas, cuántas respuestas escribe el modelo y qué longitud pueden tener, y cuán grande y anclada es cada actualización.Leer en profundidad →MétricaMétricas de RFT a vigilarRecompensa, tasa de recorte, dispersión de la recompensa y longitud de la respuesta: los cuatro gráficos que le indican si una ejecución de refuerzo está aprendiendo, se ha quedado sin señal o está engañando a su evaluador.Leer en profundidad →MétricaComprobaciones reservadas en el ajuste fino por refuerzoCuando un proveedor ejecuta un ajuste fino por refuerzo en un modelo de razonamiento alojado, vuelve a formular unas cuantas preguntas de validación reservadas cada ciertos pasos y califica las respuestas con el mismo evaluador. Cada pregunta se convierte en una línea de tiempo que muestra si el entrenamiento se transfiere a preguntas con las que el modelo nunca se entrenó.Leer en profundidad →Mejor prácticaManipulación de recompensasLa manipulación de la recompensa se produce cuando un modelo aumenta su puntuación sin mejorar en la tarea, aprovechando lo que el evaluador no comprueba. Es la principal causa de fallo en el ajuste fino por refuerzo.Leer en profundidad →
Destilación
MétodoDestilaciónLa destilación entrena a un modelo estudiante pequeño y económico para que se comporte como un modelo maestro grande en sus tareas, ya sea aprendiendo de las respuestas del maestro o de la evaluación que hace el maestro de las suyas propias.Leer en profundidad →MétodoDestilación off-policy: el maestro escribe las respuestasEn la destilación fuera de política, el maestro responde a sus prompts y el estudiante se somete a un ajuste fino con esas respuestas, al igual que en el entrenamiento supervisado ordinario. El maestro y el estudiante pueden provenir de cualquier familia de modelos.Leer en profundidad →MétodoDestilación on-policy: el profesor califica al estudianteEn la destilación on-policy, el estudiante redacta sus propias respuestas y el profesor evalúa cada token de las mismas, de modo que el estudiante aprende exactamente dónde se equivoca. El profesor y el estudiante deben compartir un vocabulario.Leer en profundidad →ConfiguraciónAjustes de destilaciónMaestro, estudiante, los dos límites de longitud de respuesta y la divergencia β: qué hace cada ajuste de destilación, a qué ruta se aplica y cómo elegirlo.Leer en profundidad →
Aprendizaje a partir de documentos
MétodoAprendizaje a partir de documentos: generación de preguntas y respuestasLa generación de preguntas y respuestas convierte los documentos en ejemplos de entrenamiento: un modelo lee cada sección de su texto y redacta preguntas realistas, con respuestas extraídas únicamente de esa sección. A continuación, los pares se entrenan como cualquier otro chat, en todos los proveedores.Leer en profundidad →MétodoPreentrenamiento continuoEl preentrenamiento continuo entrena un modelo con su texto sin procesar de la misma manera en que se entrenó inicialmente: prediciendo la siguiente palabra. Añade conocimiento de su dominio, no un comportamiento nuevo, por lo que suele ir seguido de una ejecución supervisada.Leer en profundidad →
Evaluación
Las curvas de pérdida muestran qué tan bien se ajusta el modelo. La evaluación muestra si sus respuestas son realmente mejores.
ConceptoComparativa entre modelo base y ajustadoUna evaluación plantea al modelo inicial y al modelo entrenado las mismas preguntas reservadas y compara sus respuestas, de modo que usted pueda comprobar si el entrenamiento realmente ha mejorado las respuestas.Leer en profundidad →ConceptoPreguntas de prueba: por qué importa que sean «reservadas»Una parte de sus conversaciones que la preparación de datos reserva antes que nada, para que una evaluación pueda hacerle al modelo entrenado preguntas que nunca ha visto. Es la única forma limpia de distinguir una mejora real de la memorización.Leer en profundidad →MétodoLLM como juezUn modelo de lenguaje independiente lee la pregunta, la respuesta de referencia y dos respuestas candidatas, puntúa ambas y elige una ganadora. Configurado a ciegas, con un orden aleatorio y una familia de modelos diferente, coincide con los evaluadores humanos casi con la misma frecuencia con la que los humanos coinciden entre sí.Leer en profundidad →MétricaInterpretación de los resultados de evaluaciónCómo interpretar la tasa de victorias, la diferencia de puntuación y las señales secundarias de una evaluación — y cómo distinguir una mejora real del ruido cuando el número de preguntas es pequeño.Leer en profundidad →ConceptoPuntos de control: cuando el modelo base ya no está disponibleLos puntos de control son copias del modelo que el proveedor guarda durante el entrenamiento. Cuando el modelo base ya no se puede implementar, comparar el modelo final con un punto de control anterior muestra si los pasos de entrenamiento posteriores fueron útiles.Leer en profundidad →MétodoPuntuación de un modelo de forma independienteEn lugar de comparar dos respuestas, el juez lee una respuesta junto a la conversación y su respuesta de referencia, y la puntúa de 1 a 5 por criterio. El resultado es una puntuación de calidad absoluta: no hay victorias ni medidas de mejora.Leer en profundidad →Mejor prácticaComparación de varios modelosPara elegir entre modelos — diferentes proveedores, métodos o tamaños base —, estos deben responder a las mismas preguntas y ser evaluados por el mismo juez. Una comparación ejecuta una evaluación por modelo sobre un conjunto de preguntas compartido y los clasifica según la puntuación media del juez.Leer en profundidad →Mejor prácticaColas de anotación: comprobación manual del juezLas personas revisan las respuestas del modelo una por una —puntuándolas, eligiendo la mejor o escribiendo una corrección— para medir hasta qué punto se puede confiar en el juez de LLM y para convertir sus correcciones en datos de entrenamiento.Leer en profundidad →
Prueba y despliegue de un modelo
Un modelo entrenado debe desplegarse antes de poder responder — y un despliegue dedicado cuesta dinero por cada hora que existe.
ConceptoInferencia y despliegueLa inferencia consiste en utilizar un modelo para generar respuestas. Un modelo entrenado debe desplegarse primero —cargando sus pesos en el hardware detrás de un endpoint—, lo cual puede tardar minutos, y luego cuesta dinero por token o por hora.Leer en profundidad →ConceptoServerless frente a dedicadoEl servicio Serverless factura por token en capacidad compartida sin costo de inactividad; una implementación dedicada reserva GPU para su modelo y factura por cada hora que existe. Cuál resulta más económico depende de cuánto lo utilice.Leer en profundidad →ConceptoCuánto cuesta: cómo interpretar las cifrasEl trabajo de los modelos se factura de varias formas distintas, por lo que cada coste que muestra Scalata incluye un estado —Final, Estimado, Pendiente o No facturado— que indica en qué se basa la cifra.Leer en profundidad →Mejor prácticaArchivar ejecucionesArchivar oculta un conjunto de datos, preparación, modelo o evaluación de las listas y selectores diarios sin eliminar nada, de modo que el registro de lo que se intentó — y por qué fracasó — permanece disponible y se puede restaurar.Leer en profundidad →
Glosario
Todos los conceptos, de la A a la Z. Cada uno abre su página completa.
- ¿Cabrá el modelo? Memoria para el entrenamiento
- Ajuste de preferencias (DPO)
- Ajuste fino completo
- Ajuste fino por refuerzo (RFT)
- Ajuste fino supervisado (SFT)
- Ajustes de destilación
- Ajustes de RFT
- Aprendizaje a partir de documentos: generación de preguntas y respuestas
- Aprendizaje a partir de los comentarios del chat
- Archivar ejecuciones
- Archivos de entrenamiento JSONL
- Beta (β) en DPO
- Colas de anotación: comprobación manual del juez
- Cómo elegir un método de entrenamiento
- Cómo se factura el entrenamiento
- Comparación de varios modelos
- Comparativa entre modelo base y ajustado
- Comprobaciones reservadas en el ajuste fino por refuerzo
- Conjuntos de datos públicos de Hugging Face
- Continuación a partir de un modelo entrenado
- Conversaciones de múltiples turnos y ponderaciones
- Cuánto cuesta: cómo interpretar las cifras
- Datos personales y secretos (PII)
- Datos sintéticos y el Generador de conjuntos de datos
- De dónde provienen los buenos pares de preferencia
- Destilación
- Destilación off-policy: el maestro escribe las respuestas
- Destilación on-policy: el profesor califica al estudiante
- División de validación
- El bucle de entrenamiento
- El pipeline de entrenamiento
- El preentrenamiento y el modelo base
- Enmascaramiento de pérdida
- Época, lote y paso
- Evaluadores: cómo se puntúan las respuestas
- Gradient checkpointing
- GRPO, paso a paso
- Hiperparámetros
- Inferencia y despliegue
- Interpretación de la pérdida de DPO
- Interpretación de las curvas de pérdida
- Interpretación de los resultados de evaluación
- La receta estándar: SFT seguido de DPO
- Límites de tokens y recortes
- Limpieza
- LLM como juez
- LoRA y adaptadores (PEFT)
- Manipulación de recompensas
- Métricas de RFT a vigilar
- Modelos de pesos abiertos
- Objetivos (respuestas entrenables)
- Por qué los tokens determinan el coste
- Precisión de preferencia
- Preentrenamiento continuo
- Preguntas de prueba: por qué importa que sean «reservadas»
- Prompt del sistema
- Prompting, recuperación o ajuste
- Puntos de control: cuando el modelo base ya no está disponible
- Puntuación de un modelo de forma independiente
- QLoRA (LoRA de 4 bits)
- Qué es un conjunto de datos
- Qué hace que un conjunto de datos sea bueno
- Roles de los mensajes
- Serverless frente a dedicado
- Sobreajuste y subajuste
- Tasa de aprendizaje
- Tokens
- Ventana de contexto