De qué trata la elección
Cada método de entrenamiento cambia los pesos del modelo, pero cada uno aprende de una señal diferente. Al ajuste fino supervisado (SFT) se le muestra la respuesta correcta. Al ajuste de preferencia (DPO) se le muestran dos respuestas y se le indica cuál es mejor. El ajuste fino por refuerzo (RFT) redacta sus propias respuestas y recibe una puntuación. La destilación copia un modelo más grande. El preentrenamiento continuo lee texto sin procesar y aprende a predecir la siguiente palabra.
Por lo tanto, la primera pregunta no es «¿qué método es mejor?», sino «¿qué tengo ya y qué debería cambiar?». Un equipo con mil chats de soporte de calidad tiene un conjunto de datos para SFT. Un equipo cuyos agentes editan borradores de respuestas está recopilando pares de preferencia. Un equipo de Finanzas con cálculos que tienen una única cifra correcta tiene una tarea de RFT. Y si el modelo necesita datos que cambian cada semana, es posible que el entrenamiento no sea la solución en absoluto: la recuperación, que busca los datos en el momento de la pregunta, los mantiene actualizados sin necesidad de reentrenar.
| Método | Aprende de | Datos que necesita | Ideal para |
|---|---|---|---|
| Supervisado (SFT) | “Esta es la respuesta correcta” | Chats, o pares de prompt → respuesta | Tono, formato, fraseología del dominio, tareas repetitivas |
| Preferencia (DPO) | “Esta respuesta es mejor que aquella” | Una respuesta mejor y otra peor a la misma pregunta | Perfeccionar un modelo que ya realiza la tarea |
| Refuerzo (RFT) | “Su respuesta obtuvo una puntuación de 0,8” | Preguntas más un evaluador | Respuestas que se pueden verificar: cifras, etiquetas, formatos |
| Destilación | “Responda como el modelo más grande” | Preguntas; un maestro redacta o evalúa las respuestas | Una copia más pequeña y económica de un modelo que ya funciona |
| Preentrenamiento continuo | Su texto sin procesar, palabra por palabra | Documentos: decenas de miles de palabras o más | Conocimiento del dominio, en modelos abiertos |
Cómo elige el Asistente de entrenamiento
El Asistente de entrenamiento analiza los datos que usted aporta y recomienda un método, junto con el motivo:
- Chats o pares de instrucción/respuesta → ajuste fino supervisado.
- Pares de preferencia → DPO.
- Documentos → preentrenamiento continuo.
- Preguntas con respuestas verificables → ajuste fino por refuerzo.
- Una copia más pequeña de un modelo grande → destilación.
Solo ofrece métodos compatibles con el proveedor y el modelo base elegidos. El preentrenamiento continuo, por ejemplo, existe en Hugging Face y en los modelos abiertos de Vertex AI, pero no en Gemini, Azure, Fireworks ni en los modelos actuales de Bedrock; allí, los documentos se convierten en preguntas y respuestas generadas, que se entrenan como datos supervisados ordinarios. El asistente solo le pregunta cuando se ajusta más de un método.
Pila de métodos
Una ejecución puede continuar desde una anterior, por lo que los métodos a menudo se combinan en lugar de elegirse una sola vez. Las cadenas comunes son: supervisado y luego preferencia (enseñar la tarea y luego pulirla); supervisado y luego refuerzo (el RL solo puede afinar lo que el modelo ya acierta a veces); y preentrenamiento continuo y luego supervisado (leer los documentos y luego aprender a responder a partir de ellos). El ajuste de preferencia solo comienza desde el modelo base o desde una ejecución supervisada. Cada eslabón se evalúa frente al modelo del que partió, para que usted vea qué aportó ese paso.
- El equipo tiene 1200 chats de soporte, 60 artículos del centro de ayuda (unas 45 000 palabras), 150 respuestas que los agentes corrigieron a mano y 40 preguntas sobre precios con una cifra correcta cada una.
- Chats → supervisado primero. Enseñan el tono, el formato y las respuestas comunes. Esta es la base sobre la que se asienta cada paso posterior.
- Artículos → preguntas y respuestas generadas, añadidas al mismo conjunto de datos. A razón de una sección por cada 800 palabras nuevas, 45 000 palabras dan aproximadamente 56 secciones y, con tres pares cada una, unos 170 ejemplos adicionales. En un modelo abierto con esta cantidad de texto, el preentrenamiento continuo antes de la ejecución supervisada es una opción.
- Correcciones → 150 pares de preferencia (la respuesta corregida se prefiere a la original), entrenados con DPO, continuando desde la ejecución supervisada.
- Preguntas sobre precios → ajuste fino por refuerzo con un evaluador de números, pero solo una vez que el modelo supervisado ya acierte una buena parte de ellas; de lo contrario, cada intento obtiene la misma puntuación y no hay nada de lo que aprender.
- Cada paso se evalúa frente a su predecesor. Un paso que no lo supera se archiva, y la cadena continúa desde el mejor modelo.
La configuración que sugiere
Una vez elegido un método, el asistente sugiere configuraciones en lugar de preguntar por cada una: el modo auto del proveedor donde lo haya, de lo contrario, el número predeterminado de épocas del proveedor, y menos épocas (1–2) para conjuntos de datos grandes. El entrenamiento se factura por token procesado, y cada pasada adicional sobre los datos añade aproximadamente el coste de una época más, mientras que un conjunto de datos grande ya proporciona al modelo abundantes ejemplos por pasada.
dataset: 3,000,000 tokens price (illustrative): $2 per 1M training tokens
3 epochs → 9,000,000 tokens trained → $18
2 epochs → 6,000,000 tokens trained → $12
1 epoch → 3,000,000 tokens trained → $6Los métodos de un vistazo
El modelo ve la conversación y su respuesta, y aprende a producir esa respuesta. Es la base para todo lo demás y, por lo general, el primer método que se debe probar. Aprende sus datos fielmente, incluidas las respuestas inconsistentes o incorrectas.
El modelo ve una respuesta preferida y otra no preferida a la misma pregunta y se inclina hacia la preferida. Es útil para cualidades que son más fáciles de juzgar que de escribir: concisión, amabilidad, no inventar características. Inícielo desde una ejecución supervisada.
El modelo responde a cada instrucción varias veces, un evaluador califica cada respuesta y el tipo de respuesta con mejor puntuación se vuelve más probable. Necesita una forma de calificar las respuestas, no respuestas perfectas, y no puede crear una habilidad que el modelo nunca muestra.
Un modelo maestro grande escribe las respuestas de las que aprende el alumno pequeño, o califica las propias respuestas del alumno token por token. El resultado es un modelo más económico y rápido que se comporta como el grande en su tarea.
El modelo lee pasajes de sus documentos y aprende a predecir la siguiente palabra, de la misma manera en que fue entrenado inicialmente. Añade conocimiento, no comportamiento, por lo que debe ir seguido de una ejecución supervisada. Solo para Hugging Face y modelos abiertos de Vertex AI.
Errores comunes
- Recurrir primero al ajuste por refuerzo o de preferencia. Sin una ejecución supervisada, por lo general hay poco que puedan afinar o pulir.
- Esperar que unos pocos chats enseñen datos del producto. Los chats enseñan cómo responder; los datos deben provenir de documentos o de la recuperación de información.
- Ejecutar un preentrenamiento continuo en un puñado de páginas. Se necesitan decenas de miles de palabras para cambiar algo.
- Mantener muchas épocas en un conjunto de datos grande. El coste aumenta con cada pasada, y las pasadas adicionales principalmente añaden sobreajuste.
- Entrenar cuando la verdadera necesidad es información actualizada. Los datos que cambian semanalmente pertenecen a la recuperación, no a los pesos.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01Model optimizationOpenAI API docs · developers.openai.comLa descripción general de un proveedor sobre cuándo utilizar el ajuste fino supervisado, de preferencia y por refuerzo.
- 02LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.org1000 ejemplos cuidadosamente seleccionados fueron suficientes para enseñar a un modelo base sólido un buen estilo de respuesta.
- 03Direct Preference Optimization: Your Language Model is Secretly a Reward ModelRafailov et al., 2023 · arXiv · arxiv.orgEl artículo científico detrás del ajuste de preferencia sin un modelo de recompensa independiente.
- 04Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMsOvadia et al., 2023 · arXiv · arxiv.orgLa recuperación superó al ajuste fino no supervisado para añadir conocimiento, en todos los entornos probados.