Por qué predomina la calidad
El ajuste fino supervisado tiene una única fuente de verdad: sus ejemplos. El modelo no puede distinguir una respuesta descuidada de una cuidadosa, por lo que aprende ambas. Un conjunto pequeño de ejemplos correctos y coherentes suele superar a un conjunto grande de ejemplos mixtos. El estudio LIMA (2023) lo demostró claramente: un modelo de 65.000 millones de parámetros ajustado con solo 1.000 ejemplos cuidadosamente seleccionados dio respuestas que los usuarios calificaron como equivalentes o mejores que las de GPT-4 en el 43 % de los casos.
Las cinco propiedades
| Propiedad | Qué significa | Cómo comprobarlo |
|---|---|---|
| Correcto | Cada objetivo es correcto: hechos, pasos, números, nombres. | Pida a alguien que conozca el tema que lea entre 30 y 50 objetivos al azar. |
| Coherente | Las preguntas similares obtienen respuestas con una estructura similar. | Agrupe las respuestas por tema y compárelas en paralelo; acuerde primero un estilo corporativo. |
| Variado | Preguntas cortas, imprecisas, de varias partes y de seguimiento, no solo las bien formuladas. | Enumere los tipos de preguntas que recibe y compruebe que cada uno de ellos aparezca. |
| Centrado | Un trabajo bien definido, o unos pocos claramente separados. | ¿Puede describir lo que el modelo debería hacer en dos frases? |
| Representativo | Las entradas se parecen a lo que el modelo verá en su uso real. | Compare la combinación de temas y longitudes con el tráfico real. |
Cuántos ejemplos
No existe un número universal, pero hay rangos útiles. Las tareas específicas con un formato claro — responder a un tipo de pregunta con un estilo fijo, clasificar una solicitud — suelen mostrar un efecto claro con unos cientos de ejemplos. Los asistentes amplios que cubren muchos temas necesitan miles. La guía de ajuste fino de OpenAI informa de mejoras a partir de 50–100 ejemplos y sugiere empezar con unos 50 bien elaborados, evaluar y añadir más a partir de ahí. Más datos ayudan más cuando aportan variedad; más de lo mismo añade costes sin aportar mucho.
Duplicados y repeticiones
Una conversación que aparece dos veces se entrena dos veces, y una respuesta predefinida utilizada como objetivo para cincuenta preguntas diferentes enseña al modelo a producirla en todas partes. La investigación sobre los datos de preentrenamiento muestra la importancia de la repetición: eliminar los cuasiduplicados de los conjuntos de entrenamiento comunes permitió que los modelos reprodujeran texto memorizado unas diez veces menos. A escala de ajuste fino, el síntoma es un modelo repetitivo que abusa de unas pocas frases hechas.
Objetivos que dependen de hechos nuevos
Tenga cuidado con los objetivos basados principalmente en hechos que el modelo base nunca ha visto. Un estudio de 2024 de Gekhman y sus colegas descubrió que los modelos aprenden estos ejemplos más lentamente que aquellos coherentes con lo que ya saben, y que a medida que los aprenden se vuelven más propensos a alucinar. Siempre que sea posible, proporcione datos especializados o cambiantes en el momento de la solicitud, y utilice el conjunto de datos para enseñar cómo usarlos.
- Inicio: 600 chats de soporte con 900 objetivos candidatos.
- Exactitud: un revisor lee 50 objetivos al azar y encuentra 6 con un nombre de menú obsoleto. Una búsqueda encuentra 40 más con el mismo problema; todos son corregidos.
- Coherencia: las preguntas sobre contraseñas se responden en tres formatos diferentes. El equipo elige uno y corrige los demás.
- Variedad: las preguntas muy cortas («¿exportar?») representan el 15 % del tráfico real, pero están casi ausentes del dataset, por lo que se añaden 60 chats de este tipo.
- Repeticiones: una respuesta predefinida es el objetivo 70 veces; el límite de la Preparación de datos sobre respuestas repetidas evita que domine.
- Resultado: menos objetivos utilizables que al principio, pero cada uno enseña el comportamiento que usted desea.
Errores comunes
- Añadir más ejemplos del mismo tipo en lugar de cubrir los tipos que faltan.
- Entrenar con todo lo que se dijo en lugar de con lo que se debería haber dicho.
- Mezclar varios estilos de respuesta porque diferentes personas escribieron las respuestas.
- Omitir preguntas cortas, imprecisas y mal formuladas porque hacen que el conjunto de datos parezca desordenado.
- Asumir que la limpieza automática comprueba si las respuestas son correctas.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.org1.000 ejemplos cuidadosamente elegidos y lo que lograron.
- 02Deduplicating Training Data Makes Language Models BetterLee et al., 2021 · arXiv · arxiv.orgEl coste medido de los datos de entrenamiento duplicados.
- 03Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?Gekhman et al., 2024 · arXiv · arxiv.orgPor qué los objetivos llenos de hechos desconocidos pueden ser contraproducentes.
- 04Supervised fine-tuningOpenAI API docs · developers.openai.comEl consejo de un proveedor sobre con cuántos ejemplos empezar.
- 05Datasets: Data characteristicsGoogle Machine Learning Crash Course · developers.google.comUna breve introducción sobre la fiabilidad y calidad de los datos.