Qué es
Los registros de chat reales son caóticos. Junto a las respuestas que desea que el modelo copie, contienen mensajes de error, rechazos de una capa de seguridad, marcado que solo la interfaz de chat entiende, respuestas que solo dicen que un archivo está listo y la misma conversación guardada dos veces. La limpieza es el primer paso de la preparación de datos: elimina o repara esos registros antes de que nada se convierta en un archivo de entrenamiento.
Es importante porque el ajuste fino no tiene noción de un “mal ejemplo”. Cada respuesta objetivo que llega al archivo de entrenamiento se trata como la respuesta correcta, y se impulsa al modelo a hacerla más probable. Un mensaje de error utilizado como objetivo diez veces enseña al modelo que los mensajes de error son una respuesta normal.
Cómo funciona
Cada paso busca un patrón específico, y cada uno tiene una razón fundamentada en cómo funciona el entrenamiento. Algunos pasos eliminan una respuesta objetivo (sigue siendo legible como contexto, simplemente no se evalúa); otros eliminan un registro completo o reescriben su estructura.
| Paso | Qué detecta | Por qué perjudicaría el entrenamiento |
|---|---|---|
| Marcado de la interfaz de usuario | Etiquetas que utiliza la interfaz de chat para mostrar botones, paneles desplegables y similares | Un modelo utilizado fuera de esa interfaz imprimiría las etiquetas sin formato en sus respuestas |
| Respuestas de error | “Error al procesar la consulta...” y fallos del sistema similares | El modelo aprendería a fallar a propósito |
| Bloqueos de seguridad | Rechazos insertados por una capa de seguridad de la plataforma, no escritos por el modelo | Enseña a rechazar preguntas que eran adecuadas para responder |
| Anuncios de archivos | Respuestas cortas cuyo resultado real fue un archivo generado, p. ej., “Su presentación está lista” | El archivo no está en el texto, por lo que el modelo aprende a atribuirse un trabajo que no hizo |
| Estructura | Una conversación que comienza con el asistente; dos mensajes seguidos del mismo rol | Los formatos de entrenamiento requieren alternar los turnos del usuario y del asistente, comenzando por el usuario |
| Duplicados | La misma conversación con la misma respuesta, guardada o importada dos veces | Cuenta un ejemplo dos veces: más peso, más memorización, ninguna información nueva |
| Respuestas repetidas | Una respuesta idéntica utilizada como objetivo muchas veces, como un saludo o un descargo de responsabilidad predefinido | Unas pocas frases hechas dominarían y el modelo recurriría a ellas en todas partes |
Los duplicados merecen especial atención. Las investigaciones sobre grandes conjuntos de entrenamiento descubrieron que el texto repetido es uno de los principales causantes de la memorización: Lee et al. (2021) demostraron que desduplicar los datos de entrenamiento hizo que los modelos emitieran texto memorizado diez veces menos, y Carlini et al. (2022) descubrieron que la frecuencia con la que se duplica una secuencia es uno de los predictores más fuertes de si un modelo la repetirá palabra por palabra. Un conjunto de ajuste fino es mucho más pequeño, por lo que una sola conversación repetida cinco veces representa una gran parte de lo que ve el modelo.
El paso de limitar las respuestas repetidas es más suave que la desduplicación. Una respuesta corta e idéntica como “Estaré encantado de ayudarle — ¿necesita algo más?” puede ser perfectamente válida, por lo que se mantiene hasta un límite y solo las copias sobrantes dejan de ser objetivos. El modelo sigue aprendiendo la frase, sin aprender a decirla para todo.
- Un equipo de soporte selecciona 1000 conversaciones que contienen 1850 respuestas del asistente marcadas como objetivos.
- 38 objetivos son respuestas de error de una semana de interrupción del servicio y 12 son rechazos por barreras de seguridad. Los 50 dejan de ser objetivos.
- 27 objetivos son mensajes de “Su informe está listo” cuyo resultado real era un PDF. Eliminados: el texto por sí solo no puede enseñar al modelo a generar un PDF.
- 64 objetivos se encuentran en conversaciones que se importaron dos veces. Se conserva una copia de cada una.
- La despedida “¿Hay algo más en lo que le pueda ayudar?” aparece como objetivo 71 veces. Con un límite de, por ejemplo, 30, 41 copias dejan de ser objetivos.
- Quedan 1668 objetivos, aproximadamente el 90 %. El entrenamiento cuesta un poco menos y el 10 % eliminado correspondía a las respuestas con mayor probabilidad de empeorar el modelo.
Cuándo es importante
- Siempre para los registros de un producto en vivo. Las interrupciones, las capas de seguridad y las funciones de la interfaz dejan rastros que parecen respuestas.
- Más aún para conjuntos de datos pequeños. Con 200 objetivos, diez incorrectos representan el 5 % de la señal; con 20 000, son solo ruido.
- Chats importados. Las exportaciones de otras herramientas suelen contener conversaciones repetidas o que se solapan parcialmente.
- Cuando el modelo se ejecute fuera de la interfaz de chat. Es entonces cuando debe eliminarse el marcado de la interfaz de usuario; consérvelo únicamente si el modelo se utilizará en la misma interfaz que lo renderiza.
Desactivado por defecto. Actívelo solo si el modelo entrenado responderá dentro de la misma interfaz de chat que entiende esas etiquetas, y desea que siga produciendo botones y secciones desplegables.
Errores comunes
- Asumir que un gran conjunto de datos hace innecesaria la limpieza: los duplicados y las respuestas predefinidas crecen con el conjunto de datos.
- Entrenar con respuestas como “Su archivo está listo” y luego preguntarse por qué el modelo afirma haber creado archivos que nunca produjo.
- Mantener el marcado de la interfaz para un modelo que se ejecutará en otro producto, donde las etiquetas aparecen como texto sin formato.
- Solucionar los síntomas en cada preparación en lugar del origen: si muchas respuestas son errores o rechazos, los chats subyacentes o el flujo del producto requieren atención.
- Desduplicar por mensaje en lugar de por conversación, lo que puede dejar una respuesta sin la pregunta que la explica.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01Deduplicating Training Data Makes Language Models BetterLee et al., 2021 · arXiv · arxiv.orgMuestra cuánto texto repetido hay en los conjuntos de datos reales y cómo su eliminación reduce la memorización.
- 02Quantifying Memorization Across Neural Language ModelsCarlini et al., 2022 · arXiv · arxiv.orgLa memorización crece con el tamaño del modelo, con la frecuencia con la que se duplica un ejemplo y con la longitud del prompt.
- 03LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.org1000 ejemplos cuidadosamente seleccionados fueron suficientes para obtener resultados sólidos: calidad sobre cantidad.
- 04Supervised fine-tuningOpenAI API docs · developers.openai.comLa visión de un proveedor sobre lo que debe contener un ejemplo de entrenamiento.