PróximamenteEl Entrenamiento de modelos estará disponible pronto en Scalata Enterprise. Enseñe a un modelo a responder como lo hace su equipo.Ver próximas novedades

Recursos/Entrenamiento de modelos/De chats a ejemplos de entrenamiento

Concepto

Objetivos (respuestas entrenables)

Las respuestas del asistente que usted elige para que el modelo aprenda: cómo se aprende un objetivo, qué lo hace bueno y por qué todo lo anterior es contexto.

Capítulo 33 min de lectura4 referencias

Qué es un objetivo

El ajuste fino supervisado enseña mediante ejemplos: aquí hay una situación, esta es la respuesta que queremos. En un chat, la situación es la conversación hasta el momento y la respuesta es un mensaje del asistente. Las respuestas que usted marca como dignas de aprender son los objetivos, también llamados respuestas entrenables. Todo lo que precede a un objetivo es su contexto.

Un registro de entrenamiento — el último mensaje es el objetivo
{"messages": [
  {"role": "system",    "content": "You are Scalata's support assistant."},
  {"role": "user",      "content": "How do I reset my password?"},
  {"role": "assistant", "content": "Open Settings → Security and choose Reset password. You'll get an email link valid for 30 minutes."}
]}

El modelo aprende una correspondencia: dado este prompt del sistema y esta pregunta, produzca esta respuesta. A través de cientos de registros, capta lo que las respuestas tienen en común — el estilo de la ruta del menú, la longitud, el nivel de detalle, el tono.

systemUsted es el asistente de soporte de Scalata.leído · enmascarado
user¿Cómo restablezco mi contraseña?leído · enmascarado
assistantAbra Configuración → Seguridad y elija Restablecer contraseña.evaluado · pérdida contabilizada
El modelo lee cada token, pero su error solo se mide en la respuesta objetivo. El contexto da forma a la predicción; nunca se evalúa por sí mismo.

Cómo se aprende un objetivo

Para cada objetivo, el modelo lee el contexto y predice la respuesta token a token. En cada posición, asigna una probabilidad a cada posible token siguiente, y el error de entrenamiento — la pérdida de entropía cruzada — es bajo cuando asignó una alta probabilidad al token que realmente sigue. A continuación, los pesos se ajustan para que los tokens del objetivo sean más probables la próxima vez que aparezca un contexto similar. Los tokens de contexto se leen pero no se puntúan; consulte el enmascaramiento de pérdida.

De esto se derivan dos consecuencias. En primer lugar, el modelo aprende todo sobre un objetivo: sus datos, su redacción, su longitud y sus errores. En segundo lugar, aprende cada objetivo en su contexto: una respuesta que es correcta después de una pregunta puede ser incorrecta después de otra de aspecto similar, y el modelo solo puede notar la diferencia si el contexto lo demuestra.

Elección de buenos objetivos

  • Correcto. Los datos erróneos, los pasos incompletos y los nombres de menú obsoletos se aprenden con la misma fidelidad que los correctos.
  • La respuesta que desea, no la que obtuvo. Si una respuesta era casi correcta, corríjala en lugar de mantenerla tal cual.
  • Autosuficiente. Una respuesta que solo tiene sentido por algo que el modelo no verá — un archivo adjunto, una pantalla compartida — le enseña a referirse a cosas que no están ahí.
  • Coherente. Las preguntas similares deben obtener respuestas con una estructura similar, o el modelo aprenderá a ser incoherente.
  • Respuestas reales. Los mensajes de error, los rechazos de la plataforma y las respuestas que solo anuncian un archivo generado no son respuestas que se deban aprender.
Elección de objetivos en un chat de tres respuestas
  1. Respuesta 1: “¡Hola! ¿En qué puedo ayudarle hoy?” — un saludo. Inofensivo, pero no vale la pena aprenderlo; déjelo como contexto.
  2. Respuesta 2: “Por favor, compruebe su configuración.” — imprecisa. Corríjala con los pasos reales o déjela como contexto.
  3. Respuesta 3: “Abra Configuración → Notificaciones y desactive ‘Resumen semanal’.” — específica y correcta. Márquela como objetivo.
  4. Resultado: un objetivo, con el saludo y la respuesta imprecisa como contexto. Si corrige la respuesta 2, puede convertirse en un segundo objetivo.

Errores comunes

  • Marcar cada respuesta del asistente como objetivo por defecto, incluidos los saludos y el texto de relleno.
  • Mantener una respuesta casi correcta como objetivo en lugar de corregirla.
  • Incluir respuestas que dependan de archivos adjuntos o resultados de herramientas que el modelo no tendrá.
  • Entrenar con una respuesta que posteriormente se descubrió que era incorrecta.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

  1. 01SFT TrainerHugging Face TRL docs · huggingface.coCómo un entrenador de código abierto entrena únicamente con las respuestas del asistente.
  2. 02Supervised fine-tuningOpenAI API docs · developers.openai.comGuía de un proveedor de servicios alojados sobre la preparación de ejemplos de entrenamiento.
  3. 03LIMA: Less Is More for AlignmentZhou et al., 2023 · arXiv · arxiv.orgHasta dónde pueden llegar 1000 objetivos cuidadosamente elegidos.
  4. 04Supervised Fine-TuningHugging Face LLM Course · huggingface.coUn recorrido práctico por el ajuste fino supervisado en datos de chat.
ConceptoRoles de los mensajesCómo se almacena una conversación como mensajes del sistema, del usuario y del asistente, y cómo esos roles se convierten en el flujo único de tokens que un modelo lee realmente.ConceptoEnmascaramiento de pérdidaPor qué un modelo se puntúa solo sobre los tokens objetivo de cada registro, cómo se hace en la práctica y qué cambia y qué no.ConceptoConversaciones de múltiples turnos y ponderacionesCómo una conversación con varias respuestas del asistente se convierte en datos de entrenamiento, los dos formatos que utilizan los proveedores para ello y el efecto secundario que se debe tener en cuenta.Mejor prácticaQué hace que un conjunto de datos sea buenoLas propiedades que determinan si el ajuste fino mejora un modelo — correcto, coherente, variado, centrado y representativo — y cómo comprobar cada una antes de entrenar.MétodoAjuste fino supervisado (SFT)El ajuste fino supervisado enseña a un modelo mediante ejemplos: se le muestra una conversación y la respuesta deseada, y sus pesos se ajustan para que dicha respuesta sea más probable, token por token.Mejor prácticaDe dónde provienen los buenos pares de preferenciaUn par de preferencia es un prompt con una respuesta mejor y otra peor. La eficacia de DPO depende principalmente de si la diferencia entre ambas respuestas es lo que realmente desea cambiar.

Convierta semanas de trabajo experto en minutos

Vea cómo Scalata se adapta a su equipo, a sus datos y a sus Controles.

Contactar con ventas