PróximamenteEl Entrenamiento de modelos estará disponible pronto en Scalata Enterprise. Enseñe a un modelo a responder como lo hace su equipo.Ver próximas novedades

Recursos/Entrenamiento de modelos/Métodos de entrenamiento

Mejor práctica

De dónde provienen los buenos pares de preferencia

Un par de preferencia es un prompt con una respuesta mejor y otra peor. La eficacia de DPO depende principalmente de si la diferencia entre ambas respuestas es lo que realmente desea cambiar.

Capítulo 76 min de lectura4 referencias

Qué es un par

Un par de preferencia tiene tres partes: el prompt (la conversación hasta el momento, incluido cualquier mensaje del sistema), la respuesta preferida y la respuesta no preferida. Algunas herramientas llaman a las dos últimas elegida y rechazada. Al modelo nunca se le dice por qué una es mejor. Lo infiere de todo lo que difiere entre ellas.

Ese es el hecho central sobre los pares: el DPO aprende la diferencia. Si la respuesta preferida es correcta y específica mientras que la rechazada es vaga, aprende a ser específico. Si la respuesta preferida también es siempre más larga, puede aprender en su lugar que «más largo es mejor». Lo que separa a las dos partes de manera consistente en todos sus pares es lo que se refuerza.

Las tres fuentes en la herramienta de Pares de preferencia

Cada respuesta en un conjunto de datos puede ser la mejor parte de un par. Cuando crea pares a partir de un conjunto de datos, la peor parte proviene de uno de tres lugares:

1 · De una evaluación
modelo ajustado · ganóSí. Abra el panel de control → Compartir → Exportar → PowerPoint. Cada gráfico se convierte en una diapositiva.
modelo base · perdióNo estoy seguro de que esa función exista; por favor, consulte la documentación.
2 · De su edición
su respuesta corregidaAbra Configuración → Notificaciones y desactive «Resumen semanal».
la respuesta originalVaya a la configuración.
3 · Redactado por un modelo
la respuesta de su equipoAbra Data Marketplace → Conectores y haga clic en Añadir en Snowflake…
respuesta genérica, sin conocimiento de la EmpresaLa mayoría de las plataformas permiten añadir conexiones de datos en su menú de configuración.
Tres formas de obtener el lado inferior de un par. Las ediciones transmiten la señal más fuerte, ya que una persona indicó exactamente qué estaba mal; las respuestas genéricas redactadas por el modelo cubren cualquier respuesta que no tenga otro par.
FuenteCómo se genera la peor respuestaPunto fuerteA tener en cuenta
EvaluacionesDos modelos respondieron a la misma pregunta y un evaluador eligió a un ganador. El ganador es el preferido; el perdedor, el no preferido. Los empates se omiten: no conllevan ninguna preferencia.Ambas respuestas son resultados reales del modelo, por lo que el contraste es realista.Los evaluadores son imperfectos y un ganador incorrecto enseña la lección equivocada. Realice comprobaciones puntuales.
Sus edicionesUsted corrigió una respuesta en un conjunto de datos. La versión corregida es la preferida; la original, la no preferida.La señal de mayor calidad: una persona indicando exactamente qué estaba mal.Las ediciones que solo cambian la redacción enseñan poco.
Escrito por un modeloUn modelo de su elección escribe una respuesta sencilla y genérica, sin conocimiento de su empresa y sin herramientas. Su respuesta es la preferida.Cubre todas las respuestas que no tienen otro par; enseña al modelo a responder como su equipo en lugar de como un asistente genérico.El contraste es fácil, por lo que la pérdida puede disminuir rápidamente sin que se aprenda mucho.

Volver a añadir la misma evaluación actualiza sus pares en lugar de duplicarlos, por lo que evaluar, recopilar pares, entrenar y evaluar de nuevo es un ciclo que puede repetir.

Pares a partir de comentarios del chat y revisión humana

  • Comentarios del chat. Cuando alguien hizo la misma pregunta dos veces en un chat, le gustó una respuesta y no le gustó o actualizó la otra, importar los comentarios del chat convierte esto en un par: la respuesta que gustó es la preferida, la otra no. Las respuestas calificadas de ambas formas por diferentes personas se omiten, al igual que las respuestas idénticas. Una respuesta que no gustó por sí sola nunca se convierte en una respuesta de la cual aprender; espera a una respuesta mejor para compararse.
  • Colas de anotación. Un revisor que lee las respuestas a ciegas elige la mejor o escribe una corrección. Al exportar la cola, la corrección, o la respuesta elegida, se convierte en la respuesta de la cual aprender y la respuesta que menos gustó en su peor parte, de modo que un ejemplo sirve para el entrenamiento supervisado y el DPO. Los empates sin corrección no se exportan.

Qué hace que un par sea útil

  • La diferencia debe radicar en lo que realmente importa. Si ambas respuestas son buenas y solo difieren en la redacción, el modelo aprende ruido. Las investigaciones sobre DPO han revelado que los pares cuyas respuestas son muy similares pueden incluso desviar la probabilidad hacia respuestas no relacionadas.
  • La respuesta preferida debe ser realmente mejor. Un ganador incorrecto enseña la lección equivocada. Las respuestas generadas y los evaluadores son imperfectos, por lo que conviene revisar una muestra.
  • Las respuestas rechazadas verosímiles enseñan más. «Impreciso pero educado» es un contraste más útil que un texto sin sentido. Una respuesta rechazada que el modelo nunca escribiría le aporta muy poco.
  • Cercano a lo que escribe el modelo. DPO aprende más de las respuestas que se aproximan al propio comportamiento del modelo. Los pares de evaluación, en los que una de las partes fue escrita por el propio modelo, son naturalmente acertados.
  • Controle la longitud y el estilo. Si las respuestas preferidas son sistemáticamente más largas o tienen mucho más formato, incluya pares en los que gane la respuesta más corta o más sencilla.
  • Penalice la invención. Si un modelo inventa detalles específicos, añada pares en los que la respuesta rechazada sea la inventada y la respuesta preferida sea la correcta, o indique claramente que no lo sabe.
Tres pares para una pregunta, clasificados por lo que enseñan
  1. Pregunta: «¿Puedo exportar un panel a PowerPoint?». La respuesta preferida es siempre la misma: los pasos correctos, Compartir → Exportar → PowerPoint.
  2. Débil: rechazada «asdf». El contraste es trivial: la pérdida en este par cae a casi 0 casi de inmediato y el modelo no aprende casi nada.
  3. Mejor: rechazada «No estoy seguro de que esa función exista; por favor, consulte la documentación». Un fallo realista: vago y poco útil.
  4. La mejor, para un modelo que inventa: rechazada «Sí: pulse Ctrl+Shift+P y elija Exportar a diapositivas». Segura y errónea, que es exactamente el hábito que se debe eliminar.

Cuántos pares

Decenas de pares pueden mostrar un efecto en un comportamiento específico; cientos o más proporcionan uno robusto. La cobertura importa tanto como la cantidad: 200 pares sobre las mismas cinco preguntas enseñan menos que 200 pares distribuidos entre las preguntas que sus usuarios realmente hacen. Para tener una idea de la escala, un estudio inicial sobre el ajuste fino de modelos de lenguaje a partir de comparaciones humanas utilizó 5000 comparaciones para una tarea de estilo y 60 000 para resúmenes.

Pares de conversaciones de múltiples turnos

Los pares pueden provenir de lo más profundo de una conversación. Algunos proveedores entrenan con una pregunta por registro, por lo que los turnos anteriores se agrupan en el último mensaje del usuario como contexto. Otros aceptan toda la conversación como el prompt y mantienen los turnos como mensajes separados. Los mismos pares se pueden escribir de ambas formas.

Turnos anteriores agrupados en un solo mensaje
Earlier in this conversation:
User: I uploaded a CSV yesterday.
Assistant: Thanks — it's in Local Storage.

Latest message:
Can I use it in a dashboard?

Errores comunes

  • Confiar en pares generados o juzgados sin leer una muestra.
  • Pares que difieren solo en la redacción, o donde ambas respuestas son buenas.
  • Respuestas rechazadas que son evidentemente defectuosas, por lo que no se aprende nada sutil.
  • Un sesgo de longitud oculto: las respuestas preferidas siempre son más largas, por lo que el modelo aprende a divagar.
  • Crear pares a partir de las mismas preguntas sobre las que se evaluará, lo que favorece artificialmente el resultado.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

  1. 01Fine-Tuning Language Models from Human PreferencesZiegler et al., 2019 · arXiv · arxiv.orgPrimeros trabajos sobre el aprendizaje a partir de comparaciones humanas, incluyendo cómo los atajos de los etiquetadores moldearon lo que aprendió el modelo.
  2. 02Dataset formats and typesHugging Face TRL docs · huggingface.coEl formato de prompt / elegido / rechazado, en sus formas estándar y conversacional.
  3. 03Direct preference optimizationOpenAI API docs · developers.openai.comUn formato alojado con resultados preferidos y no preferidos, entrenado un turno a la vez.
  4. 04Unintentional Unalignment: Likelihood Displacement in Direct Preference OptimizationRazin et al., 2024 · arXiv · arxiv.orgPor qué los pares con respuestas casi idénticas pueden ser contraproducentes y cómo ayuda filtrarlos.
MétodoAjuste de preferencias (DPO)La optimización directa de preferencias entrena un modelo con pares de respuestas, una mejor y otra peor, para que aprenda a preferir las mejores, sin el modelo de recompensa ni el ciclo de aprendizaje por refuerzo que requiere el RLHF clásico.MétodoAprendizaje a partir de los comentarios del chatCómo los votos positivos, los votos negativos y Actualizar en el chat se convierten en datos de entrenamiento: las respuestas con voto positivo para el entrenamiento supervisado, los pares para el ajuste de preferencias y las respuestas con voto negativo se envían a un revisor.Mejor prácticaColas de anotación: comprobación manual del juezLas personas revisan las respuestas del modelo una por una —puntuándolas, eligiendo la mejor o escribiendo una corrección— para medir hasta qué punto se puede confiar en el juez de LLM y para convertir sus correcciones en datos de entrenamiento.MétodoLLM como juezUn modelo de lenguaje independiente lee la pregunta, la respuesta de referencia y dos respuestas candidatas, puntúa ambas y elige una ganadora. Configurado a ciegas, con un orden aleatorio y una familia de modelos diferente, coincide con los evaluadores humanos casi con la misma frecuencia con la que los humanos coinciden entre sí.ConceptoComparativa entre modelo base y ajustadoUna evaluación plantea al modelo inicial y al modelo entrenado las mismas preguntas reservadas y compara sus respuestas, de modo que usted pueda comprobar si el entrenamiento realmente ha mejorado las respuestas.MétricaInterpretación de la pérdida de DPOLa pérdida de DPO mide con qué claridad el modelo prefiere ahora la mejor respuesta en cada par, en relación con su estado inicial. Comienza en ln 2 ≈ 0,693 y desciende hacia 0 a medida que se aprende la preferencia.

Convierta semanas de trabajo experto en minutos

Vea cómo Scalata se adapta a su equipo, a sus datos y a sus Controles.

Contactar con ventas