Aprendizaje a partir de los comentarios del chat

Qué son los comentarios del chat

Cada respuesta en el chat puede ser valorada: 👍, 👎 —con hasta dos motivos como «Faltan detalles» y un comentario opcional— o Actualizar, para pedir una nueva respuesta. Cada persona tiene una valoración por respuesta, y cuenta la más reciente. La excepción es un Actualizar después de un 👎: el 👎 y sus motivos se conservan, porque sigue siendo un «no».

Estas valoraciones son un registro de lo que los usuarios reales pensaron de las respuestas reales, lo cual las hace valiosas. Sin embargo, un pulgar por sí solo es una etiqueta débil y ruidosa, y la mayoría de los métodos de ajuste fino no pueden usarlo directamente. La función de la importación es convertir las valoraciones en el tipo de ejemplos de los que pueden aprender los métodos compatibles con todos los proveedores.

De calificaciones a ejemplos

Reglas que mantienen la integridad de los datos

• Una respuesta con voto negativo nunca es una respuesta de la cual aprender. Solo aparece como la parte rechazada de un par, o como contexto previo, sobre el cual nunca se entrena.
• Los desacuerdos se excluyen. Una respuesta que a una persona le gustó y a otra no, se considera mixta y se omite.
• Las respuestas idénticas no forman un par. Si un Actualizar devolvió el mismo texto, «preferir A sobre A» no enseña nada.
• Un Actualizar por sí solo es una señal débil. Las personas también actualizan por curiosidad. Solo cuenta como una mala respuesta si usted decide contabilizarla; para los pares, siempre se utiliza «se volvió a preguntar y luego gustó la nueva».
• Las importaciones son estables. Volver a importar actualiza los ejemplos creados la última vez en lugar de duplicarlos.

¿Por qué no entrenar directamente con cada pulgar?

Las malas respuestas no se adaptan a la mayoría de los métodos. El entrenamiento supervisado necesita una buena respuesta para imitar, y DPO necesita una respuesta mejor y otra peor a la misma pregunta. Un 👎 aislado no es ninguna de las dos cosas. Existe un método creado para etiquetas únicas de bueno/malo, KTO (Kahneman-Tversky Optimization, 2024), cuyos autores afirman que iguala o supera a los métodos basados en preferencias a escalas de 1 a 30 mil millones de parámetros, aprendiendo únicamente de si cada respuesta era deseable. Los entrenadores de código abierto como Hugging Face TRL lo admiten, pero la mayoría de los servicios de ajuste fino alojados no lo ofrecen. Un 👎 solo les resulta útil una vez que hay una respuesta mejor con la cual compararlo.

Los pulgares sin procesar pueden enseñar lo incorrecto. A las personas les gustan las respuestas que concuerdan con ellas y suenan seguras. El estudio de Anthropic sobre la adulación (2023) descubrió que tanto las personas como los modelos de preferencia a veces prefieren una respuesta complaciente y escrita de forma convincente antes que una correcta. Un estudio de 2024 que entrenó modelos directamente con comentarios simulados de usuarios fue más allá: los modelos aprendieron de manera fiable tácticas manipuladoras o engañosas para ganar pulgares arriba, e incluso cuando solo el 2 % de los usuarios eran vulnerables, aprendieron a identificarlos. Enviar las respuestas 👎 a un revisor garantiza que sea una persona quien decida cuál es la respuesta correcta.

El orden que suele funcionar

1. Ajuste fino supervisado en las respuestas con voto positivo —y las correcciones de los revisores— para que el modelo aprenda cómo son las buenas respuestas.
2. DPO en los pares, partiendo del modelo supervisado, para que aprenda cuál de dos respuestas plausibles es mejor.

La guía de DPO de OpenAI recomienda el mismo flujo de trabajo: primero un ajuste fino supervisado en las respuestas preferidas y, a continuación, un trabajo de DPO a partir del resultado.

Configuración

Errores comunes

• Entrenar con cada respuesta que no recibió un voto negativo, como si el silencio significara aprobación.
• Activar «contar también Actualizar» cuando los usuarios actualizan principalmente para ver alternativas.
• Ejecutar DPO en pares de comentarios sin un entrenamiento supervisado previo con las buenas respuestas.
• Dejar que los gustos de un pequeño grupo de evaluadores definan qué es «bueno» sin contrastar el resultado con una evaluación.
• Dejar la cola de revisión sin procesar, de modo que los comentarios más informativos —lo que salió mal— nunca se conviertan en datos.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

1. 01KTO: Model Alignment as Prospect Theoretic Optimization↗Ethayarajh et al., 2024 · arXiv · arxiv.orgEl método creado para etiquetas únicas de deseable/indeseable.
2. 02KTO Trainer↗Hugging Face TRL docs · huggingface.coQué necesita KTO como datos y en qué se diferencia de DPO en la práctica.
3. 03Towards Understanding Sycophancy in Language Models↗Sharma et al., 2023 · arXiv · arxiv.orgCómo las preferencias humanas pueden recompensar las respuestas complacientes por encima de las correctas.
4. 04On Targeted Manipulation and Deception when Optimizing LLMs for User Feedback↗Williams et al., 2024 · arXiv · arxiv.orgQué aprenden los modelos cuando se entrenan directamente para ganar los pulgares arriba de los usuarios.
5. 05Direct preference optimization↗OpenAI API docs · developers.openai.comEl orden recomendado: ajuste fino supervisado en las respuestas preferidas, luego DPO.

Conceptos relacionados