PróximamenteEl Entrenamiento de modelos estará disponible pronto en Scalata Enterprise. Enseñe a un modelo a responder como lo hace su equipo.Ver próximas novedades

Recursos/Entrenamiento de modelos/Evaluación

Mejor práctica

Colas de anotación: comprobación manual del juez

Las personas revisan las respuestas del modelo una por una —puntuándolas, eligiendo la mejor o escribiendo una corrección— para medir hasta qué punto se puede confiar en el juez de LLM y para convertir sus correcciones en datos de entrenamiento.

Capítulo 87 min de lectura5 referencias

Qué es

Un juez LLM es rápido y económico, pero no deja de ser un modelo. Puede preferir la respuesta más larga, pasar por alto un número incorrecto o premiar un tono seguro. Los jueces sólidos están de acuerdo con las personas casi con la misma frecuencia con la que las personas están de acuerdo entre sí —más del 80 % en Zheng et al. (2023)—, pero eso es un promedio en pruebas de referencia públicas, no una garantía para las preguntas de su producto. Las colas de anotación ponen las respuestas frente a una persona, para que sepa hasta qué punto confiar en el juez con sus datos.

Una anotación es la etiqueta que una persona asigna al resultado de un modelo: una puntuación por criterio, una elección entre dos respuestas o una respuesta corregida. Una cola de anotación es una lista de tareas pendientes de dichos elementos, con las reglas para revisarlos.

Cómo funciona una cola

  • Los elementos son lo que se revisa. De una evaluación, cada pregunta evaluada: la pregunta, ambas respuestas y el veredicto del juez. De un conjunto de datos, cada respuesta entrenable en su conversación. Los elementos son copias, por lo que archivar o eliminar el origen no altera la cola.
  • La rúbrica son los criterios puntuados del 1 al 5 por respuesta. Utilizar los propios criterios del juez —exactitud, utilidad, tono, formato— hace que las puntuaciones humanas y las del juez sean comparables. Se bloquea una vez que se revisa cualquier elemento; de lo contrario, las puntuaciones anteriores tendrían un significado distinto.
  • La revisión a ciegas muestra «Respuesta A / Respuesta B» sin los nombres de los modelos y oculta el veredicto del juez hasta que se guarda la revisión.
  • El bloqueo mantiene un elemento asignado a la persona que lo está revisando mientras trabaja en él, para evitar que dos personas revisen el mismo elemento.
Elemento 7 de 40a ciegas

user¿Cómo comparto un informe con un cliente?

Respuesta AAbra el informe → Compartir → seleccione el cliente. Recibirá un enlace por correo electrónico.
Respuesta BPuede exportar el informe como PDF y enviarlo por correo electrónico.
AB
Exactitud52
Utilidad43
Tono44
Formato44
ABTseleccione A, B o empate⌘/Ctrl + Enterguardar
Después de guardarA = modelo ajustado · B = modelo base · el juez eligió A
Un elemento en una cola a ciegas. El revisor ve la pregunta, la referencia y dos respuestas etiquetadas únicamente como A y B, califica ambas según la rúbrica y elige una. Los nombres de los modelos y el veredicto del juez aparecen solo después de guardar, por lo que ninguno puede condicionar la revisión.

Por qué es importante la revisión ciega

Las personas se dejan influir por lo que ven primero. Si le muestra a un revisor que la respuesta A proviene del modelo recién ajustado, se inclinará hacia ella, porque ese es el resultado que espera. Si le muestra el veredicto del juez, tenderá a estar de acuerdo con él, lo que anula el propósito de comprobar al juez. Ocultar ambos hasta que se guarde la revisión mantiene la independencia de la etiqueta humana. Al guardar, se revela quién era quién y qué dijo el juez, que es el momento en que los desacuerdos se hacen visibles.

Con qué llenar una cola

SelecciónPor qué
Una muestra aleatoria (20–50) de todas las preguntasUna verificación puntual e imparcial del juez
Preguntas donde ganó la otra respuesta¿Es el modelo ajustado realmente peor en ese caso, o se equivoca el juez?
EmpatesEl juez no pudo decidir; una persona normalmente sí puede
Puntuaciones bajas del juezLos mejores candidatos para correcciones
Las respuestas de un conjunto de datosCompruebe los datos de entrenamiento antes de entrenar: las malas respuestas enseñan malos hábitos

Solo una muestra aleatoria mide la frecuencia con la que el juez acierta en general. Las demás selecciones están deliberadamente sesgadas hacia casos difíciles: excelentes para encontrar problemas y escribir correcciones, pero engañosas como estimación del nivel de acuerdo general.

Interpretación de los resultados

MONEDA AL AIREno confíe únicamente en el juezuna guía fiable0%60%80%100%19 de 25 coinciden
La concordancia es la proporción de preguntas revisadas en las que la persona y el juez eligieron la misma respuesta. Con dos respuestas para elegir, el 50 % es lo que se obtendría al lanzar una moneda. En esta cola ilustrativa, el revisor coincidió con el juez en 19 de 25 preguntas (76 %): cerca de ser una guía fiable, y vale la pena leer las seis discrepancias.
los dos números en una página de cola
agreement      = questions where you and the judge picked the same answer
                 ÷ questions you both decided

score gap      = your average − judge's average, per criterion,
                 on the same answers          (|gap| ≥ 1 point → look closer)
  • Nivel de acuerdo con el juez. Alrededor del 80 % o más: las tasas de victoria del juez son una guía razonable. Por debajo del 60 %: no tome decisiones basándose únicamente en las cifras del juez; revise más, cambie el modelo del juez o ajuste lo que se le pide que compruebe. Recuerde que, con dos respuestas para elegir, lanzar una moneda coincidiría la mitad de las veces, por lo que un 60 % es solo un poco mejor que el azar.
  • Diferencias de puntuación. Por criterio, su promedio frente al del juez en las mismas respuestas. Una diferencia de 1 punto o más significa que el juez califica ese criterio de forma distinta a las personas. Los jueces suelen ser indulgentes con la exactitud de los datos del producto y estrictos con el formato.
  • Los desacuerdos son los elementos interesantes. Lea por qué el juez eligió de forma diferente. O bien es un problema del juez —corrija al juez— o un problema de datos: la respuesta de referencia en sí era incorrecta o estaba desactualizada.

Conversión de las revisiones en datos de entrenamiento

  • Una corrección se convierte en la respuesta sobre la que entrenar (datos supervisados). La respuesta que menos le gustó se almacena como su par inferior, por lo que el mismo ejemplo también sirve para el ajuste de preferencias (DPO).
  • Sin una corrección, la respuesta que eligió es la respuesta principal y la otra es su par inferior.
  • Los empates sin corrección y las puntuaciones por sí solas no se exportan. Al exportar de nuevo, se actualizan los mismos ejemplos en lugar de añadir copias.
un ejemplo exportado: la respuesta para aprender y la respuesta rechazada
{"messages": [
  {"role": "user", "content": "How do I share a report with a client?"},
  {"role": "assistant", "content": "Open the report → Share → pick the client. They get an email link.",
   "rejected": "You can export the report as a PDF and email it.", "rejectedSource": "review"}
]}
Ejemplo práctico: una verificación puntual de 30 elementos (ilustrativo)
  1. Una cola ciega se llena con una muestra aleatoria de 30 preguntas de una evaluación, utilizando los cuatro criterios del juez como rúbrica.
  2. Concordancia: el revisor y el juez eligieron la misma respuesta en 24 de 30 preguntas — 80 %. La tasa de éxito del juez es una guía razonable para este modelo.
  3. Diferencias de puntuación: en exactitud, el revisor promedia 2,9 frente al 4,0 del juez, una diferencia de 1,1 puntos — el juez pasa por alto datos incorrectos del producto. En cuanto al formato, el juez es más estricto.
  4. De las seis discrepancias, cuatro son problemas del juez: recompensó una respuesta que inventaba una función. Dos son problemas de datos: la respuesta de referencia describía un menú que ha cambiado de lugar.
  5. En una pregunta, ambas respuestas inventaron una capacidad. Elegir A o B recompensaría una respuesta inventada de cualquier manera, por lo que el revisor redacta una corrección en su lugar.
  6. Exportación: 5 correcciones y 19 selecciones se convierten en 24 ejemplos de entrenamiento con pares de preferencia; los empates restantes no se exportan.

Configuración y cifras

RúbricaTípico corrección, utilidad, tono, formato#

Los criterios que los revisores puntúan del 1 al 5 para cada respuesta. Utilice los criterios del juez para comparar directamente las puntuaciones humanas y las del juez. Se bloquea una vez que se revisa el primer elemento.

Revisión ciegaTípico activado#

Oculta los nombres de los modelos y el veredicto del juez hasta que se guarda la revisión, para que ninguno pueda influir en el revisor. Desactívelo solo cuando esté etiquetando datos en lugar de comprobar al juez.

Acuerdo con el juezTípico ≈ 80 %+ guía aceptable · por debajo de ≈ 60 % no confíe solo en el juez#

La proporción de preguntas revisadas en las que usted y el juez eligieron la misma respuesta. Es más representativo en una muestra aleatoria.

Diferencia de puntuaciónTípico 1 punto o más: analice con más detalle#

Su promedio menos el del juez en las mismas respuestas, por criterio. Muestra dónde difiere la percepción de calidad del juez de la suya.

Exportar a conjunto de datosTípico después de una ronda de revisión, antes de la siguiente ejecución de entrenamiento#

Escribe los elementos revisados como ejemplos de entrenamiento: una corrección o la respuesta elegida como réplica, y la otra respuesta como su par inferior. Los empates sin corrección y las puntuaciones aisladas se omiten; al exportar de nuevo se actualizan los mismos ejemplos.

Errores comunes

  • Revisar con los nombres de los modelos o el veredicto del juez visibles y, a continuación, «confirmar» al juez.
  • Estimar el nivel de acuerdo general a partir de una cola llena de empates y derrotas en lugar de una muestra aleatoria.
  • Elegir A o B cuando ambas respuestas son incorrectas, en lugar de escribir una corrección.
  • Cambiar el significado de los criterios a mitad del proceso; la rúbrica se bloquea por este motivo.
  • Culpar al juez de cada desacuerdo cuando la propia respuesta de referencia estaba desactualizada.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

  1. 01Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgNivel de acuerdo juez-humano superior al 80 %, cercano al nivel humano-humano, y los sesgos del juez.
  2. 02Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human PreferencesShankar et al., 2024 · arXiv · arxiv.orgComparación de los evaluadores de LLM con las calificaciones humanas y cómo los criterios se desvían a medida que las personas revisan.
  3. 03Cohen's kappaWikipedia · en.wikipedia.orgAcuerdo corregido por azar — por qué un 60 % en una elección binaria es deficiente.
  4. 04Inter-rater reliabilityWikipedia · en.wikipedia.orgCómo se mide y se interpreta el acuerdo entre evaluadores.
  5. 05Anchoring effectWikipedia · en.wikipedia.orgEl sesgo del que protege la revisión ciega.
MétodoLLM como juezUn modelo de lenguaje independiente lee la pregunta, la respuesta de referencia y dos respuestas candidatas, puntúa ambas y elige una ganadora. Configurado a ciegas, con un orden aleatorio y una familia de modelos diferente, coincide con los evaluadores humanos casi con la misma frecuencia con la que los humanos coinciden entre sí.MétricaInterpretación de los resultados de evaluaciónCómo interpretar la tasa de victorias, la diferencia de puntuación y las señales secundarias de una evaluación — y cómo distinguir una mejora real del ruido cuando el número de preguntas es pequeño.Mejor prácticaDe dónde provienen los buenos pares de preferenciaUn par de preferencia es un prompt con una respuesta mejor y otra peor. La eficacia de DPO depende principalmente de si la diferencia entre ambas respuestas es lo que realmente desea cambiar.MétodoAjuste de preferencias (DPO)La optimización directa de preferencias entrena un modelo con pares de respuestas, una mejor y otra peor, para que aprenda a preferir las mejores, sin el modelo de recompensa ni el ciclo de aprendizaje por refuerzo que requiere el RLHF clásico.Mejor prácticaQué hace que un conjunto de datos sea buenoLas propiedades que determinan si el ajuste fino mejora un modelo — correcto, coherente, variado, centrado y representativo — y cómo comprobar cada una antes de entrenar.MétodoAprendizaje a partir de los comentarios del chatCómo los votos positivos, los votos negativos y Actualizar en el chat se convierten en datos de entrenamiento: las respuestas con voto positivo para el entrenamiento supervisado, los pares para el ajuste de preferencias y las respuestas con voto negativo se envían a un revisor.

Convierta semanas de trabajo experto en minutos

Vea cómo Scalata se adapta a su equipo, a sus datos y a sus Controles.

Contactar con ventas