Qué es
Las respuestas abiertas no tienen una única cadena de texto correcta con la cual compararse. Dos respuestas a “¿Cómo exporto mi informe?” pueden ser correctas, y la mejor puede ser la que sea más corta, indique la ruta del menú o advierta sobre un error común. Los humanos pueden juzgar eso, pero son lentos y costosos. LLM-as-a-judge utiliza un modelo de lenguaje capaz de realizar el mismo juicio a gran escala.
Zheng et al. (2023) estudiaron esto sistemáticamente y descubrieron que los jueces robustos como GPT-4 coincidían con las preferencias humanas más del 80 % de las veces — el mismo nivel de acuerdo que entre dos humanos. Describieron tres configuraciones: comparación por pares (cuál de dos respuestas es mejor), calificación de respuesta única (una puntuación para una respuesta) y calificación guiada por referencia (juzgar teniendo a mano una respuesta correcta conocida). La configuración que se utiliza aquí combina las tres.
Cómo funciona
Question: <the held-out user message and its context>
Reference answer: <the reply from your data>
Answer A: <one model's answer>
Answer B: <the other model's answer>
Score each answer 1–5 on correctness, helpfulness, tone and format.
Then name the winner (A, B or tie) and give a one-sentence reason.El juez ve la pregunta con su contexto, la respuesta de referencia de sus datos y dos respuestas etiquetadas únicamente como A y B. Puntúa cada una del 1 al 5 en cuatro criterios, nombra un ganador general o un empate, y escribe un motivo breve. Las puntuaciones se promedian entre las preguntas; los ganadores se convierten en la tasa de victorias; los motivos son lo que usted lee para entender el porqué.
| Criterio | Qué aspecto tiene un 5 | Qué aspecto tiene un 1 |
|---|---|---|
| Exactitud | Los datos, pasos y nombres son correctos y coherentes con la referencia | Pasos incorrectos, o características, configuraciones o números inventados |
| Utilidad | Resuelve el problema real del usuario, incluido el siguiente paso | Consejos genéricos o evasivas |
| Tono | Se adapta a la situación y a su voz | Frío ante un usuario frustrado, o locuaz cuando se necesita precisión |
| Formato | La longitud y la estructura se adaptan a la pregunta | Un muro de texto para una respuesta de una sola línea, o un formato roto |
Sesgos conocidos y cómo anularlos
- Sesgo de posición. Los jueces tienden a preferir la respuesta que aparece primero (algunos prefieren la segunda). Wang et al. (2023) demostraron la magnitud de este efecto: con solo cambiar el orden, se logró que Vicuna-13B superara a ChatGPT en 66 de 80 preguntas utilizando a ChatGPT como juez. Solución: mezclar el orden en cada pregunta, de modo que el sesgo recaiga por igual en ambos modelos y se compense.
- Autopreferencia. Los modelos califican mejor el texto que se asemeja a su propia redacción. Panickssery et al. (2024) descubrieron que cuanto mejor reconoce un modelo su propio resultado, más fuerte es este sesgo. Solución: utilizar un juez de una familia de modelos diferente a la de los modelos que se están comparando.
- Sesgo de verbosidad. Las respuestas más largas y que parecen más detalladas tienden a ganar, incluso cuando no son mejores. AlpacaEval, al controlar la longitud, corrige este problema y aumentó su nivel de acuerdo con las clasificaciones humanas (la correlación de Spearman con Chatbot Arena pasó de 0.94 a 0.98). Solución: comparar las longitudes promedio junto con la tasa de victorias, y leer los motivos de los ganadores extensos.
- Sesgo de marca. Si el juez sabe qué respuesta proviene del modelo “con ajuste fino”, puede favorecerla o penalizarla. Solución: etiquetas a ciegas — el juez solo ve A y B en todo momento.
La respuesta de referencia también ayuda. Los jueces son mucho mejores detectando datos incorrectos cuando tienen una respuesta correcta conocida con la cual comprobar, lo que es de suma importancia para las preguntas del dominio donde el propio juez podría no conocer los pasos correctos.
Comprobación manual del juez
Un juez sigue siendo un modelo: puede preferir respuestas largas, pasar por alto un número incorrecto o premiar un tono seguro. La solución es que personas revisen a ciegas una muestra de las mismas preguntas y medir con qué frecuencia eligen la misma respuesta que el juez. Con un acuerdo de alrededor del 80 % o más, las tasas de éxito del juez son una guía fiable; por debajo del 60 %, no tome decisiones basándose únicamente en las cifras del juez — revise más, cambie el modelo del juez o modifique lo que se le pide que compruebe. Las preguntas en las que las personas y el juez no están de acuerdo son las más útiles de leer.
- Pregunta: “¿Cómo restablezco mi contraseña?” Referencia: “Configuración → Seguridad → Restablecer contraseña; el enlace del correo electrónico es válido durante 30 minutos.”
- El orden se mezcla: la respuesta ajustada pasa a ser la B en esta ocasión. A (base): “Por lo general, puede restablecerla desde la configuración de su cuenta o ponerse en contacto con el servicio de asistencia.” B (ajustada): “Abra Configuración → Seguridad y elija Restablecer contraseña. Revise su correo electrónico en un plazo de 30 minutos.”
- Puntuaciones: A — exactitud 3, utilidad 3, tono 4, formato 4. B — 5, 5, 4, 5.
- Veredicto: B, motivo “ruta específica y correcta, y menciona el vencimiento; A es imprecisa.” Resultado asignado: victoria de la respuesta ajustada.
- Esta pregunta resuelta también es un par de preferencias: se prefiere B, A no.
Errores comunes
- Utilizar la misma familia de modelos como juez y concursante, y luego confiar en una victoria ajustada.
- Colocar siempre la respuesta ajustada en la misma posición.
- Leer únicamente la tasa de victorias: los motivos muestran si una victoria se debió a la exactitud o simplemente a la longitud.
- Asumir que el juez conoce su dominio. Sin una respuesta de referencia, puede recompensar errores plausibles y expresados con seguridad.
- No realizar nunca una verificación puntual del juez frente a su propia lectura de una docena de preguntas.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al., 2023 · arXiv · arxiv.orgMás del 80 % de acuerdo con los humanos, y los sesgos de posición, verbosidad y autoensalzamiento.
- 02Large Language Models are not Fair EvaluatorsWang et al., 2023 · arXiv · arxiv.orgLa fuerza del sesgo de posición y las estrategias de calibración para contrarrestarlo.
- 03LLM Evaluators Recognize and Favor Their Own GenerationsPanickssery et al., 2024 · arXiv · arxiv.orgLa autopreferencia y por qué ayuda un juez de otra familia.
- 04Length-Controlled AlpacaEval: A Simple Way to Debias Automatic EvaluatorsDubois et al., 2024 · arXiv · arxiv.orgCorrección de la tendencia a elegir respuestas más largas.
- 05A Survey on LLM-as-a-JudgeGu et al., 2024 · arXiv · arxiv.orgUna revisión exhaustiva de los diseños, sesgos y fiabilidad de los jueces.