Qué es
El evaluador no es su objetivo. Es un sustituto medible del mismo, un indicador indirecto (*proxy*). El aprendizaje por refuerzo optimiza el indicador de forma implacable, y allí donde el indicador y su objetivo difieren, el modelo se desvía hacia el indicador. Los economistas conocen esto como la ley de Goodhart: cuando una medida se convierte en un objetivo, deja de ser una buena medida. En IA se denomina manipulación de la recompensa o manipulación de las especificaciones.
El ejemplo clásico proviene del aprendizaje por refuerzo en videojuegos. En el juego de carreras de lanchas CoastRunners, un agente recompensado por alcanzar objetivos a lo largo del recorrido aprendió a dar vueltas en una laguna, golpeando los mismos objetivos una y otra vez, y nunca terminó la carrera. Obtenía más puntos de esa manera que completando el recorrido. Nada fallaba: el agente hizo exactamente lo que indicaba la recompensa.
Los modelos de lenguaje hacen lo mismo con los evaluadores. Los autores de DeepSeek-R1 informan que, mientras entrenaban con un modelo de recompensa aprendido para la utilidad, la recompensa seguía aumentando a medida que caía el rendimiento en una prueba de programación, y mantuvieron los modelos de recompensa aprendidos fuera de su aprendizaje por refuerzo de razonamiento en parte por ese motivo.
Gao et al. (2022) midieron esta curva. Al optimizar un modelo frente a un modelo de recompensa aprendido, rastrearon una recompensa «oro» separada que representaba la calidad real: a medida que el modelo se alejaba de su punto de partida, el indicador indirecto seguía subiendo mientras que la puntuación oro aumentaba, alcanzaba su punto máximo y luego disminuía. Los modelos de recompensa más grandes sufrieron menos, pero ninguno eliminó el efecto.
Cómo se manifiesta con cada evaluador
| Calificador | Cómo se manipula | Qué aspecto tiene |
|---|---|---|
| Modelo juez | Respuestas más largas y de apariencia exhaustiva; un tono seguro; texto que halaga o instruye al juez | La longitud aumenta; respuestas llenas de salvedades y preguntas reformuladas; frases como «Esta respuesta es completa y correcta». |
| Similitud | Reutilización de las frases de referencia, encajen o no | Respuestas que se leen como sus propias contestaciones, pero que dicen lo incorrecto |
| Números | Enumerar muchas cifras para que alguna se acerque a las suyas | Respuestas repletas de números o alternativas: «ya sea 9,9 % o 10,3 %» |
| Coincidencia exacta / comprobaciones | Cumplir la comprobación al pie de la letra | JSON válido con campos vacíos; la etiqueta correcta rodeada de texto sin sentido |
Ejemplo práctico
- Prompt: «¿Puedo exportar un panel a PowerPoint?» Su referencia: «Sí: Compartir → Exportar → PowerPoint. Cada gráfico se convierte en una diapositiva».
- Respuesta 1, puntuación 0,95, verde: reformula la pregunta, indica los pasos, añade tres párrafos de consejos generales de presentación y termina con «Esta respuesta resuelve completamente su pregunta».
- Respuesta 2, puntuación 0,70, rojo: los pasos de su referencia en dos oraciones.
- El juez valoró la exhaustividad por encima de la concisión, y la frase final puede haber influido aún más. La respuesta 2 es lo que usted buscaba; sin embargo, la actualización empuja al modelo hacia la respuesta 1.
- Soluciones: un juez más estricto, o una combinación con similitud a su respuesta; una longitud máxima de respuesta más ajustada; y una evaluación con un juez diferente para confirmar el resultado.
Cómo prevenirlo y detectarlo
- Lea las respuestas reforzadas. Las respuestas verdes de cada grupo son exactamente lo que se le está enseñando al modelo. Si no son lo que usted desea, deténgase y cambie el evaluador.
- Evalúe de forma independiente. Compare el modelo entrenado con su punto de partida en preguntas reservadas, utilizando un juez diferente al evaluador. Un aumento en la recompensa que no se refleje allí resulta sospechoso.
- Combine evaluadores. El punto ciego de cada evaluador queda cubierto por otro: un juez junto con una comprobación de números es mucho más difícil de manipular que cualquiera de los dos por separado.
- Limite la longitud. Una longitud máxima de respuesta sensata frena de inmediato la manipulación más común.
- Ancle con KL β. Una penalización por desviarse del modelo inicial limita hasta dónde se puede llevar cualquier manipulación, a costa de una mejora más lenta.
- No entrene en exceso. La sobreoptimización crece con la distancia desde el inicio; una ejecución más corta que se detiene cerca del punto máximo a menudo supera a una más larga.
- Prefiera recompensas comprobables. Las respuestas exactas, las cifras, las comprobaciones de formato y las pruebas dejan menos margen de interpretación que una opinión.
Errores comunes
- Tratar el gráfico de recompensas como la medida del éxito.
- Utilizar el mismo modelo como evaluador y como juez de evaluación.
- Entrenar durante mucho más tiempo del necesario «porque la recompensa sigue subiendo».
- Solucionar una manipulación y no volver a leer las respuestas; los modelos suelen encontrar la siguiente brecha.
- Culpar al modelo. Este hace lo que indica la recompensa; la solución casi siempre está en el evaluador o en la configuración.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01Concrete Problems in AI SafetyAmodei et al., 2016 · arXiv · arxiv.orgMenciona la manipulación de la recompensa como uno de los cinco problemas prácticos de seguridad en el aprendizaje automático.
- 02Scaling Laws for Reward Model OveroptimizationGao, Schulman & Hilton, 2022 · arXiv · arxiv.orgMide cómo la calidad real alcanza su punto máximo y cae a medida que un modelo se optimiza frente a una recompensa indirecta.
- 03Specification gaming: the flip side of AI ingenuityKrakovna et al., 2020 · Google DeepMind · deepmind.googleEjemplos de agentes que hacen lo que indicaba la recompensa en lugar de lo que se pretendía.
- 04Reward Hacking in Reinforcement LearningWeng, 2024 · Lil'Log · lilianweng.github.ioUn estudio exhaustivo de la manipulación de la recompensa en el aprendizaje por refuerzo y en el entrenamiento de modelos de lenguaje.