Preguntas de prueba: por qué importa que sean «reservadas»

Qué es

Un modelo ajustado ha leído sus respuestas de entrenamiento muchas veces. Si le vuelve a hacer una de esas preguntas, puede reproducir la respuesta casi palabra por palabra. Eso parece habilidad, pero es memorización: no le dice nada sobre cómo manejará el modelo al próximo cliente, cuya pregunta nunca ha visto.

El conjunto de prueba es la solución, y una de las reglas más antiguas del aprendizaje automático: mantener algunos ejemplos completamente separados del entrenamiento y evaluar el modelo solo con ellos. Los grandes modelos de lenguaje hacen que esta regla sea más importante, no menos. Los estudios de los puntos de referencia públicos han encontrado repetidamente modelos que vieron elementos de prueba durante el entrenamiento y obtuvieron puntuaciones más altas por ello — un problema conocido como contaminación de datos o fuga de datos.

Cómo funciona

dataset has ≥ 10 conversations?   no  →  no test set
                                  yes →  test = 10% of conversations (at least 3)
                                         random, but fixed for this prep

each assistant reply in a test conversation  →  one question
  asked with the conversation up to that point
  reference answer = the reply itself
reply identical to a training reply          →  dropped

1. Reservado en primer lugar. Antes de separar la validación o de escribir nada para el entrenamiento, la preparación de datos selecciona el 10 % de las conversaciones, al menos 3. Los conjuntos de datos con menos de 10 conversaciones no obtienen un conjunto de prueba.
2. Aleatorio, pero fijo por preparación. La selección es aleatoria, por lo que no está sesgada hacia conversaciones fáciles o difíciles, y se mantiene igual para esa preparación, de modo que al evaluar de nuevo se formulan las mismas preguntas.
3. Una pregunta por respuesta. Cada respuesta del asistente en una conversación de prueba se convierte en una pregunta, formulada con la conversación hasta ese punto. La propia respuesta es la respuesta de referencia.
4. Sin copias ocultas. Una respuesta de prueba que es exactamente igual a una respuesta de entrenamiento — la misma respuesta estándar en otra conversación — se descarta, porque el modelo ya la ha visto en la práctica.
5. Nunca sale. Las conversaciones de prueba no están en el archivo de entrenamiento ni en el archivo de validación, y nunca se envían al proveedor.

Por qué la validación no es una prueba limpia

No se aprende de las conversaciones de validación, así que ¿por qué no evaluar con ellas? Porque el proveedor recibe el archivo de validación y lo utiliza durante el entrenamiento para calcular la pérdida de validación y supervisar la ejecución. Los datos han salido de sus manos, y cada decisión que se toma al observar esos números — qué ejecución mantener, cuántas épocas — ajusta el resultado un poco hacia esas preguntas en particular. La validación es una buena segunda opinión; no es un examen a ciegas.

De dónde obtiene Evaluate sus preguntas

Evaluate toma la primera fuente que existe, en ese orden. Un resultado en una muestra de entrenamiento es un límite superior: si el modelo ajustado no gana ni siquiera en las preguntas que ha aprendido, no lo hará en las nuevas; si gana, usted seguirá sin saber por cuánto.

Cómo usarlo correctamente

• Dele margen. Un conjunto de prueba de 29 preguntas es útil pero pequeño: con ese tamaño, una tasa de éxito del 60 % sigue siendo compatible con una falta de mejora. Más conversaciones en el conjunto de datos significan más preguntas de prueba y un veredicto más firme.
• Mantenga las conversaciones de prueba fuera de entrenamientos posteriores. Si las copia en otro conjunto de datos y entrena con él, el siguiente modelo las habrá visto y su evaluación le favorecerá artificialmente.
• Compare elementos similares. Una nueva preparación extrae su propio conjunto de prueba. Cuando compare modelos, use las preguntas de prueba de una misma preparación para todos ellos.
• Tómese en serio las advertencias. Una evaluación sobre una muestra de entrenamiento se marca como tal por una razón: considérela una comprobación básica, no un resultado.

Fuentes de las preguntas

Errores comunes

• Evaluar con preguntas de entrenamiento e interpretar el resultado como un rendimiento en el mundo real.
• Tratar los resultados de validación como si fueran tan limpios como los resultados de pruebas reservadas.
• Copiar conversaciones de prueba en un conjunto de datos de entrenamiento posterior, de modo que el siguiente modelo ya las haya visto.
• Considerar un puñado de preguntas de prueba como un veredicto: los conjuntos de prueba pequeños necesitan una gran diferencia para ser significativos.
• Comparar modelos que fueron evaluados cada uno en el conjunto de prueba de una preparación diferente.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

1. 01Training, validation, and test data sets↗Wikipedia · en.wikipedia.orgLa división en tres partes y por qué el conjunto de prueba se usa solo al final.
2. 02Leakage (machine learning)↗Wikipedia · en.wikipedia.orgCómo la información de los datos de prueba se filtra en el entrenamiento e infla las puntuaciones.
3. 03NLP Evaluation in trouble: On the Need to Measure LLM Data Contamination for each Benchmark↗Sainz et al., 2023 · arXiv · arxiv.orgPor qué la contaminación hace que los resultados de la evaluación no sean fiables y por qué debe comprobarse.
4. 04Time Travel in LLMs: Tracing Data Contamination in Large Language Models↗Golchin & Surdeanu, 2023 · arXiv · arxiv.orgDetección de cuándo un modelo ha memorizado ejemplos de prueba al pedirle que los complete.

Conceptos relacionados