PróximamenteEl Entrenamiento de modelos estará disponible pronto en Scalata Enterprise. Enseñe a un modelo a responder como lo hace su equipo.Ver próximas novedades

Recursos/Entrenamiento de modelos/Tokens y contexto

Concepto

Ventana de contexto

El número máximo de tokens que un modelo puede tener en cuenta a la vez, cómo se comparte ese espacio y cómo difiere del límite por ejemplo que se aplica durante el entrenamiento.

Capítulo 23 min de lectura4 referencias

Qué es

La ventana de contexto es la memoria de trabajo del modelo para una única solicitud: el número máximo de tokens que puede tener en cuenta a la vez. Se comparte entre todo — el prompt del sistema, cada turno anterior de la conversación, cualquier documento colocado en el prompt, el nuevo mensaje y la respuesta que el modelo está escribiendo. Cualquier cosa que no quepa, simplemente no se ve.

Las ventanas han crecido rápidamente, desde un par de miles de tokens en los primeros modelos hasta cientos de miles, y alrededor de un millón en algunos modelos actuales. El tamaño está determinado por cómo se construyó y entrenó el modelo; el ajuste fino no lo cambia.

UNA SOLICITUDventana de contextosistematurnos anterioresmensaje nuevorespuestalibreREGISTRO DE ENTRENAMIENTO · ANTESsist.turno 1turno 2turno 3objetivoDESPUÉS DEL RECORTEsist.turno 2turno 3objetivolímite por ejemplomás antiguo descartado
Arriba: una solicitud. El prompt del sistema, el historial, el mensaje nuevo y la respuesta comparten una misma ventana. Abajo: un registro de entrenamiento que supera el límite por ejemplo pierde su intercambio más antiguo, conservando el prompt del sistema, el contexto más reciente y el objetivo.

Cómo funciona

Un transformer lee su entrada en paralelo y, en cada capa, permite que cada token mire hacia atrás a todos los tokens anteriores mediante un mecanismo llamado atención. Eso es lo que permite que una respuesta dependa de un detalle muy anterior en la conversación. También es la razón por la que los contextos largos son costosos: en la atención estándar, el cálculo crece con el cuadrado de la longitud, y la memoria utilizada para mantener la conversación a la vista mientras se genera crece con cada token.

La respuesta también cuenta. Si un modelo tiene una ventana de 128 000 tokens y la entrada tiene una longitud de 126 000 tokens, solo quedan 2000 tokens para la respuesta. La mayoría de las API también limitan la longitud de la salida por separado.

Más grande no equivale a mejor

Un modelo puede aceptar una entrada larga sin hacer un buen uso de toda ella. Los estudios sobre contextos largos revelan que los modelos utilizan la información al principio y al final de la entrada de forma más fiable que la información oculta en el medio, y que muchos modelos que anuncian ventanas muy largas pierden precisión mucho antes de su límite declarado. Tanto para el entrenamiento como para el uso, un contexto corto y relevante suele funcionar mejor que uno largo y de relleno.

El límite de entrenamiento por ejemplo

El entrenamiento añade un segundo límite: el límite de tokens por ejemplo, el registro individual más largo con el que un proveedor entrenará. A menudo es menor que la ventana de contexto del modelo, porque entrenar con un registro largo requiere mucha más memoria que responder a uno. Un registro que supere el límite debe acortarse o excluirse.

Ajuste de una conversación de soporte larga
  1. Un registro tiene un prompt del sistema de 300 tokens, 14 intercambios anteriores de unos 600 tokens cada uno, y una pregunta final más una respuesta objetivo de 400 tokens: 300 + 8400 + 400 = 9100 tokens.
  2. El límite por ejemplo del proveedor para este modelo es de 8192 tokens, por lo que el registro tiene 908 tokens de más.
  3. El recorte elimina primero los intercambios más antiguos. Al descartar dos de ellos (unos 1200 tokens), el registro se reduce a aproximadamente 7900 tokens.
  4. El prompt del sistema, los doce intercambios más recientes y la respuesta objetivo se conservan, de modo que el modelo sigue aprendiendo la respuesta en la situación que la produjo.

Errores comunes

  • Asumir que un modelo con una ventana de contexto grande se entrenará con registros igual de largos.
  • Olvidar que la respuesta debe caber en la ventana junto con la entrada.
  • Llenar el prompt con todos los documentos disponibles bajo la teoría de que más contexto siempre es mejor.
  • Descartar conversaciones largas por completo cuando recortar los turnos más antiguos habría conservado un objetivo útil.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

  1. 01Lost in the Middle: How Language Models Use Long ContextsLiu et al., 2023 · arXiv · arxiv.orgMuestra que la información en el medio de una entrada larga se utiliza de forma menos fiable.
  2. 02RULER: What's the Real Context Size of Your Long-Context Language Models?Hsieh et al., 2024 · arXiv · arxiv.orgMide hasta qué punto por debajo de sus ventanas anunciadas los modelos siguen siendo fiables.
  3. 03Attention Is All You NeedVaswani et al., 2017 · arXiv · arxiv.orgEl artículo sobre transformers, de donde proviene la atención sobre todo el contexto.
  4. 04Context windowsClaude Platform Docs · platform.claude.comLa explicación de un proveedor sobre cómo la entrada y la salida comparten la ventana.
ConceptoTokensLos fragmentos de texto que un modelo realmente lee y escribe — cómo se crean, por qué los recuentos difieren entre modelos y por qué cada límite y precio en el entrenamiento se mide en ellos.ConfiguraciónLímites de tokens y recortesCada proveedor limita la cantidad de tokens que puede contener un ejemplo de entrenamiento. Las conversaciones largas que superan el límite se recortan —eliminando primero los intercambios más antiguos— o se descartan.ConceptoPor qué los tokens determinan el costeCómo los recuentos de tokens se convierten en el precio de entrenamiento y de uso de un modelo, con números calculados, y qué factores reducen realmente la factura.ConfiguraciónPrompt del sistemaEl prompt del sistema es una instrucción permanente que se coloca antes de cada conversación. Al añadirse durante el entrenamiento, el modelo aprende su comportamiento en presencia de ese prompt exacto, por lo que debe mantenerse igual cuando se utilice el modelo.ConceptoConversaciones de múltiples turnos y ponderacionesCómo una conversación con varias respuestas del asistente se convierte en datos de entrenamiento, los dos formatos que utilizan los proveedores para ello y el efecto secundario que se debe tener en cuenta.

Convierta semanas de trabajo experto en minutos

Vea cómo Scalata se adapta a su equipo, a sus datos y a sus Controles.

Contactar con ventas