Ce que c'est
La fenêtre de contexte est la mémoire de travail du modèle pour une requête unique : le nombre maximum de tokens qu'il peut prendre en compte simultanément. Elle est partagée par l'ensemble des éléments — le prompt système, chaque échange précédent de la conversation, tout document placé dans le prompt, le nouveau message et la réponse que le modèle rédige. Tout ce qui n'y rentre pas est tout simplement ignoré.
Les fenêtres se sont rapidement agrandies, passant de quelques milliers de tokens dans les premiers modèles à des centaines de milliers, voire environ un million pour certains modèles actuels. La taille est déterminée par la façon dont le modèle a été construit et entraîné ; le fine-tuning ne la modifie pas.
Fonctionnement
Un transformer lit son entrée en parallèle et, à chaque couche, permet à chaque token de se référer à tous les tokens précédents grâce à un mécanisme appelé attention. C'est ce qui permet à une réponse de dépendre d'un détail remontant loin dans la conversation. C'est aussi la raison pour laquelle les contextes longs sont coûteux : dans l'attention standard, le calcul croît avec le carré de la longueur, et la mémoire utilisée pour garder la conversation en vue lors de la génération augmente avec chaque token.
La réponse compte également. Si un modèle possède une fenêtre de 128 000 tokens et que l'entrée fait 126 000 tokens de long, il ne reste que 2 000 tokens pour la réponse. La plupart des API plafonnent également la longueur de la sortie séparément.
Plus grand ne veut pas dire meilleur
Un modèle peut accepter une entrée longue sans pour autant bien l'utiliser. Les études sur les contextes longs révèlent que les modèles utilisent les informations situées au début et à la fin de l'entrée de manière plus fiable que celles enfouies au milieu, et que de nombreux modèles annonçant de très grandes fenêtres perdent en précision bien avant leur limite déclarée. Pour l'entraînement comme pour l'utilisation, un contexte court et pertinent donne généralement de meilleurs résultats qu'un contexte long et rempli de superflu.
La limite d'entraînement par exemple
L'entraînement ajoute une seconde limite : la limite de tokens par exemple, soit l'enregistrement unique le plus long sur lequel un fournisseur acceptera d'entraîner le modèle. Elle est souvent inférieure à la fenêtre de contexte du modèle, car l'entraînement sur un enregistrement long nécessite beaucoup plus de mémoire que d'y répondre. Un enregistrement dépassant la limite doit être raccourci ou exclu.
- Un enregistrement contient un prompt système de 300 tokens, 14 échanges précédents d'environ 600 tokens chacun, et une question finale avec une réponse cible de 400 tokens : 300 + 8 400 + 400 = 9 100 tokens.
- La limite par exemple du fournisseur pour ce modèle est de 8 192 tokens, l'enregistrement est donc trop long de 908 tokens.
- Le tronquage supprime d'abord les échanges les plus anciens. En retirer deux (environ 1 200 tokens) ramène l'enregistrement à environ 7 900 tokens.
- Le prompt système, les douze échanges les plus récents et la réponse cible sont conservés, de sorte que le modèle apprend toujours la réponse dans la situation qui l'a produite.
Erreurs courantes
- Supposer qu'un modèle doté d'une grande fenêtre de contexte s'entraînera sur des enregistrements tout aussi longs.
- Oublier que la réponse doit tenir dans la fenêtre avec l'entrée.
- Remplir le prompt avec tous les documents disponibles en partant du principe que plus de contexte est toujours préférable.
- Exclure d'emblée les longues conversations alors que tronquer les échanges les plus anciens aurait permis de conserver une cible utile.
Références et lectures complémentaires
Les sources externes s'ouvrent dans un nouvel onglet.
- 01Lost in the Middle: How Language Models Use Long ContextsLiu et al., 2023 · arXiv · arxiv.orgMontre que les informations situées au milieu d'une entrée longue sont utilisées de la manière la moins fiable.
- 02RULER: What's the Real Context Size of Your Long-Context Language Models?Hsieh et al., 2024 · arXiv · arxiv.orgMesure jusqu'à quel point en deçà de leurs fenêtres annoncées les modèles restent fiables.
- 03Attention Is All You NeedVaswani et al., 2017 · arXiv · arxiv.orgL'article sur les transformers, d'où provient l'attention sur l'ensemble du contexte.
- 04Context windowsClaude Platform Docs · platform.claude.comL'explication d'un fournisseur sur la façon dont l'entrée et la sortie partagent la fenêtre.