Ce qu'un modèle IA retient vraiment

Un million de tokens de contexte sonne comme une promesse que le modèle lira tout un livre et retiendra tout. La réalité est différente : une grande fenêtre indique ce que vous pouvezy mettre, et non combien le modèle trouvera. Je teste cela avec mon propre test, en français : je cache un code unique dans un long document et demande de le retrouver. Le résultat est binaire - soit il donne le code, soit non.

dernier passage : 2026-11-09 04:48:06 · deux masquages sur la longueur (25% et 75% du document) · correspondance exacte

Modèle	8 k tokens	32 k tokens	128 k tokens
Claude Opus 5	pas de réponsedélai dépassé	pas de réponsedélai dépassé	pas de réponsedélai dépassé
GPT-5.6 Terra	pas de réponsedélai dépassé	pas de réponsedélai dépassé	pas de réponsedélai dépassé
Kimi K3	pas de réponsedélai dépassé	pas de réponsedélai dépassé	pas de réponsedélai dépassé
DeepSeek V4 Pro	pas de réponsedélai dépassé	pas de réponsedélai dépassé	pas de réponsedélai dépassé

À quoi ressemble le test

Je construis un document avec des paragraphes numérotés au contenu neutre (procès-verbaux d'archives), et j'insère à un endroit choisi une phrase avec un code impossible à deviner ou apprendre, car il est généré à partir d'une somme de contrôle du jour et des paramètres du test :

Paragraphe spécial. Le code d'accès aux archives de secours est NB-A3F91C et ne s'applique qu'à ce document.

Ensuite je demande au modèle de fournir uniquement le code. Je le cache deux fois : une fois au quart du document, une fois aux trois quarts - car les modèles retiennent généralement mieux le début et la fin, et perdent le milieu. « Trouvé » signifie deux réussites sur deux, « partiellement » une, « perdu » zéro. Je mesure aussi le temps de réponse, car avec un long contexte il peut passer de secondes à minutes, ce qui compte si vous construisez un produit dessus.

Ce que ce test ne mesure pas

Retrouver un fait est la tâche la plus simple dans un long contexte. Plus difficile est de relier plusieurs informations dispersées dans le document et de raisonner sur l'ensemble - un modèle qui trouve le code peut encore perdre le fil face à une question nécessitant de croiser trois paragraphes de différents endroits. Traitez ce résultat comme un plancher, pas un plafond : si le modèle échoue à ce test, il échouera certainement à un test plus difficile. Lors de vos propres implémentations, testez toujours sur vos documents, car la structure du texte compte.

Je répète le test chaque semaine et j'archive les résultats - ainsi nous verrons si les modèles, après des mises à jour silencieuses, commencent à perdre plus qu'auparavant. Les prix des modèles de ce tableau se trouvent danscalculateur de coûts, et leurs profils complets dans les hubs :Opus 5, GPT-5.6, Kimi K3. En citant les résultats, indiquez « promptif.fr, test de fenêtre de contexte » et la date d'exécution.