Test fenêtre de contexte IA : Gemini 3.8 Flash vs GPT-6 Astra
Nous avons caché une phrase dans 90 000 caractères de texte et demandé à cinq modèles de la trouver. Trois ont réussi, un n'a pas répondu deux fois.
👁 115 lectures
Chaque fournisseur vante aujourd’hui une fenêtre de contexte d’un million de tokens. Cela semble promettre qu’on peut soumettre un livre entier au modèle et poser des questions sur les détails. Nous avons voulu vérifier si cela fonctionne et avons commencé prudemment : non pas avec un million, mais avec vingt-cinq mille tokens, soit environ trois pour cent de la fenêtre promise.
Déjà à ce niveau, deux modèles sur cinq ont échoué. L’un n’a pas trouvé la phrase cachée, le second n’a pas répondu du tout à deux reprises, malgré cinq minutes d’attente.
Comment fonctionne la fenêtre de contexte des modèles IA
Nous avons construit un long texte en polonais à partir de nos propres articles publiés, donc en langue naturelle, et non avec du texte de remplissage généré. Quatre-vingt-dix mille caractères de texte continu.
Au milieu, nous avons caché une phrase qui n’a aucune raison d’y figurer : une information sur un code de service pour une boîte au grenier. Nous avons inséré la phrase à trois profondeurs : après dix pour cent du texte, au milieu et après quatre-vingt-dix pour cent. Ensuite, nous avons demandé au modèle de fournir uniquement le code.
C’est un test d’une seule chose : est-ce que le modèle a réellement lu l’intégralité, ou seulement le début et la fin.
Résultats du test de fenêtre de contexte
| Modèle | Réussites | Coût de trois questions | Temps moyen |
|---|---|---|---|
| Gemini 3.8 Flash | 3 / 3 | 0,05889 USD | 3,3 s |
| Kimi K3 | 3 / 3 | 0,23751 USD | 5,1 s |
| GPT-6 Astra | 3 / 3 | 1,00205 USD | 2,0 s |
| DeepSeek V4 Flash | 2 / 3 | 0,00777 USD | 4,0 s |
| GLM 5.3 Flash | 1 / 3 | 0,00429 USD | 5,4 s |
L’ensemble du test a coûté 1,31 dollar.
Trois sur cinq ont réussi, mais à des prix très différents
Gemini 3.8 Flash, Kimi K3 et GPT-6 Astra ont trouvé la phrase cachée à chaque profondeur. La différence se situe dans la facture.
GPT-6 Astra a facturé 1,00 dollar pour trois questions. Gemini 3.8 Flash a fait exactement la même chose pour 0,059, soit dix-sept fois moins cher. Pour une seule question, c’est trente-trois cents de différence. Pour un outil qui recherche des documents quotidiennement, c’est la différence entre une facture qu’on ne remarque pas et une qu’il faut justifier.
Astra a cependant un avantage qui peut être décisif en travail en direct : il a répondu en deux secondes, le plus rapide de tous les cinq, et ce quelle que soit la position de la phrase cachée.
GLM 5.3 Flash n’a pas répondu deux fois sur trois
Le modèle qui a remporté notre test de grammaire polonaise a ici obtenu les pires résultats de tous. Avec la phrase cachée à dix pour cent et à quatre-vingt-dix pour cent, il a dépassé la limite de cinq minutes et n’a rien renvoyé. Il n’a trouvé que celle insérée exactement au milieu.
C’est déjà la troisième fois que ce même modèle nous déçoit de la même manière. Auparavant, il a épuisé toute sa limite de tokens en raisonnement et a produit zéro mot lors d’une demande d’article, et dans le test de neuf tâches, il a renvoyé trois fois une réponse vide et a nécessité 353 secondes.
La cause est à chaque fois la même : dans ce modèle, il est impossible de désactiver le raisonnement. Pour une tâche courte, cela ne fait qu’augmenter la facture. Pour une entrée plus longue, cela peut bloquer complètement la réponse.
La conclusion est inconfortable, mais il faut la tirer : un modèle peut être très bon en polonais et en même temps ne convenir à rien qui fonctionne sur un texte plus long.
Le plus intéressant est apparu par hasard : même texte, nombre de tokens différent
Nous avons envoyé à tous les modèles un texte identique. Chacun l’a compté différemment, car chacun divise le polonais en tokens à sa manière.
| Modèle | Tokens pour le même texte | Par rapport au meilleur |
|---|---|---|
| Gemini 3.8 Flash | 24 857 | point de référence |
| GPT-6 Astra | 26 662 | 7% de plus |
| GLM 5.3 Flash | 27 757 | 12% de plus |
| DeepSeek V4 Flash | 27 998 | 13% de plus |
| Kimi K3 | 35 642 | 43% de plus |
C’est un coût caché dont personne ne parle lors de la comparaison des tarifs. Kimi K3 nécessite quarante-trois pour cent de tokens en plus que Gemini pour le même texte polonais. À tarif identique par million de tokens, cela signifie une facture quarante-trois pour cent plus élevée pour exactement le même travail.
Le polonais est ici dans une situation moins favorable que l’anglais, car les modèles sont principalement entraînés sur des textes anglais, et nos terminaisons flexionnelles se fragmentent en plus de morceaux. Plus la division est mauvaise, plus vous payez pour la même phrase.
Une surprise que nous ne savons pas expliquer
DeepSeek V4 Flash n’a pas trouvé la phrase cachée à dix pour cent du texte, donc près du début, mais l’a trouvée sans problème au milieu et à la fin. C’est l’inverse de ce que suggère l’intuition, car le début est généralement le plus facile.
Nous n’avons pas d’explication à cela et nous n’allons pas en inventer une. Une seule tentative par profondeur est insuffisante pour parler de régularité. Nous le notons comme un fait de cette mesure, pas comme une règle.
Ce que ce test ne dit pas
Nous n’avons pas testé un million de tokens, seulement vingt-cinq mille. Nous ne savons donc pas comment ces modèles se comportent avec la fenêtre complète, et personne ne le sait tant qu’il n’a pas payé pour le vérifier.
Nous n’avons pas non plus testé la compréhension, seulement la localisation. Trouver une seule phrase est la tâche la plus simple possible sur un texte long. Des questions plus difficiles, nécessitant de relier des informations de plusieurs endroits, auraient donné de moins bons résultats pour tous.
Et une chose à garder à l’esprit lors de chaque comparaison de ce type : le prix indiqué sur la fiche du modèle peut ne pas être le prix que vous payez, car le même modèle est hébergé par une dizaine d’entreprises avec leurs propres tarifs.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Quelles conclusions pratiques en tirer
Pour rechercher des documents en polonais, prenez Gemini 3.8 Flash. Nous avons testé en polonais : toutes les réponses trouvées, trois secondes et une facture dix-sept fois inférieure au modèle le plus cher avec le même résultat. De plus, la meilleure division du polonais en tokens, ce qui réduit le coût avant même de poser la question.
Ne présumez pas que la fenêtre de contexte déclarée fonctionne. Vérifiez-le sur votre propre matériel, en y cachant quelque chose qui ne devrait pas s’y trouver. Cela prend un quart d’heure et résout plus de questions que tous les tableaux des fabricants.
Comptez les tokens, pas les caractères. Lors du choix d’un modèle pour travailler sur des textes polonais, la différence de division peut coûter plus cher que la différence de tarif.
Combien coûte réellement le travail avec ces modèles pour l’écriture, et non pour la lecture, nous l’avons mesuré séparément dans le texte sur combien coûte un article écrit par IA.
More on this from PROMPTIF
benchmarks·18 modèles IA testés : 7 imposent le raisonnementSept modèles sur dix-huit refusent de désactiver le raisonnement. Tous sont de dernière génération. Vous payez pour du texte invisible.