GPT-6.1 Terra : test de remplissage de formulaire par capture d’écran

👁 115 lectures

OpenAI présente GPT-6.1 Terra comme un modèle capable d’utiliser un ordinateur avec précision à partir de captures d’écran, notamment pour remplir des formulaires. J’ai testé cette capacité sur un formulaire de leasing en deux pages : le modèle ne voyait que la capture d’écran et un e-mail client contenant plusieurs pièges, tandis que le navigateur exécutait chaque action, clic ou saisie. Terra a rempli le formulaire sans erreur lors de ses 4 essais, en 19 étapes à chaque fois, pour environ 0,0422 EUR et en moins d’une minute.

Ce qu’OpenAI annonce

Dans son annonce du 26.10.2026, OpenAI décrit Terra comme un modèle rapide qui associe un raisonnement visuel précis à une utilisation de l’ordinateur tout aussi précise. Parmi les exemples d’usage figure le remplissage de formulaires ; dans l’API, OpenAI cite aussi la lecture de factures et la saisie de données dans un logiciel de comptabilité. Au test OSWorld 2.1, qui porte sur des tâches réalisées sur un véritable système d’exploitation, Terra en niveau medium dépasserait le meilleur résultat de GPT-5.6 Terra. Les chiffres ne figurent que sur un graphique, selon OpenAI.

Dans l’API, l’utilisation de l’ordinateur passe par l’outil computer_use, disponible uniquement avec l’API Responses. J’ai effectué le test via OpenRouter et créé une boucle plus simple : le modèle reçoit une capture d’écran et renvoie une action au format JSON ; un script l’exécute avec Playwright, puis prend une nouvelle capture. Cette méthode est plus limitée que l’outil complet d’OpenAI, mais permet de vérifier si le modèle repère les champs et interprète correctement les données.

Le formulaire et l’e-mail piégé

J’ai créé le formulaire : la première étape contient des données personnelles et une adresse ; la deuxième, un montant, une durée de leasing, un objet et des consentements. Les menus des régions et des durées sont personnalisés, et non de simples champs de sélection : il faut les ouvrir d’un clic, puis choisir une option. Les champs sont soumis à une validation : téléphone de 9 chiffres sans espaces, identifiant fiscal de 10 chiffres sans tirets.

Le modèle devait extraire les données d’un e-mail client. Les pièges étaient les suivants. Les exemples ci-dessous sont des traductions des éléments de test rédigés en polonais ; le test lui-même a été effectué en polonais :

• « Téléphone : 601 234 567 - enfin, non, désolé, c’est mon numéro professionnel (…) veuillez utiliser mon numéro personnel : 512 900 118 » : le formulaire devait contenir 512900118.
• « Identifiant fiscal 521-301-72-28 » : il fallait le saisir sans tirets.
• « Traceur de découpe (…) leasing sur trois ans » : l’objet devait être classé comme une machine ou un équipement, pour une durée de 36 mois.
• « Merci de ne pas m’envoyer d’offres marketing » : le consentement marketing devait rester décoché, tandis que le consentement relatif au RGPD, obligatoire, devait être coché.
• L’e-mail ne précisait pas la région : il fallait la déduire du code postal 20-346 et de la ville de Lublin.

Les consignes données au modèle tenaient en quelques phrases. La réponse devait être un unique objet JSON, dans l’un des formats suivants :

{"action":"cliquer","x":123,"y":456}
{"action":"saisir","x":123,"y":456,
 "texte":"..."}
{"action":"faire_defiler","dy":300}
{"action":"terminer"}

Comment Terra a procédé : 19 étapes

Voici le premier essai de Terra en niveau medium, avec les actions dans l’ordre. Les coordonnées sont exprimées en pixels sur un écran de 1 280 x 800. Les textes saisis sont des traductions des éléments du test polonais :

1. saisir (412,140) « Tomasz »
2. saisir (792,140) « Wierzbicki-Nowak »
3. saisir (408,203) « 88030312342 »
4. saisir (789,202) « 5213017228 »
5. saisir (420,277) « 512900118 »
...
10. cliquer (810,417)  menu des régions
11. cliquer (690,501)  « Lubelskie »
12. cliquer (301,461)  « Suivant »
13. saisir (401,140) « 24600 »
14-15. cliquer  menu des durées, « 36 mois »
16-18. cliquer  « machine/équipement »,
             consentement RGPD, « Envoyer »
19. terminer

Terra n’a effectué aucun mouvement superflu : elle a rempli chaque champ du premier coup, sans déclencher la validation et sans cocher le consentement marketing. Elle a saisi le numéro personnel, l’identifiant fiscal sans tirets et choisi elle-même la région. Une étape durait en moyenne 2,6 s et l’entrée de chaque étape comptait entre 1 700 et 2 060 tokens, capture d’écran et historique des actions compris. Les trois essais suivants ont donné le même résultat, dont un en niveau low : même nombre d’étapes, même résultat.

À noter : tous les modèles ont recopié l’adresse e-mail en majuscules, comme dans le message : « T.Wierzbicki@Studio-Lipa.pl ». Le formulaire ne l’interdisait pas, ce n’est donc pas une erreur. Mais si votre système distingue les majuscules des minuscules, précisez-le dans la consigne.

Résultats de tous les modèles

• Sol a fait exactement la même chose que Terra, en autant d’étapes, mais pour un coût deux fois supérieur.
• Luna a d’abord choisi la mauvaise région lors d’un essai, puis a rouvert le menu et corrigé son choix, d’où les 21 étapes. Elle a coûté 10 fois moins cher que Terra.
• Gemini 4 Argon, avec des consignes exprimées en pixels, cliquait à côté des champs : il a saisi trois fois le prénom à différents endroits et n’a pas envoyé le formulaire après 40 étapes. Le problème ne venait pas du modèle lui-même : Argon exprime les coordonnées sur une échelle de 0 à 1 000. Après avoir modifié une phrase des consignes et converti l’échelle, il a tout rempli sans erreur. Cette leçon m’a coûté environ 0,90 EUR (1 USD).

Ce que cela signifie en pratique

Pour Terra, un formulaire simple, même avec des menus personnalisés et une validation, est une tâche routinière. Le résultat est identique à celui de Sol, plus cher, et coûte moitié moins. Pour 1 000 formulaires de ce type, le modèle seul reviendrait à environ 42,23 EUR (47 USD), contre environ 84,46 EUR (94 USD) avec Sol et environ 4,49 EUR (5 USD) avec Luna.

Ce test ne porte pas sur de vrais sites avec des publicités, des fenêtres de cookies et des CAPTCHA, sur des tâches longues impliquant plusieurs sites, ni sur l’outil complet computer_use de l’API Responses. Dans ChatGPT, le mode Work permet d’effectuer un travail similaire ; je l’ai présenté dans l’article ChatGPT Work : de quoi s’agit-il ?. J’ai décrit la mise à disposition d’Agents API par OpenAI aux développeurs dans l’article Agents API d’OpenAI. Les autres résultats de Terra, y compris le test en polonais, sont présentés dans le guide GPT-6.1 Terra.

Questions fréquentes

GPT-6.1 Terra peut-il utiliser un ordinateur ?

Oui, c’est l’une des principales fonctions annoncées. Lors de mon test, le modèle a rempli 15 champs d’un formulaire en deux pages sans aucun clic erroné, lors de 4 essais sur 4. Le test a été effectué en polonais.

Combien coûte l’utilisation de computer use avec Terra ?

La facturation se fait au nombre de tokens : une capture d’écran accompagnée de l’historique représente environ 2 000 tokens d’entrée par étape. Mon formulaire, qui comportait 19 étapes, a coûté 0,0413-0,0431 EUR (0,046-0,048 USD) par essai.

Terra ou Luna pour automatiser des formulaires ?

Sur ce formulaire simple, Luna a aussi obtenu 15/15, pour environ 0,00449 EUR (0,005 USD), mais elle a choisi une mauvaise option une fois et a dû la corriger. Terra a été plus rapide et n’a eu besoin d’aucune correction.

computer use fonctionne-t-il avec OpenRouter ?

L’envoi d’une capture d’écran et la réception d’une action au format JSON fonctionnent avec l’API de chat classique : c’est la méthode que j’ai utilisée pour ce test. L’outil computer_use d’OpenAI nécessite l’API Responses.

Sources et date de vérification

• OpenAI : présentation de GPT-6.1 Terra - utilisation de l’ordinateur, formulaires, OSWorld 2.1 (consulté le 26.10.2026)
• API OpenAI : modèle GPT-6.1 Terra - outil computer_use, nécessité de l’API Responses (consulté le 26.10.2026)
• Mon test : formulaire HTML personnalisé, Playwright (Chromium, 1 280 x 800), OpenRouter, raisonnement en niveau medium (un essai de Terra en niveau low), le 26.10.2026, entre environ 21 h 05 et 21 h 30 ; 11 essais, coût total de 1,49 USD.

Les conversions en euros sont des estimations et non des prix de paiement locaux. Taux de référence de la BCE du 29.10.2026 : 1 EUR = 1,113 USD. Source : BCE.

// lire la suiteWebhook : définition et connexion d’une IA à un formulaireGuidesllms.txt : les bots IA le lisent-ils vraiment ?BenchmarksGemini Omni 1.2 : mouvements de caméra et plans FPV testésBenchmarks

Kinetyra