Gemini 4 Carbon : les résultats des 19 benchmarks
Google publie les résultats de 19 benchmarks pour Gemini 4 Carbon. Voici le tableau complet, les tests détaillés et les deux épreuves où il ne termine pas premier.
👁 121 lectures
Google a publié avec Gemini 4 Carbon un document présentant les résultats de 19 tests. Carbon y est comparé à Gemini 4 Argon, GPT-6 Astra, Claude Opus 5.5 et Claude Fable 5.1. J’ai repris le tableau complet, expliqué ce que mesure chaque test et relevé les épreuves où Carbon ne termine pas premier. Ces résultats sont ceux communiqués par le fabricant. Je n’ai pas testé Carbon moi-même : il est uniquement disponible dans le programme Fairwind.
Le tableau complet des 19 benchmarks
Le meilleur résultat de chaque ligne est en gras. Un tiret indique qu’aucun résultat n’est disponible pour le modèle concerné.
| Test | Carbon | Argon | GPT-6 Astra | Opus 5.5 | Fable 5.1 |
|---|---|---|---|---|---|
| Artificial Analysis Index v5.0 | 59 | 50 | 57 | 58 | 49 |
| Vals Index v2.2 | 70,4 % | 69,2 % | 65,0 % | 70,2 % | - |
| SWE-sweep | 9,6 % | 4,3 % | 9,5 % | 3,6 % | 2,9 % |
| FrontierSWE 2 | 61,2 % | 55,0 % | 65,5 % | 62,3 % | 56,3 % |
| Terminal-Bench 4.0 (AA) | 65,2 % | 57,1 % | 59,1 % | 59,6 % | 52,0 % |
| Agents’ Last Exam v1.1 | 77,4 % | 69,0 % | 73,1 % | 71,6 % | - |
| OSWorld-2.1 (hors ligne) | 81,5 % | 74,7 % | 80,9 % | 87,2 % | 76,8 % |
| AutomationBench (Zapier) | 53,9 % | 51,3 % | 41,4 % | 42,5 % | 31,4 % |
| Vending-Bench 2 (solde en EUR) | 14 809,30 EUR (16 484 USD) | 12 321,17 EUR (13 718 USD) | 13 934,43 EUR (15 515 USD) | 8 293,91 EUR (9 235 USD) | 4 867,50 EUR (5 422 USD) |
| Chartography | 72,5 % | 71,6 % | 71,0 % | 66,3 % | 46,2 % |
| Blueprint-Bench 2 | 58,6 % | 54,4 % | 49,7 % | 51,2 % | 41,9 % |
| GraphWalks 256k-1M | 96,2 % | 84,2 % | 71,8 % | 66,8 % | 65,0 % |
| RiemannBench | 80,0 % | 76,0 % | 72,0 % | 69,6 % | 65,6 % |
| Terminal-Bench-Science 0.1 (AA) | 64,8 % | 52,9 % | 63,3 % | 59,0 % | 43,3 % |
| CWE-bench | 71,0 % | 68,0 % | 68,0 % | 67,0 % | 58,0 % |
| ExploitGym | 54,8 % | 42,0 % | 42,4 % | 34,5 % | - |
| SEC-bench Pro | 88,2 % | 83,4 % | 85,4 % | - | - |
Résultat : Carbon arrive en tête dans 17 des 19 tests. Il est devancé sur FrontierSWE 2 par GPT-6 Astra et sur OSWorld-2.1 par Claude Opus 5.5.
Ce que mesure chaque benchmark
Intelligence générale
- Artificial Analysis Index v5.0 - un classement indépendant qui combine plusieurs tests, avec des outils dans sa version 5.0. Carbon obtient 59 points, contre 58 pour Opus 5.5 et 57 pour GPT-6 Astra. C’est la seule ligne du tableau entièrement issue d’un organisme externe, et c’est là que l’avantage de Carbon est le plus faible.
- Vals Index v2.2 - un indice regroupant des tâches professionnelles, publié par Vals AI. Carbon atteint 70,4 % et Opus 5.5, 70,2 % : c’est presque une égalité.
Programmation
- SWE-sweep - des tâches de programmation très difficiles, pour lesquelles tous les modèles obtiennent un résultat à un chiffre. Carbon atteint 9,6 %, contre 9,5 % pour GPT-6 Astra. Google a calculé lui-même le résultat de Carbon avec l’outil mini-swe-agent, tandis que les résultats des concurrents proviennent du classement public.
- FrontierSWE 2 - des tâches d’ingénierie issues du classement public de Proximal. GPT-6 Astra arrive en tête avec 65,5 %, contre 61,2 % pour Carbon. Opus 5.5 fait également mieux, avec 62,3 %.
- Terminal-Bench 4.0 - un agent qui travaille dans un terminal, avec des résultats issus d’Artificial Analysis. Carbon obtient 65,2 %, soit près de 6 points d’avance sur Opus. C’est le résultat de programmation le plus convaincant, car il ne vient pas de Google.
Utilisation d’un ordinateur
- Agents’ Last Exam v1.1 - 122 tâches d’agent à réaliser dans une fenêtre de cinq heures. Carbon obtient 77,4 %. Google a calculé ce résultat lui-même et repris ceux d’Astra et d’Opus dans le classement public.
- OSWorld-2.1 - le modèle interagit avec un véritable système en se basant uniquement sur des captures d’écran, pour accomplir 82 tâches hors ligne. Opus 5.5 l’emporte avec 87,2 %, contre 81,5 % pour Carbon. Si vous concevez un agent destiné à utiliser des applications de bureau, Claude reste ici le plus performant.
Bureautique et activité professionnelle
- AutomationBench - des automatisations du type de celles proposées par Zapier. Carbon obtient 53,9 %, tandis qu’Opus 5.5 et GPT-6 Astra tournent autour de 42 % : ils sont nettement derrière.
- Vending-Bench 2 - le modèle gère un distributeur de snacks simulé sur une longue période ; c’est le solde final qui compte. Carbon a généré 16 484 USD, contre seulement 9 235 USD pour Opus 5.5. Ce test illustre bien la capacité à maintenir une stratégie sur de nombreuses étapes.
Images et graphiques
- Chartography - la lecture de graphiques sans outils. Carbon atteint 72,5 %, juste devant Argon (71,6 %).
- Blueprint-Bench 2 - la compréhension de plans et de schémas, évaluée à partir d’un score de similarité. Carbon obtient 58,6 %.
Contexte long
- GraphWalks 256k-1M - le modèle parcourt un graphe décrit dans un texte de 256 000 à un million de tokens. Carbon obtient 96,2 % ; son concurrent le mieux classé, GPT-6 Astra, atteint 71,8 %. C’est le plus grand écart de tout le tableau. À noter : Google a calculé lui-même les résultats de tous les modèles pour ce test. J’ai expliqué le fonctionnement de la limite d’un million de tokens d’Argon dans l’article un million de tokens dans Gemini 4 Argon.
Sciences et mathématiques
- RiemannBench - des problèmes mathématiques issus du classement public de Surge. Carbon obtient 80,0 %.
- Terminal-Bench-Science 0.1 - des tâches scientifiques dans un terminal, mesurées par Artificial Analysis. Carbon atteint 64,8 %, contre 63,3 % pour GPT-6 Astra.
Cybersécurité
- SEC-bench Pro - la recherche de vulnérabilités réelles dans un moteur JavaScript, sur 183 tâches. Carbon atteint 88,2 %, contre 85,4 % pour GPT-6 Astra.
- ExploitGym - l’évaluation de la possibilité d’exploiter une vulnérabilité. Carbon obtient 54,8 %, soit plus de 12 points d’avance sur Astra (42,4 %).
- CWE-bench - la correction d’une vulnérabilité à la source, dans un classement tenu par Collinear. Carbon atteint 71,0 %, contre 68,0 % pour Argon et Astra.
Google a effectué lui-même les tests ExploitGym et SEC-bench Pro dans l’environnement Antigravity, hors ligne et avec les protections du modèle désactivées. Les résultats des concurrents proviennent de leurs rapports respectifs, et non d’un test réalisé dans les mêmes conditions.
Comment interpréter ces résultats avec prudence
- Qui a calculé les résultats ? Certains résultats viennent de classements indépendants : Artificial Analysis, Vals, Surge, Zapier, Andon Labs et Collinear. D’autres ont été calculés par Google : SWE-sweep, Agents’ Last Exam, OSWorld, GraphWalks, ExploitGym et SEC-bench Pro. Or, les plus grands écarts en faveur de Carbon apparaissent justement dans des tests calculés par Google.
- Les réglages. Carbon et Argon ont été évalués avec les réglages de raisonnement les plus élevés, via l’API Gemini et avec une seule tentative. Les concurrents ont généralement aussi été testés avec leurs réglages maximaux, mais les résultats viennent de leurs propres rapports.
- Les écarts de score. Dans Artificial Analysis, Carbon obtient 59 points, Opus 58 et Astra 57. De tels écarts peuvent facilement s’inverser lors d’une prochaine mise à jour du classement.
Pour Argon, Google avait présenté 19 tests et le modèle en avait remporté 13. J’ai analysé ces résultats dans l’article les benchmarks de Gemini 4 Argon. Avec Carbon, le bilan passe à 17 victoires sur 19, et les progrès par rapport à Argon sont les plus marqués en contexte long, en sciences et en cybersécurité. Retrouvez la présentation complète du modèle, ses prix et ses modalités d’accès dans notre dossier Gemini 4 Carbon.
Les montants en euros sont des conversions indicatives, et non des prix de paiement locaux. Conversion effectuée au taux de référence de la BCE du 28 octobre 2026 (1 EUR = 1,1133 USD) : source BCE.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Sources
- Google DeepMind : Gemini 4 Carbon - évaluation du modèle, méthodologie et résultats (PDF), 28 octobre 2026
- Google : Gemini 4 Carbon, notre nouveau modèle de pointe, 28 octobre 2026
- Artificial Analysis Intelligence Index
Vérifié le 28 octobre 2026.
More on this from PROMPTIF
magazine·Gemini 4 Carbon vs Argon : différences, prix et faut-il attendre ?Gemini 4 Carbon dépasse Argon sur les agents et le long contexte, pour le même tarif API. Voici ce qui change et dans quels cas attendre.