Gemini 4 Argon pour coder : test et benchmarks

👁 120 lectures

Gemini 4 Argon a réussi les 51 tests unitaires de mes quatre exercices de programmation. Le test m’a coûté environ 0,025 € et a duré 25 secondes au total. Aucun modèle haut de gamme n’a fait aussi bien à ce prix et aussi rapidement. Les benchmarks de code dressent toutefois un tableau plus contrasté : selon Google, Argon arrive en tête de DeepSWE, mais se classe derrière ses concurrents dans FrontierSWE et Terminal-Bench 4.0. Dans le classement indépendant Arena Code WebDev, il n’est que 8e. Voici les résultats de mon test, les chiffres des benchmarks et les options disponibles pour programmer avec Argon. Pour en savoir plus sur le modèle, consultez notre guide Gemini 4 Argon.

Quatre exercices et 51 tests unitaires

Les exercices sont courts, mais chacun comporte un piège susceptible de faire échouer un modèle. Le test a été réalisé en polonais : les exemples ci-dessous décrivent les exercices originaux, et non un nouveau test en français.

• Validation d’un NIP : identifiant fiscal polonais, avec variantes comprenant des tirets, des espaces ou le préfixe PL ; somme de contrôle pondérée, et reste égal à 10 considéré comme invalide.
• Fusion d’intervalles : les intervalles qui se touchent doivent être fusionnés ; ceux qui sont saisis à l’envers, comme (5, 2), doivent être inversés.
• Jours ouvrés en Pologne : années 2024 à 2030, jours fériés mobiles et veille de Noël, qui n’est chômée qu’à partir de 2025.
• Montant en toutes lettres sur une facture :déclinaisons polonaises des mots désignant la monnaie polonaise (« zloty » et « grosz »), arrondi au centime polonais et montants pouvant atteindre un milliard.

À quoi ressemble le code de Gemini 4 Argon

Argon a renvoyé directement le code, sans préambule, avec des annotations de type et des commentaires en polonais. L’extrait le plus intéressant concerne la liste des jours fériés de l’exercice sur les jours ouvrés : la veille, Gemini 3.8 Flash s’était trompé sur ce point. Le code ci-dessous traduit les noms et commentaires polonais de l’original.

def get_holidays(year: int) -> set[datetime.date]:
    easter = calculate_easter(year)
    holidays = {
        datetime.date(year, 1, 1),   # Nouvel An
        datetime.date(year, 1, 6),   # Épiphanie
        easter,                      # Dimanche de Pâques
        easter + datetime.timedelta(days=1),   # Lundi de Pâques
        datetime.date(year, 5, 1),   # Fête du Travail
        datetime.date(year, 5, 3),   # Fête nationale du 3 mai
        easter + datetime.timedelta(days=49),  # Pentecôte (dimanche)
        easter + datetime.timedelta(days=60),  # Fête-Dieu (jeudi)
        datetime.date(year, 8, 15),  # Assomption
        datetime.date(year, 11, 1),  # Toussaint
        datetime.date(year, 11, 11), # Fête nationale de l’indépendance
        datetime.date(year, 12, 25), # Noël
        datetime.date(year, 12, 26), # Deuxième jour de Noël
    }
    # Selon le droit polonais en vigueur en 2026 (loi de 2024),
    # la veille de Noël, le 24 décembre, est fériée à partir de 2025.
    if year >= 2025:
        holidays.add(datetime.date(year, 12, 24))
    return holidays

Le calcul de Pâques repose sur l’algorithme Meeus/Jones/Butcher et n’utilise que la bibliothèque standard, comme demandé. Gemini 3.8 Flash avait considéré la veille de Noël comme fériée pour toutes les années et échoué au test de décembre 2024. Pour le montant en toutes lettres, Argon a ajouté de lui-même une erreur ValueErrorpour les montants hors limites et a correctement converti 12,13 unités de la monnaie polonaise en « douze zlotys et treize grosz » (traduction de l’original polonais) : dans ce même cas, Muse Wonder avait inventé une forme polonaise inexistante, avec un lettrage corrompu dans le test polonais original. Ces exemples sont des traductions du matériel de test polonais ; le test n’a pas été refait en français.

Argon face aux autres modèles sur les mêmes exercices

Parmi les modèles sans erreur, Argon coûte presque trois fois moins cher que Opus 5.5 et 4,6 fois moins cher que GPT-6 Astra. Il faut toutefois rappeler qu’il s’agit de petites fonctions de quelques dizaines de lignes. Ce test montre si un modèle maîtrise des particularités polonaises et évite les erreurs grossières, mais pas comment il se débrouille avec un grand dépôt de code, plusieurs fichiers ou une longue session d’agent dans un terminal. C’est le rôle des benchmarks.

Benchmarks de code selon Google

Dans son tableau du 30 septembre, Google présente Argon avec le niveau de raisonnement le plus élevé. Ses résultats sont contrastés dans trois tests de programmation :

Claude Fable 5.1 obtient, dans le même tableau, 67,4 % à DeepSWE, 56,3 % à FrontierSWE et 57,9 % à Terminal-Bench. Dans l’ensemble des 19 tests du tableau de Google, Argon arrive en tête dans 13 d’entre eux. Mais il se classe derrière ses concurrents dans deux des trois tests de programmation et accuse un retard de 9 points de pourcentage sur Opus 5.5 à Terminal-Bench 4.0.

Ce que montrent les évaluations indépendantes

• Artificial Analysis, Terminal-Bench 4.0 : Argon 57 %, Claude Sonnet 5.5 64 %, Claude Opus 5.5 60 % et GPT-6 Astra 59 %. Cette évaluation indépendante confirme qu’Argon est derrière les modèles d’Anthropic et d’OpenAI pour le travail dans un terminal.
• Arena, Code Arena : WebDev : 8e place avec 1 679 points. À titre de comparaison, le même Argon (High) est premier de Text Arena avec 1 525 points, un résultat préliminaire.

Bloomberg : des employés de Google auraient émis des réserves

Le 30 septembre, Bloomberg, cité par Techmeme, a rapporté que, selon des employés de Google, le modèle obtenait de moins bons résultats sur certaines tâches de programmation réelles que ne le laissaient penser les benchmarks. Google conteste cette affirmation. Mon petit test ne permet pas de trancher : Argon écrit sans problème de courtes fonctions. Les résultats indépendants de Terminal-Bench et sa 8e place en WebDev cadrent toutefois davantage avec la version de Bloomberg qu’avec les meilleurs chiffres du tableau de Google.

Où programmer avec Gemini 4 Argon

• Google Antigravity (application de bureau et CLI) : Argon est réservé à l’offre Google AI Ultra. Les chercheurs peuvent bénéficier gratuitement du niveau Antigravity le plus élevé pendant six mois. Retrouvez les premières étapes dans notre article Bien démarrer avec Antigravity.
• Gemini API : identifiant gemini-4-argon, accessible à tout compte payant. Jusqu’au 30 novembre 2026, le tarif est d’environ 1,78 €/8,91 € par million de jetons (2/10 USD) ; à partir du 1er décembre, il passe à environ 3,56 €/17,82 € (4/20 USD). La limite est commune aux entrées et aux sorties : 1 million de jetons au total. Selon 9to5Google, l’utilisation d’Argon dans l’interface AI Studio et dans Android Studio (Canary) nécessite toutefois l’offre Ultra.
• OpenRouter : google/gemini-4-argon, aux mêmes tarifs, avec un contexte de 1 048 576 jetons. C’est par cette plateforme que j’ai réalisé le test ; le 13 octobre, le modèle fonctionnait depuis la Pologne. OpenRouter peut être utilisé dans les outils qui acceptent sa clé API. Vérifiez les conditions d’accès auprès du fournisseur pour votre pays.

Les montants en euros sont des estimations converties à partir des tarifs officiels en dollars, et ne correspondent pas nécessairement au prix facturé au moment du paiement. Conversion effectuée au taux de référence de la BCE du 19 octobre 2026 : 1 EUR = 1,1225 USD. Source : BCE.

Verdict

Pour écrire des fonctions isolées, des scripts et des correctifs, Argon est le modèle haut de gamme le moins cher que j’aie testé à ce jour, et il n’a commis aucune erreur dans ces exercices. Pour un agent travaillant longtemps dans un dépôt ou un terminal, les benchmarks, y compris indépendants, favorisent plutôt Claude Opus 5.5. Si vous programmez via API, essayez Argon sur votre propre code avant le 30 novembre, tant que son tarif est égal à la moitié du tarif prévu ensuite. Retrouvez d’autres outils dans notre comparatif des IA pour coder.

// lire la suiteThinkNet : décoder les signaux EEG sans fuite de donnéesBenchmarksStepFun Step 5 Preview : prix, benchmarks et test completBenchmarksBenchmarks GPT-6 Astra : trois tests où il perdBenchmarks