Gemma 4 31B en local sur RTX 4090 : performances et VRAM

👁 123 lectures

Gemma 4 31B de Google est le modèle dense à poids ouverts le plus puissant capable de tourner intégralement sur une seule carte RTX 4090. Nous l’avons déployé via Ollama : il débite environ 42 tokens par seconde et obtient une excellente note de 9,5/10 sur nos bancs d’essai linguistiques. En contrepartie, il occupe la quasi-totalité des 24 Go de VRAM et se montre impitoyable avec les disques durs lents. Voici notre banc d’essai complet.

Pourquoi tester Gemma 4 31B en priorité

Chaque semaine, nous installons un modèle ouvert sur une RTX 4090 (24 Go de VRAM, Windows 11) pour évaluer les mêmes critères : installation, vitesse de chargement, débit de génération, empreinte mémoire, qualité linguistique et conditions de licence. Les autres nouveautés récentes ne répondaient pas aux contraintes d’une exécution locale sur un seul GPU grand public :

• Ling 3.1 Flash : avec ses 560 milliards de paramètres, ses poids ne sont pas disponibles en open source (détaillé dans notre article sur Ling 3.1 Flash).
• Mistral Small 4 : malgré son appellation, il embarque 119 milliards de paramètres et reste trop lourd pour 24 Go, même fortement quantifié.
• GLM 5.3 : aucune variante allégée n’existe, et la version GLM-5.3 Flash affiche 320 milliards de paramètres.
• Hy Image 3.5 : Tencent le propose uniquement via une API, sans publier les poids.
• Qwen 3.8 27B : déjà évalué dans notre comparatif de modèles locaux.

Disponible depuis le printemps, Gemma 4 31B n’avait pas encore fait l’objet d’un banc d’essai complet sur notre machine. C’est pourtant la déclinaison la plus imposante de la gamme Gemma 4, et le seul modèle dense de ce niveau qui tourne sur une carte graphique grand public de 24 Go.

Fiche technique du modèle

La variante QAT a été directement entraînée en intégrant la quantification 4 bits (Quantization-Aware Training), ce qui limite la perte de précision par rapport à une quantification classique. Avec 24 Go de mémoire graphique, c’est le seul format adapté : la version Q8 dépasse déjà les 30 Go.

Nos mesures de performances sur RTX 4090

Atteindre 41 à 43 tokens par seconde permet un affichage bien plus rapide que la vitesse de lecture humaine. Dans notre précédent comparatif de modèles locaux, Gemma 4 12B atteignait 104 tok/s sur 8 Go de VRAM, tandis que Qwen 3.8 27B tournait deux fois moins vite en occupant 17 Go. La version 31B est donc la plus lourde du groupe, mais conserve une fluidité remarquable pour un usage conversationnel quotidien.

La leçon du test : ne partagez pas votre carte graphique

Pendant la capture de nos mesures, une génération d’images via ComfyUI s’est lancée en arrière-plan sur la même RTX 4090. La mémoire de la carte s’est retrouvée saturée (23,9 sur 24 Go). Windows a immédiatement transféré des données vers la RAM classique du PC : le débit s’est effondré de 42 à 2,7 tok/s, puis à 0,5 tok/s lors du test suivant. Ce modèle 31B ne laisse aucune marge : impossible de lancer simultanément un générateur d’images, et un simple navigateur web chargé de nombreux onglets peut suffire à saturer la mémoire restante.

Banc d’essai linguistique : 5 tâches complexes

Pour mesurer la tenue du modèle hors de l’anglais, nous lui avons soumis une série de 5 épreuves exigeantes (que nous avons testées en polonais pour éprouver sa gestion des déclinaisons, de l’orthographe complexe et de la culture locale). Chaque exercice est noté sur 2 points.

Nous avons uniquement noté deux légers défauts de forme : le modèle abuse de la syntaxe Markdown et a inséré des flèches au format LaTeX ($rightarrow$) peu adaptées à une interface de messagerie standard. De plus, lors de l’exécution avec raisonnement (activé par défaut sous ollama run), sa réflexion interne s’élabore en anglais avant de produire sa réponse dans la langue demandée.

Temat: Przeprosiny za opóźnienie w dostawie zamówienia

Szanowny Panie Grzegorzu,

chciałbym najmocniej przeprosić za 5-dniowe opóźnienie w dostawie Pana krzesła biurowego do Szczebrzeszyna. Bardzo nam przykro z powodu zaistniałej sytuacji.

W ramach rekompensaty przygotowaliśmy dla Pana kod rabatowy o wartości 10% na kolejne zamówienie w naszym sklepie: RABAT10.

Mamy nadzieję, że produkt spełni Pana oczekiwania, a ten gest pozwoli nam zachować Pana zaufanie. W razie dodatkowych pytań pozostaję do dyspozycji.

Z poważaniem,

[Twoje Imię i Nazwisko]
[Nazwa Firmy]

Oto poprawiony tekst:

„Wczoraj poszedłem do sklepu, żeby kupić chleb, ale okazało się, że był zamknięty. W poniedziałek na pewno pójdę jeszcze raz, bo mam nadzieję, że będzie otwarty. Moja koleżanka, która tam pracuje, mówiła, że w ogóle nie zamykają przed 18.”

Lista poprawek:
* poszłem $rightarrow$ poszedłem (błąd fleksyjny)
* sklepu żeby $rightarrow$ sklepu, żeby (brak przecinka przed spójnikiem)
* okazało się że $rightarrow$ okazało się, że (brak przecinka przed spójnikiem)
* napewno $rightarrow$ na pewno (pisownia rozdzielna)
* pójde $rightarrow$ pójdę (brak polskiego znaku)
* nadzieje $rightarrow$ nadzieję (brak polskiego znaku)
* że będzie otwarte $rightarrow$ że będzie otwarty (błąd składniowy - sklep jest rodzaju męskiego)
* koleżanka która $rightarrow$ koleżanka, która (brak przecinka przed zdaniem podrzędnym)
* pracuje mówiła $rightarrow$ pracuje, mówiła (brak przecinka zamykającego zdanie podrzędne)
* wogóle $rightarrow$ w ogóle (pisownia rozdzielna)

Oto wyliczenia dla poszczególnych pozycji:

*   Laptop: netto 4200,00 $rightarrow$ VAT (23%): 966,00
*   Książka: netto 59,90 $rightarrow$ VAT (5%): 3,00
*   Usługa szkolenia: netto 1500,00 $rightarrow$ VAT (23%): 345,00

Suma netto: 5759,90
Suma VAT: 1314,00
Suma brutto: 7073,90

BRUTTO = 7073,90

1) Zielona Góra i Gorzów Wielkopolski.
2) Bolesław Prus.
3) 2499 m n.p.m., Rysy.
4) 1410.
5) 16.

Oto wyjaśnienia tych frazeologizmów napisane prostym językiem:

1. Wyjść jak Zabłocki na mydle
*   Znaczenie: Oznacza ponieść klęskę, sromotnie przegrać lub zostać z niczym, mimo że miało być inaczej (często po tym, jak ktoś wierzył w łatwy zysk).
*   Przykład: *Kupiłem ten tani telefon przez internet, ale okazał się zepsuty i sprzedawca nie chce oddać pieniędzy - wyszedłem jak Zabłocki na mydle.*

2. Rzucać grochem o ścianę
*   Znaczenie: Mówić do kogoś, kto zupełnie nie słucha, nie rozumie lub ignoruje nasze argumenty i prośby.
*   Przykład: *Tłumaczę synowi już godzinę, że musi posprzątać pokój, ale to jak rzucanie grochem o ścianę.*

3. Mieć muchy w nosie
*   Znaczenie: Być w złym humorze bez wyraźnego powodu, być marudnym lub poirytowanym.
*   Przykład: *Nie podchodź teraz do Anny, bo od samego rana ma muchy w nosie i na wszystko się gniewa.*

Licence : ce qui est autorisé

Gemma 4 est distribué sous licence Apache 2.0. Il s’agit d’une nette évolution par rapport à Gemma 3, qui imposait des conditions d’utilisation propriétaires édictées par Google. Concrètement :

• Vous avez le droit de l’exploiter dans des projets commerciaux, y compris dans une solution vendue à des tiers.
• Vous pouvez ajuster le modèle (fine-tuning) et redistribuer vos versions modifiées en mentionnant la licence d’origine.
• Vous ne payez aucune redevance à Google : vos seuls coûts sont le matériel et l’électricité.

Guide étape par étape pour l’installer sur votre machine

1. Téléchargez et installez Ollama depuis le site officiel ollama.com (nous utilisons la version 0.40.1). Si vous stockez vos modèles sur un second disque de stockage, configurez la variable système OLLAMA_MODELS (par exemple D:AIollama). Retrouvez tous les réglages détaillés dans notre guide pratique d’Ollama.
2. Téléchargez le modèle (environ 18 Go) :

   ollama pull gemma4:31b-it-qat

3. Augmentez le délai d’attente si vous utilisez un disque externe. Par défaut, Ollama abandonne après 5 minutes. Avec notre support USB, le transfert en mémoire a réclamé entre 8 et 14 minutes, déclenchant l’erreur « timed out waiting for llama-server to start ». Sous PowerShell (après avoir fermé Ollama dans la barre des tâches) :

   $env:OLLAMA_LOAD_TIMEOUT = "30m"
   ollama serve

   La méthode idéale reste évidemment d’installer vos modèles sur un SSD NVMe rapide.

4. Lancez le modèle avec mesure des performances dans une seconde console :

   ollama run gemma4:31b-it-qat --verbose "Explique en 3 phrases le principe de la quantification QAT."

   L’option --verbose calcule automatiquement l’« eval rate » (votre débit en tokens par seconde). Pour désactiver les étapes de réflexion intermédiaire, ajoutez l’argument --think=false.

5. Contrôlez l’allocation mémoire sur le GPU :

   ollama ps
   nvidia-smi

   La colonne PROCESSOR doit afficher « 100% GPU ». Si une répartition CPU/GPU apparaît, réduisez la taille du contexte ou fermez les logiciels tiers qui mobilisent la VRAM.

6. Personnalisez la fenêtre de contexte via l’API (méthode employée pour nos tests de charge) :

   curl http://127.0.0.1:11434/api/chat -d "{"model":"gemma4:31b-it-qat","messages":[{"role":"user","content":"Bonjour"}],"think":false,"options":{"num_ctx":32768}}"

7. Libérez la mémoire vidéo une fois votre session terminée :

   ollama stop gemma4:31b-it-qat

À qui s’adresse Gemma 4 31B en exécution locale ?

• Recommandé si vous possédez une carte de 24 Go (RTX 4090, RTX 3090 ou future RTX 5090) et recherchez un niveau linguistique irréprochable sans transmettre vos données à un serveur distant.
• Recommandé pour traiter des documents sensibles, relire des textes ou rédiger des résumés professionnels : 42 tok/s offrent un confort de travail parfait.
• Déconseillé si votre configuration dispose de 16 Go de VRAM ou moins : optez pour Gemma 4 12B, qui s’était révélé excellent lors de nos benchmarks tout en fonctionnant 2,5 fois plus vite.
• Déconseillé si vous souhaitez générer simultanément des images ou des animations vidéo sur la même carte graphique.

Pour explorer les autres solutions open source (génération de texte, d’images et de vidéo), consultez notre panorama sur l’IA en local. Pour calibrer votre matériel selon la taille des architectures, référez-vous à notre synthèse sur la VRAM nécessaire pour l’IA.

Foire aux questions

Combien de VRAM réclame Gemma 4 31B ?

En déclinaison QAT (4 bits), Ollama réserve 19,2 Go de mémoire avec un contexte de 8 000 tokens et 19,3 Go pour 32 000 tokens. La consommation globale de la carte atteignant 24 Go en pic, un GPU équipé de 24 Go de VRAM dédié exclusivement à cette tâche est indispensable.

Gemma 4 31B tourne-t-il correctement sur une RTX 4090 ?

Oui, l’intégralité du modèle tient sur le processeur graphique, avec un débit mesuré entre 40 et 43 tokens par seconde. Seule obligation : ne lancer aucun autre logiciel gourmand en GPU en parallèle, sous peine de voir la cadence s’effondrer entre 0,5 et 2,7 tok/s.

Quelle est la qualité rédactionnelle de Gemma 4 31B hors de l’anglais ?

Les résultats sont remarquables : nous avons relevé une note de 9,5 sur 10 sur des tâches complexes de grammaire, de logique et de calcul, sans aucune erreur factuelle.

Peut-on utiliser Gemma 4 dans un cadre commercial ?

Oui. La licence Apache 2.0 permet une exploitation commerciale libre, ainsi que la modification et la diffusion du modèle sans redevance.

Pourquoi Ollama échoue-t-il à charger Gemma 4 31B ?

Le problème provient généralement d’un disque de stockage trop lent : le temps d’attente par défaut d’Ollama est limité à 5 minutes. Définissez la variable OLLAMA_LOAD_TIMEOUT=30m ou basculez vos fichiers sur un SSD plus performant. Veillez également à fermer les applications occupant votre mémoire graphique.

Vaut-il mieux choisir Gemma 4 31B ou la version 12B ?

Sur une carte de 24 Go, privilégiez le 31B pour une qualité de raisonnement maximale. Avec une carte plus modeste ou si vous cherchez avant tout la vitesse brute, Gemma 4 12B reste le meilleur compromis (104 tok/s sur 8 Go de mémoire dans nos tests).

// lire la suiteGrok Imagine Image 2.0 : test, prix et performancesBenchmarksTest Gemma 4 12B : 7 modèles IA locaux sur RTX 4090BenchmarksLiquid AI sort LFM2.5-24B-A2B : un modèle agentique localActualités

Kinetyra