Dictionnaire IA / VRAM
⚙️ Technika
VRAM
La mémoire de la carte graphique - c'est elle qui détermine la taille du modèle que vous pouvez exécuter localement.
La VRAM est la mémoire vive de la carte graphique. Pour l'exécution locale d'IA, c'est elle la principale limitation : le modèle doit tenir dans la VRAM pour fonctionner rapidement. D'où la première question en self-hosting : non pas « quel processeur », mais « combien de VRAM as-tu ». En ordre de grandeur : les petits modèles tiennent dans 8 Go, les moyens nécessitent une quinzaine, et les grands - des dizaines de gigaoctets. La quantification permet de faire tenir un modèle plus grand dans moins de mémoire au prix d'une légère perte de qualité ; l'alternative est la mémoire partagée sur les ordinateurs Apple.
Concepts associés