Dictionnaire IA / Quantification
🏗️ Modèles et entraînement
Quantification
Alléger le modèle en enregistrant les nombres avec moins de précision - fonctionne plus vite et sur du matériel moins puissant.
La quantification est une technique d'allègement du modèle : ses poids sont enregistrés avec une précision numérique moindre (par ex. 4 bits au lieu de 16 bits), ce qui fait que le fichier occupe plusieurs fois moins de mémoire et les calculs s'accélèrent. Le coût est une légère perte de qualité, souvent imperceptible. C'est grâce à la quantification que les grands modèles ouverts peuvent tourner sur un ordinateur domestique avec carte graphique, voire sur un portable. Les formats populaires de modèles quantifiés circulent dans la communauté du self-hosting et sont la base de l'exécution locale d'IA.
Concepts associés