Parametr
Nombre de « boutons » du modèle. Plus de paramètres ne signifie pas toujours mieux, mais généralement plus de puissance.
Les paramètres sont les nombres que le modèle ajuste pendant l'entraînement - on peut les voir comme des millions de minuscules boutons dont le réglage détermine le comportement du réseau. La taille d'un modèle s'exprime justement en paramètres : les milliards (B) sont aujourd'hui la norme, et les plus grands modèles en comptent des centaines de milliards. Plus de paramètres signifie généralement plus de capacités, mais aussi un coût d'exploitation plus élevé et des réponses plus lentes. C'est pourquoi, à côté des géants, on développe de petits modèles spécialisés qui, avec une fraction de la taille, atteignent des résultats étonnamment bons sur des tâches spécifiques.