Trening modelu
Processus d'« apprentissage » du réseau sur d'énormes données - c'est alors que le modèle acquiert ses capacités.
L'entraînement est le processus par lequel le modèle apprend ses capacités : le réseau neuronal traite d'énormes quantités de données, et ses paramètres sont progressivement ajustés pour prédire de mieux en mieux les bonnes réponses. Pour les modèles linguistiques, cela signifie des semaines ou des mois de calculs sur des milliers de cartes graphiques. Une fois l'entraînement terminé, la connaissance du modèle est « gelée » - c'est pourquoi les modèles ont un point de coupure de connaissance et ne connaissent pas les événements plus récents, sauf si on les connecte à une recherche. L'entraînement à partir de zéro est coûteux, on utilise donc plus souvent l'ajustement de modèles existants.