Dictionnaire IA / Overfitting

🏗️ Modèles et entraînement

L'overfitting (surapprentissage) est une situation où le modèle, au lieu d'apprendre des schémas généraux, « apprend par cœur » les données d'entraînement. Sur le matériel qu'il a vu, il se débrouille très bien ; sur de nouveaux cas - mal. C'est un problème classique de tout l'apprentissage automatique. Dans les grands modèles linguistiques, le surapprentissage se manifeste notamment par la reproduction mot pour mot de fragments mémorisés de l'entraînement. On le prévient par une diversité appropriée des données, des techniques de régularisation et en testant le modèle sur du matériel qu'il n'a pas vu pendant l'apprentissage.