Données d'entraînement
Textes, images et autres matériaux sur lesquels le modèle s'est entraîné. Leur qualité = qualité du modèle.
Les données d'entraînement sont les matériaux sur lesquels le modèle s'est entraîné : textes de sites web, livres, code, images avec descriptions, enregistrements. Leur quantité, diversité et qualité déterminent largement les capacités du modèle - des données médiocres donnent des réponses médiocres. Les données d'entraînement sont au cœur des principaux litiges juridiques du secteur : créateurs et éditeurs demandent sur quelle base leur travail s'est retrouvé dans l'entraînement. D'où l'importance croissante des ensembles de données sous licence, des données synthétiques et des mécanismes permettant aux éditeurs de bloquer les bots collectant du contenu.