Modération de contenu
Filtrage automatique des entrées et sorties du modèle pour détecter les contenus interdits.
La modération dans le contexte de l'IA est la vérification automatique des contenus pour détecter les catégories interdites : violence, contenus sexuels, discours de haine, automutilation. Les filtres s'appliquent tant à ce que l'utilisateur saisit qu'à ce que le modèle génère - et les systèmes de modération sont eux-mêmes des modèles d'IA. Pour les créateurs d'applications, les fournisseurs mettent à disposition des outils de modération séparés, qu'il est utile d'intégrer avant et après le modèle principal. Pour les utilisateurs, la modération est parfois source de frustration lors de fausses alertes - c'est elle qui est responsable des refus pour des requêtes innocentes mais ambiguës.