Guardrails
Protections limitant ce que le modèle peut dire ou faire.
Les guardrails (garde-fous) sont des protections limitant le comportement du modèle : ensemble de règles, filtres et techniques d'entraînement visant à prévenir les contenus nuisibles, illégaux ou simplement non conformes à la destination d'une application donnée. C'est grâce à eux que le modèle refuse d'écrire des instructions de cambriolage ou des conseils pour blesser quelqu'un. Les garde-fous fonctionnent à plusieurs niveaux : dans l'entraînement (le modèle apprend à refuser), dans les prompts système et dans les filtres externes vérifiant l'entrée et la sortie. Leur calibrage est un éternel compromis - trop lâches, ils laissent passer des nuisances ; trop serrés, ils refusent des requêtes innocentes.